HoneyHive est une plateforme complète fournissant des outils d'évaluation, de test et d'observabilité d'IA, principalement destinée aux équipes qui construisent et maintiennent des applications GenAI. Il permet aux développeurs de tester, évaluer et comparer automatiquement des modèles, des agents et des pipelines RAG selon des critères de sécurité et de performance. En agrégeant des données de production telles que des traces, des évaluations et des retours d'utilisateurs, HoneyHive facilite la détection d'anomalies, des tests approfondis et des améliorations itératives dans les systèmes d'IA, garantissant qu'ils sont prêts pour la production et fiables.

Bot-With-Plan offre un modèle Python modulaire pour construire des agents IA qui génèrent d'abord un plan détaillé avant l'exécution. Il utilise GPT d'OpenAI pour analyser les instructions utilisateur, décomposer les tâches en étapes séquentielles, valider le plan, puis exécuter chaque étape via des outils externes comme la recherche web ou des calculatrices. Le cadre inclut la gestion des prompts, le parsing des plans, l'orchestration de l'exécution et la gestion des erreurs. En séparant les phases de planification et d'exécution, il offre une meilleure supervision, un débogage plus simple et une structure claire pour l’extension avec de nouveaux outils ou capacités.