WorFBenchは、大規模言語モデルに基づくAIエージェントの能力を評価するために設計された総合的なオープンソースフレームワークです。旅程計画からコード生成ワークフローまで、多様なタスクを提供し、それぞれに明確な目標と評価指標を設定しています。ユーザーはカスタムエージェント戦略を設定し、標準化されたAPIを通じて外部ツールと連携し、自動評価を実行して、分解、計画の深さ、ツール呼び出しの正確さ、および最終出力の質を記録できます。内蔵された可視化ダッシュボードは各エージェントの意思決定過程を追跡し、長所と短所を特定しやすくします。WorFBenchのモジュラー設計は、新しいタスクやモデルを迅速に拡張でき、再現性のある研究や比較研究を促進します。

エマージング・コミュニケーション・イン・エージェンツは、多エージェントシステムが独自の通信プロトコルを開発する仕組みを研究する研究者向けのPyTorchベースのオープンソースフレームワークです。リファレンスゲーム、組合せゲーム、物体識別課題など、協調型強化学習タスクの柔軟な実装を提供しています。ユーザーはスピーカーとリスナーのエージェントアーキテクチャを定義し、語彙数やシーケンス長などのメッセージチャネルのプロパティを指定し、方策勾配や教師あり学習などのトレーニング戦略を選択します。このフレームワークには、実験の実行、通信効率性の分析、エマージング・ランゲージの可視化のためのエンドツーエンドのスクリプトが含まれます。モジュール式設計により、新しいゲーム環境やカスタム損失関数を容易に拡張可能です。研究者は公開済み研究の再現、新アルゴリズムのベンチマーク、エージェント言語の構成性と意味論の調査が行えます。