AgentGatewayは、マルチエージェントAIアプリケーションの作成に焦点を当てた開発者向け環境を提供します。分散型エージェントオーケストレーション、プラグイン統合、安全なアクセス制御をサポートします。ベクトルデータベース、REST/gRPC API、SlackやNotionなどの一般的なサービス向けのビルトインコネクタを備え、エージェントは独立してドキュメント問い合わせ、ビジネスロジック実行、応答生成が可能です。監視、ロギング、ロールベースのアクセス制御を含み、企業全体でスケーラブルで監査可能なAIソリューションの展開を容易にします。

Functionaryは、API呼び出しやデータベースクエリ、ビジネスロジックをカプセル化したJavaScript関数としてカスタムツールを登録する宣言的な方法を提供します。ユーザープロンプトを分析し、実行すべきツールを決定し、その出力を会話応答に解析するLLMとのやりとりをラップします。フレームワークはメモリやエラー処理、アクションのチェインをサポートし、プレあるいはポスト処理用のフックを提供します。開発者は、ボイラープレートなしで動的な関数オーケストレーションに対応できるエージェントを素早く作成でき、AI駆動のワークフローの制御性を高めます。

LLM Functionsは、大規模言語モデルの応答と実際のコード実行をつなぐシンプルなフレームワークです。JSONスキーマを用いて関数を定義し、ライブラリに登録すると、LLMが適切なときに構造化された関数呼び出しを返します。ライブラリはそれらの応答を解析し、パラメータを検証し、正しいハンドラーを呼び出します。同期・非同期のコールバックやカスタムエラー処理、プラグイン拡張をサポートし、動的なデータ検索、外部API呼び出し、複雑なビジネスロジックをAI駆動の会話内に必要とするアプリケーションに最適です。