- HTTP-прокси для конечных точек ChatCompletion и Embedding
- потоковая передача ответов API в режиме реального времени
- Кэширование ответов с настраиваемым TTL
- Логирование запросов и ответов
- Динамическое переопределение параметров API
- Поддержка высокого уровня параллелизма