- HTTP-Proxy für ChatCompletion- und Embedding-Endpunkte
- Echtzeit-Streaming von API-Antworten
- Antwort-Caching mit konfigurierbarer TTL
- Anfrage- und Antwort-Protokollierung
- Dynamische Überschreibung von API-Parametern
- Unterstützung für hohe Parallelität