Leitfaden — Benutzerdefinierte Modell-Provider

Umfang

Dieses Dokument fasst die Schritte und Kriterien für benutzerdefinierte Modell-Provider mit dem Strands Agents SDK in Shell Sentinel zusammen. Es ergänzt die offizielle Dokumentation als interne Checkliste.

Voraussetzungen

Kenntnis der Hierarchie strands.models.Model (z. B. BedrockModel).
Verständnis von Messages, StreamEvent und ToolSpec.
Python-Client für den proprietären LLM-Dienst.
Deklarative Konfiguration in conf/ und Credentials über Umgebungsvariablen.

Implementierungsablauf

Konfiguration definieren: typisierte ModelConfig mit get_config/update_config.
Client initialisieren: Credentials sicher auflösen, Remote-Client instanziieren, Logging registrieren.
stream(...) implementieren: Eingaben konvertieren, StreamEvent anpassen, Fehler behandeln; bei sync SDK asyncio.to_thread nutzen.
Tools unterstützen: stream in structured_output(...) mit Pydantic-ToolSpec.
Provider registrieren in smart_ai_sys_admin.agent und conf/agent.conf.

Zusätzliche Hinweise

DEBUG-Logging für Troubleshooting.
Neue Parameter in Benutzerhandbüchern dokumentieren, wenn Operatoren betroffen sind.
Keine Tokens oder Endpoints hardcoden.
Smoke-Tests vor TUI-Integration.

Praxisbeispiel: LM Studio

OpenAI-kompatibler lokaler Server (/v1/*); base_url, api_key, model_id konfigurieren.
Start mit lms server start; client_args für Timeouts.
Native REST-API (/api/v0/*) für Metriken und max_context_length.

Praxisbeispiel: Cerebras

cerebras_cloud_sdk mit SSE-Streaming integrieren.
providers.cerebras mit model_id, params, client_args, api_key_env.
ChatChunkResponse in native Events mit metadata für Nutzung und Zeiten.