Skip to main content
Chat-Modelle sind die Kernkomponente für KI-gestützte Konversationen in VARIOS AI. Sie unterstützen Textgenerierung, Dokumentenverarbeitung und optional Code-Ausführung.

Grunddaten

API-Konfiguration

Verfügbare API-Typen

Anthropic Messages API: Die API verlangt eine maximale Ausgabelänge, setzen Sie daher ein Ausgabe Token Limit (ohne Angabe werden 16000 gesendet, bei der Claude-3-Generation 4096). Modelle nach Claude Opus 4.6 (u. a. Opus 4.7/4.8/5, Sonnet 5, Haiku 5, Fable, Mythos) lehnen konfigurierte Werte für Temperature und Top P ab; VARIOS AI sendet beide Werte für diese Modelle deshalb nicht mit. Ältere Modelle erhalten Temperature; Top P nur, wenn Temperature nicht aktiviert ist. Der Denkaufwand wird bei Opus und Sonnet ab Version 4.6 sowie bei Fable und Mythos auf die Anthropic-Stufen abgebildet (Minimal und Niedrig → low); andere Modelle (z. B. Haiku 4.5, Sonnet 4.5, Claude 3.x) erhalten stattdessen ein Denk-Budget passend zur Stufe, Temperature und Top P werden dabei nicht gesendet. Das Denk-Budget bleibt mindestens 1024 Token unter dem Ausgabe Token Limit; ist das Limit dafür zu klein, bleibt das Denken ausgeschaltet. Claude Sonnet 5, Opus 5, Fable und Mythos denken auch bei ausgeschaltetem Denkaufwand adaptiv und zeigen ihre Zusammenfassung im Chat; andere Modelle denken nur bei aktiviertem Denkaufwand. Es wird nur der reine Modell-Endpunkt genutzt: Von Anthropic gehostete Werkzeuge wie Code-Ausführung, Websuche oder MCP stehen nicht zur Verfügung; lokaler Code-Interpreter, Wissensdatenbanken und Connectoren funktionieren wie bei jedem anderen API-Typ. Über die Chat Completions API lässt sich ein Chat-Modell mit diesem API-Typ nicht direkt ansprechen; verwenden Sie dort die Assistenten-ID eines Assistenten, der dieses Modell nutzt.

Kosten und Limits

Jede Preisstufe besteht aus einer Kontext-Schwelle (Tokens) und einem Preis. Die Schwelle bezieht sich auf die Prompt-Größe einer Anfrage, also auf die Summe aus nicht gecachten Input-Tokens und den Tokens beim Cache-Lesen und Cache-Schreiben. Sobald der Prompt die Schwelle einer Stufe erreicht, gilt deren Preis für die gesamte Anfrage. Das betrifft alle vier Preise einschließlich der Output-Tokens. Die niedrigste Stufe gilt auch für Prompts unterhalb ihrer Schwelle. Ohne Input- oder Output-Stufe berechnet VARIOS AI für diese Tokens keine Kosten. Ohne Input-Stufe werden auch Cache-Lesen und Cache-Schreiben ohne eigene Stufe nicht berechnet. Beispiel: Bei einer Stufe ab 272000 Tokens wird eine Anfrage mit 300000 Prompt-Tokens vollständig zum Preis dieser Stufe abgerechnet, nicht nur die 28000 Tokens oberhalb der Schwelle. VARIOS AI fordert bei Anthropic selbst kein Prompt-Caching an, daher entstehen Cache-Tokens nur, wenn Sie das Caching im Feld Zusätzliche Parameter anfordern. Anthropic berechnet für den 1-Stunden-Cache das 2-Fache des Input-Preises. VARIOS AI rechnet auch diese Tokens zum Preis für Cache-Schreiben ab. Nutzen Sie den 1-Stunden-Cache, liegen die berechneten Kosten daher unter der Rechnung von Anthropic.
Wenn Sie die höheren Kosten einer Preisstufe vermeiden möchten, wählen Sie ein Kontextfenster, das kleiner als die Schwelle dieser Stufe ist. Sobald ein Prompt die Schwelle erreicht, wird die gesamte Anfrage zum höheren Preis abgerechnet.

Verhaltenseinstellungen

Erlauben sie die Überschreibung der Modell-Verhaltenseinstellungen, um ihre Assistenten noch genauer an ihre Bedürfnisse anzupassen. (Expertenansicht benötigt)

Streaming

Benutzer-Identifikation und MIME-Typen

Die Erlaubten MIME-Typen bestimmen, welche Dateien ohne Umweg über die Dokumentenverarbeitung direkt an das Modell gehen. Typisches Beispiel: image/png, image/jpeg für Vision-Modelle.

Dienstzustand überprüfen

DLP-Sicherheitseinstellungen

Basis DLP Einstellungen

GDPR Protection

Erkennt personenbezogene Daten im Chat und verschlüsselt diese vor dem Transfer zur KI.

Sensitive File Protection

Blockiert den Upload von Dokumenten mit vertraulicher Klassifizierung.

Enterprise DLP Einstellungen

DLP Interface (ICAP)

Sendet Texte und Dateien zur Überprüfung an den konfigurierten ICAP-Server.