Source: https://ailoot.ai/models/de-at/meta-llama-llama-3-1-8b-instruct/ Canonical: https://ailoot.ai/models/de-at/meta-llama-llama-3-1-8b-instruct/ Language: de-at # Meta: Llama 3.1 8B Instruct [Markdown](https://ailoot.ai/models/de-at/meta-llama-llama-3-1-8b-instruct/index.md) · [JSON](https://ailoot.ai/models/de-at/meta-llama-llama-3-1-8b-instruct/facts.json) ## [Meta: Llama 3.1 8B Instruct](https://ailoot.ai/models/de-at/meta-llama-llama-3-1-8b-instruct/) Llama 3.1 8B Instruct ist Metas kleineres Text-Instruct-Modell für mehrsprachige Dialoge, Zusammenfassungen und quellengebundene Antworten. Es besitzt 8 Milliarden Parameter, einen vom Hersteller angegebenen 128k-Kontext, Grouped-Query-Attention und dokumentierte Werkzeugnutzungsformate und liefert Text oder Code zurück. - [**Ailoot Ultra · OpenAI Chat** `POST /v1/chat/completions` `meta-llama/llama-3.1-8b-instruct`](https://ailoot.ai/models/de-at/meta-llama-llama-3-1-8b-instruct/#method-0) - [**Ailoot Ultra · Anthropic Messages** `POST /v1/messages` `meta-llama/llama-3.1-8b-instruct`](https://ailoot.ai/models/de-at/meta-llama-llama-3-1-8b-instruct/#method-1) Über das Modell Diese Beschreibung erläutert die Fähigkeiten des Modells. Die über Ailoot verfügbaren Eingaben, Ausgaben und Optionen sind unten für die ausgewählte Methode aufgeführt. Llama 3.1 8B Instruct ist Metas Textmodell mit acht Milliarden Parametern für mehrsprachige Dialoge und anweisungsbasierte Assistenten. Es nimmt schriftliche Gespräche und Ausgangsmaterial entgegen und erzeugt Text oder Code. Es ist die Instruct-Ausgabe der Größe 8B, getrennt von seiner vortrainierten Basis und den 70B- und 405B-Modellen der Familie. Architektur, Kontext und Sprachen Das Modell verwendet eine autoregressive Transformer-Architektur mit Grouped-Query-Attention. Die anweisungsabgestimmte Familie nutzt überwachtes Fine-Tuning und Reinforcement Learning mit menschlichem Feedback, um ihre Gesprächsantworten auszurichten. Der Hersteller dokumentiert für diese Textversion einen 128k-Kontext; das ist keine Vision- oder Langkontextspezifikation eines späteren Llama-4-Modells. Die acht offiziell unterstützten Sprachen sind Englisch, Deutsch, Französisch, Italienisch, Portugiesisch, Hindi, Spanisch und Thai. Die Vortrainingsdaten umfassen eine breitere Sammlung, die sich von den ausdrücklich in der Karte unterstützten Sprachen unterscheidet. Geben Sie für ein mehrsprachiges Ergebnis die endgültige Sprache und alle unverändert zu erhaltenden Namen, Variablenbezeichner oder Begriffe an. Die Familie wird mit ungefähr fünfzehn Billionen Token vortrainiert, bei einem Datenstand bis Dezember 2023. Das Fine-Tuning umfasst Anweisungsmaterial und mehr als fünfundzwanzig Millionen synthetische Beispiele. Das beschreibt das Training des Modells und keinen Zugriff auf eine private Wissensdatenbank oder aktuelle Informationen beim Eingang einer neuen Frage. Definierte Textoperationen Eine supportorientierte Anfrage kann die Nutzernachricht und relevante Referenzpassagen bereitstellen und dann die Antwort mit ihrer belegenden Bedingung anfordern. Eine kompakte Aufzeichnung kann Problem, bereits vorliegende Informationen und nächsten erforderlichen Schritt trennen. Definieren Sie Feldnamen und die Behandlung fehlender Werte, wenn eine Anwendung dieses Ergebnis verarbeiten muss. Stellen Sie für Zusammenfassungen die tatsächliche Passage oder den Austausch bereit und geben Sie Zielgruppe, Länge und zu erhaltende Fakten an. Fordern Sie die für ein Thema relevanten Entscheidungen oder ungeklärten Fragen an, statt unzusammenhängendes Material ungerichtet zusammenfassen zu lassen. Eine Folgeanfrage kann eine kürzere Antwort oder eine klarere Erklärung einer Bedingung verlangen und dabei dieselben Quellenfakten bewahren. Legen Sie für Überarbeitungen Leser und Ton fest und benennen Sie die unverändert zu erhaltende Bedeutung. Eine praktische Aufgabe kann eine klarere Nachricht mit anschließender kurzer Änderungsliste verlangen oder nur die überarbeitete Nachricht, wenn diese direkt verwendet wird. Eine Klassifikationsaufgabe sollte zulässige Kennzeichnungen und ihre Unterschiede vorgeben, statt die Regel nur durch den Namen einer Kennzeichnung definieren zu lassen. Code- und Beispielgenerierung Die dokumentierte Ausgabe umfasst auch Code. Geben Sie Sprache, erforderliche Eingaben und erwartetes Ergebnis vor, bevor Sie eine Funktion anfordern. Stellen Sie für eine Erklärung die vorhandene Funktion und eine konkrete Eingabe bereit und fragen Sie, welche Schritte ihren Rückgabewert bestimmen. Fügen Sie für eine Korrektur den beobachteten Fehler und das gewünschte Verhalten hinzu und bewahren Sie die kompatibel zu haltende Schnittstelle. Eine nützliche Ausgabe kann vorgeschlagenen Code, seine Annahmen und Beispieleingaben trennen. Die Anwendung oder der Entwickler übernimmt das tatsächliche Kompilieren, Ausführen oder Ändern des Repositories. Schriftlicher Quellcode ist ein zu prüfendes Artefakt und wird nicht allein dadurch zu einer abgeschlossenen externen Operation, dass das Modell ihn zurückgibt. Die Familie unterstützt auch die Verwendung erzeugter Ausgaben für synthetische Beispiele und Distillation. Ein definierter Textauftrag kann Varianten nach vorgegebenen Regeln und in einem festgelegten Format erzeugen. Bewahren Sie Regeln und Kennzeichnungen, damit jedes Beispiel geprüft werden kann; generierte Beispiele belegen nicht unabhängig die Korrektheit eines Trainingsdatensatzes. Gesprächsrollen und Werkzeugnutzung Die Modellkarte zeigt eine Chatvorlage mit getrennten System- und Nutzernachrichten. Definieren Sie Rolle und Antwortanforderungen des Assistenten im Systemkontext und stellen Sie dann Frage und Ausgangsmaterial als Aufgabe bereit. Behalten Sie relevante frühere Nachrichten bei Folgeanfragen oder neuen, das Ergebnis verändernden Belegen bei. Llama 3.1 dokumentiert mehrere Werkzeugnutzungsformate. Die Anwendung beschreibt eine Funktion, das Modell erzeugt den vorgeschlagenen Aufruf und seine Argumente, die Anwendung führt ihn aus und gibt das Ergebnis mit der Werkzeugrolle zurück. Die nächste Antwort kann dann die zurückgegebenen Informationen verwenden. Halten Sie die ursprüngliche Operation und das Ergebnis über das Gespräch hinweg verbunden. Eine Abfrage kann beispielsweise den aktuellen Referenzwert zurückgeben, der in einer Passage fehlt, oder ein Rechenwerkzeug kann das für die Erklärung nötige numerische Ergebnis liefern. Ein Assistent mit Werkzeugen benötigt diese von der Umgebung bereitgestellten Operationen. Das Textverhalten des Modells stellt nicht von selbst eine Verbindung zu einer externen Quelle her oder führt eine Nebenwirkung aus. Praktische Grenzen Die 128k-Kontextangabe des Herstellers sollte mit der exakten 8B-Instruct-Version und der jeweiligen Konfiguration verbunden bleiben. Das Generierungsbeispiel mit 256 Token ist nur eine Nutzungswahl; die gelesenen Quellen nennen keine gesonderte harte maximale Antwortkapazität. Der Größe 8B sollten weder die Parameternzahl eines anderen Familienmitglieds noch benannte Reasoning-Einstellungen einer anderen Familie zugeschrieben werden. Dies ist ein reines Textmodell. Visuelle Eingaben, Audioverständnis und Spracherzeugung erfordern gesondert spezifizierte Komponenten. Definieren Sie vor dem Bereitstellen des Materials das fertige Artefakt: eine knappe Antwort, einen extrahierten Datensatz, eine überarbeitete Passage, eine Erklärung oder einen Codevorschlag. Bewahren Sie die Quelleninformationen, die zur Prüfung von Bedeutung und Format dieses Artefakts nötig sind. Praktische Aufgabe ### Praktische Aufgabe Technisches Beispiel auf Englisch ``` Translate a delivery notice into German Translate this customer notice into German: 'Order BN-42 will leave our warehouse on Thursday. Delivery normally takes three business days. We will send tracking details after dispatch.' Preserve BN-42, distinguish dispatch from delivery and use a polite professional tone. Return only the translation; do not turn the normal transit time into a guaranteed arrival date. ``` #### Erwartetes Ergebnis ``` One German customer notice preserving the identifier, event sequence and qualified transit time. ``` #### Ergebnis prüfen ``` The translation distinguishes warehouse dispatch from delivery and retains the word's sense of a normal estimate. ``` **Ailoot Ultra · OpenAI Chat** `POST /v1/chat/completions` `meta-llama/llama-3.1-8b-instruct` [`meta-llama/llama-3.1-8b-instruct`](https://ailoot.ai/models/de-at/#m=meta-llama%2Fllama-3.1-8b-instruct&route=Ultra&caller=meta-llama%2Fllama-3.1-8b-instruct&fmt=chat) Meta /`meta-llama/llama-3.1-8b-instruct` ### Einstieg Llama 3.1 8B Instruct ist Metas kleineres Text-Instruct-Modell für mehrsprachige Dialoge, Zusammenfassungen und quellengebundene Antworten. Es besitzt 8 Milliarden Parameter, einen vom Hersteller angegebenen 128k-Kontext, Grouped-Query-Attention und dokumentierte Werkzeugnutzungsformate und liefert Text oder Code zurück. Zulässige Eingaben Text Ergebnisse Text ### In Ailoot verfügbar · Eingaben und Methoden **Ailoot Ultra · OpenAI Chat** `POST /v1/chat/completions` Eingabe `text` Ausgabe `text` Ausgabeformat json oder SSE | Feld | Typ | Anforderung | Werte und Limits | Standard | | --- | --- | --- | --- | --- | | Feld`model` | Typ`string` | AnforderungErforderlich | Werte und Limits meta-llama/llama-3.1-8b-instruct | Standard— | | Feld`messages` | Typ`message[]` | AnforderungErforderlich | Werte und Limits Mindestanzahl Elemente: 1 | Standard— | | Feld`messages[].role` | Typ`string` | AnforderungErforderlich | Werte und Limits Beispiele: system, user, assistant, tool, function Bedingungen: Diese Rollen sind in den Kompatibilitätstypen des Quellcodes ausdrücklich dargestellt; der genaue Rollenumfang bleibt modellspezifisch. Modellabhängig | Standard— | | Feld`messages[].content` | Typ`string\|content_part[]\|null` | AnforderungOptional | Werte und Limits | Standard— | | Feld`messages[].tool_calls` | Typ`tool_call[]` | AnforderungOptional | Werte und Limits | Standard— | | Feld`messages[].tool_call_id` | Typ`string` | AnforderungOptional | Werte und Limits Gilt, wenn: role=tool; die tatsächlich zurückgegebene ID verwenden | Standard— | | Feld`messages[].name` | Typ`string` | AnforderungOptional | Werte und Limits | Standard— | | Feld`messages[].reasoning_content` | Typ`string` | AnforderungOptional | Werte und Limits Gilt, wenn: Tatsächlich zurückgegebene Reasoning-Daten erneut übermitteln, sofern dieses Modell sie verwendet | Standard— | | Feld`messages[].reasoning_details` | Typ`object\|array` | AnforderungOptional | Werte und Limits Modellabhängig | Standard— | | Feld`max_tokens` | Typ`integer` | AnforderungOptional | Werte und Limits Minimum: 1 Modellabhängig | Standard— | | Feld`max_completion_tokens` | Typ`integer` | AnforderungOptional | Werte und Limits Minimum: 1 Modellabhängig | Standard— | | Feld`stream` | Typ`boolean` | AnforderungOptional | Werte und Limits | Standardfalse | | Feld`stream_options.include_usage` | Typ`boolean` | AnforderungOptional | Werte und Limits Modellabhängig | Standard— | | Feld`temperature` | Typ`number` | AnforderungOptional | Werte und Limits Modellabhängig | Standard— | | Feld`top_p` | Typ`number` | AnforderungOptional | Werte und Limits Modellabhängig | Standard— | | Feld`stop` | Typ`string\|string[]` | AnforderungOptional | Werte und Limits Modellabhängig | Standard— | | Feld`tools` | Typ`function_tool[]` | AnforderungOptional | Werte und Limits Modellabhängig | Standard— | | Feld`tools[].type` | Typ`string` | AnforderungOptional | Werte und Limits function Modellabhängig | Standard— | | Feld`tools[].function.name` | Typ`string` | AnforderungErforderlich | Werte und Limits Gilt, wenn: Funktionswerkzeug bereitgestellt | Standard— | | Feld`tools[].function.description` | Typ`string` | AnforderungOptional | Werte und Limits | Standard— | | Feld`tools[].function.parameters` | Typ`JSON_schema` | AnforderungOptional | Werte und Limits | Standard— | | Feld`tool_choice` | Typ`string\|object` | AnforderungOptional | Werte und Limits Modellabhängig | Standard— | | Feld`parallel_tool_calls` | Typ`boolean` | AnforderungOptional | Werte und Limits Modellabhängig | Standard— | | Feld`response_format` | Typ`object` | AnforderungOptional | Werte und Limits Modellabhängig | Standard— | | Feld`reasoning_effort` | Typ`string` | AnforderungOptional | Werte und Limits Modellabhängig | Standard— | | Feld`reasoning` | Typ`object` | AnforderungOptional | Werte und Limits Modellabhängig | Standard— | | Feld`service_tier` | Typ`string` | AnforderungOptional | Werte und Limits Modellabhängig | Standard— | | Feld`instructions` | Typ`string` | AnforderungOptional | Werte und Limits Kompatibilitätsfeld | Standard— | | Feld`functions` | Typ`function[]` | AnforderungOptional | Werte und Limits Modellabhängig | Standard— | | Feld`function_call` | Typ`string\|object` | AnforderungOptional | Werte und Limits Modellabhängig | Standard— | | Feld`prompt_cache_options` | Typ`object` | AnforderungOptional | Werte und Limits Modellabhängig | Standard— | | Feld`modalities` | Typ`string[]` | AnforderungOptional | Werte und Limits text | Standard— | | Feld`provider` | Typ`object` | AnforderungOptional | Werte und Limits Bedingungen: provider.options wird auf dieser Ultra-Textroute abgelehnt | Standard— | | Feld`cache_control.ttl` | Typ`string` | AnforderungOptional | Werte und Limits Bedingungen: 1h wird in den tatsächlichen Prompt-Cache-Feldern abgelehnt | Standard— | Kombinationen von Eingabematerialien **Text** · UTF8-Text `messages[].content` Methodenparameter und Lebenszyklus | Parameter | Vertrag | | --- | --- | | Parameter`content_type` | Vertragapplication/json | | Parameter`required` | Vertragmodel, messages | | Parameter`material_types` | Vertragtext | | Parameter`messages` | VertragNachrichtenarray mit role/content-Struktur | | Parameter`file_material` | VertragTatsächliches UTF-8-Dokument als wörtlicher Text eingefügt; keine Datei-ID abgeleitet | | Parameter`optional_controls` | Vertragstream, temperature, top\_p, stop, max\_tokens, max\_completion\_tokens, reasoning, response\_format, tools, tool\_choice | | Parameter`control_scope` | VertragModellspezifisch; benutzerseitige Funktionswerkzeuge unterscheiden sich von gehosteten Werkzeugen | | Parameter`output_modalities` | Vertragtext | | Parameter`hosted_operations` | Vertragfalse | | Parameter`multimodal_input_binding` | Vertragnull | Lebenszyklus: `synchronous_or_streamed` Die genaue Modell-ID zusammen mit messages senden. Die Kontextlänge ist keine Ausgabeobergrenze. Eine Textdatei kann wörtlichen Text liefern; Bild-, Audio- und Dateiobjekteingaben benötigen eine exakte Zuordnung. ### Tarife Tarifangaben erweitern die Anfrageoptionen nicht. Unterstützte Parameter stehen bei der ausgewählten Methode. Schnellmodus Standardtarif Wenn der Schnellmodus ausgewählt ist Flex-Modus Standardtarif Wenn der Modus flex ausgewählt ist Maximaler Denkaufwand Standardtarif Wenn beim maximalen Denkaufwand die Standardanpassung (default) verwendet wird #### Ailoot-Tarife #### Preise nach Konfiguration Ordnen Sie jede Gebühr den angezeigten Bedingungen zu. Verwenden Sie für jede Gruppe alternativer Konfigurationen einen Tarif. | Konfiguration | Tarifstaffel | Kontexttoken, mehr als | Kontexttoken, bis einschließlich | Gebühr | | --- | --- | --- | --- | --- | | KonfigurationBasistarife für Token | TarifstaffelGrundtarif | Kontexttoken, mehr als— | Kontexttoken, bis einschließlichKeine Obergrenze | Gebühr Eingabe · Eingabetoken **$0.00044** / 1K Tokens Ausgabe · Ausgabetoken **$0.00044** / 1K Tokens Eingabe · Cache lesen **$0.00044** / 1K Tokens Eingabe · In Cache schreiben **—** / 1K Tokens Eingabe · In Cache schreiben, 1 Stunde **—** / 1K Tokens | | KonfigurationAnfragelängenstufe 1 | Tarifstaffel— | Kontexttoken, mehr als0 | Kontexttoken, bis einschließlichKeine Obergrenze | Gebühr Eingabe · Eingabetoken **$0.00044** / 1K Tokens Ausgabe · Ausgabetoken **$0.00044** / 1K Tokens Eingabe · Cache lesen **$0.00044** / 1K Tokens Eingabe · In Cache schreiben **—** / 1K Tokens Eingabe · In Cache schreiben, 1 Stunde **—** / 1K Tokens | Ailoot reserviert vor einer Anfrage einen geschätzten Betrag. Nach dem Ergebnis rechnet Ailoot die endgültige Gebühr anhand des gemessenen Verbrauchs ab. Bei Streaming erfolgt die Abrechnung anhand des abschließenden Verbrauchsdatensatzes. [So funktionieren Reservierung und Abrechnung →](https://ailoot.ai/docs/de-at/billing/reserve/) ### Beispielanfragen #### Ailoot Ultra · OpenAI Chat curlPython SDKPython-Stream ```bash set -eu : "${AILOOT_API_KEY:?Set your Ailoot API key}" python3 - <<'PY_REQUEST' import json,os from pathlib import Path p=json.loads('{"model": "meta-llama/llama-3.1-8b-instruct", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}') Path("request.json").write_text(json.dumps(p,ensure_ascii=False)) PY_REQUEST curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \ -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \ --data-binary @request.json -D response-headers.txt -o result.json python3 - <<'PY_RESULT' import json from pathlib import Path r=json.loads(Path("result.json").read_text()) for x in r.get("choices",[]): if x.get("message",{}).get("content"): print(x["message"]["content"]) PY_RESULT ``` ```python from openai import OpenAI import os if not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request") client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0) result=client.chat.completions.create(model='meta-llama/llama-3.1-8b-instruct',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) import base64, json from pathlib import Path def save_result(data, stem="result"): # Keep every field, including usage, IDs, reasoning and tool requests. Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8") print(json.dumps(data, ensure_ascii=False, indent=2)) def save_blob(encoded, suffix, label): raw = base64.b64decode(encoded, altchars=b"-_", validate=True) ext = "png" if raw.startswith(b"\x89PNG\r\n\x1a\n") else "jpg" if raw.startswith(b"\xff\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix file = Path(stem + "-" + label + "." + ext) file.write_bytes(raw) print("Saved", file) for index, block in enumerate(data.get("content") or []): print("Content", index, json.dumps(block, ensure_ascii=False)) for choice in data.get("choices") or []: print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False)) for index, item in enumerate(data.get("output") or []): print("Output", index, json.dumps(item, ensure_ascii=False)) if item.get("type") == "image_generation_call" and item.get("result"): save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index)) for ci, candidate in enumerate(data.get("candidates") or []): for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []): print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False)) blob = part.get("inlineData") or part.get("inline_data") if blob and blob.get("data"): mime = blob.get("mimeType") or blob.get("mime_type") suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin") save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi)) save_result(result.to_dict(mode="json")) ``` ```python from openai import OpenAI import os from pathlib import Path if not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request") client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0) import base64, json from pathlib import Path def save_result(data, stem="result"): # Keep every field, including usage, IDs, reasoning and tool requests. Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8") print(json.dumps(data, ensure_ascii=False, indent=2)) def save_blob(encoded, suffix, label): raw = base64.b64decode(encoded, altchars=b"-_", validate=True) ext = "png" if raw.startswith(b"\x89PNG\r\n\x1a\n") else "jpg" if raw.startswith(b"\xff\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix file = Path(stem + "-" + label + "." + ext) file.write_bytes(raw) print("Saved", file) for index, block in enumerate(data.get("content") or []): print("Content", index, json.dumps(block, ensure_ascii=False)) for choice in data.get("choices") or []: print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False)) for index, item in enumerate(data.get("output") or []): print("Output", index, json.dumps(item, ensure_ascii=False)) if item.get("type") == "image_generation_call" and item.get("result"): save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index)) for ci, candidate in enumerate(data.get("candidates") or []): for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []): print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False)) blob = part.get("inlineData") or part.get("inline_data") if blob and blob.get("data"): mime = blob.get("mimeType") or blob.get("mime_type") suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin") save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi)) with client.chat.completions.stream(model='meta-llama/llama-3.1-8b-instruct',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream: with Path("stream-events.jsonl").open("w",encoding="utf-8") as log: for event in stream: payload=event.to_dict(mode="json") log.write(json.dumps(payload,ensure_ascii=False)+"\n"); log.flush() print(json.dumps(payload,ensure_ascii=False)) final=stream.get_final_completion() save_result(final.to_dict(mode="json"),"stream-result") ``` ### Ergebnisse abrufen und speichern #### Ailoot Ultra · OpenAI Chat json oder SSE ##### Alle fertiggestellten Ergebnisse aufbewahren Bewahren Sie jede vollständig zurückgegebene Antwort, Datei und jeden Inhaltsteil auf. Alle Antwortvarianten mit ihren Inhalten, Werkzeugaufrufen und Reasoning-Daten beibehalten. In SSE die Deltas nach Varianten- und Werkzeugindex zusammensetzen; endgültigen Beendigungsgrund und Verbrauchsdaten beibehalten. ##### Wenn die ursprüngliche Antwort geprüft werden muss Anfrage- und Antwort-IDs sowie Header beibehalten. Eine allgemeine URL zum Abrufen von Textaufträgen wird nicht angegeben. Antwortfelder | Feld | Typ | | --- | --- | | Feld`choices[].index` | Typinteger | | Feld`choices[].message.content` | Typstring\|null | | Feld`choices[].message.tool_calls` | Typtool\_call\[\] | | Feld`choices[].message.reasoning_content` | Typstring | | Feld`choices[].message.reasoning_details` | Typobject\|array | | Feld`choices[].finish_reason` | Typstring\|null | | Feld`usage` | Typobject | Fehler und nächste Schritte | Antwort | Bedingung | Nächster Schritt | | --- | --- | --- | | Antwort400 · `invalid_request_error` | BedingungPflichtfelder, Darstellung des Eingabematerials oder Parameterwert ungültig | Nächster SchrittDie angegebenen Felder vor einer neuen Erstellungsanfrage korrigieren. | ### Aliasnamen #### Modellaliasnamen **Ailoot Ultra** [`meta-llama/llama-3.1-8b-instruct`](https://ailoot.ai/models/de-at/#m=meta-llama%2Fllama-3.1-8b-instruct&route=Ultra&caller=meta-llama%2Fllama-3.1-8b-instruct&fmt=chat) #### Aliasnamen für Methodenpfade Verwenden Sie die oben angezeigten Methodenpfade. #### Zugehörige Aufrufer-IDs [`meta-llama/llama-3.1-8b-instruct`](https://ailoot.ai/models/de-at/#m=meta-llama%2Fllama-3.1-8b-instruct&route=Ultra&caller=meta-llama%2Fllama-3.1-8b-instruct&fmt=chat) **Ailoot Ultra · Anthropic Messages** `POST /v1/messages` `meta-llama/llama-3.1-8b-instruct` [`meta-llama/llama-3.1-8b-instruct`](https://ailoot.ai/models/de-at/#m=meta-llama%2Fllama-3.1-8b-instruct&route=Ultra&caller=meta-llama%2Fllama-3.1-8b-instruct&fmt=messages) Meta /`meta-llama/llama-3.1-8b-instruct` ### Einstieg Llama 3.1 8B Instruct ist Metas kleineres Text-Instruct-Modell für mehrsprachige Dialoge, Zusammenfassungen und quellengebundene Antworten. Es besitzt 8 Milliarden Parameter, einen vom Hersteller angegebenen 128k-Kontext, Grouped-Query-Attention und dokumentierte Werkzeugnutzungsformate und liefert Text oder Code zurück. Zulässige Eingaben Text Ergebnisse json · sse ### In Ailoot verfügbar · Eingaben und Methoden **Ailoot Ultra · Anthropic Messages** `POST /v1/messages` Eingabe `text` Ausgabe `json`, `sse` Ausgabeformat JSON oder SSE | Feld | Typ | Anforderung | Werte und Limits | Standard | | --- | --- | --- | --- | --- | | Feld`model` | Typ`string` | AnforderungErforderlich | Werte und Limits meta-llama/llama-3.1-8b-instruct | Standard— | | Feld`messages` | Typ`message[]` | AnforderungErforderlich | Werte und Limits | Standard— | | Feld`messages[].role` | Typ`string` | AnforderungErforderlich | Werte und Limits user, assistant | Standard— | | Feld`messages[].content` | Typ`string` | AnforderungErforderlich | Werte und Limits | Standard— | | Feld`max_tokens` | Typ`integer` | AnforderungErforderlich | Werte und Limits | Standard— | | Feld`stream` | Typ`boolean` | AnforderungOptional | Werte und Limits | Standardfalse | Kombinationen von Eingabematerialien **Text** · UTF-8-Text `Zeichenfolge messages[].content` Methodenparameter und Lebenszyklus | Parameter | Vertrag | | --- | --- | | Parameter`content_type` | Vertragapplication/json | | Parameter`required` | Vertragmodel, messages, max\_tokens | | Parameter`optional_controls` | Vertragstream | | Parameter`material_types` | Vertragtext | | Parameter`text_file_material` | VertragDas tatsächliche UTF-8-Dokument lesen und seinen Text in die angegebene Zeichenfolge für Eingabe oder Nachrichteninhalt einfügen. | Lebenszyklus: `synchronous_or_streamed` ### Tarife Tarifangaben erweitern die Anfrageoptionen nicht. Unterstützte Parameter stehen bei der ausgewählten Methode. Schnellmodus Standardtarif Wenn der Schnellmodus ausgewählt ist Flex-Modus Standardtarif Wenn der Modus flex ausgewählt ist Maximaler Denkaufwand Standardtarif Wenn beim maximalen Denkaufwand die Standardanpassung (default) verwendet wird #### Ailoot-Tarife #### Preise nach Konfiguration Ordnen Sie jede Gebühr den angezeigten Bedingungen zu. Verwenden Sie für jede Gruppe alternativer Konfigurationen einen Tarif. | Konfiguration | Tarifstaffel | Kontexttoken, mehr als | Kontexttoken, bis einschließlich | Gebühr | | --- | --- | --- | --- | --- | | KonfigurationBasistarife für Token | TarifstaffelGrundtarif | Kontexttoken, mehr als— | Kontexttoken, bis einschließlichKeine Obergrenze | Gebühr Eingabe · Eingabetoken **$0.00044** / 1K Tokens Ausgabe · Ausgabetoken **$0.00044** / 1K Tokens Eingabe · Cache lesen **$0.00044** / 1K Tokens Eingabe · In Cache schreiben **—** / 1K Tokens Eingabe · In Cache schreiben, 1 Stunde **—** / 1K Tokens | | KonfigurationAnfragelängenstufe 1 | Tarifstaffel— | Kontexttoken, mehr als0 | Kontexttoken, bis einschließlichKeine Obergrenze | Gebühr Eingabe · Eingabetoken **$0.00044** / 1K Tokens Ausgabe · Ausgabetoken **$0.00044** / 1K Tokens Eingabe · Cache lesen **$0.00044** / 1K Tokens Eingabe · In Cache schreiben **—** / 1K Tokens Eingabe · In Cache schreiben, 1 Stunde **—** / 1K Tokens | Ailoot reserviert vor einer Anfrage einen geschätzten Betrag. Nach dem Ergebnis rechnet Ailoot die endgültige Gebühr anhand des gemessenen Verbrauchs ab. Bei Streaming erfolgt die Abrechnung anhand des abschließenden Verbrauchsdatensatzes. [So funktionieren Reservierung und Abrechnung →](https://ailoot.ai/docs/de-at/billing/reserve/) ### Beispielanfragen #### Ailoot Ultra · Anthropic Messages Vollständiger minimaler JSON-Bodycurl · eigenes UTF-8-Dokument verwendenPython · das vollständige Ergebnis speichern ```json { "model": "meta-llama/llama-3.1-8b-instruct", "max_tokens": 128, "messages": [ { "role": "user", "content": "Summarize the incident report." } ], "stream": false } ``` ```bash set -eu : "${AILOOT_API_KEY:?Set your Ailoot API key}" : "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}" export AILOOT_TEXT_FILE python3 - <<'PY_REQUEST' import json, os from pathlib import Path source_file = Path(os.environ['AILOOT_TEXT_FILE']) if not source_file.is_file(): raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document') text = source_file.read_text(encoding='utf-8') if not text.strip(): raise SystemExit('Choose a document containing text') payload = {'model': 'meta-llama/llama-3.1-8b-instruct', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]} payload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\n\n' + text Path('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8') PY_REQUEST curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \ -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \ --data-binary @request.json -D response-headers.txt -o result.json python3 - <<'PY_RESULT' import json from pathlib import Path result = json.loads(Path('result.json').read_text(encoding='utf-8')) print(json.dumps(result, ensure_ascii=False, indent=2)) PY_RESULT ``` ```python import json, os from pathlib import Path source_file = Path(os.environ['AILOOT_TEXT_FILE']) if not source_file.is_file(): raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document') text = source_file.read_text(encoding='utf-8') if not text.strip(): raise SystemExit('Choose a document containing text') payload = {'model': 'meta-llama/llama-3.1-8b-instruct', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]} payload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\n\n' + text from urllib.request import Request, urlopen from urllib.error import HTTPError api_key = os.environ['AILOOT_API_KEY'] if not api_key.strip(): raise SystemExit('Set AILOOT_API_KEY before making a request') headers = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'} headers['x-api-key'] = api_key request = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST') try: with urlopen(request, timeout=120) as response: raw = response.read() Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8') except HTTPError as error: Path('result.json').write_bytes(error.read()) Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8') raise Path('result.json').write_bytes(raw) import json from pathlib import Path result = json.loads(Path('result.json').read_text(encoding='utf-8')) print(json.dumps(result, ensure_ascii=False, indent=2)) ``` ### Ergebnisse abrufen und speichern #### Ailoot Ultra · Anthropic Messages JSON oder SSE ##### Alle fertiggestellten Ergebnisse aufbewahren Bewahren Sie jede vollständig zurückgegebene Antwort, Datei und jeden Inhaltsteil auf. Alle Inhaltsblöcke, Thinking-Signaturen und tatsächlichen Werkzeugaufruf-IDs beibehalten. Alle SSE-Blockdeltas zusammensetzen; der erste Textblock ist nicht die vollständige Ausgabe. ##### Wenn die ursprüngliche Antwort geprüft werden muss Anfrage- und Antwort-IDs sowie Header beibehalten. Eine allgemeine URL zum Abrufen von Textaufträgen wird nicht angegeben. Antwortfelder | Feld | Typ | | --- | --- | | Feld`id` | Typstring | | Feld`model` | Typstring | | Feld`content[]` | Typtext\|thinking\|tool\_use\|other content block | | Feld`stop_reason` | Typstring\|null | | Feld`usage` | Typobject | Fehler und nächste Schritte | Antwort | Bedingung | Nächster Schritt | | --- | --- | --- | | Antwort400 · `invalid_request_error` | BedingungPflichtfelder, Darstellung des Eingabematerials oder Parameterwert ungültig | Nächster SchrittDie angegebenen Felder vor einer neuen Erstellungsanfrage korrigieren. | ### Aliasnamen #### Modellaliasnamen **Ailoot Ultra** [`meta-llama/llama-3.1-8b-instruct`](https://ailoot.ai/models/de-at/#m=meta-llama%2Fllama-3.1-8b-instruct&route=Ultra&caller=meta-llama%2Fllama-3.1-8b-instruct&fmt=messages) #### Aliasnamen für Methodenpfade Verwenden Sie die oben angezeigten Methodenpfade. #### Zugehörige Aufrufer-IDs [`meta-llama/llama-3.1-8b-instruct`](https://ailoot.ai/models/de-at/#m=meta-llama%2Fllama-3.1-8b-instruct&route=Ultra&caller=meta-llama%2Fllama-3.1-8b-instruct&fmt=messages) FAQ · Meta: Llama 3.1 8B Instruct Welche Eingaben und Ergebnisse sind verfügbar? `POST /v1/chat/completions` · `meta-llama/llama-3.1-8b-instruct`: `text` → `text` `POST /v1/messages` · `meta-llama/llama-3.1-8b-instruct`: `text` → `json`, `sse` Welche Felder verwendet die Anfrage? `POST /v1/chat/completions` · `meta-llama/llama-3.1-8b-instruct`: `model`, `messages`, `stream`, `modalities`, `provider` `POST /v1/messages` · `meta-llama/llama-3.1-8b-instruct`: `model`, `messages`, `max_tokens`, `stream` Welche Grenzen gelten? `POST /v1/chat/completions` · `meta-llama/llama-3.1-8b-instruct`: `messages.min_items`: `1` Verbinden Sie Ailoot mit Claude Code, OpenCode, Hermes oder Ihrer eigenen Anwendung. ## Das Unternehmen und sein Projektportfolio Das Unternehmen und sein Projektportfolio: Millionen von Kunden; monatliche Umsätze in Milliardenhöhe. ## Tokens mit Rabatt kaufen. Aborabatt für regelmäßige Arbeit. Aktionscodes bieten bis 50% beim Tokenkauf. Abo Wählen Sie einen Tarif mit Rabatt für Ihre regelmäßigen Anfragen. Aktionscode bis 50% Geben Sie den Code beim Kauf ein. Der Preis wird nach den gültigen Aktionsbedingungen berechnet. Ausgaben in der Historie Modell, Tokens und Betrag werden für jede Anfrage gespeichert. [Abo wählen](https://ailoot.ai/docs/de-at/billing/subscriptions/) · [Modellpreise ansehen](https://ailoot.ai/models/de-at/) ## Verbinden Sie die API mit dem Produkt, das Sie verkaufen. SaaS, Anwendungen und Bots nach dem offiziellen Angebot und Lizenzvertrag von Ailoot. Fordern Sie für den Weiterverkauf eine Reseller-Lizenz an. Kommerzielle Anwendung Integrieren Sie Text-, Bild-, Video- und Audioerzeugung in kostenpflichtige Funktionen Ihres Dienstes. Reseller-Lizenz Senden Sie Projektbeschreibung und Zugangsmodell. Fordern Sie schriftliche Nutzungs- und Weiterverkaufsbedingungen an. Dokumente auf der Website Offizielles Angebot, Lizenzvertrag und Datenschutzerklärung sind vor der Verbindung zugänglich. [Reseller-Lizenz anfordern](mailto:support@ailoot.ai) · [Offizielles Angebot und Lizenzvertrag](https://ailoot.ai/legal/offer?lang=de-at) ## Ailoot · Das Unternehmen und sein Projektportfolio Ailoot baut auf bewährte Betriebserfahrung, einen großen Kundenstamm, stabilen Service und kontinuierliche KPI-Kontrolle. Das Unternehmen und sein Projektportfolio: Millionen von Kunden; monatliche Umsätze in Milliardenhöhe. Ailoot nutzt diese Betriebserfahrung für den API-Zugang zu KI-Funktionen in Kundenprodukten, Agenten, Anwendungen und Automatisierungen.