Qwen3-32B-FP8 is het officiële FP8-checkpoint van het dense taalmodel Qwen3-32B. De ontwikkelaar beschrijft wiskunde, logisch redeneren, codegeneratie, creatief schrijven, rolgebaseerde dialoog en instructies volgen over meerdere beurten. De familie ondersteunt meer dan 100 talen en dialecten. Invoer en uitvoer zijn tekst en dezelfde release biedt zowel Thinking als directe antwoorden.
Dit model heeft 32,8 miljard parameters, waarvan 31,2 miljard buiten embeddings, en 64 lagen. De grouped-query attention bevat 64 querykoppen en acht sleutel/waarde-koppen. Het is een dense architectuur, onderscheiden van de mixture-of-experts-releases van Qwen3 met totale en actieve parameteraantallen. FP8 maakt ook deel uit van de exacte editie-identiteit. Geef een ontwikkelassistent een functie, specificatie en verschillende invoervoorbeelden en vraag vervolgens uitleg van het huidige gedrag en een herziene implementatie die de afgesproken interface behoudt. Lever voor een redactietaak de daadwerkelijke bron, beoogde lezer en terminologie aan in plaats van op een niet-gespecificeerde achtergrond te vertrouwen.
De snelstart van de ontwikkelaar gebruikt het aangewezen chatsjabloon. Scheid de taak van het aangeleverde materiaal en specificeer de eindvorm. Een nuttige analyseaanvraag kan twee methoden voor gegevensvalidatie vergelijken met dezelfde veldregels, aangeven welke gevallen elk accepteert en een voorgestelde validatiefunctie retourneren. Voeg afspraken over ontbrekende waarden, representatieve gegevens en vereiste foutmeldingen toe. Geef voor meertalige inhoud een woordenlijst en vraag een vertaling plus een lijst met termen die herziening nodig hebben. Die voorbereiding maakt het gegenereerde resultaat toetsbaar aan concrete invoer. De gepubliceerde integratie verwacht een uitvoeromgeving die Qwen3 herkent; de kaart waarschuwt dat Transformers-versies onder 4.51.0 de vereiste architectuur niet herkennen.
De FP8-notitie beschrijft fijnmazige kwantisatie met blokgrootte 128. De checkpointconfiguratie identificeert ook de FP8-kwantisatie-instelling. De ontwikkelaar noemt Transformers, SGLang en vLLM voor inferentie, maar wijst op een probleem met fijnmazige FP8 bij gedistribueerde Transformers-inferentie en merkt op dat gebruik op meerdere apparaten CUDA_LAUNCH_BLOCKING=1 nodig kan hebben. Houd dit compatibiliteitsaandachtspunt gescheiden van de tekstmogelijkheden. De gekwantiseerde identiteit bewijst op zichzelf geen gemeten vertraging, hardwarebesparing of gelijkwaardigheid van antwoorden met het oorspronkelijke checkpoint.
Thinking is standaard ingeschakeld in het aangeleverde sjabloon. Een harde non-Thinking-instelling onderdrukt het redeneergedeelte. Als Thinking ingeschakeld blijft, bieden /think en /no_think tekstuele controle voor opeenvolgende beurten, waarbij de nieuwste instructie geldt; ze kunnen een harde uitschakeling niet overrulen. Vraag redeneren als het model tegenstrijdige voorwaarden moet onderzoeken en gebruik vervolgens een direct vervolg om het aanvaarde resultaat beknopt te presenteren. Houd het eindantwoord apart en gebruik dat, niet het eerdere redeneren, als geschiedenis voor latere beurten. Als Thinking is ingeschakeld, behoudt zelfs een tekstueel non-Thinking-verzoek een redeneerblok; de inhoud kan leeg zijn. De harde uitschakeling verwijdert het blok.
De kaart omvat gebruik met agents en raadt Qwen-Agent aan voor toolopmaak en parsing. Een toepassing levert tooldefinities, controleert aanroepen, voert ze uit en retourneert resultaten. In het validatievoorbeeld kan een gecontroleerde testuitvoerder de voorgestelde code aan de aangeleverde gevallen toetsen. Vraag het model de daadwerkelijke geslaagde en mislukte resultaten samen te vatten en een benoemde falende voorwaarde te herzien. De uitvoer hoort een voorgestelde aanroep niet als bewijs van uitvoering te behandelen. Bepaal de toegestane scope en uitvoervelden van de tool voordat het proces begint. De Qwen3-gids beschrijft ook parallelle en meerstapsaanroepen, met argumenten als objecten en resultaten teruggeleverd aan het gesprek.
De exacte kaart vermeldt 32.768 native contexttokens en 131.072 met YaRN. Uitbreiding hangt van de configuratie af; statische schaling kan kortere teksten beïnvloeden. Zowel invoer als het gegenereerde resultaat nemen sequentiebudget in. Label lange brononderdelen en reserveer voldoende ruimte voor de vereiste code en uitleg. Gepubliceerde uitvoervoorbeelden en aanbevolen lengten leggen geen universele harde uitvoergrens vast. Beoordeel bij langere generatie of het resultaat samenhangend blijft en aan de taakvereisten voldoet. De Qwen3-documentatie bespreekt assistentberichten van 38.912 tokens in Thinking-modus en 16.384 in non-Thinking-modus in de uitleg over trainingslengten en raadt aan de kwaliteit van langere generatie te beoordelen. Deze cijfers verschillen van het volledige contextvenster en zijn geen harde endpointgebonden limiet. De kaart legt ook de standaardpositietoewijzing van 40.960 tokens uit als 8.192 voor gebruikelijke prompts plus 32.768 voor uitvoer; dit is configuratieadvies van de ontwikkelaar, los van de native trainingscontext en iedere endpointlimiet.
De aanbevolen samplinginstellingen zijn temperature 0,6, top-p 0,95, top-k 20 en min-p 0 voor Thinking en 0,7, 0,8, 20 en 0 voor directe modus. De ontwikkelaar waarschuwt tegen greedy redeneren vanwege herhaling; hoge presence penalties kunnen soms talen mengen. Eis een eindantwoord dat onderzocht kan worden, zoals een beslissingstabel, de voltooide functie en een lijst met gevallen. Valideer geretourneerde gestructureerde velden, toets berekeningen aan de bron en voer code in de bedoelde omgeving uit, met behoud van deze exacte FP8-identiteit bij het registreren van resultaten.
", "aboutText": "Qwen3-32B-FP8 is het officiële FP8-checkpoint van het dense taalmodel Qwen3-32B. De ontwikkelaar beschrijft wiskunde, logisch redeneren, codegeneratie, creatief schrijven, rolgebaseerde dialoog en instructies volgen over meerdere beurten. De familie ondersteunt meer dan 100 talen en dialecten. Invoer en uitvoer zijn tekst en dezelfde release biedt zowel Thinking als directe antwoorden.\n\nDit model heeft 32,8 miljard parameters, waarvan 31,2 miljard buiten embeddings, en 64 lagen. De grouped-query attention bevat 64 querykoppen en acht sleutel/waarde-koppen. Het is een dense architectuur, onderscheiden van de mixture-of-experts-releases van Qwen3 met totale en actieve parameteraantallen. FP8 maakt ook deel uit van de exacte editie-identiteit. Geef een ontwikkelassistent een functie, specificatie en verschillende invoervoorbeelden en vraag vervolgens uitleg van het huidige gedrag en een herziene implementatie die de afgesproken interface behoudt. Lever voor een redactietaak de daadwerkelijke bron, beoogde lezer en terminologie aan in plaats van op een niet-gespecificeerde achtergrond te vertrouwen.\n\nDe snelstart van de ontwikkelaar gebruikt het aangewezen chatsjabloon. Scheid de taak van het aangeleverde materiaal en specificeer de eindvorm. Een nuttige analyseaanvraag kan twee methoden voor gegevensvalidatie vergelijken met dezelfde veldregels, aangeven welke gevallen elk accepteert en een voorgestelde validatiefunctie retourneren. Voeg afspraken over ontbrekende waarden, representatieve gegevens en vereiste foutmeldingen toe. Geef voor meertalige inhoud een woordenlijst en vraag een vertaling plus een lijst met termen die herziening nodig hebben. Die voorbereiding maakt het gegenereerde resultaat toetsbaar aan concrete invoer. De gepubliceerde integratie verwacht een uitvoeromgeving die Qwen3 herkent; de kaart waarschuwt dat Transformers-versies onder 4.51.0 de vereiste architectuur niet herkennen.\n\nDe FP8-notitie beschrijft fijnmazige kwantisatie met blokgrootte 128. De checkpointconfiguratie identificeert ook de FP8-kwantisatie-instelling. De ontwikkelaar noemt Transformers, SGLang en vLLM voor inferentie, maar wijst op een probleem met fijnmazige FP8 bij gedistribueerde Transformers-inferentie en merkt op dat gebruik op meerdere apparaten CUDA_LAUNCH_BLOCKING=1 nodig kan hebben. Houd dit compatibiliteitsaandachtspunt gescheiden van de tekstmogelijkheden. De gekwantiseerde identiteit bewijst op zichzelf geen gemeten vertraging, hardwarebesparing of gelijkwaardigheid van antwoorden met het oorspronkelijke checkpoint.\n\nThinking is standaard ingeschakeld in het aangeleverde sjabloon. Een harde non-Thinking-instelling onderdrukt het redeneergedeelte. Als Thinking ingeschakeld blijft, bieden /think en /no_think tekstuele controle voor opeenvolgende beurten, waarbij de nieuwste instructie geldt; ze kunnen een harde uitschakeling niet overrulen. Vraag redeneren als het model tegenstrijdige voorwaarden moet onderzoeken en gebruik vervolgens een direct vervolg om het aanvaarde resultaat beknopt te presenteren. Houd het eindantwoord apart en gebruik dat, niet het eerdere redeneren, als geschiedenis voor latere beurten. Als Thinking is ingeschakeld, behoudt zelfs een tekstueel non-Thinking-verzoek een redeneerblok; de inhoud kan leeg zijn. De harde uitschakeling verwijdert het blok.\n\nDe kaart omvat gebruik met agents en raadt Qwen-Agent aan voor toolopmaak en parsing. Een toepassing levert tooldefinities, controleert aanroepen, voert ze uit en retourneert resultaten. In het validatievoorbeeld kan een gecontroleerde testuitvoerder de voorgestelde code aan de aangeleverde gevallen toetsen. Vraag het model de daadwerkelijke geslaagde en mislukte resultaten samen te vatten en een benoemde falende voorwaarde te herzien. De uitvoer hoort een voorgestelde aanroep niet als bewijs van uitvoering te behandelen. Bepaal de toegestane scope en uitvoervelden van de tool voordat het proces begint. De Qwen3-gids beschrijft ook parallelle en meerstapsaanroepen, met argumenten als objecten en resultaten teruggeleverd aan het gesprek.\n\nDe exacte kaart vermeldt 32.768 native contexttokens en 131.072 met YaRN. Uitbreiding hangt van de configuratie af; statische schaling kan kortere teksten beïnvloeden. Zowel invoer als het gegenereerde resultaat nemen sequentiebudget in. Label lange brononderdelen en reserveer voldoende ruimte voor de vereiste code en uitleg. Gepubliceerde uitvoervoorbeelden en aanbevolen lengten leggen geen universele harde uitvoergrens vast. Beoordeel bij langere generatie of het resultaat samenhangend blijft en aan de taakvereisten voldoet. De Qwen3-documentatie bespreekt assistentberichten van 38.912 tokens in Thinking-modus en 16.384 in non-Thinking-modus in de uitleg over trainingslengten en raadt aan de kwaliteit van langere generatie te beoordelen. Deze cijfers verschillen van het volledige contextvenster en zijn geen harde endpointgebonden limiet. De kaart legt ook de standaardpositietoewijzing van 40.960 tokens uit als 8.192 voor gebruikelijke prompts plus 32.768 voor uitvoer; dit is configuratieadvies van de ontwikkelaar, los van de native trainingscontext en iedere endpointlimiet.\n\nDe aanbevolen samplinginstellingen zijn temperature 0,6, top-p 0,95, top-k 20 en min-p 0 voor Thinking en 0,7, 0,8, 20 en 0 voor directe modus. De ontwikkelaar waarschuwt tegen greedy redeneren vanwege herhaling; hoge presence penalties kunnen soms talen mengen. Eis een eindantwoord dat onderzocht kan worden, zoals een beslissingstabel, de voltooide functie en een lijst met gevallen. Valideer geretourneerde gestructureerde velden, toets berekeningen aan de bron en voer code in de bedoelde omgeving uit, met behoud van deze exacte FP8-identiteit bij het registreren van resultaten.", "editorialOverlay": { "copy_fields": { "practical_html": "Technisch voorbeeld in het Engels
Compare missing-value validators\n\nCompare two Python validators for an optional quantity: A uses if not value: return None; B uses if value is None: return None. Requirement: None means omitted, integer zero is valid, and negative quantities are invalid. Explain each validator's behavior for None, 0 and -1, then propose a complete function with explicit validation errors.A three-input comparison table and a proposed function implementing the supplied rules.Check zero is preserved rather than treated as missing, and negatives are rejected explicitly.qwen/qwen3-32b-fp8Qwen3-32B-FP8 is de fijnmazige FP8-editie van het dense tekstmodel Qwen3 met 32,8 miljard parameters. Het combineert directe en Thinking-antwoorden voor meertalig schrijven, code en analyse, met afzonderlijke checkpoint- en compatibiliteitsdetails.
Deze beschrijving gaat over de mogelijkheden van het model. De via Ailoot beschikbare invoer, uitvoer en opties staan hieronder voor de geselecteerde methode.
Qwen3-32B-FP8 is het officiële FP8-checkpoint van het dense taalmodel Qwen3-32B. De ontwikkelaar beschrijft wiskunde, logisch redeneren, codegeneratie, creatief schrijven, rolgebaseerde dialoog en instructies volgen over meerdere beurten. De familie ondersteunt meer dan 100 talen en dialecten. Invoer en uitvoer zijn tekst en dezelfde release biedt zowel Thinking als directe antwoorden.
Dit model heeft 32,8 miljard parameters, waarvan 31,2 miljard buiten embeddings, en 64 lagen. De grouped-query attention bevat 64 querykoppen en acht sleutel/waarde-koppen. Het is een dense architectuur, onderscheiden van de mixture-of-experts-releases van Qwen3 met totale en actieve parameteraantallen. FP8 maakt ook deel uit van de exacte editie-identiteit. Geef een ontwikkelassistent een functie, specificatie en verschillende invoervoorbeelden en vraag vervolgens uitleg van het huidige gedrag en een herziene implementatie die de afgesproken interface behoudt. Lever voor een redactietaak de daadwerkelijke bron, beoogde lezer en terminologie aan in plaats van op een niet-gespecificeerde achtergrond te vertrouwen.
De snelstart van de ontwikkelaar gebruikt het aangewezen chatsjabloon. Scheid de taak van het aangeleverde materiaal en specificeer de eindvorm. Een nuttige analyseaanvraag kan twee methoden voor gegevensvalidatie vergelijken met dezelfde veldregels, aangeven welke gevallen elk accepteert en een voorgestelde validatiefunctie retourneren. Voeg afspraken over ontbrekende waarden, representatieve gegevens en vereiste foutmeldingen toe. Geef voor meertalige inhoud een woordenlijst en vraag een vertaling plus een lijst met termen die herziening nodig hebben. Die voorbereiding maakt het gegenereerde resultaat toetsbaar aan concrete invoer. De gepubliceerde integratie verwacht een uitvoeromgeving die Qwen3 herkent; de kaart waarschuwt dat Transformers-versies onder 4.51.0 de vereiste architectuur niet herkennen.
De FP8-notitie beschrijft fijnmazige kwantisatie met blokgrootte 128. De checkpointconfiguratie identificeert ook de FP8-kwantisatie-instelling. De ontwikkelaar noemt Transformers, SGLang en vLLM voor inferentie, maar wijst op een probleem met fijnmazige FP8 bij gedistribueerde Transformers-inferentie en merkt op dat gebruik op meerdere apparaten CUDA_LAUNCH_BLOCKING=1 nodig kan hebben. Houd dit compatibiliteitsaandachtspunt gescheiden van de tekstmogelijkheden. De gekwantiseerde identiteit bewijst op zichzelf geen gemeten vertraging, hardwarebesparing of gelijkwaardigheid van antwoorden met het oorspronkelijke checkpoint.
Thinking is standaard ingeschakeld in het aangeleverde sjabloon. Een harde non-Thinking-instelling onderdrukt het redeneergedeelte. Als Thinking ingeschakeld blijft, bieden /think en /no_think tekstuele controle voor opeenvolgende beurten, waarbij de nieuwste instructie geldt; ze kunnen een harde uitschakeling niet overrulen. Vraag redeneren als het model tegenstrijdige voorwaarden moet onderzoeken en gebruik vervolgens een direct vervolg om het aanvaarde resultaat beknopt te presenteren. Houd het eindantwoord apart en gebruik dat, niet het eerdere redeneren, als geschiedenis voor latere beurten. Als Thinking is ingeschakeld, behoudt zelfs een tekstueel non-Thinking-verzoek een redeneerblok; de inhoud kan leeg zijn. De harde uitschakeling verwijdert het blok.
De kaart omvat gebruik met agents en raadt Qwen-Agent aan voor toolopmaak en parsing. Een toepassing levert tooldefinities, controleert aanroepen, voert ze uit en retourneert resultaten. In het validatievoorbeeld kan een gecontroleerde testuitvoerder de voorgestelde code aan de aangeleverde gevallen toetsen. Vraag het model de daadwerkelijke geslaagde en mislukte resultaten samen te vatten en een benoemde falende voorwaarde te herzien. De uitvoer hoort een voorgestelde aanroep niet als bewijs van uitvoering te behandelen. Bepaal de toegestane scope en uitvoervelden van de tool voordat het proces begint. De Qwen3-gids beschrijft ook parallelle en meerstapsaanroepen, met argumenten als objecten en resultaten teruggeleverd aan het gesprek.
De exacte kaart vermeldt 32.768 native contexttokens en 131.072 met YaRN. Uitbreiding hangt van de configuratie af; statische schaling kan kortere teksten beïnvloeden. Zowel invoer als het gegenereerde resultaat nemen sequentiebudget in. Label lange brononderdelen en reserveer voldoende ruimte voor de vereiste code en uitleg. Gepubliceerde uitvoervoorbeelden en aanbevolen lengten leggen geen universele harde uitvoergrens vast. Beoordeel bij langere generatie of het resultaat samenhangend blijft en aan de taakvereisten voldoet. De Qwen3-documentatie bespreekt assistentberichten van 38.912 tokens in Thinking-modus en 16.384 in non-Thinking-modus in de uitleg over trainingslengten en raadt aan de kwaliteit van langere generatie te beoordelen. Deze cijfers verschillen van het volledige contextvenster en zijn geen harde endpointgebonden limiet. De kaart legt ook de standaardpositietoewijzing van 40.960 tokens uit als 8.192 voor gebruikelijke prompts plus 32.768 voor uitvoer; dit is configuratieadvies van de ontwikkelaar, los van de native trainingscontext en iedere endpointlimiet.
De aanbevolen samplinginstellingen zijn temperature 0,6, top-p 0,95, top-k 20 en min-p 0 voor Thinking en 0,7, 0,8, 20 en 0 voor directe modus. De ontwikkelaar waarschuwt tegen greedy redeneren vanwege herhaling; hoge presence penalties kunnen soms talen mengen. Eis een eindantwoord dat onderzocht kan worden, zoals een beslissingstabel, de voltooide functie en een lijst met gevallen. Valideer geretourneerde gestructureerde velden, toets berekeningen aan de bron en voer code in de bedoelde omgeving uit, met behoud van deze exacte FP8-identiteit bij het registreren van resultaten.
POST /v1/chat/completionstexttext| Veld | Type | Vereiste | Waarden en limieten | Standaard |
|---|---|---|---|---|
Veldmodel | Typestring | VereisteVereist | Waarden en limieten qwen/qwen3-32b-fp8 | Standaard— |
Veldmessages | Typemessage[] | VereisteVereist | Waarden en limieten Minimumaantal items: 1 | Standaard— |
Veldmessages[].role | Typestring | VereisteVereist | Waarden en limieten Voorbeelden: system, user, assistant, tool, function Voorwaarden: Deze rollen worden expliciet weergegeven door compatibiliteitstypen in de broncode; de exacte rollenverzameling van het model blijft modelspecifiek. Afhankelijk van het model | Standaard— |
Veldmessages[].content | Typestring|content_part[]|null | VereisteOptioneel | Waarden en limieten | Standaard— |
Veldmessages[].tool_calls | Typetool_call[] | VereisteOptioneel | Waarden en limieten | Standaard— |
Veldmessages[].tool_call_id | Typestring | VereisteOptioneel | Waarden en limieten Geldt wanneer: role=tool; gebruik het werkelijk teruggegeven ID | Standaard— |
Veldmessages[].name | Typestring | VereisteOptioneel | Waarden en limieten | Standaard— |
Veldmessages[].reasoning_content | Typestring | VereisteOptioneel | Waarden en limieten Geldt wanneer: Stuur de werkelijk teruggegeven redeneringen terug wanneer dit model ze gebruikt | Standaard— |
Veldmessages[].reasoning_details | Typeobject|array | VereisteOptioneel | Waarden en limieten Afhankelijk van het model | Standaard— |
Veldmax_tokens | Typeinteger | VereisteOptioneel | Waarden en limieten Minimum: 1 Afhankelijk van het model | Standaard— |
Veldmax_completion_tokens | Typeinteger | VereisteOptioneel | Waarden en limieten Minimum: 1 Afhankelijk van het model | Standaard— |
Veldstream | Typeboolean | VereisteOptioneel | Waarden en limieten | Standaardfalse |
Veldstream_options.include_usage | Typeboolean | VereisteOptioneel | Waarden en limieten Afhankelijk van het model | Standaard— |
Veldtemperature | Typenumber | VereisteOptioneel | Waarden en limieten Afhankelijk van het model | Standaard— |
Veldtop_p | Typenumber | VereisteOptioneel | Waarden en limieten Afhankelijk van het model | Standaard— |
Veldstop | Typestring|string[] | VereisteOptioneel | Waarden en limieten Afhankelijk van het model | Standaard— |
Veldtools | Typefunction_tool[] | VereisteOptioneel | Waarden en limieten Afhankelijk van het model | Standaard— |
Veldtools[].type | Typestring | VereisteOptioneel | Waarden en limieten function Afhankelijk van het model | Standaard— |
Veldtools[].function.name | Typestring | VereisteVereist | Waarden en limieten Geldt wanneer: functietool opgegeven | Standaard— |
Veldtools[].function.description | Typestring | VereisteOptioneel | Waarden en limieten | Standaard— |
Veldtools[].function.parameters | TypeJSON_schema | VereisteOptioneel | Waarden en limieten | Standaard— |
Veldtool_choice | Typestring|object | VereisteOptioneel | Waarden en limieten Afhankelijk van het model | Standaard— |
Veldparallel_tool_calls | Typeboolean | VereisteOptioneel | Waarden en limieten Afhankelijk van het model | Standaard— |
Veldresponse_format | Typeobject | VereisteOptioneel | Waarden en limieten Afhankelijk van het model | Standaard— |
Veldreasoning_effort | Typestring | VereisteOptioneel | Waarden en limieten Afhankelijk van het model | Standaard— |
Veldreasoning | Typeobject | VereisteOptioneel | Waarden en limieten Afhankelijk van het model | Standaard— |
Veldservice_tier | Typestring | VereisteOptioneel | Waarden en limieten Afhankelijk van het model | Standaard— |
Veldinstructions | Typestring | VereisteOptioneel | Waarden en limieten Compatibiliteitsveld | Standaard— |
Veldfunctions | Typefunction[] | VereisteOptioneel | Waarden en limieten Afhankelijk van het model | Standaard— |
Veldfunction_call | Typestring|object | VereisteOptioneel | Waarden en limieten Afhankelijk van het model | Standaard— |
Veldprompt_cache_options | Typeobject | VereisteOptioneel | Waarden en limieten Afhankelijk van het model | Standaard— |
Veldmodalities | Typestring[] | VereisteOptioneel | Waarden en limieten text | Standaard— |
Veldprovider | Typeobject | VereisteOptioneel | Waarden en limieten Voorwaarden: provider.options wordt op deze Ultra-tekstroute geweigerd | Standaard— |
Veldcache_control.ttl | Typestring | VereisteOptioneel | Waarden en limieten Voorwaarden: 1h wordt op de daadwerkelijke locaties voor promptcaching geweigerd | Standaard— |
Tekst · UTF8-tekst
messages[].content
| Parameter | Contract |
|---|---|
Parametercontent_type | Contractapplication/json |
Parameterrequired | Contractmodel, messages |
Parametermaterial_types | Contracttext |
Parametermessages | Contractberichtenarray met de structuur role/content |
Parameterfile_material | Contractwerkelijk UTF-8-document ingevoegd als letterlijke tekst; er wordt geen bestands-ID afgeleid |
Parameteroptional_controls | Contractstream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
Parametercontrol_scope | Contractmodelspecifiek; functietools van de gebruiker verschillen van gehoste tools |
Parameteroutput_modalities | Contracttext |
Parameterhosted_operations | Contractfalse |
Parametermultimodal_input_binding | Contractnull |
Levenscyclus: synchronous_or_streamed
Stuur het exacte model-ID mee met messages.
Contextlengte is geen uitvoerlimiet.
Een tekstbestand kan letterlijke tekst aanleveren; beeld-, audio- en bestandsobjectinvoer vereisen een exacte koppeling.
Tariefverwijzingen voegen geen verzoekopties toe. Ondersteunde parameters staan bij de geselecteerde methode.
| Configuratie | Tariefstaffel | Kosten |
|---|---|---|
| ConfiguratieBasistarieven voor tokens | TariefstaffelBasistarief | Kosten Invoer · Invoertokens $0.0002 / 1K tokens Uitvoer · Uitvoertokens $0.001 / 1K tokens Invoer · Cache lezen $0 / 1K tokens Invoer · Cache schrijven $0 / 1K tokens Invoer · Cache schrijven, 1 uur — / 1K tokens |
Ailoot reserveert vóór een verzoek een geschat bedrag. Na het resultaat worden de uiteindelijke kosten afgerekend op basis van het gemeten verbruik. Bij streaming gebeurt de afrekening op basis van de definitieve verbruiksregistratie. Zo werken reservering en afrekening →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "qwen/qwen3-32b-fp8", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='qwen/qwen3-32b-fp8',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='qwen/qwen3-32b-fp8',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson of SSE
Bewaar elk volledig teruggegeven antwoord, bestand en inhoudsonderdeel.
Bewaar elke keuze en de bijbehorende inhoud, toolaanroepen en redeneringen. Voeg in SSE delta’s samen per keuze-/toolindex en bewaar de uiteindelijke reden van beëindiging en de verbruiksgegevens.
Bewaar aanvraag-/antwoord-ID’s en headers. Er wordt geen algemene URL meegeleverd om teksttaken op te halen.
| Veld | Type |
|---|---|
Veldchoices[].index | Typeinteger |
Veldchoices[].message.content | Typestring|null |
Veldchoices[].message.tool_calls | Typetool_call[] |
Veldchoices[].message.reasoning_content | Typestring |
Veldchoices[].message.reasoning_details | Typeobject|array |
Veldchoices[].finish_reason | Typestring|null |
Veldusage | Typeobject |
| Antwoord | Voorwaarde | Volgende stap |
|---|---|---|
Antwoord400 · invalid_request_error | VoorwaardeVerplichte velden, de materiaalrepresentatie of een parameterwaarde zijn ongeldig | Volgende stapCorrigeer de aangegeven velden vóór een nieuwe aanmaakaanvraag. |
Ailoot Ultra qwen/qwen3-32b-fp8
Gebruik de hierboven getoonde methodepaden.
qwen/qwen3-32b-fp8Qwen3-32B-FP8 is de fijnmazige FP8-editie van het dense tekstmodel Qwen3 met 32,8 miljard parameters. Het combineert directe en Thinking-antwoorden voor meertalig schrijven, code en analyse, met afzonderlijke checkpoint- en compatibiliteitsdetails.
Deze beschrijving gaat over de mogelijkheden van het model. De via Ailoot beschikbare invoer, uitvoer en opties staan hieronder voor de geselecteerde methode.
Qwen3-32B-FP8 is het officiële FP8-checkpoint van het dense taalmodel Qwen3-32B. De ontwikkelaar beschrijft wiskunde, logisch redeneren, codegeneratie, creatief schrijven, rolgebaseerde dialoog en instructies volgen over meerdere beurten. De familie ondersteunt meer dan 100 talen en dialecten. Invoer en uitvoer zijn tekst en dezelfde release biedt zowel Thinking als directe antwoorden.
Dit model heeft 32,8 miljard parameters, waarvan 31,2 miljard buiten embeddings, en 64 lagen. De grouped-query attention bevat 64 querykoppen en acht sleutel/waarde-koppen. Het is een dense architectuur, onderscheiden van de mixture-of-experts-releases van Qwen3 met totale en actieve parameteraantallen. FP8 maakt ook deel uit van de exacte editie-identiteit. Geef een ontwikkelassistent een functie, specificatie en verschillende invoervoorbeelden en vraag vervolgens uitleg van het huidige gedrag en een herziene implementatie die de afgesproken interface behoudt. Lever voor een redactietaak de daadwerkelijke bron, beoogde lezer en terminologie aan in plaats van op een niet-gespecificeerde achtergrond te vertrouwen.
De snelstart van de ontwikkelaar gebruikt het aangewezen chatsjabloon. Scheid de taak van het aangeleverde materiaal en specificeer de eindvorm. Een nuttige analyseaanvraag kan twee methoden voor gegevensvalidatie vergelijken met dezelfde veldregels, aangeven welke gevallen elk accepteert en een voorgestelde validatiefunctie retourneren. Voeg afspraken over ontbrekende waarden, representatieve gegevens en vereiste foutmeldingen toe. Geef voor meertalige inhoud een woordenlijst en vraag een vertaling plus een lijst met termen die herziening nodig hebben. Die voorbereiding maakt het gegenereerde resultaat toetsbaar aan concrete invoer. De gepubliceerde integratie verwacht een uitvoeromgeving die Qwen3 herkent; de kaart waarschuwt dat Transformers-versies onder 4.51.0 de vereiste architectuur niet herkennen.
De FP8-notitie beschrijft fijnmazige kwantisatie met blokgrootte 128. De checkpointconfiguratie identificeert ook de FP8-kwantisatie-instelling. De ontwikkelaar noemt Transformers, SGLang en vLLM voor inferentie, maar wijst op een probleem met fijnmazige FP8 bij gedistribueerde Transformers-inferentie en merkt op dat gebruik op meerdere apparaten CUDA_LAUNCH_BLOCKING=1 nodig kan hebben. Houd dit compatibiliteitsaandachtspunt gescheiden van de tekstmogelijkheden. De gekwantiseerde identiteit bewijst op zichzelf geen gemeten vertraging, hardwarebesparing of gelijkwaardigheid van antwoorden met het oorspronkelijke checkpoint.
Thinking is standaard ingeschakeld in het aangeleverde sjabloon. Een harde non-Thinking-instelling onderdrukt het redeneergedeelte. Als Thinking ingeschakeld blijft, bieden /think en /no_think tekstuele controle voor opeenvolgende beurten, waarbij de nieuwste instructie geldt; ze kunnen een harde uitschakeling niet overrulen. Vraag redeneren als het model tegenstrijdige voorwaarden moet onderzoeken en gebruik vervolgens een direct vervolg om het aanvaarde resultaat beknopt te presenteren. Houd het eindantwoord apart en gebruik dat, niet het eerdere redeneren, als geschiedenis voor latere beurten. Als Thinking is ingeschakeld, behoudt zelfs een tekstueel non-Thinking-verzoek een redeneerblok; de inhoud kan leeg zijn. De harde uitschakeling verwijdert het blok.
De kaart omvat gebruik met agents en raadt Qwen-Agent aan voor toolopmaak en parsing. Een toepassing levert tooldefinities, controleert aanroepen, voert ze uit en retourneert resultaten. In het validatievoorbeeld kan een gecontroleerde testuitvoerder de voorgestelde code aan de aangeleverde gevallen toetsen. Vraag het model de daadwerkelijke geslaagde en mislukte resultaten samen te vatten en een benoemde falende voorwaarde te herzien. De uitvoer hoort een voorgestelde aanroep niet als bewijs van uitvoering te behandelen. Bepaal de toegestane scope en uitvoervelden van de tool voordat het proces begint. De Qwen3-gids beschrijft ook parallelle en meerstapsaanroepen, met argumenten als objecten en resultaten teruggeleverd aan het gesprek.
De exacte kaart vermeldt 32.768 native contexttokens en 131.072 met YaRN. Uitbreiding hangt van de configuratie af; statische schaling kan kortere teksten beïnvloeden. Zowel invoer als het gegenereerde resultaat nemen sequentiebudget in. Label lange brononderdelen en reserveer voldoende ruimte voor de vereiste code en uitleg. Gepubliceerde uitvoervoorbeelden en aanbevolen lengten leggen geen universele harde uitvoergrens vast. Beoordeel bij langere generatie of het resultaat samenhangend blijft en aan de taakvereisten voldoet. De Qwen3-documentatie bespreekt assistentberichten van 38.912 tokens in Thinking-modus en 16.384 in non-Thinking-modus in de uitleg over trainingslengten en raadt aan de kwaliteit van langere generatie te beoordelen. Deze cijfers verschillen van het volledige contextvenster en zijn geen harde endpointgebonden limiet. De kaart legt ook de standaardpositietoewijzing van 40.960 tokens uit als 8.192 voor gebruikelijke prompts plus 32.768 voor uitvoer; dit is configuratieadvies van de ontwikkelaar, los van de native trainingscontext en iedere endpointlimiet.
De aanbevolen samplinginstellingen zijn temperature 0,6, top-p 0,95, top-k 20 en min-p 0 voor Thinking en 0,7, 0,8, 20 en 0 voor directe modus. De ontwikkelaar waarschuwt tegen greedy redeneren vanwege herhaling; hoge presence penalties kunnen soms talen mengen. Eis een eindantwoord dat onderzocht kan worden, zoals een beslissingstabel, de voltooide functie en een lijst met gevallen. Valideer geretourneerde gestructureerde velden, toets berekeningen aan de bron en voer code in de bedoelde omgeving uit, met behoud van deze exacte FP8-identiteit bij het registreren van resultaten.
POST /v1/messagestextjson, sse| Veld | Type | Vereiste | Waarden en limieten | Standaard |
|---|---|---|---|---|
Veldmodel | Typestring | VereisteVereist | Waarden en limieten qwen/qwen3-32b-fp8 | Standaard— |
Veldmessages | Typemessage[] | VereisteVereist | Waarden en limieten | Standaard— |
Veldmessages[].role | Typestring | VereisteVereist | Waarden en limieten user, assistant | Standaard— |
Veldmessages[].content | Typestring | VereisteVereist | Waarden en limieten | Standaard— |
Veldmax_tokens | Typeinteger | VereisteVereist | Waarden en limieten | Standaard— |
Veldstream | Typeboolean | VereisteOptioneel | Waarden en limieten | Standaardfalse |
Tekst · UTF-8-tekst
messages[].content als tekenreeks
| Parameter | Contract |
|---|---|
Parametercontent_type | Contractapplication/json |
Parameterrequired | Contractmodel, messages, max_tokens |
Parameteroptional_controls | Contractstream |
Parametermaterial_types | Contracttext |
Parametertext_file_material | ContractLees het werkelijke UTF-8-document en plaats de tekst ervan in de aangegeven invoer of in de inhoudstekenreeks van een bericht. |
Levenscyclus: synchronous_or_streamed
Tariefverwijzingen voegen geen verzoekopties toe. Ondersteunde parameters staan bij de geselecteerde methode.
| Configuratie | Tariefstaffel | Kosten |
|---|---|---|
| ConfiguratieBasistarieven voor tokens | TariefstaffelBasistarief | Kosten Invoer · Invoertokens $0.0002 / 1K tokens Uitvoer · Uitvoertokens $0.001 / 1K tokens Invoer · Cache lezen $0 / 1K tokens Invoer · Cache schrijven $0 / 1K tokens Invoer · Cache schrijven, 1 uur — / 1K tokens |
Ailoot reserveert vóór een verzoek een geschat bedrag. Na het resultaat worden de uiteindelijke kosten afgerekend op basis van het gemeten verbruik. Bij streaming gebeurt de afrekening op basis van de definitieve verbruiksregistratie. Zo werken reservering en afrekening →
{\n "model": "qwen/qwen3-32b-fp8",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'qwen/qwen3-32b-fp8', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'qwen/qwen3-32b-fp8', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON of SSE
Bewaar elk volledig teruggegeven antwoord, bestand en inhoudsonderdeel.
Bewaar alle inhoudsblokken, handtekeningen van redeneringen en werkelijke toolgebruik-ID’s. Voeg alle SSE-blokdelta’s samen; het eerste tekstblok is niet de volledige uitvoer.
Bewaar aanvraag-/antwoord-ID’s en headers. Er wordt geen algemene URL meegeleverd om teksttaken op te halen.
| Veld | Type |
|---|---|
Veldid | Typestring |
Veldmodel | Typestring |
Veldcontent[] | Typetext|thinking|tool_use|other content block |
Veldstop_reason | Typestring|null |
Veldusage | Typeobject |
| Antwoord | Voorwaarde | Volgende stap |
|---|---|---|
Antwoord400 · invalid_request_error | VoorwaardeVerplichte velden, de materiaalrepresentatie of een parameterwaarde zijn ongeldig | Volgende stapCorrigeer de aangegeven velden vóór een nieuwe aanmaakaanvraag. |
Ailoot Ultra qwen/qwen3-32b-fp8
Gebruik de hierboven getoonde methodepaden.
Technisch voorbeeld in het Engels
Compare missing-value validators\n\nCompare two Python validators for an optional quantity: A uses if not value: return None; B uses if value is None: return None. Requirement: None means omitted, integer zero is valid, and negative quantities are invalid. Explain each validator's behavior for None, 0 and -1, then propose a complete function with explicit validation errors.A three-input comparison table and a proposed function implementing the supplied rules.Check zero is preserved rather than treated as missing, and negatives are rejected explicitly.