Qwen3-32B-FP8 er det officielle FP8-checkpoint for den tætte sprogmodel Qwen3-32B. Producenten beskriver matematik, logisk ræsonnering, kodegenerering, kreativ skrivning, rollebaseret dialog og instruktionsfølgning på tværs af flere ture. Familien understøtter mere end 100 sprog og dialekter. Input og output er tekst, og den samme udgave giver både tænkende og direkte svaradfærd.
Denne model har 32,8 milliarder parametre, heraf 31,2 milliarder uden for embeddings, og 64 lag. Dens grouped-query attention indeholder 64 query-hoveder og otte key/value-hoveder. Det er en tæt arkitektur, særskilt fra Qwen3s mixture-of-experts-udgaver med samlede og aktiverede parameterantal. FP8 er også en del af den præcise udgaveidentitet. Giv en udviklingsassistent en funktion, en specifikation og flere input, og bed derefter om en forklaring af den aktuelle adfærd og en revideret implementering, der bevarer den aftalte grænseflade. Til en redaktionel opgave skal du angive den faktiske kilde, den tilsigtede læser og terminologien frem for at stole på en uspecificeret baggrund.
Producentens hurtigstart bruger den udpegede chatskabelon. Adskil opgaven fra de angivne materialer, og specificér den endelige form. En nyttig analyseanmodning kan sammenligne to datavalideringsmetoder med de samme feltregler, identificere de tilfælde, hver metode accepterer, og returnere et forslag til en valideringsfunktion. Medtag regler for manglende værdier, repræsentative data og de påkrævede fejlmeddelelser. Til flersproget indhold skal du angive en ordliste og bede om en oversættelse samt en liste over termer, der kræver gennemgang. Denne forberedelse gør det genererede resultat kontrollerbart mod et konkret input. Den offentliggjorte integration forventer et Qwen3-kompatibelt kørselsmiljø; kortet advarer om, at Transformers-versioner under 4.51.0 ikke genkender den påkrævede arkitektur.
FP8-noten beskriver finkornet kvantisering med blokstørrelse 128. Checkpointkonfigurationen identificerer også dets FP8-kvantiseringsopsætning. Producenten angiver Transformers, SGLang og vLLM til inferens, men fremhæver et problem med distribueret inferens med finkornet FP8 i Transformers og bemærker, at brug af flere enheder kan kræve CUDA_LAUNCH_BLOCKING=1. Hold dette kompatibilitetsforbehold adskilt fra tekstegenskaberne. Den kvantiserede identitet fastlægger ikke i sig selv en målt latenstid, hardwarebesparelse eller ækvivalens mellem svar og det oprindelige checkpoint.
Tænkning er aktiveret som standard i den angivne skabelon. En hård ikke-tænkende indstilling undertrykker ræsonneringsafsnittet. Når tænkning fortsat er aktiveret, er /think og /no_think bløde kontroller til successive ture, hvor den seneste instruktion gælder; de kan ikke tilsidesætte en hård deaktivering. Bed om ræsonnering, når modellen skal undersøge modstridende betingelser, og brug derefter en direkte opfølgning til at præsentere det accepterede resultat kortfattet. Hold det endelige svar adskilt, og brug det endelige svar frem for tidligere ræsonnering som historik til senere ture. Med tænkning aktiveret bevarer selv en blød anmodning om ikke-tænkning en ræsonneringsblok; dens indhold kan være tomt. Hård deaktivering fjerner blokken.
Kortet omfatter agentbrug og anbefaler Qwen-Agent til værktøjsformatering og parsing. En applikation leverer værktøjsdefinitionerne, kontrollerer kald, udfører dem og returnerer resultater. I valideringseksemplet kan en kontrolleret testkører evaluere foreslået kode mod de angivne tilfælde. Bed modellen opsummere de faktiske beståede og fejlede resultater og revidere en navngiven fejlende betingelse. Dens output bør ikke behandle et foreslået kald som belæg for udførelse. Beslut værktøjets tilladte omfang og outputfelter, før forløbet begynder. Qwen3-guiden beskriver også parallelle værktøjskald og værktøjskald i flere trin med argumenter repræsenteret som objekter og resultater leveret tilbage til samtalen.
Det præcise kort angiver 32.768 native konteksttokens og 131.072 med YaRN. Udvidelse afhænger af konfigurationen; statisk skalering kan påvirke kortere tekster. Både input og det genererede resultat optager sekvensbudgettet. Mærk lange kildeafsnit, og afsæt nok plads til den påkrævede kode og forklaring. De offentliggjorte outputeksempler og anbefalede længder fastlægger ikke et universelt hårdt outputloft. Ved længere generering skal du vurdere, om resultatet forbliver sammenhængende og opfylder opgavens krav. Qwen3-dokumentationen behandler assistentbeskedlængder på 38.912 tokens i tænketilstand og 16.384 i ikke-tænkende tilstand i sin forklaring af træningslængder og anbefaler at vurdere kvaliteten af længere generering. Disse tal er forskellige fra det samlede kontekstvindue og er ikke en endpointspecifik hård grænse. Kortet forklarer også sin standardallokering af positioner på 40.960 tokens som 8.192 til typiske prompter plus 32.768 til output; dette er producentens konfigurationsvejledning, særskilt fra den native træningskontekst og enhver endpointgrænse.
De anbefalede samplingindstillinger er temperature 0.6, top-p 0.95, top-k 20 og min-p 0 til tænkning og 0.7, 0.8, 20 og 0 til direkte tilstand. Producenten advarer mod greedy-ræsonnering på grund af gentagelser; høje presence penalties kan nogle gange blande sprog. Kræv et endeligt svar, som kan undersøges, såsom en beslutningstabel, den færdige funktion og en liste over tilfælde. Validér returnerede strukturerede felter, kontrollér beregninger mod kilden, og kør kode i det tilsigtede miljø, mens den præcise FP8-identitet bevares ved registrering af resultaterne.
", "aboutText": "Qwen3-32B-FP8 er det officielle FP8-checkpoint for den tætte sprogmodel Qwen3-32B. Producenten beskriver matematik, logisk ræsonnering, kodegenerering, kreativ skrivning, rollebaseret dialog og instruktionsfølgning på tværs af flere ture. Familien understøtter mere end 100 sprog og dialekter. Input og output er tekst, og den samme udgave giver både tænkende og direkte svaradfærd.\n\nDenne model har 32,8 milliarder parametre, heraf 31,2 milliarder uden for embeddings, og 64 lag. Dens grouped-query attention indeholder 64 query-hoveder og otte key/value-hoveder. Det er en tæt arkitektur, særskilt fra Qwen3s mixture-of-experts-udgaver med samlede og aktiverede parameterantal. FP8 er også en del af den præcise udgaveidentitet. Giv en udviklingsassistent en funktion, en specifikation og flere input, og bed derefter om en forklaring af den aktuelle adfærd og en revideret implementering, der bevarer den aftalte grænseflade. Til en redaktionel opgave skal du angive den faktiske kilde, den tilsigtede læser og terminologien frem for at stole på en uspecificeret baggrund.\n\nProducentens hurtigstart bruger den udpegede chatskabelon. Adskil opgaven fra de angivne materialer, og specificér den endelige form. En nyttig analyseanmodning kan sammenligne to datavalideringsmetoder med de samme feltregler, identificere de tilfælde, hver metode accepterer, og returnere et forslag til en valideringsfunktion. Medtag regler for manglende værdier, repræsentative data og de påkrævede fejlmeddelelser. Til flersproget indhold skal du angive en ordliste og bede om en oversættelse samt en liste over termer, der kræver gennemgang. Denne forberedelse gør det genererede resultat kontrollerbart mod et konkret input. Den offentliggjorte integration forventer et Qwen3-kompatibelt kørselsmiljø; kortet advarer om, at Transformers-versioner under 4.51.0 ikke genkender den påkrævede arkitektur.\n\nFP8-noten beskriver finkornet kvantisering med blokstørrelse 128. Checkpointkonfigurationen identificerer også dets FP8-kvantiseringsopsætning. Producenten angiver Transformers, SGLang og vLLM til inferens, men fremhæver et problem med distribueret inferens med finkornet FP8 i Transformers og bemærker, at brug af flere enheder kan kræve CUDA_LAUNCH_BLOCKING=1. Hold dette kompatibilitetsforbehold adskilt fra tekstegenskaberne. Den kvantiserede identitet fastlægger ikke i sig selv en målt latenstid, hardwarebesparelse eller ækvivalens mellem svar og det oprindelige checkpoint.\n\nTænkning er aktiveret som standard i den angivne skabelon. En hård ikke-tænkende indstilling undertrykker ræsonneringsafsnittet. Når tænkning fortsat er aktiveret, er /think og /no_think bløde kontroller til successive ture, hvor den seneste instruktion gælder; de kan ikke tilsidesætte en hård deaktivering. Bed om ræsonnering, når modellen skal undersøge modstridende betingelser, og brug derefter en direkte opfølgning til at præsentere det accepterede resultat kortfattet. Hold det endelige svar adskilt, og brug det endelige svar frem for tidligere ræsonnering som historik til senere ture. Med tænkning aktiveret bevarer selv en blød anmodning om ikke-tænkning en ræsonneringsblok; dens indhold kan være tomt. Hård deaktivering fjerner blokken.\n\nKortet omfatter agentbrug og anbefaler Qwen-Agent til værktøjsformatering og parsing. En applikation leverer værktøjsdefinitionerne, kontrollerer kald, udfører dem og returnerer resultater. I valideringseksemplet kan en kontrolleret testkører evaluere foreslået kode mod de angivne tilfælde. Bed modellen opsummere de faktiske beståede og fejlede resultater og revidere en navngiven fejlende betingelse. Dens output bør ikke behandle et foreslået kald som belæg for udførelse. Beslut værktøjets tilladte omfang og outputfelter, før forløbet begynder. Qwen3-guiden beskriver også parallelle værktøjskald og værktøjskald i flere trin med argumenter repræsenteret som objekter og resultater leveret tilbage til samtalen.\n\nDet præcise kort angiver 32.768 native konteksttokens og 131.072 med YaRN. Udvidelse afhænger af konfigurationen; statisk skalering kan påvirke kortere tekster. Både input og det genererede resultat optager sekvensbudgettet. Mærk lange kildeafsnit, og afsæt nok plads til den påkrævede kode og forklaring. De offentliggjorte outputeksempler og anbefalede længder fastlægger ikke et universelt hårdt outputloft. Ved længere generering skal du vurdere, om resultatet forbliver sammenhængende og opfylder opgavens krav. Qwen3-dokumentationen behandler assistentbeskedlængder på 38.912 tokens i tænketilstand og 16.384 i ikke-tænkende tilstand i sin forklaring af træningslængder og anbefaler at vurdere kvaliteten af længere generering. Disse tal er forskellige fra det samlede kontekstvindue og er ikke en endpointspecifik hård grænse. Kortet forklarer også sin standardallokering af positioner på 40.960 tokens som 8.192 til typiske prompter plus 32.768 til output; dette er producentens konfigurationsvejledning, særskilt fra den native træningskontekst og enhver endpointgrænse.\n\nDe anbefalede samplingindstillinger er temperature 0.6, top-p 0.95, top-k 20 og min-p 0 til tænkning og 0.7, 0.8, 20 og 0 til direkte tilstand. Producenten advarer mod greedy-ræsonnering på grund af gentagelser; høje presence penalties kan nogle gange blande sprog. Kræv et endeligt svar, som kan undersøges, såsom en beslutningstabel, den færdige funktion og en liste over tilfælde. Validér returnerede strukturerede felter, kontrollér beregninger mod kilden, og kør kode i det tilsigtede miljø, mens den præcise FP8-identitet bevares ved registrering af resultaterne.", "editorialOverlay": { "copy_fields": { "practical_html": "Teknisk eksempel på engelsk
Compare missing-value validators\n\nCompare two Python validators for an optional quantity: A uses if not value: return None; B uses if value is None: return None. Requirement: None means omitted, integer zero is valid, and negative quantities are invalid. Explain each validator's behavior for None, 0 and -1, then propose a complete function with explicit validation errors.A three-input comparison table and a proposed function implementing the supplied rules.Check zero is preserved rather than treated as missing, and negatives are rejected explicitly.qwen/qwen3-32b-fp8Qwen3-32B-FP8 er udgaven med finkornet FP8 af Qwen3s tætte tekstmodel med 32,8 milliarder parametre. Den kombinerer direkte og tænkende svar til flersproget skrivning, kode og analyse med særskilte detaljer om checkpoint og kompatibilitet.
Denne beskrivelse dækker modellens funktioner. Tilgængelige input, output og indstillinger i Ailoot står nedenfor for den valgte metode.
Qwen3-32B-FP8 er det officielle FP8-checkpoint for den tætte sprogmodel Qwen3-32B. Producenten beskriver matematik, logisk ræsonnering, kodegenerering, kreativ skrivning, rollebaseret dialog og instruktionsfølgning på tværs af flere ture. Familien understøtter mere end 100 sprog og dialekter. Input og output er tekst, og den samme udgave giver både tænkende og direkte svaradfærd.
Denne model har 32,8 milliarder parametre, heraf 31,2 milliarder uden for embeddings, og 64 lag. Dens grouped-query attention indeholder 64 query-hoveder og otte key/value-hoveder. Det er en tæt arkitektur, særskilt fra Qwen3s mixture-of-experts-udgaver med samlede og aktiverede parameterantal. FP8 er også en del af den præcise udgaveidentitet. Giv en udviklingsassistent en funktion, en specifikation og flere input, og bed derefter om en forklaring af den aktuelle adfærd og en revideret implementering, der bevarer den aftalte grænseflade. Til en redaktionel opgave skal du angive den faktiske kilde, den tilsigtede læser og terminologien frem for at stole på en uspecificeret baggrund.
Producentens hurtigstart bruger den udpegede chatskabelon. Adskil opgaven fra de angivne materialer, og specificér den endelige form. En nyttig analyseanmodning kan sammenligne to datavalideringsmetoder med de samme feltregler, identificere de tilfælde, hver metode accepterer, og returnere et forslag til en valideringsfunktion. Medtag regler for manglende værdier, repræsentative data og de påkrævede fejlmeddelelser. Til flersproget indhold skal du angive en ordliste og bede om en oversættelse samt en liste over termer, der kræver gennemgang. Denne forberedelse gør det genererede resultat kontrollerbart mod et konkret input. Den offentliggjorte integration forventer et Qwen3-kompatibelt kørselsmiljø; kortet advarer om, at Transformers-versioner under 4.51.0 ikke genkender den påkrævede arkitektur.
FP8-noten beskriver finkornet kvantisering med blokstørrelse 128. Checkpointkonfigurationen identificerer også dets FP8-kvantiseringsopsætning. Producenten angiver Transformers, SGLang og vLLM til inferens, men fremhæver et problem med distribueret inferens med finkornet FP8 i Transformers og bemærker, at brug af flere enheder kan kræve CUDA_LAUNCH_BLOCKING=1. Hold dette kompatibilitetsforbehold adskilt fra tekstegenskaberne. Den kvantiserede identitet fastlægger ikke i sig selv en målt latenstid, hardwarebesparelse eller ækvivalens mellem svar og det oprindelige checkpoint.
Tænkning er aktiveret som standard i den angivne skabelon. En hård ikke-tænkende indstilling undertrykker ræsonneringsafsnittet. Når tænkning fortsat er aktiveret, er /think og /no_think bløde kontroller til successive ture, hvor den seneste instruktion gælder; de kan ikke tilsidesætte en hård deaktivering. Bed om ræsonnering, når modellen skal undersøge modstridende betingelser, og brug derefter en direkte opfølgning til at præsentere det accepterede resultat kortfattet. Hold det endelige svar adskilt, og brug det endelige svar frem for tidligere ræsonnering som historik til senere ture. Med tænkning aktiveret bevarer selv en blød anmodning om ikke-tænkning en ræsonneringsblok; dens indhold kan være tomt. Hård deaktivering fjerner blokken.
Kortet omfatter agentbrug og anbefaler Qwen-Agent til værktøjsformatering og parsing. En applikation leverer værktøjsdefinitionerne, kontrollerer kald, udfører dem og returnerer resultater. I valideringseksemplet kan en kontrolleret testkører evaluere foreslået kode mod de angivne tilfælde. Bed modellen opsummere de faktiske beståede og fejlede resultater og revidere en navngiven fejlende betingelse. Dens output bør ikke behandle et foreslået kald som belæg for udførelse. Beslut værktøjets tilladte omfang og outputfelter, før forløbet begynder. Qwen3-guiden beskriver også parallelle værktøjskald og værktøjskald i flere trin med argumenter repræsenteret som objekter og resultater leveret tilbage til samtalen.
Det præcise kort angiver 32.768 native konteksttokens og 131.072 med YaRN. Udvidelse afhænger af konfigurationen; statisk skalering kan påvirke kortere tekster. Både input og det genererede resultat optager sekvensbudgettet. Mærk lange kildeafsnit, og afsæt nok plads til den påkrævede kode og forklaring. De offentliggjorte outputeksempler og anbefalede længder fastlægger ikke et universelt hårdt outputloft. Ved længere generering skal du vurdere, om resultatet forbliver sammenhængende og opfylder opgavens krav. Qwen3-dokumentationen behandler assistentbeskedlængder på 38.912 tokens i tænketilstand og 16.384 i ikke-tænkende tilstand i sin forklaring af træningslængder og anbefaler at vurdere kvaliteten af længere generering. Disse tal er forskellige fra det samlede kontekstvindue og er ikke en endpointspecifik hård grænse. Kortet forklarer også sin standardallokering af positioner på 40.960 tokens som 8.192 til typiske prompter plus 32.768 til output; dette er producentens konfigurationsvejledning, særskilt fra den native træningskontekst og enhver endpointgrænse.
De anbefalede samplingindstillinger er temperature 0.6, top-p 0.95, top-k 20 og min-p 0 til tænkning og 0.7, 0.8, 20 og 0 til direkte tilstand. Producenten advarer mod greedy-ræsonnering på grund af gentagelser; høje presence penalties kan nogle gange blande sprog. Kræv et endeligt svar, som kan undersøges, såsom en beslutningstabel, den færdige funktion og en liste over tilfælde. Validér returnerede strukturerede felter, kontrollér beregninger mod kilden, og kør kode i det tilsigtede miljø, mens den præcise FP8-identitet bevares ved registrering af resultaterne.
POST /v1/chat/completionstexttext| Felt | Type | Krav | Værdier og grænser | Standard |
|---|---|---|---|---|
Feltmodel | Typestring | KravPåkrævet | Værdier og grænser qwen/qwen3-32b-fp8 | Standard— |
Feltmessages | Typemessage[] | KravPåkrævet | Værdier og grænser Minimumsantal elementer: 1 | Standard— |
Feltmessages[].role | Typestring | KravPåkrævet | Værdier og grænser Eksempler: system, user, assistant, tool, function Betingelser: Disse roller er eksplicit repræsenteret i kildekodens kompatibilitetstyper; modellens præcise rollesæt er fortsat modelspecifikt. Afhænger af modellen | Standard— |
Feltmessages[].content | Typestring|content_part[]|null | KravValgfrit | Værdier og grænser | Standard— |
Feltmessages[].tool_calls | Typetool_call[] | KravValgfrit | Værdier og grænser | Standard— |
Feltmessages[].tool_call_id | Typestring | KravValgfrit | Værdier og grænser Gælder når: role=tool; brug det faktisk returnerede ID | Standard— |
Feltmessages[].name | Typestring | KravValgfrit | Værdier og grænser | Standard— |
Feltmessages[].reasoning_content | Typestring | KravValgfrit | Værdier og grænser Gælder når: Send det faktisk returnerede ræsonnement tilbage, når modellen bruger det | Standard— |
Feltmessages[].reasoning_details | Typeobject|array | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Feltmax_tokens | Typeinteger | KravValgfrit | Værdier og grænser Minimum: 1 Afhænger af modellen | Standard— |
Feltmax_completion_tokens | Typeinteger | KravValgfrit | Værdier og grænser Minimum: 1 Afhænger af modellen | Standard— |
Feltstream | Typeboolean | KravValgfrit | Værdier og grænser | Standardfalse |
Feltstream_options.include_usage | Typeboolean | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Felttemperature | Typenumber | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Felttop_p | Typenumber | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Feltstop | Typestring|string[] | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Felttools | Typefunction_tool[] | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Felttools[].type | Typestring | KravValgfrit | Værdier og grænser function Afhænger af modellen | Standard— |
Felttools[].function.name | Typestring | KravPåkrævet | Værdier og grænser Gælder når: funktionsværktøj angivet | Standard— |
Felttools[].function.description | Typestring | KravValgfrit | Værdier og grænser | Standard— |
Felttools[].function.parameters | TypeJSON_schema | KravValgfrit | Værdier og grænser | Standard— |
Felttool_choice | Typestring|object | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Feltparallel_tool_calls | Typeboolean | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Feltresponse_format | Typeobject | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Feltreasoning_effort | Typestring | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Feltreasoning | Typeobject | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Feltservice_tier | Typestring | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Feltinstructions | Typestring | KravValgfrit | Værdier og grænser Kompatibilitetsfelt | Standard— |
Feltfunctions | Typefunction[] | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Feltfunction_call | Typestring|object | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Feltprompt_cache_options | Typeobject | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Feltmodalities | Typestring[] | KravValgfrit | Værdier og grænser text | Standard— |
Feltprovider | Typeobject | KravValgfrit | Værdier og grænser Betingelser: provider.options afvises på denne Ultra-tekstrute | Standard— |
Feltcache_control.ttl | Typestring | KravValgfrit | Værdier og grænser Betingelser: 1h afvises på de faktiske placeringer for promptcaching | Standard— |
Tekst · UTF8-tekst
messages[].content
| Parameter | Kontrakt |
|---|---|
Parametercontent_type | Kontraktapplication/json |
Parameterrequired | Kontraktmodel, messages |
Parametermaterial_types | Kontrakttext |
Parametermessages | Kontraktbeskedarray med strukturen role/content |
Parameterfile_material | Kontraktfaktisk UTF-8-dokument indsat som bogstavelig tekst; intet fil-ID udledes |
Parameteroptional_controls | Kontraktstream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
Parametercontrol_scope | Kontraktmodelspecifikt; brugerens funktionsværktøjer er forskellige fra hostede værktøjer |
Parameteroutput_modalities | Kontrakttext |
Parameterhosted_operations | Kontraktfalse |
Parametermultimodal_input_binding | Kontraktnull |
Livscyklus: synchronous_or_streamed
Send det præcise model-ID med messages.
Kontekstlængde er ikke et outputloft.
En tekstfil kan levere bogstavelig tekst; billed-, lyd- og filobjektinput kræver en præcis binding.
Tarifoplysninger tilføjer ikke anmodningsmuligheder. Understøttede parametre står ved den valgte metode.
| Konfiguration | Takstplan | Beløb |
|---|---|---|
| KonfigurationGrundtakster for tokens | TakstplanGrundtakst | Beløb Input · Inputtokens $0.0002 / 1K tokens Output · Outputtokens $0.001 / 1K tokens Input · Cachelæsning $0 / 1K tokens Input · Cacheskrivning $0 / 1K tokens Input · Cacheskrivning, 1 time — / 1K tokens |
Ailoot reserverer et estimeret beløb før en anmodning. Efter resultatet afregnes det endelige beløb ud fra det målte forbrug. Ved streaming bruges den endelige forbrugsregistrering til afregningen. Sådan fungerer reservation og afregning →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "qwen/qwen3-32b-fp8", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='qwen/qwen3-32b-fp8',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='qwen/qwen3-32b-fp8',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson eller SSE
Gem hvert fuldstændigt returneret svar, hver fil og hver indholdsdel.
Bevar hvert valg og dets indhold, værktøjskald og ræsonnement. Saml i SSE deltaer efter valg-/værktøjsindeks, og bevar den endelige afslutningsårsag og forbrugsoplysningerne.
Bevar anmodnings-/svar-ID’er og headere. Der leveres ingen generel URL til at hente tekstjob.
| Felt | Type |
|---|---|
Feltchoices[].index | Typeinteger |
Feltchoices[].message.content | Typestring|null |
Feltchoices[].message.tool_calls | Typetool_call[] |
Feltchoices[].message.reasoning_content | Typestring |
Feltchoices[].message.reasoning_details | Typeobject|array |
Feltchoices[].finish_reason | Typestring|null |
Feltusage | Typeobject |
| Svar | Betingelse | Næste trin |
|---|---|---|
Svar400 · invalid_request_error | BetingelseUgyldige obligatoriske felter, materialerepræsentation eller parameterværdi | Næste trinRet de angivne felter før en ny oprettelsesanmodning. |
Ailoot Ultra qwen/qwen3-32b-fp8
Brug metodestierne vist ovenfor.
qwen/qwen3-32b-fp8Qwen3-32B-FP8 er udgaven med finkornet FP8 af Qwen3s tætte tekstmodel med 32,8 milliarder parametre. Den kombinerer direkte og tænkende svar til flersproget skrivning, kode og analyse med særskilte detaljer om checkpoint og kompatibilitet.
Denne beskrivelse dækker modellens funktioner. Tilgængelige input, output og indstillinger i Ailoot står nedenfor for den valgte metode.
Qwen3-32B-FP8 er det officielle FP8-checkpoint for den tætte sprogmodel Qwen3-32B. Producenten beskriver matematik, logisk ræsonnering, kodegenerering, kreativ skrivning, rollebaseret dialog og instruktionsfølgning på tværs af flere ture. Familien understøtter mere end 100 sprog og dialekter. Input og output er tekst, og den samme udgave giver både tænkende og direkte svaradfærd.
Denne model har 32,8 milliarder parametre, heraf 31,2 milliarder uden for embeddings, og 64 lag. Dens grouped-query attention indeholder 64 query-hoveder og otte key/value-hoveder. Det er en tæt arkitektur, særskilt fra Qwen3s mixture-of-experts-udgaver med samlede og aktiverede parameterantal. FP8 er også en del af den præcise udgaveidentitet. Giv en udviklingsassistent en funktion, en specifikation og flere input, og bed derefter om en forklaring af den aktuelle adfærd og en revideret implementering, der bevarer den aftalte grænseflade. Til en redaktionel opgave skal du angive den faktiske kilde, den tilsigtede læser og terminologien frem for at stole på en uspecificeret baggrund.
Producentens hurtigstart bruger den udpegede chatskabelon. Adskil opgaven fra de angivne materialer, og specificér den endelige form. En nyttig analyseanmodning kan sammenligne to datavalideringsmetoder med de samme feltregler, identificere de tilfælde, hver metode accepterer, og returnere et forslag til en valideringsfunktion. Medtag regler for manglende værdier, repræsentative data og de påkrævede fejlmeddelelser. Til flersproget indhold skal du angive en ordliste og bede om en oversættelse samt en liste over termer, der kræver gennemgang. Denne forberedelse gør det genererede resultat kontrollerbart mod et konkret input. Den offentliggjorte integration forventer et Qwen3-kompatibelt kørselsmiljø; kortet advarer om, at Transformers-versioner under 4.51.0 ikke genkender den påkrævede arkitektur.
FP8-noten beskriver finkornet kvantisering med blokstørrelse 128. Checkpointkonfigurationen identificerer også dets FP8-kvantiseringsopsætning. Producenten angiver Transformers, SGLang og vLLM til inferens, men fremhæver et problem med distribueret inferens med finkornet FP8 i Transformers og bemærker, at brug af flere enheder kan kræve CUDA_LAUNCH_BLOCKING=1. Hold dette kompatibilitetsforbehold adskilt fra tekstegenskaberne. Den kvantiserede identitet fastlægger ikke i sig selv en målt latenstid, hardwarebesparelse eller ækvivalens mellem svar og det oprindelige checkpoint.
Tænkning er aktiveret som standard i den angivne skabelon. En hård ikke-tænkende indstilling undertrykker ræsonneringsafsnittet. Når tænkning fortsat er aktiveret, er /think og /no_think bløde kontroller til successive ture, hvor den seneste instruktion gælder; de kan ikke tilsidesætte en hård deaktivering. Bed om ræsonnering, når modellen skal undersøge modstridende betingelser, og brug derefter en direkte opfølgning til at præsentere det accepterede resultat kortfattet. Hold det endelige svar adskilt, og brug det endelige svar frem for tidligere ræsonnering som historik til senere ture. Med tænkning aktiveret bevarer selv en blød anmodning om ikke-tænkning en ræsonneringsblok; dens indhold kan være tomt. Hård deaktivering fjerner blokken.
Kortet omfatter agentbrug og anbefaler Qwen-Agent til værktøjsformatering og parsing. En applikation leverer værktøjsdefinitionerne, kontrollerer kald, udfører dem og returnerer resultater. I valideringseksemplet kan en kontrolleret testkører evaluere foreslået kode mod de angivne tilfælde. Bed modellen opsummere de faktiske beståede og fejlede resultater og revidere en navngiven fejlende betingelse. Dens output bør ikke behandle et foreslået kald som belæg for udførelse. Beslut værktøjets tilladte omfang og outputfelter, før forløbet begynder. Qwen3-guiden beskriver også parallelle værktøjskald og værktøjskald i flere trin med argumenter repræsenteret som objekter og resultater leveret tilbage til samtalen.
Det præcise kort angiver 32.768 native konteksttokens og 131.072 med YaRN. Udvidelse afhænger af konfigurationen; statisk skalering kan påvirke kortere tekster. Både input og det genererede resultat optager sekvensbudgettet. Mærk lange kildeafsnit, og afsæt nok plads til den påkrævede kode og forklaring. De offentliggjorte outputeksempler og anbefalede længder fastlægger ikke et universelt hårdt outputloft. Ved længere generering skal du vurdere, om resultatet forbliver sammenhængende og opfylder opgavens krav. Qwen3-dokumentationen behandler assistentbeskedlængder på 38.912 tokens i tænketilstand og 16.384 i ikke-tænkende tilstand i sin forklaring af træningslængder og anbefaler at vurdere kvaliteten af længere generering. Disse tal er forskellige fra det samlede kontekstvindue og er ikke en endpointspecifik hård grænse. Kortet forklarer også sin standardallokering af positioner på 40.960 tokens som 8.192 til typiske prompter plus 32.768 til output; dette er producentens konfigurationsvejledning, særskilt fra den native træningskontekst og enhver endpointgrænse.
De anbefalede samplingindstillinger er temperature 0.6, top-p 0.95, top-k 20 og min-p 0 til tænkning og 0.7, 0.8, 20 og 0 til direkte tilstand. Producenten advarer mod greedy-ræsonnering på grund af gentagelser; høje presence penalties kan nogle gange blande sprog. Kræv et endeligt svar, som kan undersøges, såsom en beslutningstabel, den færdige funktion og en liste over tilfælde. Validér returnerede strukturerede felter, kontrollér beregninger mod kilden, og kør kode i det tilsigtede miljø, mens den præcise FP8-identitet bevares ved registrering af resultaterne.
POST /v1/messagestextjson, sse| Felt | Type | Krav | Værdier og grænser | Standard |
|---|---|---|---|---|
Feltmodel | Typestring | KravPåkrævet | Værdier og grænser qwen/qwen3-32b-fp8 | Standard— |
Feltmessages | Typemessage[] | KravPåkrævet | Værdier og grænser | Standard— |
Feltmessages[].role | Typestring | KravPåkrævet | Værdier og grænser user, assistant | Standard— |
Feltmessages[].content | Typestring | KravPåkrævet | Værdier og grænser | Standard— |
Feltmax_tokens | Typeinteger | KravPåkrævet | Værdier og grænser | Standard— |
Feltstream | Typeboolean | KravValgfrit | Værdier og grænser | Standardfalse |
Tekst · UTF-8-tekst
messages[].content som streng
| Parameter | Kontrakt |
|---|---|
Parametercontent_type | Kontraktapplication/json |
Parameterrequired | Kontraktmodel, messages, max_tokens |
Parameteroptional_controls | Kontraktstream |
Parametermaterial_types | Kontrakttext |
Parametertext_file_material | KontraktLæs det faktiske UTF-8-dokument, og indsæt teksten i det angivne input eller beskedens indholdsstreng. |
Livscyklus: synchronous_or_streamed
Tarifoplysninger tilføjer ikke anmodningsmuligheder. Understøttede parametre står ved den valgte metode.
| Konfiguration | Takstplan | Beløb |
|---|---|---|
| KonfigurationGrundtakster for tokens | TakstplanGrundtakst | Beløb Input · Inputtokens $0.0002 / 1K tokens Output · Outputtokens $0.001 / 1K tokens Input · Cachelæsning $0 / 1K tokens Input · Cacheskrivning $0 / 1K tokens Input · Cacheskrivning, 1 time — / 1K tokens |
Ailoot reserverer et estimeret beløb før en anmodning. Efter resultatet afregnes det endelige beløb ud fra det målte forbrug. Ved streaming bruges den endelige forbrugsregistrering til afregningen. Sådan fungerer reservation og afregning →
{\n "model": "qwen/qwen3-32b-fp8",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'qwen/qwen3-32b-fp8', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'qwen/qwen3-32b-fp8', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON eller SSE
Gem hvert fuldstændigt returneret svar, hver fil og hver indholdsdel.
Bevar alle indholdsblokke, ræsonnementssignaturer og faktiske værktøjsbrugs-ID’er. Saml alle SSE-blokdeltaer; den første tekstblok er ikke hele outputtet.
Bevar anmodnings-/svar-ID’er og headere. Der leveres ingen generel URL til at hente tekstjob.
| Felt | Type |
|---|---|
Feltid | Typestring |
Feltmodel | Typestring |
Feltcontent[] | Typetext|thinking|tool_use|other content block |
Feltstop_reason | Typestring|null |
Feltusage | Typeobject |
| Svar | Betingelse | Næste trin |
|---|---|---|
Svar400 · invalid_request_error | BetingelseUgyldige obligatoriske felter, materialerepræsentation eller parameterværdi | Næste trinRet de angivne felter før en ny oprettelsesanmodning. |
Ailoot Ultra qwen/qwen3-32b-fp8
Brug metodestierne vist ovenfor.
Teknisk eksempel på engelsk
Compare missing-value validators\n\nCompare two Python validators for an optional quantity: A uses if not value: return None; B uses if value is None: return None. Requirement: None means omitted, integer zero is valid, and negative quantities are invalid. Explain each validator's behavior for None, 0 and -1, then propose a complete function with explicit validation errors.A three-input comparison table and a proposed function implementing the supplied rules.Check zero is preserved rather than treated as missing, and negatives are rejected explicitly.