Qwen2-7B-Instruct yra instrukcijoms pritaikyta 7B dydžio Qwen2 versija pokalbiui ir natūralia kalba išreikštoms užduotims. Tai modelis su teksto įvestimi ir išvestimi: atsakymas gali būti paaiškinimas, vertimas, dokumento juodraštis arba programos kodas. Kūrėjas pagrindinėmis naudojimo sritimis įvardija kalbos supratimą, generavimą, daugiakalbį darbą, programavimą, matematiką ir samprotavimą.
Modelio duomenys
Qwen2 turi atskiras bazines ir instrukcijoms pritaikytas laidas. Ši kortelė skirta Instruct versijai, o ne baziniam Qwen2-7B modeliui ar šeimos ekspertų mišinio laidai. Kūrėjo modelio informacijos lentelėje 7B dydžio modeliui nurodyta 7,07 milijardo parametrų. Jo dekoderio Transformer naudoja SwiGLU, dėmesio mechanizmo QKV poslinkį ir grupuotų užklausų dėmesį bei natūralioms kalboms ir kodui skirtą žetonizatorių. Tai architektūros ir reprezentavimo pasirinkimai, o ne papildomi įvesties modalumai.
Laidos pranešime aprašytas mokymas anglų ir kinų bei 27 papildomomis kalbomis. Tarp jų yra rusų, čekų ir lenkų; vokiečių, prancūzų ir ispanų; arabų, persų ir turkų; japonų ir korėjiečių bei daugiau Pietų ir Pietryčių Azijos kalbų. Todėl daugiakalbis asistentas gali gauti instrukciją ir šaltinio medžiagą skirtingomis kalbomis, tačiau vis tiek reikėtų nurodyti galutinio artefakto kalbą, terminiją ir auditoriją.
Mokymas ir Instruct skirtumas
Po pradinio mokymo kūrėjas taiko prižiūrimąjį tikslinį mokymą ir tiesioginį pirmenybių optimizavimą. Instrukcijoms pritaikyta versija skirta atsakyti į užklausą pokalbyje, o bazinė versija atlieka kitą vaidmenį kaip kalbos modelio pagrindas. Rinkdamiesi modelį ar lygindami užklausų veikimą aiškiai nurodykite versijos pavadinimą. Modelio mokymas laikytis instrukcijų ir tikslios instrukcijos pateikimas naudojant yra viena kitą papildančios darbo eigos dalys.
Pokalbio įvesties parengimas
Modelio kortelės greitojo paleidimo pavyzdyje sistemos instrukcija atskiriama nuo vartotojo klausimo, o prieš generavimą pritaikomas atitinkamas pokalbio šablonas. Programos lygmens užduočiai naudingas tas pats praktinis skirtumas: asistento vaidmenį ir atsakymo taisykles apibrėžkite atskirai nuo šaltinio ištraukos ar kodo, su kuriuo jis turi dirbti. Tekstinė žyma dokumente nepakeičia tinkamai suformatuotų pokalbio vaidmenų jį naudojančioje sąsajoje.
Techninio paaiškinimo užduotyje galima pateikti funkciją ir vieną įvesties pavyzdį, tada paklausti, ką daro kiekviena šaka ir kurios sąlygos veikia rezultatą. Programavimo užduotyje galima apibrėžti priimamą įvestį, laukiamą grąžinamą reikšmę ir esamo veikimo keitimo apribojimus. Paprašykite įgyvendinimo, o po jo – įprasto ir ribinio atvejų pavyzdžių. Tai dokumentuotų kalbos ir programavimo galimybių taikymas; kodo generavimas yra tekstinis rezultatas, o vykdymas priklauso programos aplinkai.
Daugiakalbiam redagavimui pateikite originalią ištrauką, tikslinę auditoriją ir trumpą terminų sąrašą. Paprašykite pataisos, išsaugančios originalius pavadinimus ir sąlygas, tada trumpo pakeitimų paaiškinimo. Tai konkrečiau nei prašymas pagerinti tekstą: apibrėžiama, kokia prasmė turi išlikti ir kokia naudinga išvestis turi būti grąžinta.
Ilgų tekstų apdorojimas
Kūrėjas dokumentuoja iki 131 072 žetonų kontekstą, tačiau svarbios ilgo konteksto instrukcijos. Įvestims, viršijančioms 32 768 žetonus, reikia dokumentuotos YaRN plėtinio konfigūracijos. Paskelbtame pavyzdyje naudojamas 4,0 mastelio koeficientas ir pradinis 32 768 pozicijų nustatymas. Kūrėjas pažymi, kad statinis plėtinio nustatymas gali paveikti trumpesnio teksto apdorojimą, ir rekomenduoja jį įjungti, kai iš tiesų reikia ilgo konteksto.
Ilgo dokumento užduotį parenkite su konkrečiu klausimu, įvardytomis šaltinio dalimis ir aiškia išvesties struktūra. Pavyzdžiui, pateikite kelias techninės specifikacijos dalis ir paprašykite reikalavimų konkrečiam pakeitimui, šalia kiekvienos išvados palikdami šaltinio dalį. Didelis įvesties langas padeda išlaikyti tas dalis kartu; atsakymas vis tiek gali būti glausta lentelė, o ne viso dokumento atpasakojimas.
Svarbios ribos
131 072 žetonų skaičius reiškia išplėstinio konteksto palaikymą, o ne leidimą nepaisyti ilgo konteksto konfigūracijos. Greitojo paleidimo pavyzdžio 512 generuojamų žetonų yra pavyzdinis nustatymas, o ne paskelbta didžiausia išvesties talpa. Ši Instruct laida yra teksto modelis ir neturėtų perimti vaizdų ar vaizdo įrašų galimybių iš Qwen-VL arba specializuoto, su įrankiais integruoto matematinio Qwen2.5-Math mokymo. Rinkitės įvardytą versiją ir parenkite tekstą konkrečiam reikiamam paaiškinimui, kodui ar dokumentui.
", "aboutText": "Qwen2-7B-Instruct yra instrukcijoms pritaikyta 7B dydžio Qwen2 versija pokalbiui ir natūralia kalba išreikštoms užduotims. Tai modelis su teksto įvestimi ir išvestimi: atsakymas gali būti paaiškinimas, vertimas, dokumento juodraštis arba programos kodas. Kūrėjas pagrindinėmis naudojimo sritimis įvardija kalbos supratimą, generavimą, daugiakalbį darbą, programavimą, matematiką ir samprotavimą.\n\nModelio duomenys\n\nQwen2 turi atskiras bazines ir instrukcijoms pritaikytas laidas. Ši kortelė skirta Instruct versijai, o ne baziniam Qwen2-7B modeliui ar šeimos ekspertų mišinio laidai. Kūrėjo modelio informacijos lentelėje 7B dydžio modeliui nurodyta 7,07 milijardo parametrų. Jo dekoderio Transformer naudoja SwiGLU, dėmesio mechanizmo QKV poslinkį ir grupuotų užklausų dėmesį bei natūralioms kalboms ir kodui skirtą žetonizatorių. Tai architektūros ir reprezentavimo pasirinkimai, o ne papildomi įvesties modalumai.\n\nLaidos pranešime aprašytas mokymas anglų ir kinų bei 27 papildomomis kalbomis. Tarp jų yra rusų, čekų ir lenkų; vokiečių, prancūzų ir ispanų; arabų, persų ir turkų; japonų ir korėjiečių bei daugiau Pietų ir Pietryčių Azijos kalbų. Todėl daugiakalbis asistentas gali gauti instrukciją ir šaltinio medžiagą skirtingomis kalbomis, tačiau vis tiek reikėtų nurodyti galutinio artefakto kalbą, terminiją ir auditoriją.\n\nMokymas ir Instruct skirtumas\n\nPo pradinio mokymo kūrėjas taiko prižiūrimąjį tikslinį mokymą ir tiesioginį pirmenybių optimizavimą. Instrukcijoms pritaikyta versija skirta atsakyti į užklausą pokalbyje, o bazinė versija atlieka kitą vaidmenį kaip kalbos modelio pagrindas. Rinkdamiesi modelį ar lygindami užklausų veikimą aiškiai nurodykite versijos pavadinimą. Modelio mokymas laikytis instrukcijų ir tikslios instrukcijos pateikimas naudojant yra viena kitą papildančios darbo eigos dalys.\n\nPokalbio įvesties parengimas\n\nModelio kortelės greitojo paleidimo pavyzdyje sistemos instrukcija atskiriama nuo vartotojo klausimo, o prieš generavimą pritaikomas atitinkamas pokalbio šablonas. Programos lygmens užduočiai naudingas tas pats praktinis skirtumas: asistento vaidmenį ir atsakymo taisykles apibrėžkite atskirai nuo šaltinio ištraukos ar kodo, su kuriuo jis turi dirbti. Tekstinė žyma dokumente nepakeičia tinkamai suformatuotų pokalbio vaidmenų jį naudojančioje sąsajoje.\n\nTechninio paaiškinimo užduotyje galima pateikti funkciją ir vieną įvesties pavyzdį, tada paklausti, ką daro kiekviena šaka ir kurios sąlygos veikia rezultatą. Programavimo užduotyje galima apibrėžti priimamą įvestį, laukiamą grąžinamą reikšmę ir esamo veikimo keitimo apribojimus. Paprašykite įgyvendinimo, o po jo – įprasto ir ribinio atvejų pavyzdžių. Tai dokumentuotų kalbos ir programavimo galimybių taikymas; kodo generavimas yra tekstinis rezultatas, o vykdymas priklauso programos aplinkai.\n\nDaugiakalbiam redagavimui pateikite originalią ištrauką, tikslinę auditoriją ir trumpą terminų sąrašą. Paprašykite pataisos, išsaugančios originalius pavadinimus ir sąlygas, tada trumpo pakeitimų paaiškinimo. Tai konkrečiau nei prašymas pagerinti tekstą: apibrėžiama, kokia prasmė turi išlikti ir kokia naudinga išvestis turi būti grąžinta.\n\nIlgų tekstų apdorojimas\n\nKūrėjas dokumentuoja iki 131 072 žetonų kontekstą, tačiau svarbios ilgo konteksto instrukcijos. Įvestims, viršijančioms 32 768 žetonus, reikia dokumentuotos YaRN plėtinio konfigūracijos. Paskelbtame pavyzdyje naudojamas 4,0 mastelio koeficientas ir pradinis 32 768 pozicijų nustatymas. Kūrėjas pažymi, kad statinis plėtinio nustatymas gali paveikti trumpesnio teksto apdorojimą, ir rekomenduoja jį įjungti, kai iš tiesų reikia ilgo konteksto.\n\nIlgo dokumento užduotį parenkite su konkrečiu klausimu, įvardytomis šaltinio dalimis ir aiškia išvesties struktūra. Pavyzdžiui, pateikite kelias techninės specifikacijos dalis ir paprašykite reikalavimų konkrečiam pakeitimui, šalia kiekvienos išvados palikdami šaltinio dalį. Didelis įvesties langas padeda išlaikyti tas dalis kartu; atsakymas vis tiek gali būti glausta lentelė, o ne viso dokumento atpasakojimas.\n\nSvarbios ribos\n\n131 072 žetonų skaičius reiškia išplėstinio konteksto palaikymą, o ne leidimą nepaisyti ilgo konteksto konfigūracijos. Greitojo paleidimo pavyzdžio 512 generuojamų žetonų yra pavyzdinis nustatymas, o ne paskelbta didžiausia išvesties talpa. Ši Instruct laida yra teksto modelis ir neturėtų perimti vaizdų ar vaizdo įrašų galimybių iš Qwen-VL arba specializuoto, su įrankiais integruoto matematinio Qwen2.5-Math mokymo. Rinkitės įvardytą versiją ir parenkite tekstą konkrečiam reikiamam paaiškinimui, kodui ar dokumentui.", "editorialOverlay": { "copy_fields": null, "copy_sha256": null, "copy_source": null, "html_sha256": "0a1cf99868f77dffe237b6bd468123b223a5be6beb1c7f8d9abbe4fe7206a486", "module_sha256": "ee9dc1c50b1e6a8fb7fa062030fcb4646b9aaaeb08be513b723a5a92a7290f06", "raw_model_unchanged": true, "schema": "ailoot-native-model-editorial-v1" }, "locale": "lt", "methods": [ { "html": "qwen2-7b-instructQwen2-7B-Instruct – instrukcijoms pritaikytas teksto modelis daugiakalbiam dialogui, programavimui, matematikai ir samprotavimui. Kūrėjas dokumentuoja iki 131 072 žetonų kontekstą, kai įjungta ilgo konteksto konfigūracija.
Šis aprašas apima modelio galimybes. Pasirinktam metodui Ailoot prieinamos įvestys, išvestys ir parinktys nurodytos toliau.
Qwen2-7B-Instruct yra instrukcijoms pritaikyta 7B dydžio Qwen2 versija pokalbiui ir natūralia kalba išreikštoms užduotims. Tai modelis su teksto įvestimi ir išvestimi: atsakymas gali būti paaiškinimas, vertimas, dokumento juodraštis arba programos kodas. Kūrėjas pagrindinėmis naudojimo sritimis įvardija kalbos supratimą, generavimą, daugiakalbį darbą, programavimą, matematiką ir samprotavimą.
Modelio duomenys
Qwen2 turi atskiras bazines ir instrukcijoms pritaikytas laidas. Ši kortelė skirta Instruct versijai, o ne baziniam Qwen2-7B modeliui ar šeimos ekspertų mišinio laidai. Kūrėjo modelio informacijos lentelėje 7B dydžio modeliui nurodyta 7,07 milijardo parametrų. Jo dekoderio Transformer naudoja SwiGLU, dėmesio mechanizmo QKV poslinkį ir grupuotų užklausų dėmesį bei natūralioms kalboms ir kodui skirtą žetonizatorių. Tai architektūros ir reprezentavimo pasirinkimai, o ne papildomi įvesties modalumai.
Laidos pranešime aprašytas mokymas anglų ir kinų bei 27 papildomomis kalbomis. Tarp jų yra rusų, čekų ir lenkų; vokiečių, prancūzų ir ispanų; arabų, persų ir turkų; japonų ir korėjiečių bei daugiau Pietų ir Pietryčių Azijos kalbų. Todėl daugiakalbis asistentas gali gauti instrukciją ir šaltinio medžiagą skirtingomis kalbomis, tačiau vis tiek reikėtų nurodyti galutinio artefakto kalbą, terminiją ir auditoriją.
Mokymas ir Instruct skirtumas
Po pradinio mokymo kūrėjas taiko prižiūrimąjį tikslinį mokymą ir tiesioginį pirmenybių optimizavimą. Instrukcijoms pritaikyta versija skirta atsakyti į užklausą pokalbyje, o bazinė versija atlieka kitą vaidmenį kaip kalbos modelio pagrindas. Rinkdamiesi modelį ar lygindami užklausų veikimą aiškiai nurodykite versijos pavadinimą. Modelio mokymas laikytis instrukcijų ir tikslios instrukcijos pateikimas naudojant yra viena kitą papildančios darbo eigos dalys.
Pokalbio įvesties parengimas
Modelio kortelės greitojo paleidimo pavyzdyje sistemos instrukcija atskiriama nuo vartotojo klausimo, o prieš generavimą pritaikomas atitinkamas pokalbio šablonas. Programos lygmens užduočiai naudingas tas pats praktinis skirtumas: asistento vaidmenį ir atsakymo taisykles apibrėžkite atskirai nuo šaltinio ištraukos ar kodo, su kuriuo jis turi dirbti. Tekstinė žyma dokumente nepakeičia tinkamai suformatuotų pokalbio vaidmenų jį naudojančioje sąsajoje.
Techninio paaiškinimo užduotyje galima pateikti funkciją ir vieną įvesties pavyzdį, tada paklausti, ką daro kiekviena šaka ir kurios sąlygos veikia rezultatą. Programavimo užduotyje galima apibrėžti priimamą įvestį, laukiamą grąžinamą reikšmę ir esamo veikimo keitimo apribojimus. Paprašykite įgyvendinimo, o po jo – įprasto ir ribinio atvejų pavyzdžių. Tai dokumentuotų kalbos ir programavimo galimybių taikymas; kodo generavimas yra tekstinis rezultatas, o vykdymas priklauso programos aplinkai.
Daugiakalbiam redagavimui pateikite originalią ištrauką, tikslinę auditoriją ir trumpą terminų sąrašą. Paprašykite pataisos, išsaugančios originalius pavadinimus ir sąlygas, tada trumpo pakeitimų paaiškinimo. Tai konkrečiau nei prašymas pagerinti tekstą: apibrėžiama, kokia prasmė turi išlikti ir kokia naudinga išvestis turi būti grąžinta.
Ilgų tekstų apdorojimas
Kūrėjas dokumentuoja iki 131 072 žetonų kontekstą, tačiau svarbios ilgo konteksto instrukcijos. Įvestims, viršijančioms 32 768 žetonus, reikia dokumentuotos YaRN plėtinio konfigūracijos. Paskelbtame pavyzdyje naudojamas 4,0 mastelio koeficientas ir pradinis 32 768 pozicijų nustatymas. Kūrėjas pažymi, kad statinis plėtinio nustatymas gali paveikti trumpesnio teksto apdorojimą, ir rekomenduoja jį įjungti, kai iš tiesų reikia ilgo konteksto.
Ilgo dokumento užduotį parenkite su konkrečiu klausimu, įvardytomis šaltinio dalimis ir aiškia išvesties struktūra. Pavyzdžiui, pateikite kelias techninės specifikacijos dalis ir paprašykite reikalavimų konkrečiam pakeitimui, šalia kiekvienos išvados palikdami šaltinio dalį. Didelis įvesties langas padeda išlaikyti tas dalis kartu; atsakymas vis tiek gali būti glausta lentelė, o ne viso dokumento atpasakojimas.
Svarbios ribos
131 072 žetonų skaičius reiškia išplėstinio konteksto palaikymą, o ne leidimą nepaisyti ilgo konteksto konfigūracijos. Greitojo paleidimo pavyzdžio 512 generuojamų žetonų yra pavyzdinis nustatymas, o ne paskelbta didžiausia išvesties talpa. Ši Instruct laida yra teksto modelis ir neturėtų perimti vaizdų ar vaizdo įrašų galimybių iš Qwen-VL arba specializuoto, su įrankiais integruoto matematinio Qwen2.5-Math mokymo. Rinkitės įvardytą versiją ir parenkite tekstą konkrečiam reikiamam paaiškinimui, kodui ar dokumentui.
POST /v1/chat/completionstexttext| Laukas | Tipas | Reikalavimas | Reikšmės ir ribos | Numatyta |
|---|---|---|---|---|
Laukasmodel | Tipasstring | ReikalavimasPrivaloma | Reikšmės ir ribos qwen2-7b-instruct | Numatyta— |
Laukasmessages | Tipasmessage[] | ReikalavimasPrivaloma | Reikšmės ir ribos Mažiausias elementų skaičius: 1 | Numatyta— |
Laukasmessages[].role | Tipasstring | ReikalavimasPrivaloma | Reikšmės ir ribos Priklauso nuo modelio | Numatyta— |
Laukasmessages[].content | Tipasstring | ReikalavimasNeprivaloma | Reikšmės ir ribos Taikoma, kai: Tekstinis pokalbis | Numatyta— |
Laukasstream | Tipasboolean | ReikalavimasNeprivaloma | Reikšmės ir ribos | Numatytafalse |
Tekstas · UTF8 tekstas
messages[].content
| Parametras | Specifikacija |
|---|---|
Parametrascontent_type | Specifikacijaapplication/json |
Parametrasrequired | Specifikacijamodel, messages |
Parametrasmaterial_types | Specifikacijatext |
Parametrasmessages | Specifikacijapranešimų masyvas su role/content struktūra |
Parametrasfile_material | Specifikacijatikrasis UTF-8 dokumentas įterptas kaip pažodinis tekstas; failo ID nenumanomas |
Parametrasoptional_controls | Specifikacijastream |
Parametrascontrol_scope | SpecifikacijaTekstinis pokalbis; stream yra loginė reikšmė, kurios numatytoji reikšmė yra false. |
Parametrasoutput_modalities | Specifikacijatext |
Parametrashosted_operations | Specifikacijafalse |
Parametrasmultimodal_input_binding | Specifikacijanull |
Metodo pseudonimai: /chat/completions
Gyvavimo ciklas: synchronous_or_streamed
Siųskite tikslų modelio ID kartu su messages.
Konteksto ilgis nėra išvesties limitas.
Teksto failas gali pateikti pažodinį tekstą; vaizdų / garso / failų objektų įvestims reikia tikslaus susiejimo.
Tarifų informacija neprideda užklausos parinkčių. Palaikomi parametrai nurodyti prie pasirinkto metodo.
| Konfigūracija | Įkainių lentelė | Mokestis |
|---|---|---|
| KonfigūracijaBaziniai žetonų įkainiai | Įkainių lentelėBazinis įkainis | Mokestis Įvestis · Įvesties tokenai $0.000286 / 1K tokenų Išvestis · Išvesties tokenai $0.00058 / 1K tokenų Įvestis · Talpyklos skaitymas $0 / 1K tokenų Įvestis · Rašymas į talpyklą $0 / 1K tokenų Įvestis · Rašymas į talpyklą, 1 val — / 1K tokenų |
Ailoot prieš užklausą rezervuoja numatomą sumą. Gavus rezultatą, galutinis mokestis nuskaitomas pagal išmatuotą naudojimą. Srautinio atsakymo atsiskaitymui naudojamas galutinis naudojimo įrašas. Kaip veikia rezervavimas ir atsiskaitymas →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model":"qwen2-7b-instruct","messages":[{"role":"user","content":"hello"}],"stream":false}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model="qwen2-7b-instruct", messages=[{"role":"user","content":"hello"}], stream=False)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\njson arba SSE
Išsaugokite kiekvieną visą grąžintą atsakymą, failą ir turinio dalį.
Išsaugokite kiekvieną variantą ir jo turinį / įrankių iškvietimus / samprotavimą. SSE prieaugius surinkite pagal varianto / įrankio indeksą; išsaugokite galutinę užbaigimo priežastį ir naudojimo duomenis.
Išsaugokite užklausų / atsakymų ID ir antraštes. Bendras teksto užduoties gavimo URL nepateikiamas.
| Laukas | Tipas |
|---|---|
Laukaschoices[].index | Tipasinteger |
Laukaschoices[].message.content | Tipasstring|null |
Laukaschoices[].message.tool_calls | Tipastool_call[] |
Laukaschoices[].message.reasoning_content | Tipasstring |
Laukaschoices[].message.reasoning_details | Tipasobject|array |
Laukaschoices[].finish_reason | Tipasstring|null |
Laukasusage | Tipasobject |
| Atsakymas | Sąlyga | Kitas žingsnis |
|---|---|---|
Atsakymas400 · invalid_request_error | SąlygaNetinkami privalomi laukai, medžiagos pateikimo forma arba parametro reikšmė | Kitas žingsnisPrieš naują kūrimo užklausą pataisykite nurodytus laukus. |
Ailoot Ultra qwen2-7b-instruct
/chat/completions
qwen2-7b-instructQwen2-7B-Instruct – instrukcijoms pritaikytas teksto modelis daugiakalbiam dialogui, programavimui, matematikai ir samprotavimui. Kūrėjas dokumentuoja iki 131 072 žetonų kontekstą, kai įjungta ilgo konteksto konfigūracija.
Šis aprašas apima modelio galimybes. Pasirinktam metodui Ailoot prieinamos įvestys, išvestys ir parinktys nurodytos toliau.
Qwen2-7B-Instruct yra instrukcijoms pritaikyta 7B dydžio Qwen2 versija pokalbiui ir natūralia kalba išreikštoms užduotims. Tai modelis su teksto įvestimi ir išvestimi: atsakymas gali būti paaiškinimas, vertimas, dokumento juodraštis arba programos kodas. Kūrėjas pagrindinėmis naudojimo sritimis įvardija kalbos supratimą, generavimą, daugiakalbį darbą, programavimą, matematiką ir samprotavimą.
Modelio duomenys
Qwen2 turi atskiras bazines ir instrukcijoms pritaikytas laidas. Ši kortelė skirta Instruct versijai, o ne baziniam Qwen2-7B modeliui ar šeimos ekspertų mišinio laidai. Kūrėjo modelio informacijos lentelėje 7B dydžio modeliui nurodyta 7,07 milijardo parametrų. Jo dekoderio Transformer naudoja SwiGLU, dėmesio mechanizmo QKV poslinkį ir grupuotų užklausų dėmesį bei natūralioms kalboms ir kodui skirtą žetonizatorių. Tai architektūros ir reprezentavimo pasirinkimai, o ne papildomi įvesties modalumai.
Laidos pranešime aprašytas mokymas anglų ir kinų bei 27 papildomomis kalbomis. Tarp jų yra rusų, čekų ir lenkų; vokiečių, prancūzų ir ispanų; arabų, persų ir turkų; japonų ir korėjiečių bei daugiau Pietų ir Pietryčių Azijos kalbų. Todėl daugiakalbis asistentas gali gauti instrukciją ir šaltinio medžiagą skirtingomis kalbomis, tačiau vis tiek reikėtų nurodyti galutinio artefakto kalbą, terminiją ir auditoriją.
Mokymas ir Instruct skirtumas
Po pradinio mokymo kūrėjas taiko prižiūrimąjį tikslinį mokymą ir tiesioginį pirmenybių optimizavimą. Instrukcijoms pritaikyta versija skirta atsakyti į užklausą pokalbyje, o bazinė versija atlieka kitą vaidmenį kaip kalbos modelio pagrindas. Rinkdamiesi modelį ar lygindami užklausų veikimą aiškiai nurodykite versijos pavadinimą. Modelio mokymas laikytis instrukcijų ir tikslios instrukcijos pateikimas naudojant yra viena kitą papildančios darbo eigos dalys.
Pokalbio įvesties parengimas
Modelio kortelės greitojo paleidimo pavyzdyje sistemos instrukcija atskiriama nuo vartotojo klausimo, o prieš generavimą pritaikomas atitinkamas pokalbio šablonas. Programos lygmens užduočiai naudingas tas pats praktinis skirtumas: asistento vaidmenį ir atsakymo taisykles apibrėžkite atskirai nuo šaltinio ištraukos ar kodo, su kuriuo jis turi dirbti. Tekstinė žyma dokumente nepakeičia tinkamai suformatuotų pokalbio vaidmenų jį naudojančioje sąsajoje.
Techninio paaiškinimo užduotyje galima pateikti funkciją ir vieną įvesties pavyzdį, tada paklausti, ką daro kiekviena šaka ir kurios sąlygos veikia rezultatą. Programavimo užduotyje galima apibrėžti priimamą įvestį, laukiamą grąžinamą reikšmę ir esamo veikimo keitimo apribojimus. Paprašykite įgyvendinimo, o po jo – įprasto ir ribinio atvejų pavyzdžių. Tai dokumentuotų kalbos ir programavimo galimybių taikymas; kodo generavimas yra tekstinis rezultatas, o vykdymas priklauso programos aplinkai.
Daugiakalbiam redagavimui pateikite originalią ištrauką, tikslinę auditoriją ir trumpą terminų sąrašą. Paprašykite pataisos, išsaugančios originalius pavadinimus ir sąlygas, tada trumpo pakeitimų paaiškinimo. Tai konkrečiau nei prašymas pagerinti tekstą: apibrėžiama, kokia prasmė turi išlikti ir kokia naudinga išvestis turi būti grąžinta.
Ilgų tekstų apdorojimas
Kūrėjas dokumentuoja iki 131 072 žetonų kontekstą, tačiau svarbios ilgo konteksto instrukcijos. Įvestims, viršijančioms 32 768 žetonus, reikia dokumentuotos YaRN plėtinio konfigūracijos. Paskelbtame pavyzdyje naudojamas 4,0 mastelio koeficientas ir pradinis 32 768 pozicijų nustatymas. Kūrėjas pažymi, kad statinis plėtinio nustatymas gali paveikti trumpesnio teksto apdorojimą, ir rekomenduoja jį įjungti, kai iš tiesų reikia ilgo konteksto.
Ilgo dokumento užduotį parenkite su konkrečiu klausimu, įvardytomis šaltinio dalimis ir aiškia išvesties struktūra. Pavyzdžiui, pateikite kelias techninės specifikacijos dalis ir paprašykite reikalavimų konkrečiam pakeitimui, šalia kiekvienos išvados palikdami šaltinio dalį. Didelis įvesties langas padeda išlaikyti tas dalis kartu; atsakymas vis tiek gali būti glausta lentelė, o ne viso dokumento atpasakojimas.
Svarbios ribos
131 072 žetonų skaičius reiškia išplėstinio konteksto palaikymą, o ne leidimą nepaisyti ilgo konteksto konfigūracijos. Greitojo paleidimo pavyzdžio 512 generuojamų žetonų yra pavyzdinis nustatymas, o ne paskelbta didžiausia išvesties talpa. Ši Instruct laida yra teksto modelis ir neturėtų perimti vaizdų ar vaizdo įrašų galimybių iš Qwen-VL arba specializuoto, su įrankiais integruoto matematinio Qwen2.5-Math mokymo. Rinkitės įvardytą versiją ir parenkite tekstą konkrečiam reikiamam paaiškinimui, kodui ar dokumentui.
POST /v1/messagestextjson, sse| Laukas | Tipas | Reikalavimas | Reikšmės ir ribos | Numatyta |
|---|---|---|---|---|
Laukasmodel | Tipasstring | ReikalavimasPrivaloma | Reikšmės ir ribos qwen2-7b-instruct | Numatyta— |
Laukasmessages | Tipasmessage[] | ReikalavimasPrivaloma | Reikšmės ir ribos | Numatyta— |
Laukasmessages[].role | Tipasstring | ReikalavimasPrivaloma | Reikšmės ir ribos user, assistant | Numatyta— |
Laukasmessages[].content | Tipasstring | ReikalavimasPrivaloma | Reikšmės ir ribos | Numatyta— |
Laukasmax_tokens | Tipasinteger | ReikalavimasPrivaloma | Reikšmės ir ribos | Numatyta— |
Laukasstream | Tipasboolean | ReikalavimasNeprivaloma | Reikšmės ir ribos | Numatytafalse |
Tekstas · UTF-8 tekstas
messages[].content eilutė
| Parametras | Specifikacija |
|---|---|
Parametrascontent_type | Specifikacijaapplication/json |
Parametrasrequired | Specifikacijamodel, messages, max_tokens |
Parametrasoptional_controls | Specifikacijastream |
Parametrasmaterial_types | Specifikacijatext |
Parametrastext_file_material | SpecifikacijaPerskaitykite tikrąjį UTF-8 dokumentą ir įterpkite jo tekstą į nurodytą input lauką arba pranešimo turinio eilutę. |
Gyvavimo ciklas: synchronous_or_streamed
Tarifų informacija neprideda užklausos parinkčių. Palaikomi parametrai nurodyti prie pasirinkto metodo.
| Konfigūracija | Įkainių lentelė | Mokestis |
|---|---|---|
| KonfigūracijaBaziniai žetonų įkainiai | Įkainių lentelėBazinis įkainis | Mokestis Įvestis · Įvesties tokenai $0.000286 / 1K tokenų Išvestis · Išvesties tokenai $0.00058 / 1K tokenų Įvestis · Talpyklos skaitymas $0 / 1K tokenų Įvestis · Rašymas į talpyklą $0 / 1K tokenų Įvestis · Rašymas į talpyklą, 1 val — / 1K tokenų |
Ailoot prieš užklausą rezervuoja numatomą sumą. Gavus rezultatą, galutinis mokestis nuskaitomas pagal išmatuotą naudojimą. Srautinio atsakymo atsiskaitymui naudojamas galutinis naudojimo įrašas. Kaip veikia rezervavimas ir atsiskaitymas →
{\n "model": "qwen2-7b-instruct",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'qwen2-7b-instruct', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'qwen2-7b-instruct', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON arba SSE
Išsaugokite kiekvieną visą grąžintą atsakymą, failą ir turinio dalį.
Išsaugokite visus turinio blokus, mąstymo parašus ir tikruosius įrankių naudojimo ID. Surinkite visus SSE blokų prieaugius; pirmasis teksto blokas nėra visa išvestis.
Išsaugokite užklausų / atsakymų ID ir antraštes. Bendras teksto užduoties gavimo URL nepateikiamas.
| Laukas | Tipas |
|---|---|
Laukasid | Tipasstring |
Laukasmodel | Tipasstring |
Laukascontent[] | Tipastext|thinking|tool_use|other content block |
Laukasstop_reason | Tipasstring|null |
Laukasusage | Tipasobject |
| Atsakymas | Sąlyga | Kitas žingsnis |
|---|---|---|
Atsakymas400 · invalid_request_error | SąlygaNetinkami privalomi laukai, medžiagos pateikimo forma arba parametro reikšmė | Kitas žingsnisPrieš naują kūrimo užklausą pataisykite nurodytus laukus. |
Ailoot Ultra qwen2-7b-instruct
/chat/completions