Gemma 2 27B IT je Googlova izdaja Gemma 2 s 27 milijardami parametrov, prilagojena navodilom. Je jezikovni model z odprtimi utežmi in samo dekoderjem, ki sprejema besedilo in ustvarja besedilo s poudarkom na angleščini. Predvidene naloge vključujejo odgovarjanje na vprašanja, povzemanje, sklepanje, ustvarjalno pisanje in delo s kodo. IT označuje različico, prilagojeno navodilom, ločeno od predhodno naučenega modela in posebej kvantiziranih izpeljank.
Tehnično poročilo dokumentira kontekst 8 192 tokenov. Gemma 2 izmenjuje lokalno pozornost z drsečim oknom 4 096 tokenov in globalno pozornost čez celoten kontekst; arhitektura 27B ima 46 plasti in pozornost z združenimi poizvedbami. To so značilnosti proizvajalčevega modela, ne nastavitve dolžine odgovora aplikacije. Pripravite osredotočen izvorni odlomek in pustite prostor za zahtevani odgovor ter pogovor, namesto da predpostavljate precej večje kontekste poznejših generacij Gemma.
Osnovni model 27B je bil od začetka učen na 13 bilijonih tokenov pretežno angleškega besedila. Dokumentirani viri vključujejo spletne dokumente, kodo ter matematično ali znanstveno gradivo. Poročilo to učenje loči od destilacije, uporabljene pri manjših osnovnih modelih 2B in 9B. Prilagajanje navodilom doda nadzorovano učenje parov poziv–odgovor in izboljševanje na podlagi preferenc za pogovorni odziv. Zato ima izdaja IT drugačen profil uporabe kot nadaljevanje poljubnega besedila s predhodno naučenim modelom.
Pri povzetku dokumenta priložite odlomek in povejte, kaj bralec iz njega potrebuje: odločitve, zahteve, pojasnilo ali kratek nabor ključnih točk. Primer opisa je: »Povzemite to specifikacijo za inženirja podpore. Ohranite vsa imena polj, ločite izrecne zahteve od primerov in navedite podrobnosti, ki jih odlomek ne določa.« Če mora dejstvo izhajati iz vira, ob pojasnilu zahtevajte relevantno besedilo ali sklic na razdelek.
Pogovorna uporaba sledi predlogi sporočil user/model za Gemma 2. Googlova natančna kartica modela pokaže ohranjanje dialoga v tej predlogi, z ločili za začetek in konec vsakega sporočila, da lahko nadaljnje vprašanje nadgradi prejšnji odgovor. Dokumentirani format se razlikuje od nove izvorne vloge system in nastavitev razmišljanja v Gemma 4. Praktičen pogovor lahko najprej izlušči dejstva, nato zahteva krajše pojasnilo ali osnutek sporočila ob ohranitvi izluščenih imen in pogojev.
Pri kodi vključite relevantni izsek, programski jezik, opaženo vedenje in pričakovani rezultat. Zahtevajte pojasnilo, predlagan popravek ali razdelan primer z navedenim obsegom. Pri matematičnem sklepanju celotno nalogo, definicije spremenljivk in predpostavke zapišite kot besedilo. Ta izdaja nima izvornega vizualnega ali zvočnega vhoda: fotografirano nalogo ali govorjeno pojasnilo je treba najprej prepisati v besedilo. Izhod lahko vsebuje kodo ali oblikovan odgovor, vendar ti besedilni obliki ne potrdita namenskega načina klicanja orodij ali omejenega izhoda.
Kartica modela opredeli dvoumnost, sarkazem, zapletena odprta navodila in dejansko točnost kot področja možnih omejitev odgovorov. Pri odgovoru na podlagi virov priložite merodajni odlomek in modelu naročite, naj navede manjkajoče informacije. Pri urejanju določite občinstvo, ton, obvezna dejstva in dele, ki se lahko spremenijo. Uporaben izdelek je osredotočen angleški odgovor, povzetek, osnutek ali pojasnilo kode, primerljivo z gradivom in pogoji iz poziva.
", "aboutText": "Gemma 2 27B IT je Googlova izdaja Gemma 2 s 27 milijardami parametrov, prilagojena navodilom. Je jezikovni model z odprtimi utežmi in samo dekoderjem, ki sprejema besedilo in ustvarja besedilo s poudarkom na angleščini. Predvidene naloge vključujejo odgovarjanje na vprašanja, povzemanje, sklepanje, ustvarjalno pisanje in delo s kodo. IT označuje različico, prilagojeno navodilom, ločeno od predhodno naučenega modela in posebej kvantiziranih izpeljank.\n\nTehnično poročilo dokumentira kontekst 8 192 tokenov. Gemma 2 izmenjuje lokalno pozornost z drsečim oknom 4 096 tokenov in globalno pozornost čez celoten kontekst; arhitektura 27B ima 46 plasti in pozornost z združenimi poizvedbami. To so značilnosti proizvajalčevega modela, ne nastavitve dolžine odgovora aplikacije. Pripravite osredotočen izvorni odlomek in pustite prostor za zahtevani odgovor ter pogovor, namesto da predpostavljate precej večje kontekste poznejših generacij Gemma.\n\nOsnovni model 27B je bil od začetka učen na 13 bilijonih tokenov pretežno angleškega besedila. Dokumentirani viri vključujejo spletne dokumente, kodo ter matematično ali znanstveno gradivo. Poročilo to učenje loči od destilacije, uporabljene pri manjših osnovnih modelih 2B in 9B. Prilagajanje navodilom doda nadzorovano učenje parov poziv–odgovor in izboljševanje na podlagi preferenc za pogovorni odziv. Zato ima izdaja IT drugačen profil uporabe kot nadaljevanje poljubnega besedila s predhodno naučenim modelom.\n\nPri povzetku dokumenta priložite odlomek in povejte, kaj bralec iz njega potrebuje: odločitve, zahteve, pojasnilo ali kratek nabor ključnih točk. Primer opisa je: »Povzemite to specifikacijo za inženirja podpore. Ohranite vsa imena polj, ločite izrecne zahteve od primerov in navedite podrobnosti, ki jih odlomek ne določa.« Če mora dejstvo izhajati iz vira, ob pojasnilu zahtevajte relevantno besedilo ali sklic na razdelek.\n\nPogovorna uporaba sledi predlogi sporočil user/model za Gemma 2. Googlova natančna kartica modela pokaže ohranjanje dialoga v tej predlogi, z ločili za začetek in konec vsakega sporočila, da lahko nadaljnje vprašanje nadgradi prejšnji odgovor. Dokumentirani format se razlikuje od nove izvorne vloge system in nastavitev razmišljanja v Gemma 4. Praktičen pogovor lahko najprej izlušči dejstva, nato zahteva krajše pojasnilo ali osnutek sporočila ob ohranitvi izluščenih imen in pogojev.\n\nPri kodi vključite relevantni izsek, programski jezik, opaženo vedenje in pričakovani rezultat. Zahtevajte pojasnilo, predlagan popravek ali razdelan primer z navedenim obsegom. Pri matematičnem sklepanju celotno nalogo, definicije spremenljivk in predpostavke zapišite kot besedilo. Ta izdaja nima izvornega vizualnega ali zvočnega vhoda: fotografirano nalogo ali govorjeno pojasnilo je treba najprej prepisati v besedilo. Izhod lahko vsebuje kodo ali oblikovan odgovor, vendar ti besedilni obliki ne potrdita namenskega načina klicanja orodij ali omejenega izhoda.\n\nKartica modela opredeli dvoumnost, sarkazem, zapletena odprta navodila in dejansko točnost kot področja možnih omejitev odgovorov. Pri odgovoru na podlagi virov priložite merodajni odlomek in modelu naročite, naj navede manjkajoče informacije. Pri urejanju določite občinstvo, ton, obvezna dejstva in dele, ki se lahko spremenijo. Uporaben izdelek je osredotočen angleški odgovor, povzetek, osnutek ali pojasnilo kode, primerljivo z gradivom in pogoji iz poziva.", "editorialOverlay": { "copy_fields": { "practical_html": "Tehnični primer v angleščini
Explain a specification for support\n\nSummarize this specification for a support engineer: “retry_after is optional and measured in seconds. If absent, the client must not infer a retry time. Example: retry_after = 30. A failed request may include error_id.” Separate requirements from examples and list what the passage does not define. Keep field names unchanged.A short support note with requirements, examples and unspecified details in separate sections.Check that 30 seconds remains an example and that error_id is not described as mandatory.google/gemma-2-27b-itGemma 2 27B IT je Googlov model, prilagojen navodilom, samo za besedilo, namenjen angleškim odgovorom na vprašanja, povzetkom, pisanju in sklepanju. Kontekst 8 192 tokenov in pogovorni format ustrezata osredotočenim nalogam na podlagi virov in pojasnilom kode.
Ta opis zajema zmožnosti modela. Vhodi, izhodi in možnosti, ki so na voljo v Ailoot, so spodaj navedeni za izbrano metodo.
Gemma 2 27B IT je Googlova izdaja Gemma 2 s 27 milijardami parametrov, prilagojena navodilom. Je jezikovni model z odprtimi utežmi in samo dekoderjem, ki sprejema besedilo in ustvarja besedilo s poudarkom na angleščini. Predvidene naloge vključujejo odgovarjanje na vprašanja, povzemanje, sklepanje, ustvarjalno pisanje in delo s kodo. IT označuje različico, prilagojeno navodilom, ločeno od predhodno naučenega modela in posebej kvantiziranih izpeljank.
Tehnično poročilo dokumentira kontekst 8 192 tokenov. Gemma 2 izmenjuje lokalno pozornost z drsečim oknom 4 096 tokenov in globalno pozornost čez celoten kontekst; arhitektura 27B ima 46 plasti in pozornost z združenimi poizvedbami. To so značilnosti proizvajalčevega modela, ne nastavitve dolžine odgovora aplikacije. Pripravite osredotočen izvorni odlomek in pustite prostor za zahtevani odgovor ter pogovor, namesto da predpostavljate precej večje kontekste poznejših generacij Gemma.
Osnovni model 27B je bil od začetka učen na 13 bilijonih tokenov pretežno angleškega besedila. Dokumentirani viri vključujejo spletne dokumente, kodo ter matematično ali znanstveno gradivo. Poročilo to učenje loči od destilacije, uporabljene pri manjših osnovnih modelih 2B in 9B. Prilagajanje navodilom doda nadzorovano učenje parov poziv–odgovor in izboljševanje na podlagi preferenc za pogovorni odziv. Zato ima izdaja IT drugačen profil uporabe kot nadaljevanje poljubnega besedila s predhodno naučenim modelom.
Pri povzetku dokumenta priložite odlomek in povejte, kaj bralec iz njega potrebuje: odločitve, zahteve, pojasnilo ali kratek nabor ključnih točk. Primer opisa je: »Povzemite to specifikacijo za inženirja podpore. Ohranite vsa imena polj, ločite izrecne zahteve od primerov in navedite podrobnosti, ki jih odlomek ne določa.« Če mora dejstvo izhajati iz vira, ob pojasnilu zahtevajte relevantno besedilo ali sklic na razdelek.
Pogovorna uporaba sledi predlogi sporočil user/model za Gemma 2. Googlova natančna kartica modela pokaže ohranjanje dialoga v tej predlogi, z ločili za začetek in konec vsakega sporočila, da lahko nadaljnje vprašanje nadgradi prejšnji odgovor. Dokumentirani format se razlikuje od nove izvorne vloge system in nastavitev razmišljanja v Gemma 4. Praktičen pogovor lahko najprej izlušči dejstva, nato zahteva krajše pojasnilo ali osnutek sporočila ob ohranitvi izluščenih imen in pogojev.
Pri kodi vključite relevantni izsek, programski jezik, opaženo vedenje in pričakovani rezultat. Zahtevajte pojasnilo, predlagan popravek ali razdelan primer z navedenim obsegom. Pri matematičnem sklepanju celotno nalogo, definicije spremenljivk in predpostavke zapišite kot besedilo. Ta izdaja nima izvornega vizualnega ali zvočnega vhoda: fotografirano nalogo ali govorjeno pojasnilo je treba najprej prepisati v besedilo. Izhod lahko vsebuje kodo ali oblikovan odgovor, vendar ti besedilni obliki ne potrdita namenskega načina klicanja orodij ali omejenega izhoda.
Kartica modela opredeli dvoumnost, sarkazem, zapletena odprta navodila in dejansko točnost kot področja možnih omejitev odgovorov. Pri odgovoru na podlagi virov priložite merodajni odlomek in modelu naročite, naj navede manjkajoče informacije. Pri urejanju določite občinstvo, ton, obvezna dejstva in dele, ki se lahko spremenijo. Uporaben izdelek je osredotočen angleški odgovor, povzetek, osnutek ali pojasnilo kode, primerljivo z gradivom in pogoji iz poziva.
POST /v1/chat/completionstexttext| Polje | Vrsta | Zahteva | Vrednosti in omejitve | Privzeto |
|---|---|---|---|---|
Poljemodel | Vrstastring | ZahtevaObvezno | Vrednosti in omejitve google/gemma-2-27b-it | Privzeto— |
Poljemessages | Vrstamessage[] | ZahtevaObvezno | Vrednosti in omejitve Najmanjše število elementov: 1 | Privzeto— |
Poljemessages[].role | Vrstastring | ZahtevaObvezno | Vrednosti in omejitve Primeri: system, user, assistant, tool, function Pogoji: Te vloge so izrecno predstavljene s tipi združljivosti v izvorni kodi; natančen nabor vlog ostaja odvisen od modela. Odvisno od modela | Privzeto— |
Poljemessages[].content | Vrstastring|content_part[]|null | ZahtevaIzbirno | Vrednosti in omejitve | Privzeto— |
Poljemessages[].tool_calls | Vrstatool_call[] | ZahtevaIzbirno | Vrednosti in omejitve | Privzeto— |
Poljemessages[].tool_call_id | Vrstastring | ZahtevaIzbirno | Vrednosti in omejitve Velja, ko: role=tool; uporabite dejansko vrnjeni ID | Privzeto— |
Poljemessages[].name | Vrstastring | ZahtevaIzbirno | Vrednosti in omejitve | Privzeto— |
Poljemessages[].reasoning_content | Vrstastring | ZahtevaIzbirno | Vrednosti in omejitve Velja, ko: Pošljite nazaj dejansko vrnjeno sklepanje, kadar ga ta model uporablja | Privzeto— |
Poljemessages[].reasoning_details | Vrstaobject|array | ZahtevaIzbirno | Vrednosti in omejitve Odvisno od modela | Privzeto— |
Poljemax_tokens | Vrstainteger | ZahtevaIzbirno | Vrednosti in omejitve Najmanj: 1 Odvisno od modela | Privzeto— |
Poljemax_completion_tokens | Vrstainteger | ZahtevaIzbirno | Vrednosti in omejitve Najmanj: 1 Odvisno od modela | Privzeto— |
Poljestream | Vrstaboolean | ZahtevaIzbirno | Vrednosti in omejitve | Privzetofalse |
Poljestream_options.include_usage | Vrstaboolean | ZahtevaIzbirno | Vrednosti in omejitve Odvisno od modela | Privzeto— |
Poljetemperature | Vrstanumber | ZahtevaIzbirno | Vrednosti in omejitve Odvisno od modela | Privzeto— |
Poljetop_p | Vrstanumber | ZahtevaIzbirno | Vrednosti in omejitve Odvisno od modela | Privzeto— |
Poljestop | Vrstastring|string[] | ZahtevaIzbirno | Vrednosti in omejitve Odvisno od modela | Privzeto— |
Poljetools | Vrstafunction_tool[] | ZahtevaIzbirno | Vrednosti in omejitve Odvisno od modela | Privzeto— |
Poljetools[].type | Vrstastring | ZahtevaIzbirno | Vrednosti in omejitve function Odvisno od modela | Privzeto— |
Poljetools[].function.name | Vrstastring | ZahtevaObvezno | Vrednosti in omejitve Velja, ko: podano je funkcijsko orodje | Privzeto— |
Poljetools[].function.description | Vrstastring | ZahtevaIzbirno | Vrednosti in omejitve | Privzeto— |
Poljetools[].function.parameters | VrstaJSON_schema | ZahtevaIzbirno | Vrednosti in omejitve | Privzeto— |
Poljetool_choice | Vrstastring|object | ZahtevaIzbirno | Vrednosti in omejitve Odvisno od modela | Privzeto— |
Poljeparallel_tool_calls | Vrstaboolean | ZahtevaIzbirno | Vrednosti in omejitve Odvisno od modela | Privzeto— |
Poljeresponse_format | Vrstaobject | ZahtevaIzbirno | Vrednosti in omejitve Odvisno od modela | Privzeto— |
Poljereasoning_effort | Vrstastring | ZahtevaIzbirno | Vrednosti in omejitve Odvisno od modela | Privzeto— |
Poljereasoning | Vrstaobject | ZahtevaIzbirno | Vrednosti in omejitve Odvisno od modela | Privzeto— |
Poljeservice_tier | Vrstastring | ZahtevaIzbirno | Vrednosti in omejitve Odvisno od modela | Privzeto— |
Poljeinstructions | Vrstastring | ZahtevaIzbirno | Vrednosti in omejitve Polje združljivosti | Privzeto— |
Poljefunctions | Vrstafunction[] | ZahtevaIzbirno | Vrednosti in omejitve Odvisno od modela | Privzeto— |
Poljefunction_call | Vrstastring|object | ZahtevaIzbirno | Vrednosti in omejitve Odvisno od modela | Privzeto— |
Poljeprompt_cache_options | Vrstaobject | ZahtevaIzbirno | Vrednosti in omejitve Odvisno od modela | Privzeto— |
Poljemodalities | Vrstastring[] | ZahtevaIzbirno | Vrednosti in omejitve text | Privzeto— |
Poljeprovider | Vrstaobject | ZahtevaIzbirno | Vrednosti in omejitve Pogoji: provider.options je na tej besedilni poti Ultra zavrnjen | Privzeto— |
Poljecache_control.ttl | Vrstastring | ZahtevaIzbirno | Vrednosti in omejitve Pogoji: 1h je zavrnjen na dejanskih mestih za predpomnjenje pozivov | Privzeto— |
Besedilo · Besedilo UTF8
messages[].content
| Parameter | Specifikacija |
|---|---|
Parametercontent_type | Specifikacijaapplication/json |
Parameterrequired | Specifikacijamodel, messages |
Parametermaterial_types | Specifikacijatext |
Parametermessages | Specifikacijapolje sporočil s strukturo role/content |
Parameterfile_material | Specifikacijadejanski dokument UTF-8 je vstavljen kot dobesedno besedilo; ID datoteke se ne izpeljuje |
Parameteroptional_controls | Specifikacijastream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
Parametercontrol_scope | Specifikacijaodvisno od modela; uporabniška funkcijska orodja se razlikujejo od orodij, ki jih izvaja storitev |
Parameteroutput_modalities | Specifikacijatext |
Parameterhosted_operations | Specifikacijafalse |
Parametermultimodal_input_binding | Specifikacijanull |
Življenjski cikel: synchronous_or_streamed
Pošljite natančen ID modela skupaj z messages.
Dolžina konteksta ni zgornja meja izhoda.
Besedilna datoteka lahko poda dobesedno besedilo; slikovni, zvočni vhodi in vhodi z datotečnimi objekti potrebujejo natančno vezavo.
Tarifni podatki ne dodajajo možnosti zahteve. Podprti parametri so navedeni pri izbrani metodi.
Vsak strošek povežite s prikazanimi pogoji. Za vsak nabor alternativnih nastavitev uporabite eno ceno.
| Nastavitev | Cenovna lestvica | Žetonov konteksta več kot | Žetonov konteksta do vključno | Strošek |
|---|---|---|---|---|
| NastavitevOsnovne cene za žetone | Cenovna lestvicaOsnovna cena | Žetonov konteksta več kot— | Žetonov konteksta do vključnoBrez zgornje meje | Strošek Vhod · Vhodni žetoni $0.0013 / 1K žetonov Izhod · Izhodni žetoni $0.0013 / 1K žetonov Vhod · Branje predpomnilnika — / 1K žetonov Vhod · Zapis v predpomnilnik — / 1K žetonov Vhod · Zapis v predpomnilnik, 1 ura — / 1K žetonov |
| NastavitevRazred 1 glede na dolžino zahteve | Cenovna lestvica— | Žetonov konteksta več kot0 | Žetonov konteksta do vključnoBrez zgornje meje | Strošek Vhod · Vhodni žetoni $0.0013 / 1K žetonov Izhod · Izhodni žetoni $0.0013 / 1K žetonov Vhod · Branje predpomnilnika — / 1K žetonov Vhod · Zapis v predpomnilnik — / 1K žetonov Vhod · Zapis v predpomnilnik, 1 ura — / 1K žetonov |
Ailoot pred zahtevo rezervira ocenjeni znesek. Po rezultatu obračuna končni strošek na podlagi izmerjene porabe. Obračun pretakanja uporablja končni zapis porabe. Kako delujeta rezervacija in obračun →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "google/gemma-2-27b-it", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='google/gemma-2-27b-it',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='google/gemma-2-27b-it',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson ali SSE
Shranite vsak v celoti vrnjen odgovor, datoteko in del vsebine.
Ohranite vsako možnost odgovora ter njeno vsebino, klice orodij in sklepanje. V SSE sestavite delne spremembe po indeksu možnosti/orodja ter ohranite končni razlog zaključka in podatke o porabi.
Ohranite ID zahtev/odgovorov in glave. Splošni URL za pridobivanje besedilne naloge ni podan.
| Polje | Vrsta |
|---|---|
Poljechoices[].index | Vrstainteger |
Poljechoices[].message.content | Vrstastring|null |
Poljechoices[].message.tool_calls | Vrstatool_call[] |
Poljechoices[].message.reasoning_content | Vrstastring |
Poljechoices[].message.reasoning_details | Vrstaobject|array |
Poljechoices[].finish_reason | Vrstastring|null |
Poljeusage | Vrstaobject |
| Odgovor | Pogoj | Naslednji korak |
|---|---|---|
Odgovor400 · invalid_request_error | PogojNeveljavna obvezna polja, predstavitev gradiva ali vrednost parametra | Naslednji korakPred novo zahtevo za ustvarjanje popravite navedena polja. |
Ailoot Ultra google/gemma-2-27b-it
Uporabite zgoraj navedene poti metod.
google/gemma-2-27b-itGemma 2 27B IT je Googlov model, prilagojen navodilom, samo za besedilo, namenjen angleškim odgovorom na vprašanja, povzetkom, pisanju in sklepanju. Kontekst 8 192 tokenov in pogovorni format ustrezata osredotočenim nalogam na podlagi virov in pojasnilom kode.
Ta opis zajema zmožnosti modela. Vhodi, izhodi in možnosti, ki so na voljo v Ailoot, so spodaj navedeni za izbrano metodo.
Gemma 2 27B IT je Googlova izdaja Gemma 2 s 27 milijardami parametrov, prilagojena navodilom. Je jezikovni model z odprtimi utežmi in samo dekoderjem, ki sprejema besedilo in ustvarja besedilo s poudarkom na angleščini. Predvidene naloge vključujejo odgovarjanje na vprašanja, povzemanje, sklepanje, ustvarjalno pisanje in delo s kodo. IT označuje različico, prilagojeno navodilom, ločeno od predhodno naučenega modela in posebej kvantiziranih izpeljank.
Tehnično poročilo dokumentira kontekst 8 192 tokenov. Gemma 2 izmenjuje lokalno pozornost z drsečim oknom 4 096 tokenov in globalno pozornost čez celoten kontekst; arhitektura 27B ima 46 plasti in pozornost z združenimi poizvedbami. To so značilnosti proizvajalčevega modela, ne nastavitve dolžine odgovora aplikacije. Pripravite osredotočen izvorni odlomek in pustite prostor za zahtevani odgovor ter pogovor, namesto da predpostavljate precej večje kontekste poznejših generacij Gemma.
Osnovni model 27B je bil od začetka učen na 13 bilijonih tokenov pretežno angleškega besedila. Dokumentirani viri vključujejo spletne dokumente, kodo ter matematično ali znanstveno gradivo. Poročilo to učenje loči od destilacije, uporabljene pri manjših osnovnih modelih 2B in 9B. Prilagajanje navodilom doda nadzorovano učenje parov poziv–odgovor in izboljševanje na podlagi preferenc za pogovorni odziv. Zato ima izdaja IT drugačen profil uporabe kot nadaljevanje poljubnega besedila s predhodno naučenim modelom.
Pri povzetku dokumenta priložite odlomek in povejte, kaj bralec iz njega potrebuje: odločitve, zahteve, pojasnilo ali kratek nabor ključnih točk. Primer opisa je: »Povzemite to specifikacijo za inženirja podpore. Ohranite vsa imena polj, ločite izrecne zahteve od primerov in navedite podrobnosti, ki jih odlomek ne določa.« Če mora dejstvo izhajati iz vira, ob pojasnilu zahtevajte relevantno besedilo ali sklic na razdelek.
Pogovorna uporaba sledi predlogi sporočil user/model za Gemma 2. Googlova natančna kartica modela pokaže ohranjanje dialoga v tej predlogi, z ločili za začetek in konec vsakega sporočila, da lahko nadaljnje vprašanje nadgradi prejšnji odgovor. Dokumentirani format se razlikuje od nove izvorne vloge system in nastavitev razmišljanja v Gemma 4. Praktičen pogovor lahko najprej izlušči dejstva, nato zahteva krajše pojasnilo ali osnutek sporočila ob ohranitvi izluščenih imen in pogojev.
Pri kodi vključite relevantni izsek, programski jezik, opaženo vedenje in pričakovani rezultat. Zahtevajte pojasnilo, predlagan popravek ali razdelan primer z navedenim obsegom. Pri matematičnem sklepanju celotno nalogo, definicije spremenljivk in predpostavke zapišite kot besedilo. Ta izdaja nima izvornega vizualnega ali zvočnega vhoda: fotografirano nalogo ali govorjeno pojasnilo je treba najprej prepisati v besedilo. Izhod lahko vsebuje kodo ali oblikovan odgovor, vendar ti besedilni obliki ne potrdita namenskega načina klicanja orodij ali omejenega izhoda.
Kartica modela opredeli dvoumnost, sarkazem, zapletena odprta navodila in dejansko točnost kot področja možnih omejitev odgovorov. Pri odgovoru na podlagi virov priložite merodajni odlomek in modelu naročite, naj navede manjkajoče informacije. Pri urejanju določite občinstvo, ton, obvezna dejstva in dele, ki se lahko spremenijo. Uporaben izdelek je osredotočen angleški odgovor, povzetek, osnutek ali pojasnilo kode, primerljivo z gradivom in pogoji iz poziva.
POST /v1/messagestextjson, sse| Polje | Vrsta | Zahteva | Vrednosti in omejitve | Privzeto |
|---|---|---|---|---|
Poljemodel | Vrstastring | ZahtevaObvezno | Vrednosti in omejitve google/gemma-2-27b-it | Privzeto— |
Poljemessages | Vrstamessage[] | ZahtevaObvezno | Vrednosti in omejitve | Privzeto— |
Poljemessages[].role | Vrstastring | ZahtevaObvezno | Vrednosti in omejitve user, assistant | Privzeto— |
Poljemessages[].content | Vrstastring | ZahtevaObvezno | Vrednosti in omejitve | Privzeto— |
Poljemax_tokens | Vrstainteger | ZahtevaObvezno | Vrednosti in omejitve | Privzeto— |
Poljestream | Vrstaboolean | ZahtevaIzbirno | Vrednosti in omejitve | Privzetofalse |
Besedilo · Besedilo UTF-8
niz messages[].content
| Parameter | Specifikacija |
|---|---|
Parametercontent_type | Specifikacijaapplication/json |
Parameterrequired | Specifikacijamodel, messages, max_tokens |
Parameteroptional_controls | Specifikacijastream |
Parametermaterial_types | Specifikacijatext |
Parametertext_file_material | SpecifikacijaPreberite dejanski dokument UTF-8 in njegovo besedilo vstavite v navedeni vhodni niz ali niz vsebine sporočila. |
Življenjski cikel: synchronous_or_streamed
Tarifni podatki ne dodajajo možnosti zahteve. Podprti parametri so navedeni pri izbrani metodi.
Vsak strošek povežite s prikazanimi pogoji. Za vsak nabor alternativnih nastavitev uporabite eno ceno.
| Nastavitev | Cenovna lestvica | Žetonov konteksta več kot | Žetonov konteksta do vključno | Strošek |
|---|---|---|---|---|
| NastavitevOsnovne cene za žetone | Cenovna lestvicaOsnovna cena | Žetonov konteksta več kot— | Žetonov konteksta do vključnoBrez zgornje meje | Strošek Vhod · Vhodni žetoni $0.0013 / 1K žetonov Izhod · Izhodni žetoni $0.0013 / 1K žetonov Vhod · Branje predpomnilnika — / 1K žetonov Vhod · Zapis v predpomnilnik — / 1K žetonov Vhod · Zapis v predpomnilnik, 1 ura — / 1K žetonov |
| NastavitevRazred 1 glede na dolžino zahteve | Cenovna lestvica— | Žetonov konteksta več kot0 | Žetonov konteksta do vključnoBrez zgornje meje | Strošek Vhod · Vhodni žetoni $0.0013 / 1K žetonov Izhod · Izhodni žetoni $0.0013 / 1K žetonov Vhod · Branje predpomnilnika — / 1K žetonov Vhod · Zapis v predpomnilnik — / 1K žetonov Vhod · Zapis v predpomnilnik, 1 ura — / 1K žetonov |
Ailoot pred zahtevo rezervira ocenjeni znesek. Po rezultatu obračuna končni strošek na podlagi izmerjene porabe. Obračun pretakanja uporablja končni zapis porabe. Kako delujeta rezervacija in obračun →
{\n "model": "google/gemma-2-27b-it",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'google/gemma-2-27b-it', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'google/gemma-2-27b-it', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON ali SSE
Shranite vsak v celoti vrnjen odgovor, datoteko in del vsebine.
Ohranite vse vsebinske bloke, podpise sklepanja in dejanske ID uporabe orodij. Sestavite vse delne spremembe blokov SSE; prvi besedilni blok ni celoten izhod.
Ohranite ID zahtev/odgovorov in glave. Splošni URL za pridobivanje besedilne naloge ni podan.
| Polje | Vrsta |
|---|---|
Poljeid | Vrstastring |
Poljemodel | Vrstastring |
Poljecontent[] | Vrstatext|thinking|tool_use|other content block |
Poljestop_reason | Vrstastring|null |
Poljeusage | Vrstaobject |
| Odgovor | Pogoj | Naslednji korak |
|---|---|---|
Odgovor400 · invalid_request_error | PogojNeveljavna obvezna polja, predstavitev gradiva ali vrednost parametra | Naslednji korakPred novo zahtevo za ustvarjanje popravite navedena polja. |
Ailoot Ultra google/gemma-2-27b-it
Uporabite zgoraj navedene poti metod.
Tehnični primer v angleščini
Explain a specification for support\n\nSummarize this specification for a support engineer: “retry_after is optional and measured in seconds. If absent, the client must not infer a retry time. Example: retry_after = 30. A failed request may include error_id.” Separate requirements from examples and list what the passage does not define. Keep field names unchanged.A short support note with requirements, examples and unspecified details in separate sections.Check that 30 seconds remains an example and that error_id is not described as mandatory.