Gemma 2 27B IT on Googlen 27 miljardin parametrin Gemma 2 -versio, joka on hienosäädetty noudattamaan ohjeita. Se on pelkkään dekooderiin perustuva kielimalli, jonka painot ovat avoimesti saatavilla. Malli vastaanottaa ja tuottaa tekstiä, ja sen painopiste on englannin kielessä. Sen käyttötarkoituksia ovat kysymyksiin vastaaminen, tiivistäminen, päättely, luova kirjoittaminen ja koodiin liittyvä työ. IT tarkoittaa ohjeiden noudattamiseen hienosäädettyä versiota, joka eroaa esikoulutetusta mallista ja erikseen kvantisoiduista johdannaisista.
Teknisessä raportissa kuvataan 8 192 tokenin konteksti. Gemma 2:ssa vuorottelevat paikallinen huomiomekanismi, joka käyttää 4 096 tokenin liukuvaa ikkunaa, ja globaali huomiomekanismi, joka kattaa koko kontekstin. 27B-arkkitehtuurissa on 46 kerrosta ja ryhmiteltyihin kyselyihin perustuva huomiomekanismi. Nämä ovat kehittäjän mallin ominaisuuksia, eivät sovelluksen vastauksen pituutta koskevia asetuksia. Valmistele rajattu lähdekatkelma ja jätä tilaa pyydetylle vastaukselle ja keskustelulle sen sijaan, että olettaisit käytettävissä olevan myöhempien Gemma-sukupolvien huomattavasti suuremmat kontekstit.
27B-perusmalli koulutettiin alusta asti 13 biljoonalla tokenilla, jotka koostuivat pääosin englanninkielisestä tekstistä. Dokumentoituja lähteitä ovat verkkodokumentit, koodi sekä matemaattinen tai tieteellinen aineisto. Raportissa tämä koulutus erotetaan pienempien 2B- ja 9B-perusmallien koulutuksessa käytetystä tislauksesta. Ohjeiden noudattamiseen tähtäävä hienosäätö lisää ohjattua koulutusta kehote–vastauspareilla sekä mieltymyksiin perustuvaa hienosäätöä keskusteluvastausten tuottamista varten. Tämän vuoksi IT-version käyttötapa poikkeaa siitä, että esikoulutetulla mallilla jatkettaisiin vapaasti valittua tekstiä.
Kun pyydät asiakirjasta yhteenvetoa, toimita katkelma ja kerro, mitä lukija siitä tarvitsee: päätöksiä, vaatimuksia, selityksen tai lyhyen luettelon pääkohdista. Esimerkki tehtävänannosta: ”Tiivistä tämä määritys tuki-insinöörille. Säilytä kaikkien kenttien nimet, erota nimenomaisesti esitetyt vaatimukset esimerkeistä ja luettele yksityiskohdat, joita katkelmassa ei määritellä.” Jos tiedon on perustuttava lähteeseen, pyydä selityksen rinnalle asiaa koskeva sanamuoto tai viittaus lähteen osioon.
Keskustelukäytössä noudatetaan Gemma 2:n user/model-vuoromallipohjaa. Googlen juuri tälle mallille julkaisemassa mallikortissa näytetään, miten keskustelu pidetään tässä mallipohjassa kunkin vuoron alun ja lopun ilmaisevien erotinmerkkien avulla, jotta jatkokysymys voi rakentua edellisen vastauksen varaan. Dokumentoitu formaatti poikkeaa Gemma 4:n uudesta natiivista system-roolista ja ajattelun ohjausasetuksista. Käytännön keskustelussa voidaan ensin poimia faktat ja pyytää sitten lyhyempi selitys tai viestiluonnos niin, että poimitut nimet ja ehdot säilyvät.
Sisällytä kooditehtävään asiaankuuluva koodikatkelma, ohjelmointikieli, havaittu toiminta ja odotettu tulos. Pyydä selitys, korjausehdotus tai vaiheittain läpikäyty esimerkki ja määritä tehtävän rajaus. Kirjoita matemaattista päättelyä varten koko ongelma, muuttujien määritelmät ja oletukset tekstinä. Tämä versio ei tue natiivisti kuva- tai äänisyötettä: valokuvattu tehtävä tai puhuttu selitys on ensin muunnettava tekstiksi. Tuloste voi sisältää koodia tai muotoillun vastauksen, mutta nämä tekstimuodot eivät osoita, että mallissa olisi erillinen työkalukutsutila tai tulostetta rajoittava tila.
Mallikortissa mainitaan monitulkintaisuus, sarkasmi, monimutkaiset avoimet ohjeet ja faktatarkkuus alueina, joilla vastauksissa voi olla puutteita. Toimita lähteisiin perustuvaa vastausta varten katkelma luotettavasta lähteestä ja pyydä mallia kertomaan, miltä osin tietoja puuttuu. Määritä muokkaustehtävässä kohdeyleisö, sävy, vaaditut tiedot ja osat, joita saa muuttaa. Hyödyllinen lopputuotos on rajattu englanninkielinen vastaus, yhteenveto, luonnos tai koodin selitys, jota voidaan verrata kehotteessa annettuun aineistoon ja ehtoihin.
", "aboutText": "Gemma 2 27B IT on Googlen 27 miljardin parametrin Gemma 2 -versio, joka on hienosäädetty noudattamaan ohjeita. Se on pelkkään dekooderiin perustuva kielimalli, jonka painot ovat avoimesti saatavilla. Malli vastaanottaa ja tuottaa tekstiä, ja sen painopiste on englannin kielessä. Sen käyttötarkoituksia ovat kysymyksiin vastaaminen, tiivistäminen, päättely, luova kirjoittaminen ja koodiin liittyvä työ. IT tarkoittaa ohjeiden noudattamiseen hienosäädettyä versiota, joka eroaa esikoulutetusta mallista ja erikseen kvantisoiduista johdannaisista.\n\nTeknisessä raportissa kuvataan 8 192 tokenin konteksti. Gemma 2:ssa vuorottelevat paikallinen huomiomekanismi, joka käyttää 4 096 tokenin liukuvaa ikkunaa, ja globaali huomiomekanismi, joka kattaa koko kontekstin. 27B-arkkitehtuurissa on 46 kerrosta ja ryhmiteltyihin kyselyihin perustuva huomiomekanismi. Nämä ovat kehittäjän mallin ominaisuuksia, eivät sovelluksen vastauksen pituutta koskevia asetuksia. Valmistele rajattu lähdekatkelma ja jätä tilaa pyydetylle vastaukselle ja keskustelulle sen sijaan, että olettaisit käytettävissä olevan myöhempien Gemma-sukupolvien huomattavasti suuremmat kontekstit.\n\n27B-perusmalli koulutettiin alusta asti 13 biljoonalla tokenilla, jotka koostuivat pääosin englanninkielisestä tekstistä. Dokumentoituja lähteitä ovat verkkodokumentit, koodi sekä matemaattinen tai tieteellinen aineisto. Raportissa tämä koulutus erotetaan pienempien 2B- ja 9B-perusmallien koulutuksessa käytetystä tislauksesta. Ohjeiden noudattamiseen tähtäävä hienosäätö lisää ohjattua koulutusta kehote–vastauspareilla sekä mieltymyksiin perustuvaa hienosäätöä keskusteluvastausten tuottamista varten. Tämän vuoksi IT-version käyttötapa poikkeaa siitä, että esikoulutetulla mallilla jatkettaisiin vapaasti valittua tekstiä.\n\nKun pyydät asiakirjasta yhteenvetoa, toimita katkelma ja kerro, mitä lukija siitä tarvitsee: päätöksiä, vaatimuksia, selityksen tai lyhyen luettelon pääkohdista. Esimerkki tehtävänannosta: ”Tiivistä tämä määritys tuki-insinöörille. Säilytä kaikkien kenttien nimet, erota nimenomaisesti esitetyt vaatimukset esimerkeistä ja luettele yksityiskohdat, joita katkelmassa ei määritellä.” Jos tiedon on perustuttava lähteeseen, pyydä selityksen rinnalle asiaa koskeva sanamuoto tai viittaus lähteen osioon.\n\nKeskustelukäytössä noudatetaan Gemma 2:n user/model-vuoromallipohjaa. Googlen juuri tälle mallille julkaisemassa mallikortissa näytetään, miten keskustelu pidetään tässä mallipohjassa kunkin vuoron alun ja lopun ilmaisevien erotinmerkkien avulla, jotta jatkokysymys voi rakentua edellisen vastauksen varaan. Dokumentoitu formaatti poikkeaa Gemma 4:n uudesta natiivista system-roolista ja ajattelun ohjausasetuksista. Käytännön keskustelussa voidaan ensin poimia faktat ja pyytää sitten lyhyempi selitys tai viestiluonnos niin, että poimitut nimet ja ehdot säilyvät.\n\nSisällytä kooditehtävään asiaankuuluva koodikatkelma, ohjelmointikieli, havaittu toiminta ja odotettu tulos. Pyydä selitys, korjausehdotus tai vaiheittain läpikäyty esimerkki ja määritä tehtävän rajaus. Kirjoita matemaattista päättelyä varten koko ongelma, muuttujien määritelmät ja oletukset tekstinä. Tämä versio ei tue natiivisti kuva- tai äänisyötettä: valokuvattu tehtävä tai puhuttu selitys on ensin muunnettava tekstiksi. Tuloste voi sisältää koodia tai muotoillun vastauksen, mutta nämä tekstimuodot eivät osoita, että mallissa olisi erillinen työkalukutsutila tai tulostetta rajoittava tila.\n\nMallikortissa mainitaan monitulkintaisuus, sarkasmi, monimutkaiset avoimet ohjeet ja faktatarkkuus alueina, joilla vastauksissa voi olla puutteita. Toimita lähteisiin perustuvaa vastausta varten katkelma luotettavasta lähteestä ja pyydä mallia kertomaan, miltä osin tietoja puuttuu. Määritä muokkaustehtävässä kohdeyleisö, sävy, vaaditut tiedot ja osat, joita saa muuttaa. Hyödyllinen lopputuotos on rajattu englanninkielinen vastaus, yhteenveto, luonnos tai koodin selitys, jota voidaan verrata kehotteessa annettuun aineistoon ja ehtoihin.", "editorialOverlay": { "copy_fields": { "practical_html": "Tekninen esimerkki englanniksi
Explain a specification for support\n\nSummarize this specification for a support engineer: “retry_after is optional and measured in seconds. If absent, the client must not infer a retry time. Example: retry_after = 30. A failed request may include error_id.” Separate requirements from examples and list what the passage does not define. Keep field names unchanged.A short support note with requirements, examples and unspecified details in separate sections.Check that 30 seconds remains an example and that error_id is not described as mandatory.google/gemma-2-27b-itGemma 2 27B IT on Googlen ohjeiden noudattamiseen hienosäädetty, vain tekstiä käsittelevä malli englanninkielisiin kysymyksiin vastaamiseen, yhteenvetojen laatimiseen, kirjoittamiseen ja päättelyyn. Sen 8 192 tokenin konteksti ja keskustelumuoto sopivat rajattuihin, lähteisiin perustuviin tehtäviin ja koodin selittämiseen.
Tämä kuvaus kattaa mallin ominaisuudet. Ailootissa saatavilla olevat syötteet, tulosteet ja asetukset luetellaan alla valitulle menetelmälle.
Gemma 2 27B IT on Googlen 27 miljardin parametrin Gemma 2 -versio, joka on hienosäädetty noudattamaan ohjeita. Se on pelkkään dekooderiin perustuva kielimalli, jonka painot ovat avoimesti saatavilla. Malli vastaanottaa ja tuottaa tekstiä, ja sen painopiste on englannin kielessä. Sen käyttötarkoituksia ovat kysymyksiin vastaaminen, tiivistäminen, päättely, luova kirjoittaminen ja koodiin liittyvä työ. IT tarkoittaa ohjeiden noudattamiseen hienosäädettyä versiota, joka eroaa esikoulutetusta mallista ja erikseen kvantisoiduista johdannaisista.
Teknisessä raportissa kuvataan 8 192 tokenin konteksti. Gemma 2:ssa vuorottelevat paikallinen huomiomekanismi, joka käyttää 4 096 tokenin liukuvaa ikkunaa, ja globaali huomiomekanismi, joka kattaa koko kontekstin. 27B-arkkitehtuurissa on 46 kerrosta ja ryhmiteltyihin kyselyihin perustuva huomiomekanismi. Nämä ovat kehittäjän mallin ominaisuuksia, eivät sovelluksen vastauksen pituutta koskevia asetuksia. Valmistele rajattu lähdekatkelma ja jätä tilaa pyydetylle vastaukselle ja keskustelulle sen sijaan, että olettaisit käytettävissä olevan myöhempien Gemma-sukupolvien huomattavasti suuremmat kontekstit.
27B-perusmalli koulutettiin alusta asti 13 biljoonalla tokenilla, jotka koostuivat pääosin englanninkielisestä tekstistä. Dokumentoituja lähteitä ovat verkkodokumentit, koodi sekä matemaattinen tai tieteellinen aineisto. Raportissa tämä koulutus erotetaan pienempien 2B- ja 9B-perusmallien koulutuksessa käytetystä tislauksesta. Ohjeiden noudattamiseen tähtäävä hienosäätö lisää ohjattua koulutusta kehote–vastauspareilla sekä mieltymyksiin perustuvaa hienosäätöä keskusteluvastausten tuottamista varten. Tämän vuoksi IT-version käyttötapa poikkeaa siitä, että esikoulutetulla mallilla jatkettaisiin vapaasti valittua tekstiä.
Kun pyydät asiakirjasta yhteenvetoa, toimita katkelma ja kerro, mitä lukija siitä tarvitsee: päätöksiä, vaatimuksia, selityksen tai lyhyen luettelon pääkohdista. Esimerkki tehtävänannosta: ”Tiivistä tämä määritys tuki-insinöörille. Säilytä kaikkien kenttien nimet, erota nimenomaisesti esitetyt vaatimukset esimerkeistä ja luettele yksityiskohdat, joita katkelmassa ei määritellä.” Jos tiedon on perustuttava lähteeseen, pyydä selityksen rinnalle asiaa koskeva sanamuoto tai viittaus lähteen osioon.
Keskustelukäytössä noudatetaan Gemma 2:n user/model-vuoromallipohjaa. Googlen juuri tälle mallille julkaisemassa mallikortissa näytetään, miten keskustelu pidetään tässä mallipohjassa kunkin vuoron alun ja lopun ilmaisevien erotinmerkkien avulla, jotta jatkokysymys voi rakentua edellisen vastauksen varaan. Dokumentoitu formaatti poikkeaa Gemma 4:n uudesta natiivista system-roolista ja ajattelun ohjausasetuksista. Käytännön keskustelussa voidaan ensin poimia faktat ja pyytää sitten lyhyempi selitys tai viestiluonnos niin, että poimitut nimet ja ehdot säilyvät.
Sisällytä kooditehtävään asiaankuuluva koodikatkelma, ohjelmointikieli, havaittu toiminta ja odotettu tulos. Pyydä selitys, korjausehdotus tai vaiheittain läpikäyty esimerkki ja määritä tehtävän rajaus. Kirjoita matemaattista päättelyä varten koko ongelma, muuttujien määritelmät ja oletukset tekstinä. Tämä versio ei tue natiivisti kuva- tai äänisyötettä: valokuvattu tehtävä tai puhuttu selitys on ensin muunnettava tekstiksi. Tuloste voi sisältää koodia tai muotoillun vastauksen, mutta nämä tekstimuodot eivät osoita, että mallissa olisi erillinen työkalukutsutila tai tulostetta rajoittava tila.
Mallikortissa mainitaan monitulkintaisuus, sarkasmi, monimutkaiset avoimet ohjeet ja faktatarkkuus alueina, joilla vastauksissa voi olla puutteita. Toimita lähteisiin perustuvaa vastausta varten katkelma luotettavasta lähteestä ja pyydä mallia kertomaan, miltä osin tietoja puuttuu. Määritä muokkaustehtävässä kohdeyleisö, sävy, vaaditut tiedot ja osat, joita saa muuttaa. Hyödyllinen lopputuotos on rajattu englanninkielinen vastaus, yhteenveto, luonnos tai koodin selitys, jota voidaan verrata kehotteessa annettuun aineistoon ja ehtoihin.
POST /v1/chat/completionstexttext| Kenttä | Tyyppi | Vaatimus | Arvot & rajat | Oletus |
|---|---|---|---|---|
Kenttämodel | Tyyppistring | VaatimusPakollinen | Arvot & rajat google/gemma-2-27b-it | Oletus— |
Kenttämessages | Tyyppimessage[] | VaatimusPakollinen | Arvot & rajat Kohteiden vähimmäismäärä: 1 | Oletus— |
Kenttämessages[].role | Tyyppistring | VaatimusPakollinen | Arvot & rajat Esimerkit: system, user, assistant, tool, function Ehdot: Nämä roolit esitetään nimenomaisesti lähdekoodin yhteensopivuustyypeissä; mallin täsmällinen roolijoukko pysyy mallikohtaisena. Riippuu mallista | Oletus— |
Kenttämessages[].content | Tyyppistring|content_part[]|null | VaatimusValinnainen | Arvot & rajat | Oletus— |
Kenttämessages[].tool_calls | Tyyppitool_call[] | VaatimusValinnainen | Arvot & rajat | Oletus— |
Kenttämessages[].tool_call_id | Tyyppistring | VaatimusValinnainen | Arvot & rajat Sovelletaan, kun: role=tool; käytä todella palautettua ID:tä | Oletus— |
Kenttämessages[].name | Tyyppistring | VaatimusValinnainen | Arvot & rajat | Oletus— |
Kenttämessages[].reasoning_content | Tyyppistring | VaatimusValinnainen | Arvot & rajat Sovelletaan, kun: Palauta todella saatu päättely takaisin mallille, kun kyseinen malli käyttää sitä | Oletus— |
Kenttämessages[].reasoning_details | Tyyppiobject|array | VaatimusValinnainen | Arvot & rajat Riippuu mallista | Oletus— |
Kenttämax_tokens | Tyyppiinteger | VaatimusValinnainen | Arvot & rajat Vähimmäismäärä: 1 Riippuu mallista | Oletus— |
Kenttämax_completion_tokens | Tyyppiinteger | VaatimusValinnainen | Arvot & rajat Vähimmäismäärä: 1 Riippuu mallista | Oletus— |
Kenttästream | Tyyppiboolean | VaatimusValinnainen | Arvot & rajat | Oletusfalse |
Kenttästream_options.include_usage | Tyyppiboolean | VaatimusValinnainen | Arvot & rajat Riippuu mallista | Oletus— |
Kenttätemperature | Tyyppinumber | VaatimusValinnainen | Arvot & rajat Riippuu mallista | Oletus— |
Kenttätop_p | Tyyppinumber | VaatimusValinnainen | Arvot & rajat Riippuu mallista | Oletus— |
Kenttästop | Tyyppistring|string[] | VaatimusValinnainen | Arvot & rajat Riippuu mallista | Oletus— |
Kenttätools | Tyyppifunction_tool[] | VaatimusValinnainen | Arvot & rajat Riippuu mallista | Oletus— |
Kenttätools[].type | Tyyppistring | VaatimusValinnainen | Arvot & rajat function Riippuu mallista | Oletus— |
Kenttätools[].function.name | Tyyppistring | VaatimusPakollinen | Arvot & rajat Sovelletaan, kun: funktiotyökalu annettu | Oletus— |
Kenttätools[].function.description | Tyyppistring | VaatimusValinnainen | Arvot & rajat | Oletus— |
Kenttätools[].function.parameters | TyyppiJSON_schema | VaatimusValinnainen | Arvot & rajat | Oletus— |
Kenttätool_choice | Tyyppistring|object | VaatimusValinnainen | Arvot & rajat Riippuu mallista | Oletus— |
Kenttäparallel_tool_calls | Tyyppiboolean | VaatimusValinnainen | Arvot & rajat Riippuu mallista | Oletus— |
Kenttäresponse_format | Tyyppiobject | VaatimusValinnainen | Arvot & rajat Riippuu mallista | Oletus— |
Kenttäreasoning_effort | Tyyppistring | VaatimusValinnainen | Arvot & rajat Riippuu mallista | Oletus— |
Kenttäreasoning | Tyyppiobject | VaatimusValinnainen | Arvot & rajat Riippuu mallista | Oletus— |
Kenttäservice_tier | Tyyppistring | VaatimusValinnainen | Arvot & rajat Riippuu mallista | Oletus— |
Kenttäinstructions | Tyyppistring | VaatimusValinnainen | Arvot & rajat Yhteensopivuuskenttä | Oletus— |
Kenttäfunctions | Tyyppifunction[] | VaatimusValinnainen | Arvot & rajat Riippuu mallista | Oletus— |
Kenttäfunction_call | Tyyppistring|object | VaatimusValinnainen | Arvot & rajat Riippuu mallista | Oletus— |
Kenttäprompt_cache_options | Tyyppiobject | VaatimusValinnainen | Arvot & rajat Riippuu mallista | Oletus— |
Kenttämodalities | Tyyppistring[] | VaatimusValinnainen | Arvot & rajat text | Oletus— |
Kenttäprovider | Tyyppiobject | VaatimusValinnainen | Arvot & rajat Ehdot: provider.options hylätään tällä Ultran tekstireitillä | Oletus— |
Kenttäcache_control.ttl | Tyyppistring | VaatimusValinnainen | Arvot & rajat Ehdot: 1h hylätään varsinaisissa kehotevälimuistin kohdissa | Oletus— |
Teksti · UTF8-teksti
messages[].content
| Parametri | Sopimus |
|---|---|
Parametricontent_type | Sopimusapplication/json |
Parametrirequired | Sopimusmodel, messages |
Parametrimaterial_types | Sopimustext |
Parametrimessages | Sopimusviestitaulukko role/content-rakenteella |
Parametrifile_material | Sopimusvarsinainen UTF-8-asiakirja lisätään sellaisenaan tekstinä; tiedoston ID:tä ei päätellä |
Parametrioptional_controls | Sopimusstream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
Parametricontrol_scope | Sopimusmallikohtainen; käyttäjän funktiotyökalut eroavat palvelun isännöimistä työkaluista |
Parametrioutput_modalities | Sopimustext |
Parametrihosted_operations | Sopimusfalse |
Parametrimultimodal_input_binding | Sopimusnull |
Elinkaari: synchronous_or_streamed
Lähetä mallin täsmällinen ID yhdessä messages-kentän kanssa.
Kontekstin pituus ei ole tuloksen yläraja.
Tekstitiedosto voi antaa tekstiä sellaisenaan; kuva-, ääni- ja tiedosto-objektisyötteet tarvitsevat täsmällisen sidonnan.
Hintatiedot eivät lisää pyyntövalintoja. Tuetut parametrit on lueteltu valitulle menetelmälle.
Kohdista kukin veloitus näytettyihin ehtoihin. Käytä yhtä hintaa kutakin vaihtoehtoisten asetusten ryhmää kohden.
| Asetukset | Hinnasto | Kontekstin tokenit, enemmän kuin | Kontekstin tokenit, enintään raja-arvo mukaan lukien | Veloitus |
|---|---|---|---|---|
| AsetuksetTokenien perushinnat | HinnastoPerushinta | Kontekstin tokenit, enemmän kuin— | Kontekstin tokenit, enintään raja-arvo mukaan lukienEi ylärajaa | Veloitus Syöte · Syötetokenit $0.0013 / 1K tokenia Tuloste · Tulostokenit $0.0013 / 1K tokenia Syöte · Välimuistin luku — / 1K tokenia Syöte · Välimuistiin kirjoitus — / 1K tokenia Syöte · Välimuistiin kirjoitus, 1 tunti — / 1K tokenia |
| AsetuksetPyynnön pituusluokka 1 | Hinnasto— | Kontekstin tokenit, enemmän kuin0 | Kontekstin tokenit, enintään raja-arvo mukaan lukienEi ylärajaa | Veloitus Syöte · Syötetokenit $0.0013 / 1K tokenia Tuloste · Tulostokenit $0.0013 / 1K tokenia Syöte · Välimuistin luku — / 1K tokenia Syöte · Välimuistiin kirjoitus — / 1K tokenia Syöte · Välimuistiin kirjoitus, 1 tunti — / 1K tokenia |
Ailoot varaa arvioidun summan ennen pyyntöä. Tuloksen jälkeen lopullinen veloitus toteutetaan mitatun käytön perusteella. Suoratoiston veloituksessa käytetään lopullista käyttötietuetta. Varauksen ja lopullisen veloituksen toiminta →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "google/gemma-2-27b-it", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='google/gemma-2-27b-it',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='google/gemma-2-27b-it',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson tai SSE
Säilytä jokainen kokonainen palautettu vastaus, tiedosto ja sisällön osa.
Säilytä jokainen vastausvaihtoehto sisältöineen, työkalukutsuineen ja päättelyineen. Kokoa SSE:ssä muutokset vastausvaihtoehdon ja työkalun indeksin mukaan ja säilytä lopullinen päättymissyy sekä käyttötiedot.
Säilytä pyyntöjen/vastausten ID:t ja otsakkeet. Yleistä tekstityön haku-URL:ää ei anneta.
| Kenttä | Tyyppi |
|---|---|
Kenttächoices[].index | Tyyppiinteger |
Kenttächoices[].message.content | Tyyppistring|null |
Kenttächoices[].message.tool_calls | Tyyppitool_call[] |
Kenttächoices[].message.reasoning_content | Tyyppistring |
Kenttächoices[].message.reasoning_details | Tyyppiobject|array |
Kenttächoices[].finish_reason | Tyyppistring|null |
Kenttäusage | Tyyppiobject |
| Vastaus | Ehto | Seuraava vaihe |
|---|---|---|
Vastaus400 · invalid_request_error | EhtoVirheelliset pakolliset kentät, aineiston esitysmuoto tai parametrin arvo | Seuraava vaiheKorjaa ilmoitetut kentät ennen uutta luontipyyntöä. |
Ailoot Ultra google/gemma-2-27b-it
Käytä yllä näytettyjä menetelmäpolkuja.
google/gemma-2-27b-itGemma 2 27B IT on Googlen ohjeiden noudattamiseen hienosäädetty, vain tekstiä käsittelevä malli englanninkielisiin kysymyksiin vastaamiseen, yhteenvetojen laatimiseen, kirjoittamiseen ja päättelyyn. Sen 8 192 tokenin konteksti ja keskustelumuoto sopivat rajattuihin, lähteisiin perustuviin tehtäviin ja koodin selittämiseen.
Tämä kuvaus kattaa mallin ominaisuudet. Ailootissa saatavilla olevat syötteet, tulosteet ja asetukset luetellaan alla valitulle menetelmälle.
Gemma 2 27B IT on Googlen 27 miljardin parametrin Gemma 2 -versio, joka on hienosäädetty noudattamaan ohjeita. Se on pelkkään dekooderiin perustuva kielimalli, jonka painot ovat avoimesti saatavilla. Malli vastaanottaa ja tuottaa tekstiä, ja sen painopiste on englannin kielessä. Sen käyttötarkoituksia ovat kysymyksiin vastaaminen, tiivistäminen, päättely, luova kirjoittaminen ja koodiin liittyvä työ. IT tarkoittaa ohjeiden noudattamiseen hienosäädettyä versiota, joka eroaa esikoulutetusta mallista ja erikseen kvantisoiduista johdannaisista.
Teknisessä raportissa kuvataan 8 192 tokenin konteksti. Gemma 2:ssa vuorottelevat paikallinen huomiomekanismi, joka käyttää 4 096 tokenin liukuvaa ikkunaa, ja globaali huomiomekanismi, joka kattaa koko kontekstin. 27B-arkkitehtuurissa on 46 kerrosta ja ryhmiteltyihin kyselyihin perustuva huomiomekanismi. Nämä ovat kehittäjän mallin ominaisuuksia, eivät sovelluksen vastauksen pituutta koskevia asetuksia. Valmistele rajattu lähdekatkelma ja jätä tilaa pyydetylle vastaukselle ja keskustelulle sen sijaan, että olettaisit käytettävissä olevan myöhempien Gemma-sukupolvien huomattavasti suuremmat kontekstit.
27B-perusmalli koulutettiin alusta asti 13 biljoonalla tokenilla, jotka koostuivat pääosin englanninkielisestä tekstistä. Dokumentoituja lähteitä ovat verkkodokumentit, koodi sekä matemaattinen tai tieteellinen aineisto. Raportissa tämä koulutus erotetaan pienempien 2B- ja 9B-perusmallien koulutuksessa käytetystä tislauksesta. Ohjeiden noudattamiseen tähtäävä hienosäätö lisää ohjattua koulutusta kehote–vastauspareilla sekä mieltymyksiin perustuvaa hienosäätöä keskusteluvastausten tuottamista varten. Tämän vuoksi IT-version käyttötapa poikkeaa siitä, että esikoulutetulla mallilla jatkettaisiin vapaasti valittua tekstiä.
Kun pyydät asiakirjasta yhteenvetoa, toimita katkelma ja kerro, mitä lukija siitä tarvitsee: päätöksiä, vaatimuksia, selityksen tai lyhyen luettelon pääkohdista. Esimerkki tehtävänannosta: ”Tiivistä tämä määritys tuki-insinöörille. Säilytä kaikkien kenttien nimet, erota nimenomaisesti esitetyt vaatimukset esimerkeistä ja luettele yksityiskohdat, joita katkelmassa ei määritellä.” Jos tiedon on perustuttava lähteeseen, pyydä selityksen rinnalle asiaa koskeva sanamuoto tai viittaus lähteen osioon.
Keskustelukäytössä noudatetaan Gemma 2:n user/model-vuoromallipohjaa. Googlen juuri tälle mallille julkaisemassa mallikortissa näytetään, miten keskustelu pidetään tässä mallipohjassa kunkin vuoron alun ja lopun ilmaisevien erotinmerkkien avulla, jotta jatkokysymys voi rakentua edellisen vastauksen varaan. Dokumentoitu formaatti poikkeaa Gemma 4:n uudesta natiivista system-roolista ja ajattelun ohjausasetuksista. Käytännön keskustelussa voidaan ensin poimia faktat ja pyytää sitten lyhyempi selitys tai viestiluonnos niin, että poimitut nimet ja ehdot säilyvät.
Sisällytä kooditehtävään asiaankuuluva koodikatkelma, ohjelmointikieli, havaittu toiminta ja odotettu tulos. Pyydä selitys, korjausehdotus tai vaiheittain läpikäyty esimerkki ja määritä tehtävän rajaus. Kirjoita matemaattista päättelyä varten koko ongelma, muuttujien määritelmät ja oletukset tekstinä. Tämä versio ei tue natiivisti kuva- tai äänisyötettä: valokuvattu tehtävä tai puhuttu selitys on ensin muunnettava tekstiksi. Tuloste voi sisältää koodia tai muotoillun vastauksen, mutta nämä tekstimuodot eivät osoita, että mallissa olisi erillinen työkalukutsutila tai tulostetta rajoittava tila.
Mallikortissa mainitaan monitulkintaisuus, sarkasmi, monimutkaiset avoimet ohjeet ja faktatarkkuus alueina, joilla vastauksissa voi olla puutteita. Toimita lähteisiin perustuvaa vastausta varten katkelma luotettavasta lähteestä ja pyydä mallia kertomaan, miltä osin tietoja puuttuu. Määritä muokkaustehtävässä kohdeyleisö, sävy, vaaditut tiedot ja osat, joita saa muuttaa. Hyödyllinen lopputuotos on rajattu englanninkielinen vastaus, yhteenveto, luonnos tai koodin selitys, jota voidaan verrata kehotteessa annettuun aineistoon ja ehtoihin.
POST /v1/messagestextjson, sse| Kenttä | Tyyppi | Vaatimus | Arvot & rajat | Oletus |
|---|---|---|---|---|
Kenttämodel | Tyyppistring | VaatimusPakollinen | Arvot & rajat google/gemma-2-27b-it | Oletus— |
Kenttämessages | Tyyppimessage[] | VaatimusPakollinen | Arvot & rajat | Oletus— |
Kenttämessages[].role | Tyyppistring | VaatimusPakollinen | Arvot & rajat user, assistant | Oletus— |
Kenttämessages[].content | Tyyppistring | VaatimusPakollinen | Arvot & rajat | Oletus— |
Kenttämax_tokens | Tyyppiinteger | VaatimusPakollinen | Arvot & rajat | Oletus— |
Kenttästream | Tyyppiboolean | VaatimusValinnainen | Arvot & rajat | Oletusfalse |
Teksti · UTF-8-teksti
messages[].content-merkkijono
| Parametri | Sopimus |
|---|---|
Parametricontent_type | Sopimusapplication/json |
Parametrirequired | Sopimusmodel, messages, max_tokens |
Parametrioptional_controls | Sopimusstream |
Parametrimaterial_types | Sopimustext |
Parametritext_file_material | SopimusLue varsinainen UTF-8-asiakirja ja sijoita sen teksti ilmoitettuun syöte- tai viestisisällön merkkijonoon. |
Elinkaari: synchronous_or_streamed
Hintatiedot eivät lisää pyyntövalintoja. Tuetut parametrit on lueteltu valitulle menetelmälle.
Kohdista kukin veloitus näytettyihin ehtoihin. Käytä yhtä hintaa kutakin vaihtoehtoisten asetusten ryhmää kohden.
| Asetukset | Hinnasto | Kontekstin tokenit, enemmän kuin | Kontekstin tokenit, enintään raja-arvo mukaan lukien | Veloitus |
|---|---|---|---|---|
| AsetuksetTokenien perushinnat | HinnastoPerushinta | Kontekstin tokenit, enemmän kuin— | Kontekstin tokenit, enintään raja-arvo mukaan lukienEi ylärajaa | Veloitus Syöte · Syötetokenit $0.0013 / 1K tokenia Tuloste · Tulostokenit $0.0013 / 1K tokenia Syöte · Välimuistin luku — / 1K tokenia Syöte · Välimuistiin kirjoitus — / 1K tokenia Syöte · Välimuistiin kirjoitus, 1 tunti — / 1K tokenia |
| AsetuksetPyynnön pituusluokka 1 | Hinnasto— | Kontekstin tokenit, enemmän kuin0 | Kontekstin tokenit, enintään raja-arvo mukaan lukienEi ylärajaa | Veloitus Syöte · Syötetokenit $0.0013 / 1K tokenia Tuloste · Tulostokenit $0.0013 / 1K tokenia Syöte · Välimuistin luku — / 1K tokenia Syöte · Välimuistiin kirjoitus — / 1K tokenia Syöte · Välimuistiin kirjoitus, 1 tunti — / 1K tokenia |
Ailoot varaa arvioidun summan ennen pyyntöä. Tuloksen jälkeen lopullinen veloitus toteutetaan mitatun käytön perusteella. Suoratoiston veloituksessa käytetään lopullista käyttötietuetta. Varauksen ja lopullisen veloituksen toiminta →
{\n "model": "google/gemma-2-27b-it",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'google/gemma-2-27b-it', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'google/gemma-2-27b-it', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON tai SSE
Säilytä jokainen kokonainen palautettu vastaus, tiedosto ja sisällön osa.
Säilytä kaikki sisältölohkot, päättelyallekirjoitukset ja todelliset työkalukäytön ID:t. Kokoa kaikki SSE-lohkomuutokset; ensimmäinen tekstilohko ei ole koko tulos.
Säilytä pyyntöjen/vastausten ID:t ja otsakkeet. Yleistä tekstityön haku-URL:ää ei anneta.
| Kenttä | Tyyppi |
|---|---|
Kenttäid | Tyyppistring |
Kenttämodel | Tyyppistring |
Kenttäcontent[] | Tyyppitext|thinking|tool_use|other content block |
Kenttästop_reason | Tyyppistring|null |
Kenttäusage | Tyyppiobject |
| Vastaus | Ehto | Seuraava vaihe |
|---|---|---|
Vastaus400 · invalid_request_error | EhtoVirheelliset pakolliset kentät, aineiston esitysmuoto tai parametrin arvo | Seuraava vaiheKorjaa ilmoitetut kentät ennen uutta luontipyyntöä. |
Ailoot Ultra google/gemma-2-27b-it
Käytä yllä näytettyjä menetelmäpolkuja.
Tekninen esimerkki englanniksi
Explain a specification for support\n\nSummarize this specification for a support engineer: “retry_after is optional and measured in seconds. If absent, the client must not infer a retry time. Example: retry_after = 30. A failed request may include error_id.” Separate requirements from examples and list what the passage does not define. Keep field names unchanged.A short support note with requirements, examples and unspecified details in separate sections.Check that 30 seconds remains an example and that error_id is not described as mandatory.