VoyageAI by MongoDB: voyage-4-large
voyage-4-large yra Voyage AI ekspertų mišinio architektūros teksto įterpinių modelis bendrosios paskirties ir daugiakalbei paieškai. Jo vektoriai dalijasi Voyage 4 šeimos erdve, todėl Large sukurtuose korpuso įterpiniuose galima ieškoti naudojant suderinamus kitų šeimos modelių užklausų įterpinius.
Apie modelį
Šis aprašas apima modelio galimybes. Pasirinktam metodui Ailoot prieinamos įvestys, išvestys ir parinktys nurodytos toliau.
voyage-4-large – tai pavyzdinis „Voyage AI“ tekstinių įterpinių modelis Voyage 4 šeimoje. Jis paverčia pradines ištraukas ir užklausas skaitiniais vektoriais bendros paskirties bei daugiakalbei paieškai. Dvi išskirtinės jo savybės – ekspertų mišinio modelio principas ir bendra įterpinių erdvė, kurią naudoja voyage-4-large, voyage-4, voyage-4-lite ir voyage-4-nano.
Bendra erdvė: atskiri korpuso ir užklausų pasirinkimai
Gamintojas aprašo asimetrinę paiešką: dokumentų įterpinius galima kurti su voyage-4-large, o užklausų vektorius paruošti kitu Voyage 4 šeimos modeliu. Pavyzdžiui, Large reprezentuotame korpuse galima atlikti paiešką voyage-4 užklausomis. Tai leidžia abiem paieškos pusėms naudoti skirtingus modelius ir likti dokumentuotoje suderinamoje erdvėje.
Praktinis rinkinys gali naudoti Large stabilioms dokumentų ištraukoms paruošti ir nepriklausomai pasirinkti užklausų pusės modelį. Dokumentų įterpiniai kuriami formuojant ar atnaujinant korpusą, o užklausos vektorizuojamos naudotojams ieškant. Šeimos pristatymas aprašo užklausų modelio pakeitimą suderinamoje šeimoje, vien dėl šio pakeitimo iš naujo nevektorizuojant dokumentų korpuso. Lyginamiems vektoriams išlaikykite vienodus matmenis ir reprezentacijas, kurias paieškos sistema gali kartu interpretuoti.
Ekspertų mišinio įterpinių principas
Tankusis tiesioginio sklidimo sluoksnis kiekvieną žetoną apdoroja visu savo parametrų rinkiniu. Modeliui voyage-4-large aprašytas MoE principas naudoja maršrutizatorių ir ekspertų tiesioginio sklidimo tinklus, parinkdamas kiekvieną žetoną apdorojančius ekspertus. Tai atskiria bendrą modelio talpą nuo konkrečiam žetonui aktyvių parametrų. „Voyage“ nurodo 1/10 aktyvavimo santykį savo MoE principui, naudojant top-k parinkimą.
Gamintojo techninis paaiškinimas taip pat aprašo du kūrimo pasirinkimus. Ekspertų talpa lemia, ar pertekliniai žetonai apeina eksperto sluoksnį per liekamąjį kelią; komanda parinko didžiausią įmanomą talpos koeficientą, kad išvengtų paieškos kokybės praradimo. Galutiniame mokymo etape maršrutizatoriaus parametrai prieš modelių sujungimą užfiksuojami, kad pradinių modelių interpoliacija nepakeistų išmokto ekspertų parinkimo. Tai modelio parengimo savybės, atskiros nuo teksto ilgio ar trumpinimo nustatymų, naudojamų ruošiant įvestį.
Matmenys ir išvesties reprezentacija
Oficialioje modelių lentelėje nurodytas 32,000 žetonų konteksto langas ir pasirenkami 256, 512, 1024 bei 2048 matmenų įterpiniai; numatytasis dydis – 1024. Šeima naudoja Matryoshka mokymą įdėtiniams reprezentacijų dydžiams ir palaiko kvantizacijos pasirinkimus: 32 bitų slankųjį kablelį, sveikuosius 8 bitų skaičius su ženklu ar be jo ir supakuotą dvejetainę išvestį.
Dvejetainės išvesties atveju grąžinto baitų sąrašo ilgis yra viena aštuntoji pasirinkto matmens, nes kiekviename baite yra aštuoni įterpinio bitai. Kartu su indeksu išsaugokite matmens ir duomenų tipo pasirinkimus bei naudokite šią reprezentaciją palaikantį palyginimo metodą. Mažesnis ar suspaustas vektorius pakeičia paieškai naudojamą reprezentaciją; prieš rinkdami ją rinkiniui, įvertinkite tikriems klausimams grąžinamas svarbias ištraukas.
Paruoškite dokumentų ir užklausų įvestis
„Voyage“ korpuso ištraukoms rekomenduoja document vaidmenį, o paieškos formuluotei – query vaidmenį. Vaidmens parinktis prieš įterpinio kūrimą prideda atitinkamą paieškos instrukciją. Išsaugokite naudingą ištraukos antraštę, sąlygas bei vietą šaltinyje ir grąžintą vektorių saugokite su pradiniu tekstu bei stabiliu identifikatoriumi.
Techninių žinių rinkinyje klausimas apie klaidos režimą turi nukreipti į jį ir jo svarbias sąlygas aprašančią ištrauką. Kelių kalbų dokumentų rinkinyje išsaugokite pradinę kalbą ir įvertinkite klausimus bei terminiją, kuriais naudotojai ieškos. Leidimas apima paieškos medžiagą, įskaitant techninius dokumentus, pokalbius, ilgus dokumentus, kodą, teisę, finansus ir žiniatinklio tekstą. Įterpinys suranda kandidatinę medžiagą; vėlesnis pakartotinio rikiavimo ar atsakymo etapas naudoja pradinį tekstą.
Konteksto, paketų ir trumpinimo ribos
Dabartinis gamintojo vadovas leidžia iki 1,000 eilučių ir iš viso 120,000 įvesties žetonų vienoje voyage-4-large užklausoje. Tai skiriasi nuo voyage-4 nurodytos paketo apimties, nors abu turi 32,000 žetonų langą vienam tekstui. Numatytasis trumpinimas sutrumpina per ilgą įvestį, kad tilptų; išjungus trumpinimą per ilgas tekstas grąžina klaidą.
Sąmoningai rinkitės atsakymą turinčių ištraukų ribas, kad ilgas šaltinis neprarastų svarbios patikslinančios sąlygos nukirptoje pabaigoje. Grąžindami paieškos rezultatus išsaugokite jų ryšį su šaltiniu ir tikrinkite tikrą kandidatų tekstą, užuot vektorių artumą laikę turinio patvirtinimu. Bendros erdvės suderinamumas taikomas dokumentuotai Voyage 4 tekstinei šeimai; kontekstinis dalių apdorojimas, vaizdų bei vaizdo įrašų įterpiniai ir vėlesni modelių leidimai lieka atskiromis konkretaus modelio darbo eigomis.
Ailoot Ultra · Įterpiniai POST /v1/embeddings voyageai/voyage-4-large
voyageai/voyage-4-largePradžia
voyage-4-large yra Voyage AI ekspertų mišinio architektūros teksto įterpinių modelis bendrosios paskirties ir daugiakalbei paieškai. Jo vektoriai dalijasi Voyage 4 šeimos erdve, todėl Large sukurtuose korpuso įterpiniuose galima ieškoti naudojant suderinamus kitų šeimos modelių užklausų įterpinius.
- Leidžiamos įvestys
- Tekstas · token_ids
- Rezultatai
- embedding
Prieinama Ailoot · įvestys ir metodai
Ailoot Ultra · Įterpiniai POST /v1/embeddings
- Įvestis
text,token_ids- Išvestis
embedding- Kontekstas
- 32 000 tokens
- Išvesties formatas
- json
| Laukas | Tipas | Reikalavimas | Reikšmės ir ribos | Numatyta |
|---|---|---|---|---|
Laukasmodel | Tipasstring | ReikalavimasPrivaloma | Reikšmės ir ribos voyageai/voyage-4-large | Numatyta— |
Laukasinput | Tipasstring|string[]|integer[]|integer[][] | ReikalavimasPrivaloma | Reikšmės ir ribos Mažiausias elementų skaičius: 1 Sąlygos: Netuščias vienalyčių įvesčių paketas. Žetonų ID yra neneigiami sveikieji skaičiai. Įvesties biudžetas: Didžiausia reikšmė: 32 000 · Teksto vienetas: UTF8 baitai · Tokenų vienetas: žetonų masyvo elementai | Numatyta— |
Laukasencoding_format | Tipasstring | ReikalavimasNeprivaloma | Reikšmės ir ribos float | Numatytafloat |
Laukasdimensions | Tipasinteger | ReikalavimasNepalaikoma | Reikšmės ir ribos Mažiausia reikšmė: 1 | Numatyta— |
Laukasuser | Tipasjson_value | ReikalavimasNeprivaloma | Reikšmės ir ribos Sąlygos: Šaltinis leidžia šį JSON metaduomenų lauką; tiksli jo reikšmė tiekėjo sistemoje priklauso nuo modelio. | Numatyta— |
Laukassession_id | Tipasjson_value | ReikalavimasNeprivaloma | Reikšmės ir ribos Sąlygos: Šaltinis leidžia šį JSON metaduomenų lauką; tiksli jo reikšmė tiekėjo sistemoje priklauso nuo modelio. | Numatyta— |
Laukastrace | Tipasjson_value | ReikalavimasNeprivaloma | Reikšmės ir ribos Sąlygos: Šaltinis leidžia šį JSON metaduomenų lauką; tiksli jo reikšmė tiekėjo sistemoje priklauso nuo modelio. | Numatyta— |
Laukasprovider | Tipasobject | ReikalavimasNeprivaloma | Reikšmės ir ribos Sąlygos: provider.options atmetamas | Numatyta— |
Įvesties medžiagos deriniai
text_to_embedding
Metodo parametrai ir gyvavimo ciklas
| Parametras | Specifikacija |
|---|---|
Parametrascontent_type | Specifikacijaapplication/json |
Parametrasrequired | Specifikacijamodel, input |
Parametrasinput_shapes | Specifikacijastring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
Parametrasencoding_format | Specifikacijafloat |
Parametrasdimensions_override | Specifikacijafalse |
Parametrasmax_input_budget_units | Specifikacija32000 |
Parametrasmultimodal_objects | Specifikacijafalse |
Parametrasmaterial_types | Specifikacijatext, token_ids |
Gyvavimo ciklas: synchronous_json
Išsaugokite kiekvieną vektoriaus indeksą ir matmenį.
Tai, kad modelio pavadinimas nurodo multimodalumą, nereiškia, jog šiuo konkrečiu keliu priimami vaizdų objektai.
Planai
Tarifų informacija neprideda užklausos parinkčių. Palaikomi parametrai nurodyti prie pasirinkto metodo.
- Spartusis režimas
- Standartinis įkainis Pasirinkus spartųjį režimą
- Flex režimas
- Standartinis įkainis Pasirinkus flex režimą
- Didžiausios samprotavimo pastangos
- Standartinis įkainis Kai didžiausioms samprotavimo pastangoms taikomas numatytasis koregavimas (default)
Ailoot įkainiai
Kainos pagal konfigūraciją
| Konfigūracija | Įkainių lentelė | Mokestis |
|---|---|---|
| KonfigūracijaBaziniai žetonų įkainiai | Įkainių lentelėBazinis įkainis | Mokestis Įvestis · Įvesties tokenai $0.00024 / 1K tokenų Išvestis · Išvesties tokenai $0 / 1K tokenų Įvestis · Talpyklos skaitymas — / 1K tokenų Įvestis · Rašymas į talpyklą — / 1K tokenų Įvestis · Rašymas į talpyklą, 1 val — / 1K tokenų |
Ailoot prieš užklausą rezervuoja numatomą sumą. Gavus rezultatą, galutinis mokestis nuskaitomas pagal išmatuotą naudojimą. Srautinio atsakymo atsiskaitymui naudojamas galutinis naudojimo įrašas. Kaip veikia rezervavimas ir atsiskaitymas →
Užklausų pavyzdžiai
Ailoot Ultra · Įterpiniai
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "voyageai/voyage-4-large", "input": ["First document", "Second document"]}')
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT
from openai import OpenAI
import os
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='voyageai/voyage-4-large',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)
Gauti ir išsaugoti rezultatus
Ailoot Ultra · Įterpiniai
json
Išsaugoti visus baigtus rezultatus
Išsaugokite kiekvieną visą grąžintą atsakymą, failą ir turinio dalį.
Išsaugokite kiekvieną vektorių su jo indeksu. Vektorių skaičius turi sutapti su įvesčių skaičiumi; jų matmenų skaičius turi būti vienodas.
Jei reikia patikrinti pradinį atsakymą
Vektorių generavimo užduotims atskiras API galinis taškas neįvedamas.
Atsakymo laukai
| Laukas | Tipas |
|---|---|
Laukasobject | Tipasstring |
Laukasmodel | Tipasstring |
Laukasdata[].index | Tipasinteger |
Laukasdata[].embedding | Tipasfinite float[] |
Laukasusage | Tipasobject |
Klaidos ir tolesni veiksmai
| Atsakymas | Sąlyga | Kitas žingsnis |
|---|---|---|
Atsakymas400 · invalid_request_error | SąlygaNetinkami privalomi laukai, medžiagos pateikimo forma arba parametro reikšmė | Kitas žingsnisPrieš naują kūrimo užklausą pataisykite nurodytus laukus. |
Pseudonimai
Modelių pseudonimai
Ailoot Ultra voyageai/voyage-4-large
Metodų kelių pseudonimai
Naudokite aukščiau nurodytus metodų kelius.
Susiję ID iškvietimui
FAQ · VoyageAI by MongoDB: voyage-4-large
- Kokios įvestys ir rezultatai prieinami?
POST /v1/embeddings·voyageai/voyage-4-large:text,token_ids→embedding- Kokius laukus naudoja užklausa?
POST /v1/embeddings·voyageai/voyage-4-large:model,input,encoding_format,provider- Kokie apribojimai taikomi?
POST /v1/embeddings·voyageai/voyage-4-large:ctx:32000;input.budget.maximum:32000(UTF8 baitai);input.min_items:1