VoyageAI by MongoDB: voyage-4-large
voyage-4-large — umumiy maqsadli va ko‘p tilli qidiruv uchun Voyage AI’ning mixture-of-experts matn embedding modeli. Vektorlari Voyage 4 oilasining umumiy makonida bo‘ladi; Large bilan olingan korpus embeddinglarini shu oiladagi boshqa modellarning mos so‘rov embeddinglari bilan qidirish mumkin.
Model haqida
Bu tavsif model imkoniyatlarini yoritadi. Ailoot da tanlangan usul uchun mavjud kirish, chiqish va parametrlar quyida keltirilgan.
voyage-4-large — Voyage AI’ning Voyage 4 oilasidagi yetakchi matn embedding modeli. U umumiy maqsadli va koʻp tilli qidiruv uchun manba parchalari hamda soʻrovlarni sonli vektorlar sifatida ifodalaydi. Uning ikki oʻziga xos xususiyati — ekspertlar aralashmasiga asoslangan model dizayni va voyage-4-large, voyage-4, voyage-4-lite hamda voyage-4-nano ishlatadigan umumiy embedding fazosi.
Umumiy fazo: korpus va soʻrov uchun alohida tanlovlar
Ishlab chiqaruvchi assimetrik qidiruvni tavsiflaydi: hujjatlar voyage-4-large bilan embedding qilinishi, boshqa Voyage 4 oilasi modeli esa soʻrov vektorlarini tayyorlashi mumkin. Masalan, Large bilan ifodalangan korpusda voyage-4 soʻrovlari orqali qidirish mumkin. Bu qidiruvning ikki tomoniga hujjatlashtirilgan mos fazoda qolgan holda turli model tanlovlarini ishlatish imkonini beradi.
Shu sabab amaliy toʻplam barqaror hujjat parchalarini tayyorlashda Large’dan foydalanib, soʻrov tomonidagi modelni mustaqil tanlashi mumkin. Korpus yaratilganda yoki yangilanganda hujjat embedding’lari olinadi, soʻrovlar esa foydalanuvchi qidirayotgan paytda vektorlanadi. Oila eʼloni mos oila ichida soʻrov modelini almashtirishni, faqat shu oʻzgarish uchun hujjat korpusini qayta vektorlamaslikni tavsiflaydi. Solishtiriladigan vektorlarni bir xil oʻlchamda va qidiruv tizimi birgalikda talqin qila oladigan ifodalarda saqlang.
Ekspertlar aralashmasi embedding dizayni
Zich oldinga uzatish qatlami har bir tokenni oʻzining toʻliq parametrlar toʻplamidan oʻtkazadi. voyage-4-large uchun tavsiflangan MoE yondashuvi marshrutlagich va ekspert oldinga uzatish tarmoqlaridan foydalanib, har bir tokenni qayta ishlaydigan ekspertlarni tanlaydi. Bu umumiy model sigʻimini muayyan tokenda faol parametrlaridan ajratadi. Voyage modelning MoE dizayni uchun top-k marshrutlash bilan 1/10 faollashish nisbatini koʻrsatadi.
Ishlab chiqaruvchining texnik tushuntirishi ikkita ishlab chiqish tanlovini ham tavsiflaydi. Ekspert sigʻimi ortiqcha tokenlar qoldiq yoʻl orqali ekspert qatlamini chetlab oʻtish-oʻtmasligiga taʼsir qiladi; jamoa qidiruv sifati yoʻqolishini oldini olish uchun imkon qadar eng katta sigʻim koeffitsiyentini tanlagan. Yakuniy oʻqitish bosqichida model birlashtirishidan oldin marshrutlagich parametrlari qotiriladi, shunda manba modellari interpolatsiyasi oʻrganilgan ekspert tanlash yoʻnalishini oʻzgartirmaydi. Bular model tayyorlash xususiyatlari, kirish tayyorlashdagi matn uzunligi yoki qisqartirish sozlamalaridan alohida.
Oʻlchamlar va chiqish ifodasi
Rasmiy model jadvali 32,000 tokenli kontekst oynasi va tanlanadigan 256, 512, 1024 hamda 2048 oʻlchamli embedding’larni belgilaydi; standart oʻlcham 1024. Oila ichma-ich ifoda oʻlchamlari uchun Matryoshka oʻqitishidan foydalanadi va kvantlash tanlovlarini qoʻllaydi: 32 bitli suzuvchi nuqta, ishorali yoki ishorasiz 8 bitli butun sonlar hamda qadoqlangan ikkilik chiqish.
Ikkilik chiqishda qaytarilgan baytlar roʻyxati uzunligi tanlangan oʻlchamning sakkizdan biriga teng, chunki har bir baytda sakkiz embedding biti bor. Indeks bilan oʻlcham va maʼlumot turi tanlovlarini saqlang va shu ifodani qoʻllaydigan solishtirish usulidan foydalaning. Kichikroq yoki siqilgan vektor qidiruvda ishlatiladigan ifodani oʻzgartiradi; toʻplam uchun tanlashdan oldin haqiqiy savollarda qaytgan tegishli parchalarni baholang.
Hujjat va soʻrov kirishlarini tayyorlang
Voyage korpus parchalari uchun document rolidan, qidiruv ifodasi uchun esa query rolidan foydalanishni tavsiya etadi. Rol tanlovi embedding olishdan oldin mos qidiruv koʻrsatmasini qoʻshadi. Parchaning foydali sarlavhasi, shartlari va manba joyini saqlang, keyin qaytarilgan vektorni asl matn va barqaror identifikator bilan saqlang.
Texnik bilim toʻplamida nosozlik rejimi haqidagi savol shu rejim va tegishli shartlarini tavsiflaydigan parchaga olib borishi kerak. Turli tillardagi hujjatlar toʻplamida manba tilini saqlang va foydalanuvchilar qidiradigan savollar hamda atamalarni baholang. Reliz qidiruv materiallari, jumladan texnik hujjatlar, suhbatlar, uzun hujjatlar, kod, huquq, moliya va veb matnlarini qamrab oladi. Embedding nomzod materialni topadi; keyingi reranker yoki javob bosqichi asl matndan foydalanadi.
Kontekst, toʻplam va qisqartirish chegaralari
Ishlab chiqaruvchining joriy qoʻllanmasi bitta voyage-4-large soʻrovida 1,000 tagacha satr va jami 120,000 kirish tokenini ruxsat etadi. Bu voyage-4 uchun koʻrsatilgan toʻplam imkoniyatidan farq qiladi, garchi ikkalasida ham bitta matn uchun 32,000 tokenli oyna boʻlsa. Standart qisqartirish haddan tashqari uzun kirishni sigʻishi uchun qisqartiradi; qisqartirish oʻchirilsa, uzun matn xato qaytaradi.
Uzun manbaning kesilgan oxirida muhim shart yoʻqolmasligi uchun javobni oʻz ichiga olgan parcha chegaralarini ongli tanlang. Qidiruv natijalarini qaytarishda manbaga bogʻlanishni saqlang va vektorlar yaqinligini mazmun tekshiruvi deb bilmay, haqiqiy nomzod matnini koʻzdan kechiring. Umumiy fazo mosligi hujjatlashtirilgan Voyage 4 matn oilasiga tegishli; kontekstga mos boʻlak qayta ishlash, tasvir/video embedding’lari va keyingi model nashrlari oʻziga xos alohida jarayonlar boʻlib qoladi.
Ailoot Ultra · Embeddinglar POST /v1/embeddings voyageai/voyage-4-large
voyageai/voyage-4-largeBoshlash
voyage-4-large — umumiy maqsadli va ko‘p tilli qidiruv uchun Voyage AI’ning mixture-of-experts matn embedding modeli. Vektorlari Voyage 4 oilasining umumiy makonida bo‘ladi; Large bilan olingan korpus embeddinglarini shu oiladagi boshqa modellarning mos so‘rov embeddinglari bilan qidirish mumkin.
- Qabul qilinadigan kirish ma’lumotlari
- Matn · token_ids
- Natijalar
- embedding
Ailoot da mavjud · kirish ma’lumotlari va usullar
Ailoot Ultra · Embeddinglar POST /v1/embeddings
- Kirish
text,token_ids- Chiqish
embedding- Kontekst
- 32 000 tokens
- Chiqish formati
- json
| Maydon | Tur | Talab | Qiymatlar va cheklovlar | Standart |
|---|---|---|---|---|
Maydonmodel | Turstring | TalabMajburiy | Qiymatlar va cheklovlar voyageai/voyage-4-large | Standart— |
Maydoninput | Turstring|string[]|integer[]|integer[][] | TalabMajburiy | Qiymatlar va cheklovlar Elementlarning eng kam soni: 1 Shartlar: Bo‘sh bo‘lmagan, bir xil turdagi elementlardan iborat paket. Token ID lari manfiy bo‘lmagan butun sonlardir. Kirish budjeti: Eng ko‘p: 32 000 · Matn birligi: UTF8 baytlari · Token birligi: Tokenlar massivi elementlari | Standart— |
Maydonencoding_format | Turstring | TalabIxtiyoriy | Qiymatlar va cheklovlar float | Standartfloat |
Maydondimensions | Turinteger | TalabQo‘llab-quvvatlanmaydi | Qiymatlar va cheklovlar Eng kam: 1 | Standart— |
Maydonuser | Turjson_value | TalabIxtiyoriy | Qiymatlar va cheklovlar Shartlar: Manba ushbu JSON metama’lumot maydoniga ruxsat beradi; uning ta’minotchi xizmatidagi aniq ma’nosi modelga bog‘liq. | Standart— |
Maydonsession_id | Turjson_value | TalabIxtiyoriy | Qiymatlar va cheklovlar Shartlar: Manba ushbu JSON metama’lumot maydoniga ruxsat beradi; uning ta’minotchi xizmatidagi aniq ma’nosi modelga bog‘liq. | Standart— |
Maydontrace | Turjson_value | TalabIxtiyoriy | Qiymatlar va cheklovlar Shartlar: Manba ushbu JSON metama’lumot maydoniga ruxsat beradi; uning ta’minotchi xizmatidagi aniq ma’nosi modelga bog‘liq. | Standart— |
Maydonprovider | Turobject | TalabIxtiyoriy | Qiymatlar va cheklovlar Shartlar: provider.options rad etildi | Standart— |
Kirish materiallari birikmalari
text_to_embedding
Usul parametrlari va hayot sikli
| Parametr | Parametr talablari |
|---|---|
Parametrcontent_type | Parametr talablariapplication/json |
Parametrrequired | Parametr talablarimodel, input |
Parametrinput_shapes | Parametr talablaristring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
Parametrencoding_format | Parametr talablarifloat |
Parametrdimensions_override | Parametr talablarifalse |
Parametrmax_input_budget_units | Parametr talablari32000 |
Parametrmultimodal_objects | Parametr talablarifalse |
Parametrmaterial_types | Parametr talablaritext, token_ids |
Hayot sikli: synchronous_json
Har bir vektorning indeksi va o‘lchamini saqlang.
Model nomida multimodal deyilgani aynan shu yo‘nalishda rasm obyektlariga ruxsat borligini anglatmaydi.
Tariflar
Tarif ma’lumotlari so‘rov imkoniyatlarini qo‘shmaydi. Qo‘llab-quvvatlanadigan parametrlar tanlangan usulda ko‘rsatilgan.
- Tezkor rejim
- Standart tarif Tezkor rejim tanlanganda
- Flex rejimi
- Standart tarif flex rejimi tanlanganda
- Maksimal fikrlash darajasi
- Standart tarif Maksimal fikrlash darajasi uchun standart (default) tuzatish qo‘llanganda
Ailoot tariflari
Sozlamalar bo‘yicha narxlar
| Sozlama | Tariflar jadvali | To‘lov |
|---|---|---|
| SozlamaTokenlar uchun bazaviy tariflar | Tariflar jadvaliAsosiy tarif | To‘lov Kirish · Kirish tokenlari $0.00024 / 1K token Chiqish · Chiqish tokenlari $0 / 1K token Kirish · Keshdan o‘qish — / 1K token Kirish · Keshga yozish — / 1K token Kirish · Keshga yozish, 1 soat — / 1K token |
Ailoot so‘rovdan oldin taxminiy summani band qiladi. Natijadan keyin o‘lchangan sarf asosidagi yakuniy to‘lovni yechadi. Oqimli javob bo‘yicha yakuniy hisob-kitob yakuniy sarf yozuviga asoslanadi. Summani band qilish va to‘lovni hisoblash tartibi →
So‘rov namunalari
Ailoot Ultra · Embeddinglar
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "voyageai/voyage-4-large", "input": ["First document", "Second document"]}')
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT
from openai import OpenAI
import os
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='voyageai/voyage-4-large',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)
Natijalarni olish va saqlash
Ailoot Ultra · Embeddinglar
json
Barcha tayyor natijalarni saqlash
Qaytarilgan har bir to‘liq javob, fayl va kontent qismini saqlang.
Har bir vektorni indeksi bilan saqlang. Vektorlar soni kirish elementlari soniga teng bo‘lishi va o‘lchamlar bir xil bo‘lishi kerak.
Asl javobni tekshirish kerak bo‘lsa
Embedding vazifalari uchun endpoint qo‘shilmaydi.
Javob maydonlari
| Maydon | Tur |
|---|---|
Maydonobject | Turstring |
Maydonmodel | Turstring |
Maydondata[].index | Turinteger |
Maydondata[].embedding | Turfinite float[] |
Maydonusage | Turobject |
Xatolar va keyingi qadamlar
| Javob | Shart | Keyingi qadam |
|---|---|---|
Javob400 · invalid_request_error | ShartMajburiy maydonlar, material ifodasi yoki parametr qiymati noto‘g‘ri | Keyingi qadamYangi yaratish so‘rovidan oldin ko‘rsatilgan maydonlarni tuzating. |
Taxalluslar
Model taxalluslari
Ailoot Ultra voyageai/voyage-4-large
Usul yo‘llari taxalluslari
Yuqorida ko‘rsatilgan usul yo‘llaridan foydalaning.
Chaqirish uchun tegishli ID lar
FAQ · VoyageAI by MongoDB: voyage-4-large
- Qanday kirish ma’lumotlari va natijalar mavjud?
POST /v1/embeddings·voyageai/voyage-4-large:text,token_ids→embedding- So‘rov qaysi maydonlardan foydalanadi?
POST /v1/embeddings·voyageai/voyage-4-large:model,input,encoding_format,provider- Qanday cheklovlar amal qiladi?
POST /v1/embeddings·voyageai/voyage-4-large:ctx:32000;input.budget.maximum:32000(UTF8 baytlari);input.min_items:1