LiquidAI: LFM2.5-Embedding-350M (free)
LiquidAI LFM2.5-Embedding-350M za vsako besedilo ustvari en 1024-razsežen vektor za večjezično in medjezično pridobivanje informacij. Namenjen je 11 jezikom in kratkim vhodom s 512 žetoni, z ločenima predponama query/document.
O modelu
Ta opis zajema zmožnosti modela. Vhodi, izhodi in možnosti, ki so na voljo v Ailoot, so spodaj navedeni za izbrano metodo.
LFM2.5-Embedding-350M je gosti bi-kodirnik LiquidAI za večjezično in medjezično pridobivanje informacij. Za vsako besedilo ustvari en 1024-razsežen vektor in se osredotoča na iskanje s kratkim kontekstom v enajstih jezikih. Poimenovana družina modelov 350M uporablja dvosmerno prilagoditev LFM2.5-350M-Base; podrobna tabela modela za to izdajo embeddingov navaja približno 354 milijonov parametrov.
Dvosmerna predstavitev za pridobivanje informacij
Proizvajalec osnovo prilagodi tako, da pozornost in lokalne konvolucije lahko uporabljajo kontekst na obeh straneh žetona. Združevanje v slogu CLS obdelano besedilo pretvori v en gosti vektor. Tabela modela opisuje sedemnajst plasti: deset konvolucijskih blokov, šest blokov pozornosti in stopnjo združevanja predstavitev. To je kodirnik za pridobivanje informacij z lastno pripravo in izhodom, ne naloga ustvarjanja besedila osnovnega modela.
Ločeno poimenovani LFM2.5-ColBERT-350M ohrani vektorje posameznih žetonov za pozno interakcijo. Ta predstavitev potrebuje drugačen indeks in primerjalno metodo. Tukaj opisani model Embedding daje en vektor na dokument ali poizvedbo, s kosinusno podobnostjo kot dokumentirano primerjavo.
Uporabite pravilne asimetrične pozive
Iskalne poizvedbe pripravite s “query:”, izvorne odlomke pa z “document:”. Proizvajalec te pozive shrani v konfiguraciji in njegov referenčni potek uporabi ustrezno ime poziva. Izrecno priporoča ustrezno vlogo na vsaki strani, ker je bil model učen s temi predponami. Ta dokumentna predpona se razlikuje od konvencije “passage:” modelov E5.
Praktična zbirka za iskanje izdelkov lahko hrani opise v podprtih jezikih. Uporabnikovo iskalno besedilo pripravite kot poizvedbo in vsak opis izdelka kot dokument. Izvirno besedilo, identifikator izdelka in jezik shranite z vektorjem, da rezultat iskanja lahko vrne ustrezni zapis. Pri zbirki podpore ohranite pravilo ali navodilo, relevantno za vprašanje, ne nadomestite ga z nepovezano kratko oznako.
Jeziki in velikost odlomkov
Dokumentirani nabor jezikov sestavljajo angleščina, španščina, nemščina, francoščina, italijanščina, portugalščina, arabščina, švedščina, norveščina, japonščina in korejščina. Proizvajalec izrecno cilja na pridobivanje znotraj jezika in čez jezikovne meje. Pripravite dejanska vprašanja predvidenega občinstva in preglejte vrnjeno besedilo dokumentov v teh jezikih.
Specifikacija dolžine dokumenta je 512 žetonov. Dolg vir razdelite na povezane odlomke z ohranjenimi naslovom, opredelitvami in pogoji, ki jih pridobljeni rezultat potrebuje. Predpona vloge in dodani kontekst sodita v pripravljeni vhod. Odgovor FAQ, pojasnilo izdelka ali osredotočen del tehničnega dokumenta je primernejša enota kot celoten prevelik priročnik.
Učenje in ujemanje
Proizvajalec opisuje tri stopnje učenja: angleško kontrastivno predučenje, večjezično in medjezično destilacijo, nato dodatno učenje s težkimi negativnimi primeri, pridobljenimi z iskanjem. Nastali model je namenjen katalogom izdelkov, FAQ in zbirkam podpore, iskanju datotek ali zapiskov ter pridobivanju poslovnega znanja. To so naloge besedilnih predstavitev, ne trditve o namestitvi konkretne aplikacije.
Proizvajalčev primer normalizira vektorje poizvedb in dokumentov ter jih razvrsti s skalarnim produktom, ekvivalentnim kosinusni podobnosti. Predstavitve korpusa vnaprej izračunajte po pripravi izvornega gradiva, nato ustvarite embedding iskalne poizvedbe in vrnite kandidatne dokumente z besedilom in identifikatorji. Izbrani model in konvencijo vlog ohranite z indeksom, da številčna primerjava uporablja združljive predstavitve.
Koristni rezultat je zgoščen gosti iskalni indeks ali vektor poizvedbe, ki pridobi izvorno gradivo v dokumentiranem naboru jezikov. Ta konkretna izdaja LFM2.5 Embedding ostaja ločena od spremljevalnega ColBERT, starejših modelov LFM2 za pridobivanje informacij in zunanje kvantiziranih implementacij. Besedilo izbranega odlomka je dokaz, ki ga uporabi bralec ali poznejša stopnja odgovarjanja RAG.
Ailoot Ultra · Vektorske predstavitve POST /v1/embeddings liquid/lfm-2.5-embedding-350m:free
liquid/lfm-2.5-embedding-350m:free
liquid/lfm-2.5-embedding-350m:freeZačetek
LiquidAI LFM2.5-Embedding-350M za vsako besedilo ustvari en 1024-razsežen vektor za večjezično in medjezično pridobivanje informacij. Namenjen je 11 jezikom in kratkim vhodom s 512 žetoni, z ločenima predponama query/document.
- Dovoljeni vhodi
- Besedilo · token_ids
- Rezultati
- embedding
Na voljo v Ailoot · vhodi in metode
Ailoot Ultra · Vektorske predstavitve POST /v1/embeddings
- Vhod
text,token_ids- Izhod
embedding- Kontekst
- 512 tokens
- Izhodni format
- json
| Polje | Vrsta | Zahteva | Vrednosti in omejitve | Privzeto |
|---|---|---|---|---|
Poljemodel | Vrstastring | ZahtevaObvezno | Vrednosti in omejitve liquid/lfm-2.5-embedding-350m:free | Privzeto— |
Poljeinput | Vrstastring|string[]|integer[]|integer[][] | ZahtevaObvezno | Vrednosti in omejitve Najmanjše število elementov: 1 Pogoji: Neprazen paket istovrstnih vhodnih podatkov. Identifikatorji žetonov so nenegativna cela števila. Vhodni proračun: Največ: 512 · Besedilna enota: bajti UTF8 · Enota žetonov: elementi polja žetonov | Privzeto— |
Poljeencoding_format | Vrstastring | ZahtevaIzbirno | Vrednosti in omejitve float | Privzetofloat |
Poljedimensions | Vrstainteger | ZahtevaNi podprto | Vrednosti in omejitve Najmanj: 1 | Privzeto— |
Poljeuser | Vrstajson_value | ZahtevaIzbirno | Vrednosti in omejitve Pogoji: Izvor dovoljuje to polje metapodatkov JSON; natančen pomen pri ponudniku je odvisen od modela. | Privzeto— |
Poljesession_id | Vrstajson_value | ZahtevaIzbirno | Vrednosti in omejitve Pogoji: Izvor dovoljuje to polje metapodatkov JSON; natančen pomen pri ponudniku je odvisen od modela. | Privzeto— |
Poljetrace | Vrstajson_value | ZahtevaIzbirno | Vrednosti in omejitve Pogoji: Izvor dovoljuje to polje metapodatkov JSON; natančen pomen pri ponudniku je odvisen od modela. | Privzeto— |
Poljeprovider | Vrstaobject | ZahtevaIzbirno | Vrednosti in omejitve Pogoji: provider.options je zavrnjen | Privzeto— |
Kombinacije vhodnih gradiv
text_to_embedding
Parametri in življenjski cikel metode
| Parameter | Specifikacija |
|---|---|
Parametercontent_type | Specifikacijaapplication/json |
Parameterrequired | Specifikacijamodel, input |
Parameterinput_shapes | Specifikacijastring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
Parameterencoding_format | Specifikacijafloat |
Parameterdimensions_override | Specifikacijafalse |
Parametermax_input_budget_units | Specifikacija512 |
Parametermultimodal_objects | Specifikacijafalse |
Parametermaterial_types | Specifikacijatext, token_ids |
Življenjski cikel: synchronous_json
Shranite indeks in dimenzijo vsakega vektorja.
Ime multimodalnega modela ne pomeni, da so na tej točno določeni poti dovoljeni slikovni objekti.
Cenik
Tarifni podatki ne dodajajo možnosti zahteve. Podprti parametri so navedeni pri izbrani metodi.
- Hitri način
- Standardna tarifa Ko je izbran hitri način
- Način flex
- Standardna tarifa Ko je izbran način flex
- Najvišja raven razmišljanja
- Standardna tarifa Ko najvišja raven razmišljanja uporablja privzeto prilagoditev (default)
Cene Ailoot
Cene po nastavitvah
| Nastavitev | Cenovna lestvica | Strošek |
|---|---|---|
| NastavitevOsnovne cene za žetone | Cenovna lestvicaOsnovna cena | Strošek Vhod · Vhodni žetoni $0 / 1K žetonov Izhod · Izhodni žetoni $0 / 1K žetonov Vhod · Branje predpomnilnika — / 1K žetonov Vhod · Zapis v predpomnilnik — / 1K žetonov Vhod · Zapis v predpomnilnik, 1 ura — / 1K žetonov |
Ailoot pred zahtevo rezervira ocenjeni znesek. Po rezultatu obračuna končni strošek na podlagi izmerjene porabe. Obračun pretakanja uporablja končni zapis porabe. Kako delujeta rezervacija in obračun →
Primeri zahtev
Ailoot Ultra · Vektorske predstavitve
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "liquid/lfm-2.5-embedding-350m:free", "input": ["First document", "Second document"]}')
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT
from openai import OpenAI
import os
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='liquid/lfm-2.5-embedding-350m:free',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)
Prejmi in shrani rezultate
Ailoot Ultra · Vektorske predstavitve
json
Ohrani vse dokončane rezultate
Shranite vsak v celoti vrnjen odgovor, datoteko in del vsebine.
Shranite vsak vektor skupaj z njegovim indeksom. Število vektorjev mora biti enako številu vhodov; dimenzije morajo biti skladne.
Če je treba preveriti izvirni odgovor
Končna točka za opravila ustvarjanja vektorskih predstavitev se ne uvaja.
Polja odgovora
| Polje | Vrsta |
|---|---|
Poljeobject | Vrstastring |
Poljemodel | Vrstastring |
Poljedata[].index | Vrstainteger |
Poljedata[].embedding | Vrstafinite float[] |
Poljeusage | Vrstaobject |
Napake in naslednji koraki
| Odgovor | Pogoj | Naslednji korak |
|---|---|---|
Odgovor400 · invalid_request_error | PogojNeveljavna obvezna polja, predstavitev gradiva ali vrednost parametra | Naslednji korakPred novo zahtevo za ustvarjanje popravite navedena polja. |
Druga imena
Druga imena modelov
Ailoot Ultra liquid/lfm-2.5-embedding-350m:free
Druga imena poti metod
Uporabite zgoraj navedene poti metod.
Povezani ID-ji za klic
FAQ · LiquidAI: LFM2.5-Embedding-350M (free)
- Kateri vhodi in rezultati so na voljo?
POST /v1/embeddings·liquid/lfm-2.5-embedding-350m:free:text,token_ids→embedding- Katera polja uporablja zahteva?
POST /v1/embeddings·liquid/lfm-2.5-embedding-350m:free:model,input,encoding_format,provider- Katere omejitve veljajo?
POST /v1/embeddings·liquid/lfm-2.5-embedding-350m:free:ctx:512;input.budget.maximum:512(bajti UTF8);input.min_items:1