Sentence Transformers: all-mpnet-base-v2
Sentence Transformers all-mpnet-base-v2 stavke in kratke odstavke pretvori v 768-razsežne vektorje za pridobivanje informacij, gručenje in primerjavo podobnosti. Objavljeni postopek uporablja povprečenje predstavitev in normalizacijo L2 s privzetim skrajšanjem pri 384 podbesednih enotah.
O modelu
Ta opis zajema zmožnosti modela. Vhodi, izhodi in možnosti, ki so na voljo v Ailoot, so spodaj navedeni za izbrano metodo.
all-mpnet-base-v2 je model Sentence Transformers za predstavitev stavkov in kratkih odstavkov kot 768-razsežnih gostih vektorjev. Dodatno je bil učen na osnovi osnovnega modela MPNet s kontrastivnim učenjem na zbirki milijarde parov stavkov. Proizvajalec kot predvidene uporabe navaja pridobivanje informacij, gručenje in podobnost stavkov.
Kodirajte stavek ali kratek odstavek
Pripravite besedilo za primerjavo in ohranite glavno misel ter razločevalne podrobnosti. Pri interni zbirki dokumentov lahko kratek del opisuje, kako zahtevati zamenjavo opreme ali katere informacije mora vsebovati poročilo o vzdrževanju. Naslov dokumenta in mesto vira ohranite na voljo ob vektorju.
Poizvedba z embeddingom istega modela lahko pridobi povezane dele, četudi se njihovo besedilo razlikuje. V teh delih preglejte dejansko navodilo, ki ga bralec potrebuje. Pri primerjavi podobnosti po pridobivanju primerjajte sama kandidatna stavka, zlasti kadar eden vsebuje izjemo ali pogoj, ki ga drugi nima.
Povprečenje predstavitev in normalizacija
Referenčni primer kodiranja povpreči kontekstne predstavitve žetonov z masko pozornosti in iz povprečja izloči zapolnitev. Nato dobljene embeddinge stavkov normalizira z L2. Oba koraka ohranite pri ustvarjanju vektorjev zbirke in poznejših poizvedb.
Vsak vektor ima 768 komponent. Kosinusna podobnost lahko primerja te normalizirane predstavitve, izvorno besedilo pa daje dokaze za rezultat. Skupno število komponent modela ne naredi združljivega z multi-qa-mpnet-base-dot-v1: ta ločena izdaja določa CLS-pooling in nenormalizirane vektorje za ocenjevanje s skalarnim produktom.
Privzeto skrajšanje in priprava odlomkov
Proizvajalec navaja, da se vhod nad 384 podbesednih enot privzeto skrajša. Relevantni del ohranite znotraj te meje tokenizatorja. Dolg postopek razdelite po smiselnih mejah delov in vključite dovolj lokalnega konteksta za razlago, na kaj se korak nanaša. Fragment, kot je “Oddajte v petih dneh”, potrebuje dogodek ali proces, s katerim se rok začne.
Učni postopek je zaporedja omejil na 128 žetonov, kar je ločeno od objavljene privzete nastavitve kodiranja s 384 podbesednimi enotami. Pri ocenjevanju daljših odstavkov ali besedišča, značilnega za zbirko, uporabljajte reprezentativno gradivo. To, da vhod sprejme več besedila, ne dokazuje enakega vpliva vsake podrobnosti na rezultat pridobivanja informacij.
Pridobivanje, združevanje in primerjava
Pri iskanju ohranite povezavo vektorja z dokumentom, da razvrščeni kandidati lahko vrnejo izvirne dele. Pri RAG izbrani deli postanejo kontekst stopnje pisanja odgovora. Model daje številčne predstavitve; ne generira odgovora z navedenimi viri in ne odloča, kateri dokument je merodajen.
Pri gručenju zapise v vsaki predlagani skupini primerjajte pred dodelitvijo oznak. Nabor vzdrževalnih opomb lahko vsebuje podobno besedilo, vendar se nanaša na različne naprave ali pogoje odpovedi. Te razločevalne podrobnosti vključite v kodirano besedilo in jih preglejte v vrnjenem gradivu, namesto da se zanašate samo na oceno.
Ta konkretna kontrolna točka all-mpnet-base-v2 je angleški profil embeddingov stavkov z lastnimi nastavitvami povprečenja predstavitev, normalizacije in privzetega skrajšanja. Nastavitve ohranite z indeksirano zbirko in vektorje uporabite kot pomoč pri iskanju ter primerjavi izvornih odlomkov, pomembnih za nalogo.
Ailoot Ultra · Vektorske predstavitve POST /v1/embeddings sentence-transformers/all-mpnet-base-v2
sentence-transformers/all-mpnet-base-v2
sentence-transformers/all-mpnet-base-v2Začetek
Sentence Transformers all-mpnet-base-v2 stavke in kratke odstavke pretvori v 768-razsežne vektorje za pridobivanje informacij, gručenje in primerjavo podobnosti. Objavljeni postopek uporablja povprečenje predstavitev in normalizacijo L2 s privzetim skrajšanjem pri 384 podbesednih enotah.
- Dovoljeni vhodi
- Besedilo · token_ids
- Rezultati
- embedding
Na voljo v Ailoot · vhodi in metode
Ailoot Ultra · Vektorske predstavitve POST /v1/embeddings
- Vhod
text,token_ids- Izhod
embedding- Izhodni format
- json
| Polje | Vrsta | Zahteva | Vrednosti in omejitve | Privzeto |
|---|---|---|---|---|
Poljemodel | Vrstastring | ZahtevaObvezno | Vrednosti in omejitve sentence-transformers/all-mpnet-base-v2 | Privzeto— |
Poljeinput | Vrstastring|string[]|integer[]|integer[][] | ZahtevaObvezno | Vrednosti in omejitve Najmanjše število elementov: 1 Pogoji: Neprazen paket istovrstnih vhodnih podatkov. Identifikatorji žetonov so nenegativna cela števila. Vhodni proračun: Največ: 512 · Besedilna enota: bajti UTF8 · Enota žetonov: elementi polja žetonov | Privzeto— |
Poljeencoding_format | Vrstastring | ZahtevaIzbirno | Vrednosti in omejitve float | Privzetofloat |
Poljedimensions | Vrstainteger | ZahtevaNi podprto | Vrednosti in omejitve Najmanj: 1 | Privzeto— |
Poljeuser | Vrstajson_value | ZahtevaIzbirno | Vrednosti in omejitve Pogoji: Izvor dovoljuje to polje metapodatkov JSON; natančen pomen pri ponudniku je odvisen od modela. | Privzeto— |
Poljesession_id | Vrstajson_value | ZahtevaIzbirno | Vrednosti in omejitve Pogoji: Izvor dovoljuje to polje metapodatkov JSON; natančen pomen pri ponudniku je odvisen od modela. | Privzeto— |
Poljetrace | Vrstajson_value | ZahtevaIzbirno | Vrednosti in omejitve Pogoji: Izvor dovoljuje to polje metapodatkov JSON; natančen pomen pri ponudniku je odvisen od modela. | Privzeto— |
Poljeprovider | Vrstaobject | ZahtevaIzbirno | Vrednosti in omejitve Pogoji: provider.options je zavrnjen | Privzeto— |
Kombinacije vhodnih gradiv
text_to_embedding
Parametri in življenjski cikel metode
| Parameter | Specifikacija |
|---|---|
Parametercontent_type | Specifikacijaapplication/json |
Parameterrequired | Specifikacijamodel, input |
Parameterinput_shapes | Specifikacijastring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
Parameterencoding_format | Specifikacijafloat |
Parameterdimensions_override | Specifikacijafalse |
Parametermax_input_budget_units | Specifikacija512 |
Parametermultimodal_objects | Specifikacijafalse |
Parametermaterial_types | Specifikacijatext, token_ids |
Življenjski cikel: synchronous_json
Shranite indeks in dimenzijo vsakega vektorja.
Ime multimodalnega modela ne pomeni, da so na tej točno določeni poti dovoljeni slikovni objekti.
Cenik
Tarifni podatki ne dodajajo možnosti zahteve. Podprti parametri so navedeni pri izbrani metodi.
- Hitri način
- Ni navedeno Ko je izbran hitri način
- Način flex
- Ni navedeno Ko je izbran način flex
- Najvišja raven razmišljanja
- Ni navedeno Ko najvišja raven razmišljanja uporablja privzeto prilagoditev (default)
Cene Ailoot
Cene po nastavitvah
| Nastavitev | Cenovna lestvica | Strošek |
|---|---|---|
| NastavitevOsnovne cene za žetone | Cenovna lestvicaOsnovna cena | Strošek Vhod · Vhodni žetoni $0.00001 / 1K žetonov Izhod · Izhodni žetoni $0 / 1K žetonov Vhod · Branje predpomnilnika — / 1K žetonov Vhod · Zapis v predpomnilnik — / 1K žetonov Vhod · Zapis v predpomnilnik, 1 ura — / 1K žetonov |
Ailoot pred zahtevo rezervira ocenjeni znesek. Po rezultatu obračuna končni strošek na podlagi izmerjene porabe. Obračun pretakanja uporablja končni zapis porabe. Kako delujeta rezervacija in obračun →
Primeri zahtev
Ailoot Ultra · Vektorske predstavitve
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "sentence-transformers/all-mpnet-base-v2", "input": ["First document", "Second document"]}')
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT
from openai import OpenAI
import os
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='sentence-transformers/all-mpnet-base-v2',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)
Prejmi in shrani rezultate
Ailoot Ultra · Vektorske predstavitve
json
Ohrani vse dokončane rezultate
Shranite vsak v celoti vrnjen odgovor, datoteko in del vsebine.
Shranite vsak vektor skupaj z njegovim indeksom. Število vektorjev mora biti enako številu vhodov; dimenzije morajo biti skladne.
Če je treba preveriti izvirni odgovor
Končna točka za opravila ustvarjanja vektorskih predstavitev se ne uvaja.
Polja odgovora
| Polje | Vrsta |
|---|---|
Poljeobject | Vrstastring |
Poljemodel | Vrstastring |
Poljedata[].index | Vrstainteger |
Poljedata[].embedding | Vrstafinite float[] |
Poljeusage | Vrstaobject |
Napake in naslednji koraki
| Odgovor | Pogoj | Naslednji korak |
|---|---|---|
Odgovor400 · invalid_request_error | PogojNeveljavna obvezna polja, predstavitev gradiva ali vrednost parametra | Naslednji korakPred novo zahtevo za ustvarjanje popravite navedena polja. |
Druga imena
Druga imena modelov
Ailoot Ultra sentence-transformers/all-mpnet-base-v2
Druga imena poti metod
Uporabite zgoraj navedene poti metod.
Povezani ID-ji za klic
FAQ · Sentence Transformers: all-mpnet-base-v2
- Kateri vhodi in rezultati so na voljo?
POST /v1/embeddings·sentence-transformers/all-mpnet-base-v2:text,token_ids→embedding- Katera polja uporablja zahteva?
POST /v1/embeddings·sentence-transformers/all-mpnet-base-v2:model,input,encoding_format,provider- Katere omejitve veljajo?
POST /v1/embeddings·sentence-transformers/all-mpnet-base-v2:input.budget.maximum:512(bajti UTF8);input.min_items:1