Sentence Transformers: all-mpnet-base-v2
Sentence Transformers all-mpnet-base-v2 muuntaa virkkeet ja lyhyet kappaleet 768-ulotteisiksi vektoreiksi tiedonhakuun, ryhmittelyyn ja samankaltaisuuteen. Julkaistu menetelmä käyttää keskiarvopoolingia ja L2-normalisointia sekä oletusarvoista katkaisua 384 sananosaan.
Tietoa mallista
Tämä kuvaus kattaa mallin ominaisuudet. Ailootissa saatavilla olevat syötteet, tulosteet ja asetukset luetellaan alla valitulle menetelmälle.
all-mpnet-base-v2 on Sentence Transformersin malli virkkeiden ja lyhyiden kappaleiden esittämiseen 768-ulotteisina tiheinä vektoreina. Se hienosäädettiin MPNet-perusmallista kontrastiivisella oppimisella miljardin virkeparin kokoelmalla. Valmistaja yksilöi tarkoitetuiksi käyttökohteiksi tiedonhaun, ryhmittelyn ja virkkeiden samankaltaisuuden.
Koodaa virke tai lyhyt kappale
Valmistele verrattava teksti ja säilytä pääajatus sekä sitä erottavat yksityiskohdat. Sisäisessä asiakirjakokoelmassa lyhyt osio voi kuvata laitteen vaihtamisen pyytämistä tai huoltoraportin vaatimia tietoja. Pidä asiakirjan otsikko ja lähdesijainti saatavilla vektorin rinnalla.
Samalla mallilla upotettu kysely voi hakea toisiinsa liittyviä osioita, vaikka niiden sanamuodot eroavat. Tutki näistä osioista lukijan tarvitsema todellinen ohje. Vertaa samankaltaisuustyönkulussa itse ehdokasvirkkeitä haun jälkeen, etenkin kun toisessa on poikkeus tai ehto, joka puuttuu toisesta.
Keskiarvopooling ja normalisointi
Viitekoodausesimerkki keskiarvoistaa kontekstuaaliset tokenesitykset attention-maskin avulla ja jättää täytepositiot keskiarvon ulkopuolelle. Sen jälkeen se L2-normalisoi tuloksena syntyneet virkeupotukset. Säilytä molemmat vaiheet tuottaessasi vektoreita kokoelmaan ja myöhempiin kyselyihin.
Jokaisessa vektorissa on 768 komponenttia. Kosinisamankaltaisuus voi verrata näitä normalisoituja esityksiä, ja lähdeteksti antaa tuloksen taustalla olevan evidenssin. Yhteinen komponenttimäärä ei tee tästä mallista yhteensopivaa multi-qa-mpnet-base-dot-v1:n kanssa: kyseinen erillinen versio määrittelee CLS-poolingin ja normalisoimattomat vektorit pistetulopisteytykseen.
Oletuskatkaisu ja katkelmien valmistelu
Valmistaja ilmoittaa, että yli 384 sananosan syöte katkaistaan oletusarvoisesti. Pidä olennainen osio tämän tokenisaattorirajan sisällä. Jaa pitkä menettely merkityksellisten osiorajojen kohdalta ja sisällytä riittävästi paikallista kontekstia vaiheen soveltamiskohteen selittämiseen. Fragmentti, kuten ”Lähetä viiden päivän kuluessa”, tarvitsee määräajan aloittavan tapahtuman tai prosessin.
Koulutusmenettely rajasi sekvenssit 128 tokeniin, mikä on erillään julkaistusta 384 sananosan koodausoletuksesta. Käytä edustavaa materiaalia arvioidessasi pidempiä kappaleita tai kokoelmasi erikoissanastoa. Suuremman tekstimäärän mahtuminen syötteeseen ei osoita jokaisen yksityiskohdan vaikuttavan hakutulokseen yhtä paljon.
Haku, ryhmittely ja vertailu
Säilytä haussa vektorin ja asiakirjan välinen yhteys, jotta järjestetyt ehdokkaat voivat palauttaa alkuperäiset osiot. RAG-työnkulussa valituista osioista tulee vastauksenkirjoitusvaiheen konteksti. Malli antaa numeeriset esitykset; se ei tuota lähteisiin perustuvaa vastausta tai päätä, mikä asiakirja on auktoritatiivinen.
Vertaa ryhmittelyssä kunkin ehdotetun ryhmän tietueita ennen tunnusten antamista. Huoltomuistiinpanojen joukossa voi olla samanlaista kieltä, joka viittaa eri laitteisiin tai vikatilanteisiin. Sisällytä nämä erottavat yksityiskohdat koodattuun tekstiin ja tutki niitä palautetusta materiaalista pelkkään pistemäärään luottamisen sijaan.
Tämä täsmällinen all-mpnet-base-v2-checkpoint on englanninkielinen virkeupotusprofiili, jolla on omat keskiarvopooling-, normalisointi- ja oletuskatkaisuasetuksensa. Säilytä asetukset indeksoidun kokoelman yhteydessä ja käytä vektoreita apuna tehtävälle tärkeiden lähdekatkelmien löytämisessä ja vertailussa.
Ailoot Ultra · Vektoriesitykset POST /v1/embeddings sentence-transformers/all-mpnet-base-v2
sentence-transformers/all-mpnet-base-v2
sentence-transformers/all-mpnet-base-v2Aloitus
Sentence Transformers all-mpnet-base-v2 muuntaa virkkeet ja lyhyet kappaleet 768-ulotteisiksi vektoreiksi tiedonhakuun, ryhmittelyyn ja samankaltaisuuteen. Julkaistu menetelmä käyttää keskiarvopoolingia ja L2-normalisointia sekä oletusarvoista katkaisua 384 sananosaan.
- Hyväksytyt syötteet
- Teksti · token_ids
- Tulokset
- embedding
Saatavilla Ailootissa · syötteet & menetelmät
Ailoot Ultra · Vektoriesitykset POST /v1/embeddings
- Syötetyypit
text,token_ids- Tulostyypit
embedding- Tulosteen muoto
- json
| Kenttä | Tyyppi | Vaatimus | Arvot & rajat | Oletus |
|---|---|---|---|---|
Kenttämodel | Tyyppistring | VaatimusPakollinen | Arvot & rajat sentence-transformers/all-mpnet-base-v2 | Oletus— |
Kenttäinput | Tyyppistring|string[]|integer[]|integer[][] | VaatimusPakollinen | Arvot & rajat Kohteiden vähimmäismäärä: 1 Ehdot: Ei-tyhjä, yhdenmukaisista alkioista koostuva erä. Tokenien ID:t ovat ei-negatiivisia kokonaislukuja. Syötebudjetti: Enimmäismäärä: 512 · Tekstiyksikkö: UTF8-tavut · Tokenyksikkö: Token-taulukon alkiot | Oletus— |
Kenttäencoding_format | Tyyppistring | VaatimusValinnainen | Arvot & rajat float | Oletusfloat |
Kenttädimensions | Tyyppiinteger | VaatimusEi tuettu | Arvot & rajat Vähimmäismäärä: 1 | Oletus— |
Kenttäuser | Tyyppijson_value | VaatimusValinnainen | Arvot & rajat Ehdot: Lähde sallii tämän JSON-metatietokentän; tarkka alkuperäisen palvelun semantiikka on mallikohtainen. | Oletus— |
Kenttäsession_id | Tyyppijson_value | VaatimusValinnainen | Arvot & rajat Ehdot: Lähde sallii tämän JSON-metatietokentän; tarkka alkuperäisen palvelun semantiikka on mallikohtainen. | Oletus— |
Kenttätrace | Tyyppijson_value | VaatimusValinnainen | Arvot & rajat Ehdot: Lähde sallii tämän JSON-metatietokentän; tarkka alkuperäisen palvelun semantiikka on mallikohtainen. | Oletus— |
Kenttäprovider | Tyyppiobject | VaatimusValinnainen | Arvot & rajat Ehdot: provider.options hylätty | Oletus— |
Syöteaineistojen yhdistelmät
text_to_embedding
Menetelmän parametrit ja elinkaari
| Parametri | Sopimus |
|---|---|
Parametricontent_type | Sopimusapplication/json |
Parametrirequired | Sopimusmodel, input |
Parametriinput_shapes | Sopimusstring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
Parametriencoding_format | Sopimusfloat |
Parametridimensions_override | Sopimusfalse |
Parametrimax_input_budget_units | Sopimus512 |
Parametrimultimodal_objects | Sopimusfalse |
Parametrimaterial_types | Sopimustext, token_ids |
Elinkaari: synchronous_json
Säilytä jokaisen vektorin indeksi ja ulottuvuus.
Mallin nimen multimodaalisuus ei tarkoita, että tämä nimenomainen reitti hyväksyisi kuvaolioita.
Hinnoittelu
Hintatiedot eivät lisää pyyntövalintoja. Tuetut parametrit on lueteltu valitulle menetelmälle.
- Nopea tila
- Ei määritetty Kun nopea tila on valittu
- Flex-tila
- Ei määritetty Kun flex-tila on valittu
- Päättelyn enimmäisteho
- Ei määritetty Kun päättelyn enimmäistehoon sovelletaan default-oletussäätöä
Ailoot-hinnat
Hinnat asetusten mukaan
| Asetukset | Hinnasto | Veloitus |
|---|---|---|
| AsetuksetTokenien perushinnat | HinnastoPerushinta | Veloitus Syöte · Syötetokenit $0.00001 / 1K tokenia Tuloste · Tulostokenit $0 / 1K tokenia Syöte · Välimuistin luku — / 1K tokenia Syöte · Välimuistiin kirjoitus — / 1K tokenia Syöte · Välimuistiin kirjoitus, 1 tunti — / 1K tokenia |
Ailoot varaa arvioidun summan ennen pyyntöä. Tuloksen jälkeen lopullinen veloitus toteutetaan mitatun käytön perusteella. Suoratoiston veloituksessa käytetään lopullista käyttötietuetta. Varauksen ja lopullisen veloituksen toiminta →
Esimerkkipyynnöt
Ailoot Ultra · Vektoriesitykset
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "sentence-transformers/all-mpnet-base-v2", "input": ["First document", "Second document"]}')
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT
from openai import OpenAI
import os
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='sentence-transformers/all-mpnet-base-v2',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)
Vastaanota ja tallenna tulokset
Ailoot Ultra · Vektoriesitykset
json
Säilytä kaikki valmistuneet tulokset
Säilytä jokainen kokonainen palautettu vastaus, tiedosto ja sisällön osa.
Säilytä jokainen vektori indekseineen. Vektorien määrän on vastattava syötteiden määrää; ulottuvuuksien on oltava yhdenmukaiset.
Jos alkuperäinen vastaus on tarkistettava
Uutta upotustehtävien päätepistettä ei oteta käyttöön.
Vastauksen kentät
| Kenttä | Tyyppi |
|---|---|
Kenttäobject | Tyyppistring |
Kenttämodel | Tyyppistring |
Kenttädata[].index | Tyyppiinteger |
Kenttädata[].embedding | Tyyppifinite float[] |
Kenttäusage | Tyyppiobject |
Virheet ja seuraavat vaiheet
| Vastaus | Ehto | Seuraava vaihe |
|---|---|---|
Vastaus400 · invalid_request_error | EhtoVirheelliset pakolliset kentät, aineiston esitysmuoto tai parametrin arvo | Seuraava vaiheKorjaa ilmoitetut kentät ennen uutta luontipyyntöä. |
Aliakset
Mallin aliakset
Ailoot Ultra sentence-transformers/all-mpnet-base-v2
Menetelmäpolkujen aliakset
Käytä yllä näytettyjä menetelmäpolkuja.
Liittyvät kutsujan ID:t
FAQ · Sentence Transformers: all-mpnet-base-v2
- Mitä syötteitä ja tuloksia on saatavilla?
POST /v1/embeddings·sentence-transformers/all-mpnet-base-v2:text,token_ids→embedding- Mitä kenttiä pyyntö käyttää?
POST /v1/embeddings·sentence-transformers/all-mpnet-base-v2:model,input,encoding_format,provider- Mitä rajoja sovelletaan?
POST /v1/embeddings·sentence-transformers/all-mpnet-base-v2:input.budget.maximum:512(UTF8-tavut);input.min_items:1