Sentence Transformers: all-MiniLM-L12-v2
Sentence Transformers all-MiniLM-L12-v2 koodaa virkkeet ja lyhyet kappaleet 384-ulotteisiksi vektoreiksi hakuun, samankaltaisuuteen ja ryhmittelyyn. Sen viitemenetelmä käyttää keskiarvopoolingia ja normalisointia sekä oletusarvoista katkaisua 256 sananosaan.
Tietoa mallista
Tämä kuvaus kattaa mallin ominaisuudet. Ailootissa saatavilla olevat syötteet, tulosteet ja asetukset luetellaan alla valitulle menetelmälle.
all-MiniLM-L12-v2 on Sentence Transformersin kooderi virkkeille ja lyhyille kappaleille. Se tuottaa yhden 384-ulotteisen tiheän vektorin tekstiä kohti semanttiseen hakuun, tiedonhakuun, ryhmittelyyn ja virkkeiden samankaltaisuuteen. Malli käyttää MiniLM-L12-H384-uncased-perusmallia ja hienosäädettiin kontrastiivisella oppimisella miljardin virkeparin kokoelmalla.
Koodaa kokonaisuus, jonka haluat hakea
Käytä virkettä tai lyhyttä kappaletta, joka ilmaisee yhden hyödyllisen ajatuksen. Säilytä tuotekuvauskokoelmassa ominaisuus ja tuotetta erottava ehto: ”The adapter connects a wired headset to a USB-C port” on informatiivisempi kuin ”Audio accessory”. Tallenna tietuetunniste ja alkuperäinen kuvaus vektorin rinnalle.
Hakukyselyä voidaan sitten verrata koodattuihin kuvauksiin. Tutki palautetuista ehdokkaista täsmälliset vaatimukset, kuten liitintyyppi tai laiteyhteensopivuus, ennen lopullisen valinnan esittämistä. Vektori esittää tekstin merkityksen; ympäröivä hakusovellus hakee vastaavat tietueet.
Keskiarvopooling ja normalisoidut vektorit
Julkaistu koodausesimerkki keskiarvoistaa tokenesitykset attention-maskin avulla, joten täytepositiot eivät vaikuta keskiarvoon. Sen jälkeen se soveltaa L2-normalisointia. Nämä vaiheet kuuluvat virkevektorin muodostamisen viitemenetelmään eivätkä ole ohje ottaa mielivaltaista tokenia taustalla olevasta transformerista.
Pidä mallin, poolingin ja normalisoinnin kokoonpano yhtenäisenä indeksoitujen tekstien ja uusien kyselyjen välillä. Tuloksena syntyviä 384-komponenttisia esityksiä voidaan verrata kosinisamankaltaisuudella. Säilytä tämä kokoonpano kokoelman yhteydessä; toinen 384-ulotteinen kooderi ei muutu yhteensopivaksi pelkästään vektorien saman pituuden perusteella.
Oletussyötepituus ja koulutuksen soveltamisala
Valmistaja määrittelee oletusarvoisen katkaisun 256 sananosan ylityttyä. Tämä on tokenisaattoriraja, ei tavallisten sanojen tai merkkien määrä. Valitse pidemmästä tietueesta yhtenäisiä lyhyitä osioita ja säilytä kunkin tulkitsemiseen tarvittava otsikko tai yksilöivä yksityiskohta.
Mallin koulutusmenettely käytti enintään 128 tokenin sekvenssejä. Tämä koulutusasetus on erillään julkaistusta 256 sananosan oletusrajasta koodaushetkellä. Oletusrajaan mahtuva katkelma voi silti erota huomattavasti koulutuksessa käytetystä lyhyiden virkkeiden materiaalista, joten arvioi pitkät tai erikoistuneet kuvaukset edustavilla esimerkeillä.
Samankaltaisuuden ja ryhmittelyn työnkulut
Tukiviestien joukossa upotukset voivat antaa numeeriset syötteet ryhmittelyvaiheelle. Tarkastele useita viestejä kustakin ehdotetusta ryhmästä ja sen rajan lähellä olevia viestejä ennen ihmisen luettavan tunnuksen antamista. Hae päällekkäisen sisällön tarkastelussa samankaltaisia tietueita ja vertaa niiden todellista sanamuotoa; kaksi katkelmaa voi käsitellä samaa aihetta mutta antaa eri ohjeet.
Tämä täsmällinen L12-v2-versio on englanninkielinen virkeupotusprofiili. Se eroaa all-MiniLM-L6-v2:sta ja paraphrase-MiniLM-checkpointeista. Yhteiset malliperheiden nimet eivät siirrä niiden sekvenssikokoonpanoa tai pooling-menetelmää. Käytä sen kompakteja tiheitä vektoreita lähdetietueiden ja tehtäväkohtaisen arvioinnin kanssa sen sijaan, että pitäisit samankaltaisuusarvoa varmennettuna vastauksena tai lopullisena toimituksellisena päätöksenä.
Ailoot Ultra · Vektoriesitykset POST /v1/embeddings sentence-transformers/all-minilm-l12-v2
sentence-transformers/all-minilm-l12-v2
sentence-transformers/all-minilm-l12-v2Aloitus
Sentence Transformers all-MiniLM-L12-v2 koodaa virkkeet ja lyhyet kappaleet 384-ulotteisiksi vektoreiksi hakuun, samankaltaisuuteen ja ryhmittelyyn. Sen viitemenetelmä käyttää keskiarvopoolingia ja normalisointia sekä oletusarvoista katkaisua 256 sananosaan.
- Hyväksytyt syötteet
- Teksti · token_ids
- Tulokset
- embedding
Saatavilla Ailootissa · syötteet & menetelmät
Ailoot Ultra · Vektoriesitykset POST /v1/embeddings
- Syötetyypit
text,token_ids- Tulostyypit
embedding- Tulosteen muoto
- json
| Kenttä | Tyyppi | Vaatimus | Arvot & rajat | Oletus |
|---|---|---|---|---|
Kenttämodel | Tyyppistring | VaatimusPakollinen | Arvot & rajat sentence-transformers/all-minilm-l12-v2 | Oletus— |
Kenttäinput | Tyyppistring|string[]|integer[]|integer[][] | VaatimusPakollinen | Arvot & rajat Kohteiden vähimmäismäärä: 1 Ehdot: Ei-tyhjä, yhdenmukaisista alkioista koostuva erä. Tokenien ID:t ovat ei-negatiivisia kokonaislukuja. Syötebudjetti: Enimmäismäärä: 512 · Tekstiyksikkö: UTF8-tavut · Tokenyksikkö: Token-taulukon alkiot | Oletus— |
Kenttäencoding_format | Tyyppistring | VaatimusValinnainen | Arvot & rajat float | Oletusfloat |
Kenttädimensions | Tyyppiinteger | VaatimusEi tuettu | Arvot & rajat Vähimmäismäärä: 1 | Oletus— |
Kenttäuser | Tyyppijson_value | VaatimusValinnainen | Arvot & rajat Ehdot: Lähde sallii tämän JSON-metatietokentän; tarkka alkuperäisen palvelun semantiikka on mallikohtainen. | Oletus— |
Kenttäsession_id | Tyyppijson_value | VaatimusValinnainen | Arvot & rajat Ehdot: Lähde sallii tämän JSON-metatietokentän; tarkka alkuperäisen palvelun semantiikka on mallikohtainen. | Oletus— |
Kenttätrace | Tyyppijson_value | VaatimusValinnainen | Arvot & rajat Ehdot: Lähde sallii tämän JSON-metatietokentän; tarkka alkuperäisen palvelun semantiikka on mallikohtainen. | Oletus— |
Kenttäprovider | Tyyppiobject | VaatimusValinnainen | Arvot & rajat Ehdot: provider.options hylätty | Oletus— |
Syöteaineistojen yhdistelmät
text_to_embedding
Menetelmän parametrit ja elinkaari
| Parametri | Sopimus |
|---|---|
Parametricontent_type | Sopimusapplication/json |
Parametrirequired | Sopimusmodel, input |
Parametriinput_shapes | Sopimusstring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
Parametriencoding_format | Sopimusfloat |
Parametridimensions_override | Sopimusfalse |
Parametrimax_input_budget_units | Sopimus512 |
Parametrimultimodal_objects | Sopimusfalse |
Parametrimaterial_types | Sopimustext, token_ids |
Elinkaari: synchronous_json
Säilytä jokaisen vektorin indeksi ja ulottuvuus.
Mallin nimen multimodaalisuus ei tarkoita, että tämä nimenomainen reitti hyväksyisi kuvaolioita.
Hinnoittelu
Hintatiedot eivät lisää pyyntövalintoja. Tuetut parametrit on lueteltu valitulle menetelmälle.
- Nopea tila
- Ei määritetty Kun nopea tila on valittu
- Flex-tila
- Ei määritetty Kun flex-tila on valittu
- Päättelyn enimmäisteho
- Ei määritetty Kun päättelyn enimmäistehoon sovelletaan default-oletussäätöä
Ailoot-hinnat
Hinnat asetusten mukaan
| Asetukset | Hinnasto | Veloitus |
|---|---|---|
| AsetuksetTokenien perushinnat | HinnastoPerushinta | Veloitus Syöte · Syötetokenit $0.00001 / 1K tokenia Tuloste · Tulostokenit $0 / 1K tokenia Syöte · Välimuistin luku — / 1K tokenia Syöte · Välimuistiin kirjoitus — / 1K tokenia Syöte · Välimuistiin kirjoitus, 1 tunti — / 1K tokenia |
Ailoot varaa arvioidun summan ennen pyyntöä. Tuloksen jälkeen lopullinen veloitus toteutetaan mitatun käytön perusteella. Suoratoiston veloituksessa käytetään lopullista käyttötietuetta. Varauksen ja lopullisen veloituksen toiminta →
Esimerkkipyynnöt
Ailoot Ultra · Vektoriesitykset
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "sentence-transformers/all-minilm-l12-v2", "input": ["First document", "Second document"]}')
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT
from openai import OpenAI
import os
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='sentence-transformers/all-minilm-l12-v2',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)
Vastaanota ja tallenna tulokset
Ailoot Ultra · Vektoriesitykset
json
Säilytä kaikki valmistuneet tulokset
Säilytä jokainen kokonainen palautettu vastaus, tiedosto ja sisällön osa.
Säilytä jokainen vektori indekseineen. Vektorien määrän on vastattava syötteiden määrää; ulottuvuuksien on oltava yhdenmukaiset.
Jos alkuperäinen vastaus on tarkistettava
Uutta upotustehtävien päätepistettä ei oteta käyttöön.
Vastauksen kentät
| Kenttä | Tyyppi |
|---|---|
Kenttäobject | Tyyppistring |
Kenttämodel | Tyyppistring |
Kenttädata[].index | Tyyppiinteger |
Kenttädata[].embedding | Tyyppifinite float[] |
Kenttäusage | Tyyppiobject |
Virheet ja seuraavat vaiheet
| Vastaus | Ehto | Seuraava vaihe |
|---|---|---|
Vastaus400 · invalid_request_error | EhtoVirheelliset pakolliset kentät, aineiston esitysmuoto tai parametrin arvo | Seuraava vaiheKorjaa ilmoitetut kentät ennen uutta luontipyyntöä. |
Aliakset
Mallin aliakset
Ailoot Ultra sentence-transformers/all-minilm-l12-v2
Menetelmäpolkujen aliakset
Käytä yllä näytettyjä menetelmäpolkuja.
Liittyvät kutsujan ID:t
FAQ · Sentence Transformers: all-MiniLM-L12-v2
- Mitä syötteitä ja tuloksia on saatavilla?
POST /v1/embeddings·sentence-transformers/all-minilm-l12-v2:text,token_ids→embedding- Mitä kenttiä pyyntö käyttää?
POST /v1/embeddings·sentence-transformers/all-minilm-l12-v2:model,input,encoding_format,provider- Mitä rajoja sovelletaan?
POST /v1/embeddings·sentence-transformers/all-minilm-l12-v2:input.budget.maximum:512(UTF8-tavut);input.min_items:1