Sentence Transformers: all-MiniLM-L6-v2
Sentence Transformers all-MiniLM-L6-v2 esittää virkkeet ja lyhyet kappaleet 384-ulotteisina vektoreina semanttiseen hakuun, ryhmittelyyn ja samankaltaisuuteen. Sen julkaistu menetelmä yhdistää keskiarvopoolingin L2-normalisointiin ja 256 sananosan oletusrajaan.
Tietoa mallista
Tämä kuvaus kattaa mallin ominaisuudet. Ailootissa saatavilla olevat syötteet, tulosteet ja asetukset luetellaan alla valitulle menetelmälle.
all-MiniLM-L6-v2 on Sentence Transformersin kooderi virkkeille ja lyhyille kappaleille. Se kuvaa jokaisen tekstin 384-ulotteiseksi tiheäksi vektoriksi tiedonhakua, ryhmittelyä ja virkkeiden samankaltaisuutta varten. Malli hienosäädettiin MiniLM-L6-H384-uncased-perusmallista kontrastiivisella oppimisella miljardin virkeparin kokoelmalla.
Valmistele tiiviit ja merkitykselliset tietueet
Valitse virke tai kappale, jonka pitäisi näkyä hakutuloksessa. Säilytä UKK-kokoelmassa kysymys ja sen aihetta erottava lyhyt selitys. Unohtuneen salasanan palauttamista koskevan katkelman tulisi säilyttää palautusmenettely sen sijaan, että se supistettaisiin yksittäiseksi sanaksi, kuten ”Tili”.
Indeksoi pitkästä artikkelista yhtenäisiä lyhyitä osioita ja säilytä niiden lähdesijainnit. Hae ehdokasosioita vertaamalla kyselyn vektoria tallennettuihin esityksiin ja näytä sitten alkuperäiset katkelmat, jotta lukija voi tutkia todelliset ohjeet.
Muodosta virkkeen esitys
Valmistajan suorakoodausmenetelmä keskiarvoistaa tokenesitykset attention-maskin avulla ja sulkee täytepositiot keskiarvon ulkopuolelle. Sen jälkeen se soveltaa L2-normalisointia. Nämä vaiheet tuottavat vertailussa käytettävän virkeupotuksen; taustalla olevan transformerin yksittäisillä tokenesityksillä on eri rooli.
Jokaisessa tuloksessa on 384 komponenttia. Käytä samaa checkpointia, poolingia ja normalisointia kokoelmaa rakennettaessa ja myöhempiä kyselyjä koodattaessa. Kosinisamankaltaisuus voi verrata tulosvektoreita. Samankaltaisuusarvo on hyödyllinen ehdokkaiden järjestämiseen tällä kokoonpanolla, ja alkuperäinen teksti ratkaisee, vastaako ehdokas kysymykseen.
Pituus ja versiorajat
Julkaistu oletus katkaisee yli 256 sananosan syötteet. Tämä tokenisaattorin yksikkö ei vastaa suoraan tavallista sanaa tai merkkiä. Pidä tärkeät ehdot indeksoidun kokonaisuuden sisällä ja jaa pitkä menettely merkityksellisten rajojen kohdalta ennen koodaamista.
Koulutussekvenssit rajattiin 128 tokeniin. Tämä koulutusasetus on erillään koodauksessa käytettävästä 256 sananosan oletusrajasta. Arvioi poikkeuksellisen pitkien tai erikoistuneiden katkelmien hakukäyttäytymistä edustavilla kysely–katkelma-esimerkeillä sen sijaan, että olettaisit syöterajaan mahtumisen takaavan jokaisen yksityiskohdan yhdenvertaisen käsittelyn.
Täsmällinen L6-v2-versio on englanninkielinen upotusprofiili. L12-v2- ja paraphrase-MiniLM-versioilla on erilliset malli-identiteetit ja kokoonpanot. Niiden yhteinen MiniLM-nimi tai 384-ulotteinen tulos ei osoita vektoreita keskenään vaihdettaviksi.
Haku, samankaltaisuus ja ryhmittely
Hae päällekkäisten kysymysten tarkastelussa samankaltaisia kysymyksiä ja vertaa todellisia sanamuotoja ennen tietueiden yhdistämistä. ”Can I reset my password?” ja ”Can an administrator reset another user’s password?” koskevat toisiinsa liittyviä aiheita mutta eri oikeuksia. Säilytä ero koodatussa tekstissä ja tarkasteluvaiheessa.
Käytä ryhmittelyssä upotuksia ryhmittelyprosessin numeerisina syötteinä ja tutki sitten edustavat tietueet ennen ryhmän nimeämistä. Malli antaa vektoreita kirjallisten ryhmänimien tai generoidun UKK-vastauksen sijaan. Sen hyödyllinen tulos on lyhyen lähdekatkelman kompakti esitys, joka pysyy liitettynä alkuperäiseen tietueeseen.
Ailoot Ultra · Vektoriesitykset POST /v1/embeddings sentence-transformers/all-minilm-l6-v2
sentence-transformers/all-minilm-l6-v2
sentence-transformers/all-minilm-l6-v2Aloitus
Sentence Transformers all-MiniLM-L6-v2 esittää virkkeet ja lyhyet kappaleet 384-ulotteisina vektoreina semanttiseen hakuun, ryhmittelyyn ja samankaltaisuuteen. Sen julkaistu menetelmä yhdistää keskiarvopoolingin L2-normalisointiin ja 256 sananosan oletusrajaan.
- Hyväksytyt syötteet
- Teksti · token_ids
- Tulokset
- embedding
Saatavilla Ailootissa · syötteet & menetelmät
Ailoot Ultra · Vektoriesitykset POST /v1/embeddings
- Syötetyypit
text,token_ids- Tulostyypit
embedding- Tulosteen muoto
- json
| Kenttä | Tyyppi | Vaatimus | Arvot & rajat | Oletus |
|---|---|---|---|---|
Kenttämodel | Tyyppistring | VaatimusPakollinen | Arvot & rajat sentence-transformers/all-minilm-l6-v2 | Oletus— |
Kenttäinput | Tyyppistring|string[]|integer[]|integer[][] | VaatimusPakollinen | Arvot & rajat Kohteiden vähimmäismäärä: 1 Ehdot: Ei-tyhjä, yhdenmukaisista alkioista koostuva erä. Tokenien ID:t ovat ei-negatiivisia kokonaislukuja. Syötebudjetti: Enimmäismäärä: 512 · Tekstiyksikkö: UTF8-tavut · Tokenyksikkö: Token-taulukon alkiot | Oletus— |
Kenttäencoding_format | Tyyppistring | VaatimusValinnainen | Arvot & rajat float | Oletusfloat |
Kenttädimensions | Tyyppiinteger | VaatimusEi tuettu | Arvot & rajat Vähimmäismäärä: 1 | Oletus— |
Kenttäuser | Tyyppijson_value | VaatimusValinnainen | Arvot & rajat Ehdot: Lähde sallii tämän JSON-metatietokentän; tarkka alkuperäisen palvelun semantiikka on mallikohtainen. | Oletus— |
Kenttäsession_id | Tyyppijson_value | VaatimusValinnainen | Arvot & rajat Ehdot: Lähde sallii tämän JSON-metatietokentän; tarkka alkuperäisen palvelun semantiikka on mallikohtainen. | Oletus— |
Kenttätrace | Tyyppijson_value | VaatimusValinnainen | Arvot & rajat Ehdot: Lähde sallii tämän JSON-metatietokentän; tarkka alkuperäisen palvelun semantiikka on mallikohtainen. | Oletus— |
Kenttäprovider | Tyyppiobject | VaatimusValinnainen | Arvot & rajat Ehdot: provider.options hylätty | Oletus— |
Syöteaineistojen yhdistelmät
text_to_embedding
Menetelmän parametrit ja elinkaari
| Parametri | Sopimus |
|---|---|
Parametricontent_type | Sopimusapplication/json |
Parametrirequired | Sopimusmodel, input |
Parametriinput_shapes | Sopimusstring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
Parametriencoding_format | Sopimusfloat |
Parametridimensions_override | Sopimusfalse |
Parametrimax_input_budget_units | Sopimus512 |
Parametrimultimodal_objects | Sopimusfalse |
Parametrimaterial_types | Sopimustext, token_ids |
Elinkaari: synchronous_json
Säilytä jokaisen vektorin indeksi ja ulottuvuus.
Mallin nimen multimodaalisuus ei tarkoita, että tämä nimenomainen reitti hyväksyisi kuvaolioita.
Hinnoittelu
Hintatiedot eivät lisää pyyntövalintoja. Tuetut parametrit on lueteltu valitulle menetelmälle.
- Nopea tila
- Ei määritetty Kun nopea tila on valittu
- Flex-tila
- Ei määritetty Kun flex-tila on valittu
- Päättelyn enimmäisteho
- Ei määritetty Kun päättelyn enimmäistehoon sovelletaan default-oletussäätöä
Ailoot-hinnat
Hinnat asetusten mukaan
| Asetukset | Hinnasto | Veloitus |
|---|---|---|
| AsetuksetTokenien perushinnat | HinnastoPerushinta | Veloitus Syöte · Syötetokenit $0.00001 / 1K tokenia Tuloste · Tulostokenit $0 / 1K tokenia Syöte · Välimuistin luku — / 1K tokenia Syöte · Välimuistiin kirjoitus — / 1K tokenia Syöte · Välimuistiin kirjoitus, 1 tunti — / 1K tokenia |
Ailoot varaa arvioidun summan ennen pyyntöä. Tuloksen jälkeen lopullinen veloitus toteutetaan mitatun käytön perusteella. Suoratoiston veloituksessa käytetään lopullista käyttötietuetta. Varauksen ja lopullisen veloituksen toiminta →
Esimerkkipyynnöt
Ailoot Ultra · Vektoriesitykset
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "sentence-transformers/all-minilm-l6-v2", "input": ["First document", "Second document"]}')
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT
from openai import OpenAI
import os
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='sentence-transformers/all-minilm-l6-v2',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)
Vastaanota ja tallenna tulokset
Ailoot Ultra · Vektoriesitykset
json
Säilytä kaikki valmistuneet tulokset
Säilytä jokainen kokonainen palautettu vastaus, tiedosto ja sisällön osa.
Säilytä jokainen vektori indekseineen. Vektorien määrän on vastattava syötteiden määrää; ulottuvuuksien on oltava yhdenmukaiset.
Jos alkuperäinen vastaus on tarkistettava
Uutta upotustehtävien päätepistettä ei oteta käyttöön.
Vastauksen kentät
| Kenttä | Tyyppi |
|---|---|
Kenttäobject | Tyyppistring |
Kenttämodel | Tyyppistring |
Kenttädata[].index | Tyyppiinteger |
Kenttädata[].embedding | Tyyppifinite float[] |
Kenttäusage | Tyyppiobject |
Virheet ja seuraavat vaiheet
| Vastaus | Ehto | Seuraava vaihe |
|---|---|---|
Vastaus400 · invalid_request_error | EhtoVirheelliset pakolliset kentät, aineiston esitysmuoto tai parametrin arvo | Seuraava vaiheKorjaa ilmoitetut kentät ennen uutta luontipyyntöä. |
Aliakset
Mallin aliakset
Ailoot Ultra sentence-transformers/all-minilm-l6-v2
Menetelmäpolkujen aliakset
Käytä yllä näytettyjä menetelmäpolkuja.
Liittyvät kutsujan ID:t
FAQ · Sentence Transformers: all-MiniLM-L6-v2
- Mitä syötteitä ja tuloksia on saatavilla?
POST /v1/embeddings·sentence-transformers/all-minilm-l6-v2:text,token_ids→embedding- Mitä kenttiä pyyntö käyttää?
POST /v1/embeddings·sentence-transformers/all-minilm-l6-v2:model,input,encoding_format,provider- Mitä rajoja sovelletaan?
POST /v1/embeddings·sentence-transformers/all-minilm-l6-v2:input.budget.maximum:512(UTF8-tavut);input.min_items:1