Voyage AI: Voyage 3 Large

Voyage 3 Large on tekstin vektorointimalli, jolla etsitään olennaista tietoa asiakirjakokoelmasta. Se esittää kunkin annetun tekstin numeerisena vektorina, jolloin sovellus voi verrata hakupyyntöä katkelmiin, joiden sanamuoto voi olla erilainen mutta merkitys samankaltainen. Voyage AI suuntaa tämän version yleiskäyttöiseen ja monikieliseen hakuun esimerkiksi teknisistä ohjeista, keskusteluista ja pitkistä asiakirjoista.

Rakenna haettava kokoelma tiedosta, jonka käyttäjät todella tarvitsevat löytää. Pidä tuotteen tietopankissa ominaisuuden selitys yhdessä sen edellytysten ja olennaisten poikkeusten kanssa. Säilytä kokousmuistiinpanoissa puhujatunnisteet ja riittävästi ympäröivää keskustelua, jotta aihe on ymmärrettävä. Jaa laaja lähde tarkoituksenmukaisista kohdista ja säilytä lähteen otsikko, asiakirjan tunniste ja katkelman sijainti kunkin vektorin rinnalla.

Valmistele hakukysymys kyselynä ja indeksoitava aineisto asiakirjoina. Valmistajan tekstin vektorointiin tarkoitetussa työnkulussa syötteen tyyppi kertoo mallille tekstin tehtävän haussa. Kyselyä, kuten ”Miten jäsen voi palauttaa pääsyn menetettyään turva-avaimen?”, voidaan näin verrata palautusmenettelyä kuvaaviin tukiohjeiden katkelmiin, vaikka niiden sanamuoto poikkeaisi kyselystä. Pidä alkuperäinen katkelma saatavilla, jotta hakutulos voi näyttää osuman perusteena olevan tiedon.

Mallin konteksti-ikkuna on 32000 tokenia. Pitkä syöte voi säilyttää kokonaisen osion, mutta koko asiakirja ei aina ole hyödyllisin hakuyksikkö. Laajan tekstin vektori voi osoittaa oikeaan tiedostoon mutta jättää täsmällisen vastauksen etsimisen lukijalle. Valitse katkelmien rajat sen tuloksen mukaan, jonka haluat näyttää, ja pidä otsikot, täsmennykset ja määritelmät yhdessä niiden selittämän sisällön kanssa.

Voyage 3 Large tukee vektoreita, joissa on 2048, 1024, 512 tai 256 ulottuvuutta. Valmistaja dokumentoi myös liukulukuesityksen, etumerkilliset tai etumerkittömät kahdeksan bitin esitykset sekä binääriesitykset. Näiden vaihtoehtojen avulla hakujärjestelmä voi vertailla vektorin yksityiskohtaisuutta, indeksin kokoa ja haun toimintaa. Valitse aiotun vektoritietokannan tukema muoto ja arvioi sitä todellisella aineistolla ja edustavilla kysymyksillä ennen tuotantoindeksin asetusten valintaa.

Sisällytä monikielisen haun testeihin kysymyksiä käyttäjien käyttämillä kielillä ja tarkista löytyneet lähdekatkelmat niiden alkuperäisellä kielellä. Yhteinen hakukäyttöliittymä voi palvella useita kielikokoelmia, ja asiakirjan metatiedot kertovat edelleen lähteen kieliversion ja version. Säilytä merkitykselliset nimet, lyhenteet ja alan termit tekstin poiminnassa sen sijaan, että korvaisit ne yleisluontoisella tiivistelmällä ennen vektorointia.

Käytä vektoreita hakusivun, tietoavustajan tai asiakirjojen valintavaiheen ehdokaskatkelmien löytämiseen. Käytä indeksoidussa kokoelmassa ja sen kyselyissä samaa mallia ja samoja vektoriasetuksia. Kun vaihdat vektorointimallia tai vektorien ulottuvuuksia, rakenna asianomainen indeksi uudelleen ja vertaile sitä suunnitelmallisesti; vektorin pituus yksin ei kerro, miten se on tuotettu.

Arvioi tulosta haun hyödyllisyyden perusteella: löytyykö oikea katkelma, sijoittuvatko samankaltaiset mutta harhaanjohtavat katkelmat sen edelle ja sisältääkö näytettävä ote vastauksen. Säilytä pieni joukko todellisia kysymyksiä odotettuine lähteineen, mukaan lukien monitulkintainen sanamuoto ja lähes päällekkäiset asiakirjat. Vektoriesitys tekee sisällöstä haettavaa; sovellus säilyttää lähdetekstin, käyttöoikeudet ja linkit, joiden avulla osumasta tulee käyttökelpoinen tulos.