Voyage AI: Voyage 3 Large

Voyage 3 Large är en textinbäddningsmodell för att hitta relevant information i en dokumentsamling. Varje inmatad text representeras som en numerisk vektor, så att en applikation kan jämföra en sökfråga med avsnitt som använder andra formuleringar men har närliggande betydelse. Voyage AI positionerar denna version för allmän och flerspråkig informationssökning i bland annat teknisk dokumentation, konversationer och långa dokument.

Bygg den sökbara samlingen utifrån den information som människor faktiskt behöver hitta. I en produktkunskapsbas bör förklaringen av en funktion hållas samman med dess förutsättningar och relevanta undantag. I mötesanteckningar bör talarbeteckningar och tillräckligt mycket av den omgivande diskussionen bevaras för att ämnet ska vara begripligt. Dela upp en stor källa vid meningsfulla gränser och lagra källans titel, dokumentidentifierare och avsnittets position tillsammans med varje vektor.

Förbered sökfrågan som query och det indexerade materialet som document. I tillverkarens arbetsflöde för textinbäddning anger indatatypen textens roll i sökningen. En fråga som ”Hur kan en medlem återfå åtkomst efter att ha förlorat en säkerhetsnyckel?” kan då jämföras med supportavsnitt som beskriver återställningsproceduren, även om de använder andra ord. Behåll originalavsnittet så att sökresultatet kan visa underlaget för träffen.

Modellen har ett kontextfönster på 32 000 token. Ett långt indataavsnitt kan bevara en hel sektion, men ett helt dokument är inte alltid den mest användbara sökenheten. En övergripande vektor kan peka ut rätt fil medan läsaren själv måste hitta det exakta svaret. Välj avsnittsgränser utifrån det resultat du vill visa och behåll rubriker, förbehåll och definitioner tillsammans med det innehåll de förklarar.

Voyage 3 Large stöder vektorer med 2 048, 1 024, 512 eller 256 dimensioner. Tillverkaren dokumenterar också flyttalsrepresentationer, signerade eller osignerade åttabitarsrepresentationer samt binära representationer. Valen gör det möjligt att väga vektorns detaljnivå mot indexstorlek och sökbeteende. Välj ett format som det avsedda vektorlagret stöder och utvärdera det på den faktiska textsamlingen och representativa frågor innan produktionsindexets inställningar bestäms.

Vid flerspråkig sökning bör testfrågorna omfatta användarnas språk, och de hämtade källavsnitten bör granskas på sitt originalspråk. Ett gemensamt sökgränssnitt kan betjäna samlingar på flera språk, samtidigt som dokumentens metadata identifierar källans språkvariant och version. Bevara betydelsebärande namn, förkortningar och facktermer vid extraktion i stället för att ersätta dem med en allmän sammanfattning före inbäddningen.

Använd vektorerna för att hämta kandidatavsnitt till en söksida, en kunskapsassistent eller ett steg för dokumenturval. Använd samma modell och vektorinställningar för den indexerade samlingen och dess frågor. När en inbäddningsmodell byts ut eller vektordimensionerna ändras bör det berörda indexet byggas om och jämföras medvetet; en vektors längd visar inte i sig hur den har skapats.

Bedöm resultatet utifrån användbar informationssökning: om rätt avsnitt hittas, om närliggande men missvisande avsnitt rankas högre och om det visade utdraget innehåller svaret. Behåll en liten uppsättning verkliga frågor med förväntade källor, inklusive tvetydiga formuleringar och nästan identiska dokument. Inbäddningen ger en sökbar representation; applikationen behåller källtexten, behörigheterna och länkarna som gör träffen användbar.