Voyage AI: Voyage Context 3

Voyage Context 3 produceert embeddings van tekstsegmenten met documentcontext om documenten op te halen. Elk segment krijgt een eigen vector, terwijl het model ook rekening houdt met de andere aangeleverde segmenten uit hetzelfde document. Zo krijgt een ophaalsysteem een representatie van de lokale passage samen met bredere documentcontext, zoals een entiteit of onderwerp dat elders in de bron is geïntroduceerd.

Bereid elk document voor als een geordende reeks leesbare tekstsegmenten. Houd de segmenten van één document samen en behoud hun oorspronkelijke volgorde. In de contextuele werkstroom van de maker bevat elke binnenste groep de segmenten van één bron en vertegenwoordigen afzonderlijke groepen afzonderlijke bronnen. Die groepering maakt deel uit van de betekenis van de invoer: ze vertelt het model welke omringende tekst bij het vertegenwoordigde document hoort.

Een bruikbaar geval is een rapport waarvan de opening het bedrijf benoemt en een latere alinea de groei uitlegt. Een zoekvraag naar de groei van dat bedrijf heeft zowel de specifieke alinea als de documentidentiteit nodig. Bewaar de oorspronkelijke segmenttekst en de metadata van het bovenliggende document bij de resulterende vector zodat het resultaat de passage kan tonen en naar de volledige bron kan linken.

De referentie van de maker documenteert maximaal 120.000 tokens per aanvraag, met niet meer dan 1.000 invoergroepen en 16.000 segmenten in totaal. De modelhandleiding vermeldt afzonderlijk een venster van 32.000 tokens per segment. Houd die reikwijdtes onderscheiden bij het voorbereiden van materiaal: een limiet voor één segment en een limiet voor de volledige aanvraag beschrijven verschillende invoergroottes. Controleer het totaal na het splitsen van de bron in plaats van aan te nemen dat elk afzonderlijk segment in dezelfde aanvraag het maximum kan vullen.

Identificeer voor documentophaling de gegroepeerde passages als documentinvoer. Bereid elke zoekvraag als een eigen querygroep voor. De maker raadt niet-overlappende aangeleverde documentsegmenten aan, zodat de contextuele representatie omringende informatie kan meenemen zonder in elke passage tekst te herhalen. Behoud bij het schrijven van de index het verband tussen documentgroep, segmentpositie en teruggegeven vector.

Voyage Context 3 ondersteunt 2.048, 1.024, 512 en 256 dimensies met floatingpoint-, achtbitsgeheelgetal- en binaire uitvoerkeuzes. Kies een indexrepresentatie en beoordeel die met dezelfde brondocumenten en vragen. Bewaar de geselecteerde dimensie en het gegevenstype bij de index zodat de queryrepresentatie en opgeslagen vectoren consistent blijven.

Gebruik de resulterende vectoren voor passages zoeken, documenten vinden of de ophaalfase van een assistent die met rapporten, onderzoeksartikelen, contracten of technische handleidingen werkt. Een resultaat kan een gerichte passage identificeren, terwijl de bronlink toegang geeft tot definities en voorbehouden elders in het document. Bewaar documentversies en toegangsrechten als toepassingsmetadata bij de vectoren.

Test vragen die zowel een lokaal detail als documentcontext vereisen. Neem vergelijkbare passages uit verschillende bronnen, benoemde entiteiten die alleen aan het begin worden geïntroduceerd en vragen met bewijs verspreid over meerdere onderdelen op. Inspecteer of het verwachte segment wordt opgehaald en of de toepassing voldoende omringende tekst toont om het te interpreteren. Genereer bij een bronwijziging de betrokken documentgroep bewust opnieuw zodat de contextuele segmenten bij één samenhangende versie horen.