Intfloat: E5-Large-v2

E5-Large-v2 is het Engelse tekstembeddingmodel van intfloat met vierentwintig lagen en een 1024-dimensionale uitvoer. Het is ontworpen om zoekvragen en passages numeriek te representeren voor informatieopvraging en andere embeddingtaken. De E5-voorbereidingsconventie maakt deel uit van de training: de invoertekst draagt een rolprefix en de gecodeerde tokenrepresentaties worden via pooling samengevoegd tot één vector voor die tekst.

Maak de rollen van zoekvraag en passage expliciet

Begin bij asymmetrische informatieopvraging de vraag met “query:” en de corpustekst met “passage:”. Die rollen onderscheiden wat de gebruiker zoekt van het materiaal dat daarop een antwoord kan geven. Voor symmetrische vergelijking, parafrasezoeken, clustering of classificatiekenmerken beveelt de maker “query:” aan voor de teksten die worden ingebed.

Een praktische verzameling kan Engelse supportuitleg indexeren. Bereid een vraag voor zoals “query: What should I check before replacing the connector?” en koppel die aan bronpassages die de controles en uitzonderingen beschrijven. De passagetekst behoudt het bijbehorende prefix. Bewaar de bronidentifier en de oorspronkelijke bewoordingen bij elke vector, zodat het resultaat het materiaal kan teruggeven dat een gebruiker moet lezen.

De prefixen zijn geen decoratieve labels die aan één kant van de taak kunnen worden verwijderd. De fabrikant stelt dat het weglaten ervan de zoekprestaties verslechtert omdat het model met die voorbereiding is getraind. Pas de gekozen rol consistent toe bij het opbouwen van het corpus en bij het later inbedden van een zoekvraag.

Mean pooling en genormaliseerde vectoren

Het officiële codeervoorbeeld neemt het gemiddelde van de tokenrepresentaties en sluit daarbij paddingposities uit met het attention-masker. Vervolgens normaliseert het de resulterende vector. Een inproduct tussen genormaliseerde zoekvraag- en passagevectoren levert cosinusgelijkenis op om kandidaten te rangschikken. Dit recept voor mean pooling hoort bij E5-Large-v2; een recept dat het eerste token gebruikt uit een andere familie is een afzonderlijke voorbereidingskeuze.

De 1024 uitvoerwaarden vormen de embedding, geen geschreven antwoord of rechtstreeks categorielabel. Een zoekfase vergelijkt die waarden met compatibele corpusrepresentaties en een latere fase gebruikt de geselecteerde passagetekst. Als vectoren als kenmerken voor clustering of een classifier dienen, behoud dan de koppeling tussen elke vector en het invoerrecord waarvan hij de kenmerken vertegenwoordigt.

Engelse tekst binnen het venster

De modelkaart specificeert uitsluitend Engelse tekst en het afkappen van lange invoer op maximaal 512 tokens. Houd elke documentpassage samenhangend binnen dat venster, inclusief het rolprefix en nuttige broncontext. Een lange handleiding moet worden voorbereid als secties waarvan titels, voorwaarden en instructies ook bij afzonderlijk ophalen begrijpelijk zijn.

Een clausule die een instelling beschrijft kan bijvoorbeeld de definitie van die instelling en een uitzondering in de volgende zin nodig hebben. Bewaar die kleine eenheid samen in plaats van uitsluitend op een tekenaantal te splitsen. Bewaar het bovenliggende document en de bronversie bij de passage, zodat een update het juiste materiaal vervangt.

Lees de rangschikking als aanwijzing voor informatieopvraging

De maker legt uit dat de volgorde van cosinusscores belangrijker is dan hun absolute waarden. Een score mag niet worden geïnterpreteerd als een gekalibreerde waarschijnlijkheid dat een passage de vraag beantwoordt. Controleer bekende antwoorddragende passages en nabijgelegen irrelevant materiaal wanneer u kiest hoeveel resultaten behouden blijven of waar een kandidatenverzameling wordt gefilterd.

De bruikbare uitvoer is een corpus- of zoekvraagrepresentatie, een signaal voor semantische vergelijking of numerieke kenmerken voor een andere taak. Dit exacte Engelse Large-v2-checkpoint blijft onderscheiden van E5-Base-v2 en Multilingual-E5-Large. Overeenkomende dimensies alleen maken hun vectoren niet tot een gedocumenteerde gemeenschappelijke embeddingruimte.