LiquidAI: LFM2.5-Embedding-350M (free)

LFM2.5-Embedding-350M is de dense bi-encoder van LiquidAI voor meertalige en taaloverschrijdende informatieopvraging. Het produceert één 1024-dimensionale vector voor elke tekst en richt zich op zoeken met korte context in elf talen. De benoemde 350M-modelfamilie gebruikt een bidirectionele aanpassing van LFM2.5-350M-Base; de gedetailleerde modeltabel geeft ongeveer 354 miljoen parameters voor deze embeddingeditie.

Een bidirectionele zoekrepresentatie

De fabrikant past de basisarchitectuur zo aan dat attention en lokale convoluties context aan beide kanten van een token kunnen gebruiken. Pooling in CLS-stijl zet de verwerkte tekst om in één dense vector. De modeltabel beschrijft zeventien lagen: tien convolutieblokken, zes attention-blokken en een poolingfase. Dit is een zoekencoder met eigen voorbereiding en uitvoer, niet de tekstgeneratietaak van het basismodel.

Het afzonderlijk benoemde LFM2.5-ColBERT-350M behoudt vectoren per token voor late interactie. Die representatie vereist een andere index- en vergelijkingsmethode. Het Embedding-model hier levert één vector per document of zoekvraag, met cosinusgelijkenis als gedocumenteerde vergelijking.

Gebruik de juiste asymmetrische prompts

Bereid zoekvragen voor met “query:” en bronpassages met “document:”. De fabrikant slaat die prompts in de configuratie op en de referentieworkflow past de passende promptnaam toe. Hij beveelt specifiek aan aan elke kant de bijbehorende rol te gebruiken omdat het model met die prefixen is getraind. Dit documentprefix verschilt van de “passage:”-conventie van E5-modellen.

Een praktische productzoekverzameling kan beschrijvingen in de ondersteunde talen bevatten. Bereid de zoekformulering van de gebruiker als query en elke productbeschrijving als document voor. Bewaar de oorspronkelijke tekst, productidentifier en taal bij de vector, zodat een zoekresultaat het bijbehorende record kan teruggeven. Behoud bij een supportverzameling het beleid of de instructie die voor de vraag relevant is in plaats van die door een niet-gerelateerd kort label te vervangen.

Talen en passagegrootte

De gedocumenteerde talen zijn Engels, Spaans, Duits, Frans, Italiaans, Portugees, Arabisch, Zweeds, Noors, Japans en Koreaans. De fabrikant richt zich expliciet op zowel informatieopvraging binnen een taal als over taalgrenzen heen. Bereid echte vragen uit de beoogde doelgroep voor en onderzoek de geretourneerde documenttekst in die talen.

De specificatie voor documentlengte is 512 tokens. Verdeel een lange bron in samenhangende passages die de kop, definities en voorwaarden behouden die een opgehaald resultaat nodig heeft. Het rolprefix en de toegevoegde context behoren tot de voorbereide invoer. Een FAQ-antwoord, een productuitleg of een gerichte sectie van een technisch document is een geschiktere eenheid dan een volledige te grote handleiding.

Training en matching

De maker beschrijft drie trainingsfasen: Engelse contrastieve voortraining, meertalige en taaloverschrijdende distillatie en vervolgens finetuning met gericht gemijnde moeilijke negatieve voorbeelden. Het resulterende model is bedoeld voor productcatalogi, FAQ- en supportverzamelingen, bestands- of notitiezoeken en het ophalen van bedrijfskennis. Dat zijn taken voor tekstrepresentaties, geen claims over de uitrol van een specifieke toepassing.

Het producentvoorbeeld normaliseert zoekvraag- en documentvectoren en rangschikt ze met een inproduct, gelijkwaardig aan cosinusgelijkenis. Bereken de corpusrepresentaties vooraf wanneer het bronmateriaal wordt voorbereid, embed daarna een zoekvraag en retourneer kandidaatdocumenten met hun tekst en identifiers. Bewaar het gekozen model en de rolconventie bij de index, zodat de numerieke vergelijking compatibele representaties gebruikt.

Het bruikbare resultaat is een compacte dense zoekindex of een zoekvraagvector die bronmateriaal over de gedocumenteerde talen heen ophaalt. Deze exacte LFM2.5-Embedding-editie blijft onderscheiden van de bijbehorende ColBERT-editie, oudere LFM2-zoekmodellen en extern gekwantiseerde implementaties. De geselecteerde passagetekst is de onderbouwing die een lezer of een latere RAG-antwoordfase gebruikt.