Cohere: Rerank v3.5

Cohere Rerank 3.5 – daugiakalbis modelis kandidatų dokumentų ir pusiau struktūruoto teksto aktualumui rikiuoti. Jis vertina kiekvieną kandidatą pagal užklausą ir grąžina perrikiuotą rezultatų sąrašą su aktualumo įverčiais. Jis gali patikslinti raktažodžių arba semantine paieška gautus kandidatus ir atrinkti ištraukas paieška papildytam atsakymui. Jo užduotis – pagerinti įrodymų tvarką, o ne generuoti laisvos formos atsakymą arba kurti naują tekstyno indeksą.

Tikslus gamintojo identifikatorius yra rerank-v3.5. Jis naudoja 4096 žetonų kontekstą, kuris skiriasi nuo Rerank 4 Pro ir Fast 32K konteksto. Užklausos ir dokumento žetonai kartu įskaičiuojami į šį kiekvienam kandidatui taikomą langą. Modeliui skirtas pasirengimo vadovas užklausą sutrumpina po pirmųjų 2048 žetonų ir aprašo 4093 žetonų dokumentų fragmentus prieš atsižvelgiant į užklausą. Užklausą sutelkite į tikslą ir parenkite kandidatų ištraukas su informacija, reikalinga prašomam ryšiui įvertinti.

Pateikite užklausą ir kandidatų tekstinių eilučių sąrašą. Kiekvienas rezultatas turi indeksą, rodantį originalią dokumento vietą, ir aktualumo įvertį; top_n pasirenka, kiek surikiuotų rezultatų išlaikyti. Jo nenurodžius dokumentuota gamintojo darbo eiga grąžina visus rezultatus. Dokumentų identifikatorius išsaugokite nepriklausomai nuo įverčio, kad pirmąją ištrauką vis dar būtų galima atsekti iki originalios politikos, produkto įrašo arba žinutės.

Rerank 3.5 palaiko daugiau nei 100 kalbų, įskaitant anglišką ir neanglišką medžiagą. Užklausa gali apimti kelis poreikio aspektus, pavyzdžiui, produktą, naudotojo situaciją ir norimą procedūrą. Struktūruotiems įrašams V2 leidimas pašalino neapdorotus dokumentų objektus ir rekomenduoja YAML eilutes. Naudingus laukus pateikite apgalvota tvarka, esminį turinį dėdami prieš mažiau reikšmingus metaduomenis, nes ilgos eilutės gali būti trumpinamos. Tai tinka pavadinimams ir turiniui, produktų atributams arba žinutės temai ir tekstui.

V2 gamintojo žinynas dokumentams trumpinti naudoja max_tokens_per_doc, kurio numatytoji reikšmė – 4096. Cohere pasirengimo vadovas taip pat aprašo ilgų dokumentų skaidymą; tikroji įvestis priklauso nuo pasirinktos darbo eigos ir dokumentų nustatymų. Norėdami daugiau kontrolės, patys parenkite atpažįstamas ištraukas, užuot manę, kad kiekvienas ilgo šaltinio skyrius lieka matomas. Išsaugokite pakankamai aplinkinio konteksto, kad atsakymą teikiančią ištrauką atskirtumėte nuo vien panašų žodyną turinčios ištraukos.

Užklausos našumui dabartinis žinynas rekomenduoja vienu metu nesiųsti daugiau nei 1 000 dokumentų. Aktualumo įverčiai normalizuojami nuo 0 iki 1, tačiau jų reikšmės priklauso nuo užklausos bei kandidatų ir nėra tiesinė teisingumo skalė. Rikiavimą naudokite naudingiems įrodymams nustatyti. Jei reikia įverčio slenksčio, pasirinkite reprezentatyvias srities užklausas ir ribinio aktualumo ištraukas, kad slenkstis atspindėtų tikrą paieškos užduotį.

Praktinė pagalbos darbo eiga gali perrikiuoti atrinktus grąžinimo taisyklių skyrius klausimui apie pažeistą prekę, tada perduoti pasirinktą šaltinio tekstą atsakymo rašymo etapui. El. pašto paieška gali rikiuoti žinutes pagal konkrečią problemą ir prie kiekvieno rezultato išsaugoti originalų žinutės identifikatorių. Naudingas rezultatas – surikiuotas įrodymų sąrašas. Prie jo išlaikykite trumpesnį Rerank 3.5 kontekstą ir V2 dokumentų parengimą, nepakeisdami jų vėlesnių modelių limitais.