Cohere: Rerank 4 Fast

A Cohere Rerank 4 Fast a könnyebb Rerank 4 kiadás, alacsonyabb késleltetésű és nagyobb áteresztőképességű visszakeresési feladatokra pozicionálva. Lekérdezést és jelölt dokumentumokat fogad, majd relevanciasorrendjüket és pontszámaikat adja vissza. Interaktív kereséshez, ismétlődő bizonyítékkiválasztáshoz és meglévő eredménylista újrarendezését igénylő alkalmazásokhoz hasznos. A Fast külön kiadás marad a Rerank 4 Próhoz képest, amely összetettebb esetekre szolgál, ahol a visszakeresési minőség elsőbbséget élvez.

A gyártói kód rerank-v4.0-fast. A Próhoz hasonlóan 32 768 tokenes kontextussal és több mint 100 nyelvre kiterjedő többnyelvű lefedettséggel rendelkezik. A lekérdezés és egy dokumentum közösen használja a kontextust; ez nem vektordimenzió vagy egy teljes indexelt korpusz kerete. Adja meg az összehasonlítandó jelölt szövegeket, és ne várja a modelltől dokumentumok visszakeresését olyan forrásból, amelyet nem kapott meg.

A dokumentált eredmény tartalmazza az eredeti dokumentumindexet és a relevance_score értéket. A top_n választja ki a visszaadandó eredmények számát, elhagyásakor a teljes rangsorolt lista tér vissza. A bemenetek mellett tartsa meg a forrásazonosítókat, hogy az új sorrend összekapcsolható legyen a tényleges részletekkel. Termékkeresésnél írja le a szükséges terméktulajdonságokat a lekérdezésben, és rangsorolja újra a jelölt leírásokat; az előkelőbb helyezés maradjon összekapcsolva az azt előállító termékrekorddal.

A modell angol és nem angol dokumentumokkal és félig strukturált rekordokkal is dolgozhat. A V2 munkafolyamatban a dokumentumbemenetek karakterláncok, és a Cohere a strukturált adatok YAML-ként való megjelenítését ajánlja. A fontos mezőket tegye előre, és őrizze meg a sorrendjüket, hogy a csonkolás ne dobja el a relevancia megítéléséhez szükséges tartalmat. Ügyféltámogatási rekord címet, terméket és eljárásszöveget tartalmazhat; üzenet a tárgyát és törzsét. Ezek a kifejezett kapcsolatok az egyező kulcsszavak listáján túli információt adnak a rangsorolónak.

A Cohere előkészítési útmutatójának modellspecifikus lekérdezési korlátja 16 384 token, a lekérdezés és a dokumentum a közös kontextust használja. Az útmutató hosszabb dokumentumok darabonkénti feldolgozását írja le, míg a V2 referencia külön 4096 tokenre állítja a dokumentumcsonkolás alapértelmezését a max_tokens_per_doc mezőn keresztül. Ellenőrizze ezt a tényleges dokumentumbeállítást, és ne feltételezze, hogy mindig a teljes 32K modellablakot használják. Készítsen releváns részleteket vagy megfelelő dokumentumkeretet a tényleges visszakeresési feladathoz.

Az ajánlott teljesítmény érdekében a Cohere nem javasol 1000-nél több dokumentumot egy kérésben. A nagyobb jelöltkészleteket bontsa kezelhető csoportokra, az azonosítók megtartásával. A kimeneti pontszámok 0 és 1 közé normalizáltak, és a lekérdezéstől, valamint a részletektől függenek. Sorrendjük a fő eredmény; egy pontszám nem a relevancia lineáris többszöröse, és nem bizonyítja egy részlet helyességét. Minden szűrési küszöböt a szakterület reprezentatív lekérdezéseivel és határesetként releváns részleteivel állapítson meg.

A hasznos Fast-eredmény rangsorolt lista, amely azonnal vezérelhet egy keresési megjelenítést vagy bizonyítékot választhat ki a válaszíró lépéshez. A forrásszöveget a pontszámmal együtt őrizze meg, és vizsgálja felül, hogy a legelső eredmények ténylegesen foglalkoznak-e a kért feltételekkel. A Fast szerepe a visszakeresési rangsorolás, nem új magyarázat vagy beágyazási vektor generálása. A relevanciaviselkedés finomításakor tartsa következetesen a megnevezett kiadást és a bemenet előkészítését.