Amazon: Titan Text Embeddings V2

{"about":"### Antroji Titan tekstinių vektorinių reprezentacijų karta\n\nAmazon Titan Text Embeddings V2 tekstą paverčia skaitine reprezentacija paieškai ir kitoms užduotims, pagrįstoms prasmių artumu. Modelis optimizuotas tinkamiems fragmentams atrinkti: naudotojas užduoda klausimą savais žodžiais, o programa jo vektorių palygina su žinių bazės medžiagos vektoriais. Taip reikiamą informaciją galima rasti be tikslaus raktažodžių sutapimo.\n\nNuo G1 V2 skiriasi kompaktiškesne standartine reprezentacija: Amazon dokumentacijoje numatytasis vektoriaus dydis yra **1 024 matmenys**. Programai tai yra saugomų ir lyginamų duomenų savybė. Visi vieno indekso įrašai turi naudoti suderintą reprezentaciją; pereinant nuo kito vektorinių reprezentacijų modelio, indeksas parengiamas iš naujo pagal pasirinktą modelį.\n\n### Kur naudoti\n\n- **RAG ir įmonės paieška:** parengti dokumentacijos skyrių vektorius, tada atrinkti fragmentus atskiram į klausimą atsakančiam modeliui.\n- **Semantinis panašumas:** lyginti skirtingai suformuluotus tekstus ir rasti artimą medžiagą.\n- **Grupavimas:** tirti užklausų, atsiliepimų ir dokumentų temas pagal jų reprezentacijų artumą.\n- **Paieška kode:** kurti paieškos scenarijus pirminiam kodui ir susijusiems paaiškinimams.\n\nAmazon nurodo, kad V2 mokyta su daugiau nei 100 natūraliųjų kalbų ir 13 programavimo kalbų, įskaitant Python, JavaScript, Java, C++, Rust, Go ir SQL. Vis dėlto modelis pirmiausia optimizuotas angliškam tekstui. Daugiakalbėje bazėje ypač naudinga atskirai patikrinti užklausas, kurių kalba skiriasi nuo dokumentų kalbos: kalbų buvimas mokymo duomenyse nereiškia vienodos kokybės visiems deriniams.\n\n### Darbas Ailoot\n\nĮvestis yra tekstas, o rezultatas — **embedding**. Šios kortelės riba — **8 192 įvesties žetonai**. Paieškos indeksui ilgą medžiagą patogu skaidyti pagal prasmines ribas: antraštes, skyrius ir pastraipas. Tada kiekvieną fragmentą galima saugoti kartu su jo vektoriumi ir nuoroda į pirminį šaltinį.\n\n### Praktinis ciklas\n\nIš savo rinkinio pasirinkite tikrus klausimus ir tinkamus atsakymus, sukurkite vektorines reprezentacijas ir patikrinkite paieškos rezultatus. Naudodami tą patį rinkinį keiskite fragmentų dydį ir palyginimo būdą, išsaugodami ryšį su pradiniu tekstu. Titan parengia skaitines reprezentacijas; palyginimą, rezultatų atranką ir atsakymo formavimą atlieka tolesni programos etapai. Toks patikrinimas padeda pritaikyti indekso nuostatas jūsų terminijai ir dokumentų struktūrai.","alias_of":null,"aliases":[],"author":"Amazon","canonical_model":"amazon/titan-embed-text-v2","ctx":8192,"formats":["embeddings"],"id":"amazon/titan-embed-text-v2","input":["text"],"kind":"embedding","max_out":0,"methods":[{"cache_read":null,"cache_write":null,"cache_write_1h":null,"cache_write_5m":null,"conditional_meter":null,"ctx":8192,"family":"openai","fast_multiplier":1,"flex_multiplier":1,"fmt":"embeddings","http":"POST","img_in":null,"img_out":null,"in":0.04,"input":["text"],"label":"Эмбеддинги","max_out":0,"max_tool_calls":null,"out":0,"output":["embedding"],"path":"/v1/embeddings","request_model_id":"amazon/titan-embed-text-v2","route_label":"Ultra","status_reads":[],"tiers":[],"tool_prices":null,"unit":"token","units":[]}],"model_aliases":[{"canonical_model_id":"amazon/titan-embed-text-v2","request_model_id":"amazon/titan-embed-text-v2","route_label":"Ultra"}],"name":"Amazon: Titan Text Embeddings V2","price":{"in":0.04,"in_label":null,"out":null,"out_label":null,"sort_in":0.04,"sort_out":null,"varies":false},"public_id":"amazon/titan-embed-text-v2","short":"Kuria teksto vektorius RAG, semantinei paieškai ir grupavimui, įskaitant paiešką daugiakalbėje medžiagoje bei kode."}