Amazon: Titan Text Embeddings V2

{"about":"### Thế hệ embedding văn bản Titan thứ hai\n\nAmazon Titan Text Embeddings V2 chuyển văn bản thành biểu diễn số để tìm kiếm và thực hiện các tác vụ khác dựa trên độ gần về nghĩa. Mô hình được tối ưu để truy xuất các đoạn phù hợp: người dùng đặt câu hỏi theo cách của mình, còn ứng dụng so sánh vectơ của câu hỏi với vectơ tài liệu trong cơ sở tri thức. Nhờ vậy có thể tìm thông tin cần thiết mà không cần từ khóa trùng khớp hoàn toàn.\n\nV2 khác G1 ở biểu diễn tiêu chuẩn gọn hơn: tài liệu Amazon nêu kích thước vectơ mặc định là **1 024 chiều**. Đối với ứng dụng, đây là đặc tính của dữ liệu được lưu và so sánh. Mọi mục trong cùng một chỉ mục phải dùng cách biểu diễn thống nhất; khi chuyển từ mô hình embedding khác, cần xây dựng lại chỉ mục cho mô hình đã chọn.\n\n### Nên sử dụng ở đâu\n\n- **RAG và tìm kiếm doanh nghiệp:** tạo vectơ cho các mục tài liệu, rồi truy xuất các đoạn cho một mô hình riêng trả lời câu hỏi.\n- **Tương đồng ngữ nghĩa:** so sánh các văn bản có cách diễn đạt khác nhau và tìm nội dung gần nghĩa.\n- **Phân nhóm:** khảo sát chủ đề của yêu cầu, đánh giá và tài liệu thông qua độ gần của các biểu diễn.\n- **Tìm kiếm mã nguồn:** xây dựng quy trình tìm kiếm mã nguồn và phần giải thích liên quan.\n\nAmazon cho biết V2 được huấn luyện trên hơn 100 ngôn ngữ tự nhiên và 13 ngôn ngữ lập trình, gồm Python, JavaScript, Java, C++, Rust, Go và SQL. Tuy vậy, mô hình chủ yếu được tối ưu cho văn bản tiếng Anh. Với cơ sở dữ liệu đa ngôn ngữ, đặc biệt nên kiểm tra riêng những truy vấn có ngôn ngữ khác với tài liệu: việc một ngôn ngữ có trong dữ liệu huấn luyện không đồng nghĩa chất lượng giống nhau ở mọi cặp ngôn ngữ.\n\n### Làm việc trong Ailoot API\n\nĐầu vào là văn bản, đầu ra là **embedding**. Giới hạn của thẻ này là **8 192 token đầu vào**. Để lập chỉ mục tìm kiếm, có thể chia tài liệu dài theo ranh giới ý nghĩa: tiêu đề, mục và đoạn văn. Sau đó lưu mỗi đoạn cùng vectơ và liên kết đến văn bản gốc.\n\n### Chu trình thực tế\n\nChọn các câu hỏi thực tế và câu trả lời phù hợp trong bộ sưu tập, tạo embedding rồi kiểm tra kết quả tìm kiếm. Điều chỉnh kích thước đoạn và cách so sánh trên cùng bộ dữ liệu này, đồng thời giữ liên hệ với văn bản gốc. Titan chuẩn bị biểu diễn số; các bước tiếp theo của ứng dụng thực hiện so sánh, chọn kết quả và tạo câu trả lời. Cách kiểm tra này giúp chọn cấu hình chỉ mục phù hợp với thuật ngữ và cấu trúc tài liệu của bạn.","alias_of":null,"aliases":[],"author":"Amazon","canonical_model":"amazon/titan-embed-text-v2","ctx":8192,"formats":["embeddings"],"id":"amazon/titan-embed-text-v2","input":["text"],"kind":"embedding","max_out":0,"methods":[{"cache_read":null,"cache_write":null,"cache_write_1h":null,"cache_write_5m":null,"conditional_meter":null,"ctx":8192,"family":"openai","fast_multiplier":1,"flex_multiplier":1,"fmt":"embeddings","http":"POST","img_in":null,"img_out":null,"in":0.04,"input":["text"],"label":"Эмбеддинги","max_out":0,"max_tool_calls":null,"out":0,"output":["embedding"],"path":"/v1/embeddings","request_model_id":"amazon/titan-embed-text-v2","route_label":"Ultra","status_reads":[],"tiers":[],"tool_prices":null,"unit":"token","units":[]}],"model_aliases":[{"canonical_model_id":"amazon/titan-embed-text-v2","request_model_id":"amazon/titan-embed-text-v2","route_label":"Ultra"}],"name":"Amazon: Titan Text Embeddings V2","price":{"in":0.04,"in_label":null,"out":null,"out_label":null,"sort_in":0.04,"sort_out":null,"varies":false},"public_id":"amazon/titan-embed-text-v2","short":"Tạo vectơ văn bản cho RAG, tìm kiếm ngữ nghĩa và phân nhóm, bao gồm tìm kiếm tài liệu đa ngôn ngữ và mã nguồn."}