Llama 3.2 90B Vision là mô hình hình ảnh và văn bản lớn hơn của Meta trong bộ Llama 3.2 Vision. Mô hình kết hợp mô hình ngôn ngữ tự hồi quy Llama 3.1 với bộ thích nghi thị giác được huấn luyện riêng. Các lớp cross-attention đưa biểu diễn từ bộ mã hóa hình ảnh vào mô hình ngôn ngữ, cho phép diễn giải câu hỏi văn bản cùng nội dung nhìn thấy được. Tên 90B xác định nhóm quy mô; bảng cấu hình của Meta liệt kê 88.8 tỷ tham số và grouped-query attention.
Mô hình nhận văn bản và hình ảnh, tạo văn bản, với độ dài ngữ cảnh 128K token. Đối với nhiệm vụ chỉ văn bản, các ngôn ngữ được hỗ trợ chính thức là tiếng Anh, Đức, Pháp, Ý, Bồ Đào Nha, Hindi, Tây Ban Nha và Thái. Ứng dụng hình ảnh và văn bản được hỗ trợ chính thức bằng tiếng Anh. Sự phân biệt này quan trọng khi chuẩn bị trợ lý tài liệu: ngôn ngữ dùng cho hội thoại văn bản và ngôn ngữ dùng để hỏi về hình ảnh là những lựa chọn riêng.
Meta công bố cả phiên bản tiền huấn luyện và tinh chỉnh theo chỉ dẫn. Mô hình tiền huấn luyện là nền tảng có thể được điều chỉnh cho nhiệm vụ suy luận hình ảnh. Phiên bản tinh chỉnh theo chỉ dẫn bổ sung tinh chỉnh có giám sát và học tăng cường từ phản hồi của con người cho nhận dạng trực quan, suy luận hình ảnh, chú thích và hội thoại kiểu trợ lý với hình ảnh. Nhãn quy mô mô tả nhánh 90B và giữ các phiên bản tinh chỉnh này tách biệt.
Các mục đích sử dụng gồm trả lời câu hỏi trực quan, câu hỏi về ảnh tài liệu, viết chú thích, ghép hình ảnh với văn bản và định vị đối tượng theo ngôn ngữ. Với trang tài liệu, hỏi tiêu đề liên quan tới bảng như thế nào hoặc điều khoản nhìn thấy nào trả lời câu hỏi cụ thể. Với biểu đồ, chỉ rõ chuỗi dữ liệu hoặc nhãn cần so sánh và yêu cầu giải thích gắn với những chi tiết đó. Với ảnh chụp, yêu cầu chú thích xác định cảnh và các mối quan hệ nhìn thấy được. Định vị theo ngôn ngữ nối cụm từ trong câu hỏi với vật thể hoặc vùng liên quan; nhiệm vụ ghép nối kết nối hình ảnh với mô tả văn bản phù hợp.
Trong nhiệm vụ Ailoot API, cung cấp câu hỏi rõ ràng cùng hình ảnh và xác định sản phẩm văn bản mong muốn: mô tả, giải thích, câu trả lời kèm quan sát hỗ trợ hoặc danh sách chi tiết trích xuất. Giữ bằng chứng trực quan gắn với câu hỏi để các chỉnh sửa sau có thể tham chiếu cùng trang, sơ đồ hoặc ảnh chụp. Ví dụ mô hình của Meta sử dụng bộ xử lý hình ảnh và prompt văn bản mở đầu để tạo văn bản; phương thức đầu ra được công bố vẫn là văn bản.
Dòng Vision được tiền huấn luyện trên sáu tỷ cặp hình ảnh và văn bản. Tinh chỉnh theo chỉ dẫn gồm dữ liệu chỉ dẫn thị giác công khai và hơn ba triệu ví dụ tổng hợp. Meta đưa ra tháng 12 năm 2023 là mốc kiến thức tiền huấn luyện và mô tả mô hình là bản phát hành tĩnh được huấn luyện trên tập dữ liệu ngoại tuyến. Công việc về trách nhiệm bao gồm tinh chỉnh an toàn, đánh giá đối kháng và các biện pháp bảo vệ hệ thống riêng. Để đánh giá thực tế, phân biệt điều hình ảnh hỗ trợ rõ ràng với diễn giải của mô hình và đối chiếu mô tả với tài liệu được cung cấp. Meta lưu ý phản hồi có thể không chính xác hoặc thiên lệch và các đánh giá không bao quát mọi tình huống ứng dụng.
", "aboutText": "Llama 3.2 90B Vision là mô hình hình ảnh và văn bản lớn hơn của Meta trong bộ Llama 3.2 Vision. Mô hình kết hợp mô hình ngôn ngữ tự hồi quy Llama 3.1 với bộ thích nghi thị giác được huấn luyện riêng. Các lớp cross-attention đưa biểu diễn từ bộ mã hóa hình ảnh vào mô hình ngôn ngữ, cho phép diễn giải câu hỏi văn bản cùng nội dung nhìn thấy được. Tên 90B xác định nhóm quy mô; bảng cấu hình của Meta liệt kê 88.8 tỷ tham số và grouped-query attention.\n\nMô hình nhận văn bản và hình ảnh, tạo văn bản, với độ dài ngữ cảnh 128K token. Đối với nhiệm vụ chỉ văn bản, các ngôn ngữ được hỗ trợ chính thức là tiếng Anh, Đức, Pháp, Ý, Bồ Đào Nha, Hindi, Tây Ban Nha và Thái. Ứng dụng hình ảnh và văn bản được hỗ trợ chính thức bằng tiếng Anh. Sự phân biệt này quan trọng khi chuẩn bị trợ lý tài liệu: ngôn ngữ dùng cho hội thoại văn bản và ngôn ngữ dùng để hỏi về hình ảnh là những lựa chọn riêng.\n\nMeta công bố cả phiên bản tiền huấn luyện và tinh chỉnh theo chỉ dẫn. Mô hình tiền huấn luyện là nền tảng có thể được điều chỉnh cho nhiệm vụ suy luận hình ảnh. Phiên bản tinh chỉnh theo chỉ dẫn bổ sung tinh chỉnh có giám sát và học tăng cường từ phản hồi của con người cho nhận dạng trực quan, suy luận hình ảnh, chú thích và hội thoại kiểu trợ lý với hình ảnh. Nhãn quy mô mô tả nhánh 90B và giữ các phiên bản tinh chỉnh này tách biệt.\n\nCác mục đích sử dụng gồm trả lời câu hỏi trực quan, câu hỏi về ảnh tài liệu, viết chú thích, ghép hình ảnh với văn bản và định vị đối tượng theo ngôn ngữ. Với trang tài liệu, hỏi tiêu đề liên quan tới bảng như thế nào hoặc điều khoản nhìn thấy nào trả lời câu hỏi cụ thể. Với biểu đồ, chỉ rõ chuỗi dữ liệu hoặc nhãn cần so sánh và yêu cầu giải thích gắn với những chi tiết đó. Với ảnh chụp, yêu cầu chú thích xác định cảnh và các mối quan hệ nhìn thấy được. Định vị theo ngôn ngữ nối cụm từ trong câu hỏi với vật thể hoặc vùng liên quan; nhiệm vụ ghép nối kết nối hình ảnh với mô tả văn bản phù hợp.\n\nTrong nhiệm vụ Ailoot API, cung cấp câu hỏi rõ ràng cùng hình ảnh và xác định sản phẩm văn bản mong muốn: mô tả, giải thích, câu trả lời kèm quan sát hỗ trợ hoặc danh sách chi tiết trích xuất. Giữ bằng chứng trực quan gắn với câu hỏi để các chỉnh sửa sau có thể tham chiếu cùng trang, sơ đồ hoặc ảnh chụp. Ví dụ mô hình của Meta sử dụng bộ xử lý hình ảnh và prompt văn bản mở đầu để tạo văn bản; phương thức đầu ra được công bố vẫn là văn bản.\n\nDòng Vision được tiền huấn luyện trên sáu tỷ cặp hình ảnh và văn bản. Tinh chỉnh theo chỉ dẫn gồm dữ liệu chỉ dẫn thị giác công khai và hơn ba triệu ví dụ tổng hợp. Meta đưa ra tháng 12 năm 2023 là mốc kiến thức tiền huấn luyện và mô tả mô hình là bản phát hành tĩnh được huấn luyện trên tập dữ liệu ngoại tuyến. Công việc về trách nhiệm bao gồm tinh chỉnh an toàn, đánh giá đối kháng và các biện pháp bảo vệ hệ thống riêng. Để đánh giá thực tế, phân biệt điều hình ảnh hỗ trợ rõ ràng với diễn giải của mô hình và đối chiếu mô tả với tài liệu được cung cấp. Meta lưu ý phản hồi có thể không chính xác hoặc thiên lệch và các đánh giá không bao quát mọi tình huống ứng dụng.", "editorialOverlay": { "copy_fields": { "practical_html": "Ví dụ kỹ thuật bằng tiếng Anh
Explain a chart from supplied values\n\nUse this text transcription of a bar chart: horizontal axis is quarter; vertical axis is returned units; Q1=12, Q2=18, Q3=9, Q4=15. Write a two-sentence caption identifying the largest and smallest bars and the change from Q2 to Q3. Do not infer sales totals or return rates.A two-sentence chart caption with the extrema and a nine-unit decrease from Q2 to Q3.The answer reports units rather than percentages and does not invent a denominator for return rates.llama3.2-90bLlama 3.2 90B Vision là mô hình thị giác và ngôn ngữ lớn hơn của Meta để giải thích hình ảnh, trả lời câu hỏi về trang tài liệu và kết nối chi tiết trực quan với prompt văn bản. Quy mô 90B có các phiên bản tiền huấn luyện và tinh chỉnh theo chỉ dẫn riêng, với đầu ra văn bản và cửa sổ ngữ cảnh 128K.
Mô tả này trình bày khả năng của mô hình. Đầu vào, đầu ra và tùy chọn có trên Ailoot được liệt kê bên dưới cho phương thức đã chọn.
Llama 3.2 90B Vision là mô hình hình ảnh và văn bản lớn hơn của Meta trong bộ Llama 3.2 Vision. Mô hình kết hợp mô hình ngôn ngữ tự hồi quy Llama 3.1 với bộ thích nghi thị giác được huấn luyện riêng. Các lớp cross-attention đưa biểu diễn từ bộ mã hóa hình ảnh vào mô hình ngôn ngữ, cho phép diễn giải câu hỏi văn bản cùng nội dung nhìn thấy được. Tên 90B xác định nhóm quy mô; bảng cấu hình của Meta liệt kê 88.8 tỷ tham số và grouped-query attention.
Mô hình nhận văn bản và hình ảnh, tạo văn bản, với độ dài ngữ cảnh 128K token. Đối với nhiệm vụ chỉ văn bản, các ngôn ngữ được hỗ trợ chính thức là tiếng Anh, Đức, Pháp, Ý, Bồ Đào Nha, Hindi, Tây Ban Nha và Thái. Ứng dụng hình ảnh và văn bản được hỗ trợ chính thức bằng tiếng Anh. Sự phân biệt này quan trọng khi chuẩn bị trợ lý tài liệu: ngôn ngữ dùng cho hội thoại văn bản và ngôn ngữ dùng để hỏi về hình ảnh là những lựa chọn riêng.
Meta công bố cả phiên bản tiền huấn luyện và tinh chỉnh theo chỉ dẫn. Mô hình tiền huấn luyện là nền tảng có thể được điều chỉnh cho nhiệm vụ suy luận hình ảnh. Phiên bản tinh chỉnh theo chỉ dẫn bổ sung tinh chỉnh có giám sát và học tăng cường từ phản hồi của con người cho nhận dạng trực quan, suy luận hình ảnh, chú thích và hội thoại kiểu trợ lý với hình ảnh. Nhãn quy mô mô tả nhánh 90B và giữ các phiên bản tinh chỉnh này tách biệt.
Các mục đích sử dụng gồm trả lời câu hỏi trực quan, câu hỏi về ảnh tài liệu, viết chú thích, ghép hình ảnh với văn bản và định vị đối tượng theo ngôn ngữ. Với trang tài liệu, hỏi tiêu đề liên quan tới bảng như thế nào hoặc điều khoản nhìn thấy nào trả lời câu hỏi cụ thể. Với biểu đồ, chỉ rõ chuỗi dữ liệu hoặc nhãn cần so sánh và yêu cầu giải thích gắn với những chi tiết đó. Với ảnh chụp, yêu cầu chú thích xác định cảnh và các mối quan hệ nhìn thấy được. Định vị theo ngôn ngữ nối cụm từ trong câu hỏi với vật thể hoặc vùng liên quan; nhiệm vụ ghép nối kết nối hình ảnh với mô tả văn bản phù hợp.
Trong nhiệm vụ Ailoot API, cung cấp câu hỏi rõ ràng cùng hình ảnh và xác định sản phẩm văn bản mong muốn: mô tả, giải thích, câu trả lời kèm quan sát hỗ trợ hoặc danh sách chi tiết trích xuất. Giữ bằng chứng trực quan gắn với câu hỏi để các chỉnh sửa sau có thể tham chiếu cùng trang, sơ đồ hoặc ảnh chụp. Ví dụ mô hình của Meta sử dụng bộ xử lý hình ảnh và prompt văn bản mở đầu để tạo văn bản; phương thức đầu ra được công bố vẫn là văn bản.
Dòng Vision được tiền huấn luyện trên sáu tỷ cặp hình ảnh và văn bản. Tinh chỉnh theo chỉ dẫn gồm dữ liệu chỉ dẫn thị giác công khai và hơn ba triệu ví dụ tổng hợp. Meta đưa ra tháng 12 năm 2023 là mốc kiến thức tiền huấn luyện và mô tả mô hình là bản phát hành tĩnh được huấn luyện trên tập dữ liệu ngoại tuyến. Công việc về trách nhiệm bao gồm tinh chỉnh an toàn, đánh giá đối kháng và các biện pháp bảo vệ hệ thống riêng. Để đánh giá thực tế, phân biệt điều hình ảnh hỗ trợ rõ ràng với diễn giải của mô hình và đối chiếu mô tả với tài liệu được cung cấp. Meta lưu ý phản hồi có thể không chính xác hoặc thiên lệch và các đánh giá không bao quát mọi tình huống ứng dụng.
POST /v1/chat/completionstexttext| Trường | Loại | Yêu cầu | Giá trị & giới hạn | Mặc định |
|---|---|---|---|---|
Trườngmodel | Loạistring | Yêu cầuBắt buộc | Giá trị & giới hạn llama3.2-90b | Mặc định— |
Trườngmessages | Loạimessage[] | Yêu cầuBắt buộc | Giá trị & giới hạn Số mục tối thiểu: 1 | Mặc định— |
Trườngmessages[].role | Loạistring | Yêu cầuBắt buộc | Giá trị & giới hạn Ví dụ: system, user, assistant, tool, function Điều kiện: Các vai trò này được biểu diễn rõ trong các kiểu tương thích của mã nguồn; tập vai trò chính xác vẫn tùy từng mô hình. Tùy thuộc vào mô hình | Mặc định— |
Trườngmessages[].content | Loạistring|content_part[]|null | Yêu cầuKhông bắt buộc | Giá trị & giới hạn | Mặc định— |
Trườngmessages[].tool_calls | Loạitool_call[] | Yêu cầuKhông bắt buộc | Giá trị & giới hạn | Mặc định— |
Trườngmessages[].tool_call_id | Loạistring | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Áp dụng khi: role=tool; dùng ID thực tế được trả về | Mặc định— |
Trườngmessages[].name | Loạistring | Yêu cầuKhông bắt buộc | Giá trị & giới hạn | Mặc định— |
Trườngmessages[].reasoning_content | Loạistring | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Áp dụng khi: Gửi lại dữ liệu suy luận thực tế đã được trả về khi mô hình này sử dụng dữ liệu đó | Mặc định— |
Trườngmessages[].reasoning_details | Loạiobject|array | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngmax_tokens | Loạiinteger | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tối thiểu: 1 Tùy thuộc vào mô hình | Mặc định— |
Trườngmax_completion_tokens | Loạiinteger | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tối thiểu: 1 Tùy thuộc vào mô hình | Mặc định— |
Trườngstream | Loạiboolean | Yêu cầuKhông bắt buộc | Giá trị & giới hạn | Mặc địnhfalse |
Trườngstream_options.include_usage | Loạiboolean | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngtemperature | Loạinumber | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngtop_p | Loạinumber | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngstop | Loạistring|string[] | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngtools | Loạifunction_tool[] | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngtools[].type | Loạistring | Yêu cầuKhông bắt buộc | Giá trị & giới hạn function Tùy thuộc vào mô hình | Mặc định— |
Trườngtools[].function.name | Loạistring | Yêu cầuBắt buộc | Giá trị & giới hạn Áp dụng khi: Có cung cấp công cụ hàm | Mặc định— |
Trườngtools[].function.description | Loạistring | Yêu cầuKhông bắt buộc | Giá trị & giới hạn | Mặc định— |
Trườngtools[].function.parameters | LoạiJSON_schema | Yêu cầuKhông bắt buộc | Giá trị & giới hạn | Mặc định— |
Trườngtool_choice | Loạistring|object | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngparallel_tool_calls | Loạiboolean | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngresponse_format | Loạiobject | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngreasoning_effort | Loạistring | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngreasoning | Loạiobject | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngservice_tier | Loạistring | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườnginstructions | Loạistring | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Trường tương thích | Mặc định— |
Trườngfunctions | Loạifunction[] | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngfunction_call | Loạistring|object | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngprompt_cache_options | Loạiobject | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngmodalities | Loạistring[] | Yêu cầuKhông bắt buộc | Giá trị & giới hạn text | Mặc định— |
Trườngprovider | Loạiobject | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Điều kiện: provider.options bị từ chối trên tuyến văn bản Ultra này | Mặc định— |
Trườngcache_control.ttl | Loạistring | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Điều kiện: 1h bị từ chối tại các vị trí lưu đệm prompt thực tế | Mặc định— |
Văn bản · Văn bản UTF8
messages[].content
| Tham số | Hợp đồng |
|---|---|
Tham sốcontent_type | Hợp đồngapplication/json |
Tham sốrequired | Hợp đồngmodel, messages |
Tham sốmaterial_types | Hợp đồngtext |
Tham sốmessages | Hợp đồngMảng thông điệp có cấu trúc role/content |
Tham sốfile_material | Hợp đồngTài liệu UTF-8 thực tế được chèn nguyên dạng văn bản; không suy ra ID tệp |
Tham sốoptional_controls | Hợp đồngstream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
Tham sốcontrol_scope | Hợp đồngTùy từng mô hình; công cụ hàm của người dùng khác với công cụ do dịch vụ cung cấp |
Tham sốoutput_modalities | Hợp đồngtext |
Tham sốhosted_operations | Hợp đồngfalse |
Tham sốmultimodal_input_binding | Hợp đồngnull |
Vòng đời: synchronous_or_streamed
Gửi ID mô hình chính xác cùng messages.
Độ dài ngữ cảnh không phải giới hạn đầu ra.
Tệp văn bản có thể cung cấp nguyên văn nội dung; đầu vào hình ảnh, âm thanh hoặc đối tượng tệp cần có liên kết chính xác.
Thông tin biểu giá không bổ sung tùy chọn yêu cầu. Các tham số được hỗ trợ nằm trong phương thức đã chọn.
| Cấu hình | Biểu mức phí | Phí |
|---|---|---|
| Cấu hìnhGiá cơ sở cho token | Biểu mức phíMức phí cơ bản | Phí Đầu vào · Token đầu vào $0.004 / 1K token Đầu ra · Token đầu ra $0.004 / 1K token Đầu vào · Đọc bộ nhớ đệm $0 / 1K token Đầu vào · Ghi bộ nhớ đệm $0 / 1K token Đầu vào · Ghi bộ nhớ đệm, 1 giờ — / 1K token |
Ailoot tạm giữ một khoản ước tính trước yêu cầu. Sau khi có kết quả, phí cuối cùng được quyết toán theo mức sử dụng đo được. Việc quyết toán khi truyền luồng dùng bản ghi mức sử dụng cuối cùng. Cách hoạt động của cơ chế tạm giữ và quyết toán →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "llama3.2-90b", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='llama3.2-90b',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='llama3.2-90b',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson hoặc SSE
Lưu mọi phản hồi hoàn chỉnh, tệp và phần nội dung được trả về.
Giữ mọi phương án trả lời cùng nội dung, lệnh gọi công cụ và dữ liệu suy luận của phương án đó. Với SSE, ghép các phần thay đổi theo chỉ số phương án và công cụ, giữ lý do kết thúc cuối cùng cùng dữ liệu sử dụng.
Giữ ID và header của yêu cầu, phản hồi. Không cung cấp URL chung để truy xuất tác vụ văn bản.
| Trường | Loại |
|---|---|
Trườngchoices[].index | Loạiinteger |
Trườngchoices[].message.content | Loạistring|null |
Trườngchoices[].message.tool_calls | Loạitool_call[] |
Trườngchoices[].message.reasoning_content | Loạistring |
Trườngchoices[].message.reasoning_details | Loạiobject|array |
Trườngchoices[].finish_reason | Loạistring|null |
Trườngusage | Loạiobject |
| Phản hồi | Điều kiện | Bước tiếp theo |
|---|---|---|
Phản hồi400 · invalid_request_error | Điều kiệnTrường bắt buộc, cách biểu diễn tài liệu hoặc giá trị tham số không hợp lệ | Bước tiếp theoSửa các trường được chỉ ra trước khi gửi yêu cầu tạo mới. |
Ailoot Ultra llama3.2-90b
Dùng các đường dẫn phương thức hiển thị ở trên.
llama3.2-90bLlama 3.2 90B Vision là mô hình thị giác và ngôn ngữ lớn hơn của Meta để giải thích hình ảnh, trả lời câu hỏi về trang tài liệu và kết nối chi tiết trực quan với prompt văn bản. Quy mô 90B có các phiên bản tiền huấn luyện và tinh chỉnh theo chỉ dẫn riêng, với đầu ra văn bản và cửa sổ ngữ cảnh 128K.
Mô tả này trình bày khả năng của mô hình. Đầu vào, đầu ra và tùy chọn có trên Ailoot được liệt kê bên dưới cho phương thức đã chọn.
Llama 3.2 90B Vision là mô hình hình ảnh và văn bản lớn hơn của Meta trong bộ Llama 3.2 Vision. Mô hình kết hợp mô hình ngôn ngữ tự hồi quy Llama 3.1 với bộ thích nghi thị giác được huấn luyện riêng. Các lớp cross-attention đưa biểu diễn từ bộ mã hóa hình ảnh vào mô hình ngôn ngữ, cho phép diễn giải câu hỏi văn bản cùng nội dung nhìn thấy được. Tên 90B xác định nhóm quy mô; bảng cấu hình của Meta liệt kê 88.8 tỷ tham số và grouped-query attention.
Mô hình nhận văn bản và hình ảnh, tạo văn bản, với độ dài ngữ cảnh 128K token. Đối với nhiệm vụ chỉ văn bản, các ngôn ngữ được hỗ trợ chính thức là tiếng Anh, Đức, Pháp, Ý, Bồ Đào Nha, Hindi, Tây Ban Nha và Thái. Ứng dụng hình ảnh và văn bản được hỗ trợ chính thức bằng tiếng Anh. Sự phân biệt này quan trọng khi chuẩn bị trợ lý tài liệu: ngôn ngữ dùng cho hội thoại văn bản và ngôn ngữ dùng để hỏi về hình ảnh là những lựa chọn riêng.
Meta công bố cả phiên bản tiền huấn luyện và tinh chỉnh theo chỉ dẫn. Mô hình tiền huấn luyện là nền tảng có thể được điều chỉnh cho nhiệm vụ suy luận hình ảnh. Phiên bản tinh chỉnh theo chỉ dẫn bổ sung tinh chỉnh có giám sát và học tăng cường từ phản hồi của con người cho nhận dạng trực quan, suy luận hình ảnh, chú thích và hội thoại kiểu trợ lý với hình ảnh. Nhãn quy mô mô tả nhánh 90B và giữ các phiên bản tinh chỉnh này tách biệt.
Các mục đích sử dụng gồm trả lời câu hỏi trực quan, câu hỏi về ảnh tài liệu, viết chú thích, ghép hình ảnh với văn bản và định vị đối tượng theo ngôn ngữ. Với trang tài liệu, hỏi tiêu đề liên quan tới bảng như thế nào hoặc điều khoản nhìn thấy nào trả lời câu hỏi cụ thể. Với biểu đồ, chỉ rõ chuỗi dữ liệu hoặc nhãn cần so sánh và yêu cầu giải thích gắn với những chi tiết đó. Với ảnh chụp, yêu cầu chú thích xác định cảnh và các mối quan hệ nhìn thấy được. Định vị theo ngôn ngữ nối cụm từ trong câu hỏi với vật thể hoặc vùng liên quan; nhiệm vụ ghép nối kết nối hình ảnh với mô tả văn bản phù hợp.
Trong nhiệm vụ Ailoot API, cung cấp câu hỏi rõ ràng cùng hình ảnh và xác định sản phẩm văn bản mong muốn: mô tả, giải thích, câu trả lời kèm quan sát hỗ trợ hoặc danh sách chi tiết trích xuất. Giữ bằng chứng trực quan gắn với câu hỏi để các chỉnh sửa sau có thể tham chiếu cùng trang, sơ đồ hoặc ảnh chụp. Ví dụ mô hình của Meta sử dụng bộ xử lý hình ảnh và prompt văn bản mở đầu để tạo văn bản; phương thức đầu ra được công bố vẫn là văn bản.
Dòng Vision được tiền huấn luyện trên sáu tỷ cặp hình ảnh và văn bản. Tinh chỉnh theo chỉ dẫn gồm dữ liệu chỉ dẫn thị giác công khai và hơn ba triệu ví dụ tổng hợp. Meta đưa ra tháng 12 năm 2023 là mốc kiến thức tiền huấn luyện và mô tả mô hình là bản phát hành tĩnh được huấn luyện trên tập dữ liệu ngoại tuyến. Công việc về trách nhiệm bao gồm tinh chỉnh an toàn, đánh giá đối kháng và các biện pháp bảo vệ hệ thống riêng. Để đánh giá thực tế, phân biệt điều hình ảnh hỗ trợ rõ ràng với diễn giải của mô hình và đối chiếu mô tả với tài liệu được cung cấp. Meta lưu ý phản hồi có thể không chính xác hoặc thiên lệch và các đánh giá không bao quát mọi tình huống ứng dụng.
POST /v1/messagestextjson, sse| Trường | Loại | Yêu cầu | Giá trị & giới hạn | Mặc định |
|---|---|---|---|---|
Trườngmodel | Loạistring | Yêu cầuBắt buộc | Giá trị & giới hạn llama3.2-90b | Mặc định— |
Trườngmessages | Loạimessage[] | Yêu cầuBắt buộc | Giá trị & giới hạn | Mặc định— |
Trườngmessages[].role | Loạistring | Yêu cầuBắt buộc | Giá trị & giới hạn user, assistant | Mặc định— |
Trườngmessages[].content | Loạistring | Yêu cầuBắt buộc | Giá trị & giới hạn | Mặc định— |
Trườngmax_tokens | Loạiinteger | Yêu cầuBắt buộc | Giá trị & giới hạn | Mặc định— |
Trườngstream | Loạiboolean | Yêu cầuKhông bắt buộc | Giá trị & giới hạn | Mặc địnhfalse |
Văn bản · Văn bản UTF-8
Chuỗi messages[].content
| Tham số | Hợp đồng |
|---|---|
Tham sốcontent_type | Hợp đồngapplication/json |
Tham sốrequired | Hợp đồngmodel, messages, max_tokens |
Tham sốoptional_controls | Hợp đồngstream |
Tham sốmaterial_types | Hợp đồngtext |
Tham sốtext_file_material | Hợp đồngĐọc tài liệu UTF-8 thực tế và đặt nội dung văn bản vào chuỗi đầu vào hoặc nội dung thông điệp được chỉ định. |
Vòng đời: synchronous_or_streamed
Thông tin biểu giá không bổ sung tùy chọn yêu cầu. Các tham số được hỗ trợ nằm trong phương thức đã chọn.
| Cấu hình | Biểu mức phí | Phí |
|---|---|---|
| Cấu hìnhGiá cơ sở cho token | Biểu mức phíMức phí cơ bản | Phí Đầu vào · Token đầu vào $0.004 / 1K token Đầu ra · Token đầu ra $0.004 / 1K token Đầu vào · Đọc bộ nhớ đệm $0 / 1K token Đầu vào · Ghi bộ nhớ đệm $0 / 1K token Đầu vào · Ghi bộ nhớ đệm, 1 giờ — / 1K token |
Ailoot tạm giữ một khoản ước tính trước yêu cầu. Sau khi có kết quả, phí cuối cùng được quyết toán theo mức sử dụng đo được. Việc quyết toán khi truyền luồng dùng bản ghi mức sử dụng cuối cùng. Cách hoạt động của cơ chế tạm giữ và quyết toán →
{\n "model": "llama3.2-90b",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'llama3.2-90b', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'llama3.2-90b', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON hoặc SSE
Lưu mọi phản hồi hoàn chỉnh, tệp và phần nội dung được trả về.
Giữ mọi khối nội dung, chữ ký suy nghĩ và ID sử dụng công cụ thực tế. Ghép tất cả các phần thay đổi của khối SSE; khối văn bản đầu tiên không phải toàn bộ đầu ra.
Giữ ID và header của yêu cầu, phản hồi. Không cung cấp URL chung để truy xuất tác vụ văn bản.
| Trường | Loại |
|---|---|
Trườngid | Loạistring |
Trườngmodel | Loạistring |
Trườngcontent[] | Loạitext|thinking|tool_use|other content block |
Trườngstop_reason | Loạistring|null |
Trườngusage | Loạiobject |
| Phản hồi | Điều kiện | Bước tiếp theo |
|---|---|---|
Phản hồi400 · invalid_request_error | Điều kiệnTrường bắt buộc, cách biểu diễn tài liệu hoặc giá trị tham số không hợp lệ | Bước tiếp theoSửa các trường được chỉ ra trước khi gửi yêu cầu tạo mới. |
Ailoot Ultra llama3.2-90b
Dùng các đường dẫn phương thức hiển thị ở trên.
Ví dụ kỹ thuật bằng tiếng Anh
Explain a chart from supplied values\n\nUse this text transcription of a bar chart: horizontal axis is quarter; vertical axis is returned units; Q1=12, Q2=18, Q3=9, Q4=15. Write a two-sentence caption identifying the largest and smallest bars and the change from Q2 to Q3. Do not infer sales totals or return rates.A two-sentence chart caption with the extrema and a nine-unit decrease from Q2 to Q3.The answer reports units rather than percentages and does not invent a denominator for return rates.