Mistral Small 4 kết hợp làm theo chỉ dẫn chung, suy luận và lập trình trong một mô hình đa phương thức. Nhà sản xuất mô tả mô hình hợp nhất các dòng Instruct, suy luận Magistral và lập trình Devstral. Mô hình nhận văn bản và hình ảnh, trả về văn bản, với gọi hàm và đầu ra JSON sẵn có cho ứng dụng có công cụ hỗ trợ.
Kiến trúc và tính năng chính
Bản phát hành có tổng cộng 119 tỷ tham số và kích hoạt 6,5 tỷ cho mỗi token. Kiến trúc hỗn hợp chuyên gia chứa 128 chuyên gia, với 4 hoạt động, và nhà sản xuất mô tả cửa sổ ngữ cảnh 256k. Số tham số hoạt động và số chuyên gia mô tả cách tổ chức mô hình; chúng khác với lượng nội dung văn bản hay hình ảnh trong một tác vụ.
Mô hình cung cấp chức năng chỉ dẫn và suy luận trong cùng bản trọng số. Nhà sản xuất cũng xác định thị giác, tuân thủ lời nhắc hệ thống và hỗ trợ đa ngôn ngữ trên hàng chục ngôn ngữ, gồm tiếng Anh, Pháp, Tây Ban Nha, Đức, Ý, Bồ Đào Nha, Hà Lan, Trung, Nhật, Hàn và Ả Rập. Vì vậy, chỉ dẫn văn bản có thể hỏi về ảnh hoặc kết hợp yêu cầu bằng chữ với bằng chứng nhìn thấy, với câu trả lời ở dạng văn bản.
Tác vụ hình ảnh có thể cung cấp trang tài liệu và yêu cầu giá trị liên quan tới một điều kiện được nêu tên. Giữ nhãn và đơn vị dễ đọc, đồng thời nêu kết quả cần giữ câu chữ gốc, tóm tắt hay so sánh với nguồn khác. Tác vụ giao diện có thể ghép ảnh chụp màn hình với mục tiêu người dùng và yêu cầu điều khiển nhìn thấy liên quan cùng bằng chứng hỗ trợ bước tiếp theo được đề xuất.
Chọn chế độ chỉ dẫn hoặc suy luận
Thẻ phát hành mô tả nỗ lực suy luận none cho câu trả lời theo chỉ dẫn tức thì và high cho suy luận, với high được khuyến nghị cho prompt phức tạp. Lựa chọn được thực hiện theo từng yêu cầu trong cùng mô hình Small 4. Phân loại thông thường hoặc viết lại ngắn có thể có hợp đồng câu trả lời khác với vấn đề toán học, thị giác hoặc lập trình cần giải thích được phát triển đầy đủ.
Nhà sản xuất khuyến nghị temperature 0.7 cho nỗ lực suy luận high. Với none, tài liệu quy định temperature từ 0.0 đến 0.7 theo tác vụ. Các thiết lập này mô tả chế độ được tài liệu xác nhận và không biến nỗ lực suy luận thành bảo đảm kết quả đúng. Xác định giả định, hình thức đầu ra và tài liệu nguồn liên quan trước khi chọn mức suy luận tác vụ cần.
Với bài toán có lời giải, hãy cung cấp toàn bộ điều kiện và yêu cầu các bước quan trọng có lý giải, tiếp theo là biểu thức cuối cùng. Với tác vụ mã, hãy cung cấp yêu cầu, hàm bị ảnh hưởng và đầu vào cụ thể; yêu cầu triển khai đề xuất tách khỏi giải thích và ví dụ. Các minh họa sử dụng của nhà sản xuất gồm làm theo chỉ dẫn, công cụ tính toán áp dụng cho ảnh và suy luận thị giác, minh họa cách bằng chứng văn bản và hình ảnh đi vào các tác vụ khác nhau này.
Lập trình, tài liệu và công cụ
Mô hình được định vị cho khám phá cơ sở mã và tác nhân kỹ thuật phần mềm, trợ lý chung, hiểu tài liệu và nghiên cứu. Yêu cầu tác nhân lập trình có thể nêu mô-đun cần thay đổi, giao diện phải giữ và hành vi cần có. Cung cấp nguồn và bằng chứng lỗi liên quan. Mô hình có thể đề xuất thao tác tiếp theo hoặc thay đổi mã, còn ứng dụng cung cấp truy cập kho mã, thực thi và phản hồi.
Với trích xuất tài liệu, hãy xác định các trường bắt buộc và cách biểu diễn thông tin thiếu. Bản ghi hữu ích có thể tách mã định danh tài liệu, phát biểu nguồn, yêu cầu được diễn giải và câu hỏi chưa giải quyết. Thẻ dịch vụ của nhà sản xuất liệt kê đầu ra có cấu trúc tùy chỉnh và hỏi đáp tài liệu; tính năng sau dùng xử lý tài liệu và OCR để chuẩn bị văn bản cùng cấu trúc trước khi phân tích bằng mô hình ngôn ngữ. Câu hỏi ảnh trực tiếp và quy trình tài liệu có OCR hỗ trợ cần giữ cách chuẩn bị đầu vào riêng.
Gọi hàm cần công cụ được mô tả rõ. Mô hình chọn hàm và tạo đối số; ứng dụng thực thi thao tác và trả kết quả cho câu trả lời tiếp theo. Logic tương tự áp dụng dù tác vụ là tra cứu, tính toán hay thao tác lập trình. Định dạng JSON sắp xếp câu trả lời, còn lời gọi công cụ yêu cầu hành động bên ngoài; không nên coi hai điều này là kết quả có thể thay thế nhau.
Thẻ dịch vụ cũng liệt kê đầu ra dự đoán, tiền tố câu trả lời, xử lý theo lô và hội thoại tác nhân. Đầu ra dự đoán hữu ích khi phải tạo lại tài liệu hoặc tệp mã với chỉ một thay đổi giới hạn và phần nội dung còn lại đã biết. Chỉ rõ chỉnh sửa và tài liệu cần giữ. Tiếp tục theo tiền tố dùng phần đầu câu trả lời đã biết, còn xử lý theo lô liên quan tới gửi công việc chứ không phải chế độ suy luận bổ sung.
Phạm vi ngữ cảnh và phiên bản
Lập kế hoạch tác vụ bằng chữ, tài liệu hình ảnh, hội thoại và câu trả lời mong muốn theo ngữ cảnh 256k được tài liệu xác nhận. Ví dụ sử dụng phát hành cấu hình ngữ cảnh 262.144 token, còn ví dụ tạo 1.024 token không phải dung lượng đầu ra tối đa riêng. Các nguồn đã đọc không cung cấp giới hạn độ dài câu trả lời cứng độc lập để thay cho độ dài tác vụ được chọn.
Small 4 có kiến trúc hỗn hợp chuyên gia 119 tỷ tham số và chế độ lai riêng. Mô hình không nên thừa hưởng kiến trúc dense 128 tỷ của Medium 3.5 hay các phiên bản Instruct và Reasoning riêng của Ministral 3. Nhà sản xuất cũng phát hành sản phẩm lượng tử hóa và giải mã suy đoán riêng; đó là sản phẩm triển khai riêng thay vì phương thức nội dung khác. Giữ bản phát hành Small 4 được nêu và chế độ được yêu cầu cho kết quả giải thích, bản ghi có cấu trúc hoặc mã thực tế.
", "aboutText": "Mistral Small 4 kết hợp làm theo chỉ dẫn chung, suy luận và lập trình trong một mô hình đa phương thức. Nhà sản xuất mô tả mô hình hợp nhất các dòng Instruct, suy luận Magistral và lập trình Devstral. Mô hình nhận văn bản và hình ảnh, trả về văn bản, với gọi hàm và đầu ra JSON sẵn có cho ứng dụng có công cụ hỗ trợ.\n\nKiến trúc và tính năng chính\n\nBản phát hành có tổng cộng 119 tỷ tham số và kích hoạt 6,5 tỷ cho mỗi token. Kiến trúc hỗn hợp chuyên gia chứa 128 chuyên gia, với 4 hoạt động, và nhà sản xuất mô tả cửa sổ ngữ cảnh 256k. Số tham số hoạt động và số chuyên gia mô tả cách tổ chức mô hình; chúng khác với lượng nội dung văn bản hay hình ảnh trong một tác vụ.\n\nMô hình cung cấp chức năng chỉ dẫn và suy luận trong cùng bản trọng số. Nhà sản xuất cũng xác định thị giác, tuân thủ lời nhắc hệ thống và hỗ trợ đa ngôn ngữ trên hàng chục ngôn ngữ, gồm tiếng Anh, Pháp, Tây Ban Nha, Đức, Ý, Bồ Đào Nha, Hà Lan, Trung, Nhật, Hàn và Ả Rập. Vì vậy, chỉ dẫn văn bản có thể hỏi về ảnh hoặc kết hợp yêu cầu bằng chữ với bằng chứng nhìn thấy, với câu trả lời ở dạng văn bản.\n\nTác vụ hình ảnh có thể cung cấp trang tài liệu và yêu cầu giá trị liên quan tới một điều kiện được nêu tên. Giữ nhãn và đơn vị dễ đọc, đồng thời nêu kết quả cần giữ câu chữ gốc, tóm tắt hay so sánh với nguồn khác. Tác vụ giao diện có thể ghép ảnh chụp màn hình với mục tiêu người dùng và yêu cầu điều khiển nhìn thấy liên quan cùng bằng chứng hỗ trợ bước tiếp theo được đề xuất.\n\nChọn chế độ chỉ dẫn hoặc suy luận\n\nThẻ phát hành mô tả nỗ lực suy luận none cho câu trả lời theo chỉ dẫn tức thì và high cho suy luận, với high được khuyến nghị cho prompt phức tạp. Lựa chọn được thực hiện theo từng yêu cầu trong cùng mô hình Small 4. Phân loại thông thường hoặc viết lại ngắn có thể có hợp đồng câu trả lời khác với vấn đề toán học, thị giác hoặc lập trình cần giải thích được phát triển đầy đủ.\n\nNhà sản xuất khuyến nghị temperature 0.7 cho nỗ lực suy luận high. Với none, tài liệu quy định temperature từ 0.0 đến 0.7 theo tác vụ. Các thiết lập này mô tả chế độ được tài liệu xác nhận và không biến nỗ lực suy luận thành bảo đảm kết quả đúng. Xác định giả định, hình thức đầu ra và tài liệu nguồn liên quan trước khi chọn mức suy luận tác vụ cần.\n\nVới bài toán có lời giải, hãy cung cấp toàn bộ điều kiện và yêu cầu các bước quan trọng có lý giải, tiếp theo là biểu thức cuối cùng. Với tác vụ mã, hãy cung cấp yêu cầu, hàm bị ảnh hưởng và đầu vào cụ thể; yêu cầu triển khai đề xuất tách khỏi giải thích và ví dụ. Các minh họa sử dụng của nhà sản xuất gồm làm theo chỉ dẫn, công cụ tính toán áp dụng cho ảnh và suy luận thị giác, minh họa cách bằng chứng văn bản và hình ảnh đi vào các tác vụ khác nhau này.\n\nLập trình, tài liệu và công cụ\n\nMô hình được định vị cho khám phá cơ sở mã và tác nhân kỹ thuật phần mềm, trợ lý chung, hiểu tài liệu và nghiên cứu. Yêu cầu tác nhân lập trình có thể nêu mô-đun cần thay đổi, giao diện phải giữ và hành vi cần có. Cung cấp nguồn và bằng chứng lỗi liên quan. Mô hình có thể đề xuất thao tác tiếp theo hoặc thay đổi mã, còn ứng dụng cung cấp truy cập kho mã, thực thi và phản hồi.\n\nVới trích xuất tài liệu, hãy xác định các trường bắt buộc và cách biểu diễn thông tin thiếu. Bản ghi hữu ích có thể tách mã định danh tài liệu, phát biểu nguồn, yêu cầu được diễn giải và câu hỏi chưa giải quyết. Thẻ dịch vụ của nhà sản xuất liệt kê đầu ra có cấu trúc tùy chỉnh và hỏi đáp tài liệu; tính năng sau dùng xử lý tài liệu và OCR để chuẩn bị văn bản cùng cấu trúc trước khi phân tích bằng mô hình ngôn ngữ. Câu hỏi ảnh trực tiếp và quy trình tài liệu có OCR hỗ trợ cần giữ cách chuẩn bị đầu vào riêng.\n\nGọi hàm cần công cụ được mô tả rõ. Mô hình chọn hàm và tạo đối số; ứng dụng thực thi thao tác và trả kết quả cho câu trả lời tiếp theo. Logic tương tự áp dụng dù tác vụ là tra cứu, tính toán hay thao tác lập trình. Định dạng JSON sắp xếp câu trả lời, còn lời gọi công cụ yêu cầu hành động bên ngoài; không nên coi hai điều này là kết quả có thể thay thế nhau.\n\nThẻ dịch vụ cũng liệt kê đầu ra dự đoán, tiền tố câu trả lời, xử lý theo lô và hội thoại tác nhân. Đầu ra dự đoán hữu ích khi phải tạo lại tài liệu hoặc tệp mã với chỉ một thay đổi giới hạn và phần nội dung còn lại đã biết. Chỉ rõ chỉnh sửa và tài liệu cần giữ. Tiếp tục theo tiền tố dùng phần đầu câu trả lời đã biết, còn xử lý theo lô liên quan tới gửi công việc chứ không phải chế độ suy luận bổ sung.\n\nPhạm vi ngữ cảnh và phiên bản\n\nLập kế hoạch tác vụ bằng chữ, tài liệu hình ảnh, hội thoại và câu trả lời mong muốn theo ngữ cảnh 256k được tài liệu xác nhận. Ví dụ sử dụng phát hành cấu hình ngữ cảnh 262.144 token, còn ví dụ tạo 1.024 token không phải dung lượng đầu ra tối đa riêng. Các nguồn đã đọc không cung cấp giới hạn độ dài câu trả lời cứng độc lập để thay cho độ dài tác vụ được chọn.\n\nSmall 4 có kiến trúc hỗn hợp chuyên gia 119 tỷ tham số và chế độ lai riêng. Mô hình không nên thừa hưởng kiến trúc dense 128 tỷ của Medium 3.5 hay các phiên bản Instruct và Reasoning riêng của Ministral 3. Nhà sản xuất cũng phát hành sản phẩm lượng tử hóa và giải mã suy đoán riêng; đó là sản phẩm triển khai riêng thay vì phương thức nội dung khác. Giữ bản phát hành Small 4 được nêu và chế độ được yêu cầu cho kết quả giải thích, bản ghi có cấu trúc hoặc mã thực tế.", "editorialOverlay": { "copy_fields": null, "copy_sha256": null, "copy_source": null, "html_sha256": "adcfac77e8389f1e2214c567bd005e1b65451ed2aa95f07d9012b1875bdd0d5d", "module_sha256": "ee9dc1c50b1e6a8fb7fa062030fcb4646b9aaaeb08be513b723a5a92a7290f06", "raw_model_unchanged": true, "schema": "ailoot-native-model-editorial-v1" }, "locale": "vi", "methods": [ { "html": "mistralai/mistral-small-2603:batchMistral Small 4 là mô hình văn bản và hình ảnh lai với khả năng chỉ dẫn, suy luận và lập trình. Bản phát hành hỗn hợp chuyên gia 119 tỷ tham số kích hoạt 6,5 tỷ tham số cho mỗi token và hỗ trợ ngữ cảnh 256k do nhà sản xuất công bố, nỗ lực suy luận có thể chọn, JSON và gọi hàm.
Mô tả này trình bày khả năng của mô hình. Đầu vào, đầu ra và tùy chọn có trên Ailoot được liệt kê bên dưới cho phương thức đã chọn.
Mistral Small 4 kết hợp làm theo chỉ dẫn chung, suy luận và lập trình trong một mô hình đa phương thức. Nhà sản xuất mô tả mô hình hợp nhất các dòng Instruct, suy luận Magistral và lập trình Devstral. Mô hình nhận văn bản và hình ảnh, trả về văn bản, với gọi hàm và đầu ra JSON sẵn có cho ứng dụng có công cụ hỗ trợ.
Kiến trúc và tính năng chính
Bản phát hành có tổng cộng 119 tỷ tham số và kích hoạt 6,5 tỷ cho mỗi token. Kiến trúc hỗn hợp chuyên gia chứa 128 chuyên gia, với 4 hoạt động, và nhà sản xuất mô tả cửa sổ ngữ cảnh 256k. Số tham số hoạt động và số chuyên gia mô tả cách tổ chức mô hình; chúng khác với lượng nội dung văn bản hay hình ảnh trong một tác vụ.
Mô hình cung cấp chức năng chỉ dẫn và suy luận trong cùng bản trọng số. Nhà sản xuất cũng xác định thị giác, tuân thủ lời nhắc hệ thống và hỗ trợ đa ngôn ngữ trên hàng chục ngôn ngữ, gồm tiếng Anh, Pháp, Tây Ban Nha, Đức, Ý, Bồ Đào Nha, Hà Lan, Trung, Nhật, Hàn và Ả Rập. Vì vậy, chỉ dẫn văn bản có thể hỏi về ảnh hoặc kết hợp yêu cầu bằng chữ với bằng chứng nhìn thấy, với câu trả lời ở dạng văn bản.
Tác vụ hình ảnh có thể cung cấp trang tài liệu và yêu cầu giá trị liên quan tới một điều kiện được nêu tên. Giữ nhãn và đơn vị dễ đọc, đồng thời nêu kết quả cần giữ câu chữ gốc, tóm tắt hay so sánh với nguồn khác. Tác vụ giao diện có thể ghép ảnh chụp màn hình với mục tiêu người dùng và yêu cầu điều khiển nhìn thấy liên quan cùng bằng chứng hỗ trợ bước tiếp theo được đề xuất.
Chọn chế độ chỉ dẫn hoặc suy luận
Thẻ phát hành mô tả nỗ lực suy luận none cho câu trả lời theo chỉ dẫn tức thì và high cho suy luận, với high được khuyến nghị cho prompt phức tạp. Lựa chọn được thực hiện theo từng yêu cầu trong cùng mô hình Small 4. Phân loại thông thường hoặc viết lại ngắn có thể có hợp đồng câu trả lời khác với vấn đề toán học, thị giác hoặc lập trình cần giải thích được phát triển đầy đủ.
Nhà sản xuất khuyến nghị temperature 0.7 cho nỗ lực suy luận high. Với none, tài liệu quy định temperature từ 0.0 đến 0.7 theo tác vụ. Các thiết lập này mô tả chế độ được tài liệu xác nhận và không biến nỗ lực suy luận thành bảo đảm kết quả đúng. Xác định giả định, hình thức đầu ra và tài liệu nguồn liên quan trước khi chọn mức suy luận tác vụ cần.
Với bài toán có lời giải, hãy cung cấp toàn bộ điều kiện và yêu cầu các bước quan trọng có lý giải, tiếp theo là biểu thức cuối cùng. Với tác vụ mã, hãy cung cấp yêu cầu, hàm bị ảnh hưởng và đầu vào cụ thể; yêu cầu triển khai đề xuất tách khỏi giải thích và ví dụ. Các minh họa sử dụng của nhà sản xuất gồm làm theo chỉ dẫn, công cụ tính toán áp dụng cho ảnh và suy luận thị giác, minh họa cách bằng chứng văn bản và hình ảnh đi vào các tác vụ khác nhau này.
Lập trình, tài liệu và công cụ
Mô hình được định vị cho khám phá cơ sở mã và tác nhân kỹ thuật phần mềm, trợ lý chung, hiểu tài liệu và nghiên cứu. Yêu cầu tác nhân lập trình có thể nêu mô-đun cần thay đổi, giao diện phải giữ và hành vi cần có. Cung cấp nguồn và bằng chứng lỗi liên quan. Mô hình có thể đề xuất thao tác tiếp theo hoặc thay đổi mã, còn ứng dụng cung cấp truy cập kho mã, thực thi và phản hồi.
Với trích xuất tài liệu, hãy xác định các trường bắt buộc và cách biểu diễn thông tin thiếu. Bản ghi hữu ích có thể tách mã định danh tài liệu, phát biểu nguồn, yêu cầu được diễn giải và câu hỏi chưa giải quyết. Thẻ dịch vụ của nhà sản xuất liệt kê đầu ra có cấu trúc tùy chỉnh và hỏi đáp tài liệu; tính năng sau dùng xử lý tài liệu và OCR để chuẩn bị văn bản cùng cấu trúc trước khi phân tích bằng mô hình ngôn ngữ. Câu hỏi ảnh trực tiếp và quy trình tài liệu có OCR hỗ trợ cần giữ cách chuẩn bị đầu vào riêng.
Gọi hàm cần công cụ được mô tả rõ. Mô hình chọn hàm và tạo đối số; ứng dụng thực thi thao tác và trả kết quả cho câu trả lời tiếp theo. Logic tương tự áp dụng dù tác vụ là tra cứu, tính toán hay thao tác lập trình. Định dạng JSON sắp xếp câu trả lời, còn lời gọi công cụ yêu cầu hành động bên ngoài; không nên coi hai điều này là kết quả có thể thay thế nhau.
Thẻ dịch vụ cũng liệt kê đầu ra dự đoán, tiền tố câu trả lời, xử lý theo lô và hội thoại tác nhân. Đầu ra dự đoán hữu ích khi phải tạo lại tài liệu hoặc tệp mã với chỉ một thay đổi giới hạn và phần nội dung còn lại đã biết. Chỉ rõ chỉnh sửa và tài liệu cần giữ. Tiếp tục theo tiền tố dùng phần đầu câu trả lời đã biết, còn xử lý theo lô liên quan tới gửi công việc chứ không phải chế độ suy luận bổ sung.
Phạm vi ngữ cảnh và phiên bản
Lập kế hoạch tác vụ bằng chữ, tài liệu hình ảnh, hội thoại và câu trả lời mong muốn theo ngữ cảnh 256k được tài liệu xác nhận. Ví dụ sử dụng phát hành cấu hình ngữ cảnh 262.144 token, còn ví dụ tạo 1.024 token không phải dung lượng đầu ra tối đa riêng. Các nguồn đã đọc không cung cấp giới hạn độ dài câu trả lời cứng độc lập để thay cho độ dài tác vụ được chọn.
Small 4 có kiến trúc hỗn hợp chuyên gia 119 tỷ tham số và chế độ lai riêng. Mô hình không nên thừa hưởng kiến trúc dense 128 tỷ của Medium 3.5 hay các phiên bản Instruct và Reasoning riêng của Ministral 3. Nhà sản xuất cũng phát hành sản phẩm lượng tử hóa và giải mã suy đoán riêng; đó là sản phẩm triển khai riêng thay vì phương thức nội dung khác. Giữ bản phát hành Small 4 được nêu và chế độ được yêu cầu cho kết quả giải thích, bản ghi có cấu trúc hoặc mã thực tế.
POST /v1/batchestexttext| Trường | Loại | Yêu cầu | Giá trị & giới hạn | Mặc định |
|---|---|---|---|---|
Trườngendpoint | Loạistring | Yêu cầuBắt buộc | Giá trị & giới hạn /v1/chat/completions | Mặc định— |
Trườngmodel | Loạistring | Yêu cầuBắt buộc | Giá trị & giới hạn mistralai/mistral-small-2603:batch | Mặc định— |
Trườngrequests | Loạibatch_item[] | Yêu cầuBắt buộc | Giá trị & giới hạn Số mục tối thiểu: 1 | Mặc định— |
Trườngrequests[].custom_id | Loạistring | Yêu cầuBắt buộc | Giá trị & giới hạn | Mặc định— |
Trườngrequests[].body.messages | Loạimessage[] | Yêu cầuBắt buộc | Giá trị & giới hạn | Mặc định— |
Trườngcompletion_window | Loạistring | Yêu cầuKhông bắt buộc | Giá trị & giới hạn 24h | Mặc định— |
Trườngprovider | Loạiobject|null | Yêu cầuKhông bắt buộc | Giá trị & giới hạn | Mặc định— |
Trườngrequests[].body.model | Loạistring | Yêu cầuKhông bắt buộc | Giá trị & giới hạn mistralai/mistral-small-2603:batch, mistralai/mistral-small-2603 | Mặc định— |
Trườngprovider.only | Loạistring[] | Yêu cầuKhông bắt buộc | Giá trị & giới hạn mistral | Mặc định— |
Trườngprovider.allow_fallbacks | Loạiboolean|null | Yêu cầuKhông bắt buộc | Giá trị & giới hạn false, null | Mặc định— |
| Tham số | Hợp đồng |
|---|---|
Tham sốcontent_type | Hợp đồngapplication/json |
Tham sốrequired | Hợp đồngendpoint, model, requests |
Tham sốmaterial_types | Hợp đồngtext |
Tham sốrepresentation | Hợp đồngrequests[] nội tuyến; mỗi phần tử có custom_id và body |
Tham sốrequest_endpoint_profile | Hợp đồng/v1/chat/completions |
Tham sốfile_material | Hợp đồngBên gọi có thể đọc dữ liệu JSONL UTF-8 thực tế trên máy cục bộ vào requests[]. Không sử dụng mục đích tải lên, input_file_id hay tham chiếu tệp. Nếu thiếu tài liệu của khách hàng hoặc tài liệu rỗng, dừng khâu chuẩn bị trước POST. |
Tham sốserialization_order | Hợp đồngendpoint, model, provider (nếu được cung cấp), completion_window (nếu được cung cấp), requests ở cuối |
Tham sốoptional_controls | Hợp đồngprovider.only, provider.allow_fallbacks, completion_window |
Tham sốschema_scope | Hợp đồngPhần thân yêu cầu Chat Completions dạng văn bản trong cấu trúc Batch nội tuyến được mô tả trong tài liệu. |
Vòng đời: asynchronous
GET /v1/batches/{operation_id} · response.id thực tế từ phản hồi tạo gốc; cùng người dùng/khóa/nhóm
Thông tin biểu giá không bổ sung tùy chọn yêu cầu. Các tham số được hỗ trợ nằm trong phương thức đã chọn.
Đối chiếu từng khoản phí với điều kiện hiển thị. Dùng một mức phí cho mỗi nhóm cấu hình thay thế.
| Cấu hình | Biểu mức phí | Token ngữ cảnh, lớn hơn | Token ngữ cảnh, tối đa và bao gồm | Phí |
|---|---|---|---|---|
| Cấu hìnhGiá cơ sở cho token | Biểu mức phíMức phí cơ bản | Token ngữ cảnh, lớn hơn— | Token ngữ cảnh, tối đa và bao gồmKhông có giới hạn trên | Phí Đầu vào · Token đầu vào $0.00015 / 1K token Đầu ra · Token đầu ra $0.0006 / 1K token Đầu vào · Đọc bộ nhớ đệm $0.000015 / 1K token Đầu vào · Ghi bộ nhớ đệm — / 1K token Đầu vào · Ghi bộ nhớ đệm, 1 giờ — / 1K token |
| Cấu hìnhBậc 1 theo độ dài yêu cầu | Biểu mức phí— | Token ngữ cảnh, lớn hơn0 | Token ngữ cảnh, tối đa và bao gồmKhông có giới hạn trên | Phí Đầu vào · Token đầu vào $0.00015 / 1K token Đầu ra · Token đầu ra $0.0006 / 1K token Đầu vào · Đọc bộ nhớ đệm $0.000015 / 1K token Đầu vào · Ghi bộ nhớ đệm — / 1K token Đầu vào · Ghi bộ nhớ đệm, 1 giờ — / 1K token |
Ailoot tạm giữ một khoản ước tính trước yêu cầu. Sau khi có kết quả, phí cuối cùng được quyết toán theo mức sử dụng đo được. Việc quyết toán khi truyền luồng dùng bản ghi mức sử dụng cuối cùng. Cách hoạt động của cơ chế tạm giữ và quyết toán →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json\nfrom pathlib import Path\nbody=json.loads('{"endpoint":"/v1/chat/completions","model":"mistralai/mistral-small-2603:batch","requests":[{"custom_id":"req-0001","body":{"messages":[{"role":"user","content":"Hello!"}],"max_tokens":16}}]}')\nPath("batch-request.json").write_text(json.dumps(body,ensure_ascii=False),encoding="utf-8")\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/batches \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @batch-request.json -D batch-response-headers.txt -o batch-create-response.json\nimport json, os\nfrom pathlib import Path\nfrom urllib.request import Request, urlopen\n\ndef prepare_requests(customer_path):\n path = Path(customer_path)\n if not path.is_file(): raise ValueError("Customer JSONL file is missing")\n items = [json.loads(line) for line in path.read_text(encoding="utf-8").splitlines() if line.strip()]\n if not items: raise ValueError("Customer JSONL contains no requests")\n ids = set()\n for item in items:\n if set(item) != {"custom_id", "body"}: raise ValueError("Each item needs custom_id and body")\n cid = item["custom_id"]\n if not isinstance(cid, str) or not cid.strip() or cid in ids: raise ValueError("custom_id must be nonempty and unique")\n ids.add(cid)\n if not isinstance(item["body"], dict) or not item["body"].get("messages"): raise ValueError("Supply actual text messages")\n supplied_model = item["body"].get("model")\n if supplied_model is not None and supplied_model not in ['mistralai/mistral-small-2603:batch', 'mistralai/mistral-small-2603']: raise ValueError("body.model must be an exact documented caller or wire ID")\n return {"endpoint":"/v1/chat/completions", "model":"mistralai/mistral-small-2603:batch", "requests":items}\n\nif __name__ == "__main__":\n material = os.environ.get("AILOOT_BATCH_REQUESTS_JSONL", "")\n if not material: raise SystemExit("Set AILOOT_BATCH_REQUESTS_JSONL to your actual customer file")\n body = prepare_requests(material)\n key = os.environ.get("AILOOT_API_KEY", "")\n if not key: raise SystemExit("Set AILOOT_API_KEY")\n request = Request("https://api.ailoot.ai/v1/batches", data=json.dumps(body, ensure_ascii=False).encode("utf-8"), headers={"Authorization":"Bearer " + key, "Content-Type":"application/json"}, method="POST")\n with urlopen(request) as response:\n raw = response.read()\n Path("batch-create-response.json").write_bytes(raw)\n print(raw.decode("utf-8"))\nimport json\nfrom pathlib import Path\nraw = Path("batch-status-response.json").read_bytes()\nresponse = json.loads(raw)\nif response.get("status") != "completed":\n raise SystemExit("Keep the original operation; read its status without resubmitting")\nresults = response.get("results")\nif not isinstance(results, list) or not results:\n raise SystemExit("Preserve the original response; completed results are missing")\nPath("batch-results.jsonl").write_text("".join(json.dumps(item, ensure_ascii=False) + "\\n" for item in results), encoding="utf-8")\n# Preserve batch-status-response.json with aggregate usage and every result/error.\nJSON nội tuyến tại results[].response.body
GET /v1/batches/{operation_id}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\nBATCH_OPERATION_ID="$(python3 - <<'PY_ID'\nimport json\nfrom pathlib import Path\nfrom urllib.parse import quote\nresponse = json.loads(Path("batch-create-response.json").read_text(encoding="utf-8"))\noperation = response.get("id")\nif not isinstance(operation, str) or not operation: raise SystemExit("No actual original operation ID; preserve the response and do not resubmit")\nprint(quote(operation, safe=""))\nPY_ID\n)"\ncurl --fail-with-body --silent --show-error "https://api.ailoot.ai/v1/batches/$BATCH_OPERATION_ID" \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -o batch-status-response.json\nLưu mọi phản hồi hoàn chỉnh, tệp và phần nội dung được trả về.
Giữ lại toàn bộ JSON trạng thái gốc, mọi kết quả/custom_id và toàn bộ phần thân phản hồi hoặc lỗi. Lưu results[] đã hoàn tất dưới dạng JSONL mà không lọc.
Giữ nguyên ID thao tác gốc. Phản hồi 503 result_pending_check có X-Should-Retry:false; tuyệt đối không gửi lại lô gốc có trạng thái chưa xác định.
| Trường | Loại |
|---|---|
Trườngresults[].custom_id | Loạistring |
Trườngresults[].response.body.choices[].message.content | Loạistring|null |
Trườngresults[].error | Loạiobject|null |
Trườngusage | Loạiobject|null |
Trườngid | Loạistring |
Trườngmodel | Loạistring |
Trườngendpoint | Loạistring |
Trườngstatus | Loạistring |
Trườngrequest_counts | Loạiobject |
Trườngresults[].id | Loạistring |
Trườngresults[].response.status_code | Loạiinteger |
Trườngresults[].response.request_id | Loạistring |
| Phản hồi | Điều kiện | Bước tiếp theo |
|---|---|---|
Phản hồi400 · invalid_request_error | Điều kiệnCấu trúc nội tuyến không đúng tài liệu, có khóa trùng, định danh phần tử không hợp lệ hoặc xung đột với khả năng đã cấu hình của mô hình. | Bước tiếp theoSửa các trường được chỉ ra trước khi gửi bất kỳ yêu cầu mới nào. |
Phản hồi401 · authentication_error | Điều kiệnKhóa API không hợp lệ. | Bước tiếp theoSử dụng khóa Ailoot đã được cấp quyền. |
Phản hồi403 · permission_error | Điều kiệnNhóm xử lý hàng loạt không khả dụng. | Bước tiếp theoKiểm tra quyền sử dụng của khóa/nhóm. |
Phản hồi422 · invalid_request_error | Điều kiệnXử lý hàng loạt tính phí từ số dư; yêu cầu tạo qua gói thuê bao bị từ chối. | Bước tiếp theoSử dụng nhóm đã được cấp quyền và tính phí từ số dư. |
Phản hồi422 · price_unavailable | Điều kiệnKhông thể báo giá cho dữ liệu đầu vào của lô. | Bước tiếp theoGiữ lại phản hồi; sử dụng dữ liệu đầu vào của họ API được mô tả trong tài liệu. |
Phản hồi402 · billing_error | Điều kiệnKhoản dự trữ cho xử lý hàng loạt không khả dụng. | Bước tiếp theoKhắc phục vấn đề về điều kiện tiếp nhận trước khi gửi yêu cầu mới. |
Phản hồi503 · price_unavailable | Điều kiệnGiá phương thức xử lý hàng loạt/đơn giá gốc không khả dụng. | Bước tiếp theoGiữ lại phản hồi; không thay thế đơn giá. |
Phản hồi503 · api_error | Điều kiệnTuyến cụ thể tới nhà cung cấp không khả dụng. | Bước tiếp theoGiữ lại phản hồi để sửa tuyến. |
Phản hồi503 · result_pending_check | Điều kiệnKết quả gốc cần được kiểm tra; X-Should-Retry:false. | Bước tiếp theoGiữ lại operation_id/id gốc và truy xuất trạng thái của thao tác đó; tuyệt đối không lặp lại POST gốc. |
Phản hồi404 · not_found | Điều kiệnKhông tìm thấy thao tác kiểm tra trạng thái lô hoặc thao tác thuộc một danh tính khác. | Bước tiếp theoSử dụng đúng id gốc và cùng người dùng/khóa/nhóm. |
Ailoot Ultra mistralai/mistral-small-2603:batch
Dùng các đường dẫn phương thức hiển thị ở trên.