Llama 3.2 1B Instruct là mô hình văn bản gọn nhẹ của Meta được tinh chỉnh theo chỉ dẫn, có 1.23 tỷ tham số trong bảng của nhà sản xuất. Mô hình nhận văn bản đa ngôn ngữ và trả lại văn bản hoặc mã. Bản phát hành dành cho đối thoại, truy xuất kiến thức, tóm tắt, trợ lý viết trên thiết bị di động và viết lại truy vấn hoặc prompt, thay vì các nhiệm vụ hiểu hình ảnh của những phiên bản thị giác riêng của Llama.
Thông tin mô hình và ngữ cảnh
Mô hình sử dụng kiến trúc Transformer tự hồi quy với grouped-query attention và embedding dùng chung. Meta phân biệt các mô hình 1B và 3B tiền huấn luyện với các mô hình tinh chỉnh theo chỉ dẫn. Mục này là checkpoint 1B Instruct, có nhiệm vụ tuân theo yêu cầu của người dùng trong hội thoại thay vì đóng vai trò nền tảng tiền huấn luyện.
Bản phát hành văn bản thông thường được tài liệu hóa với ngữ cảnh 128k. Nhà sản xuất liệt kê riêng ngữ cảnh 8k cho các mô hình văn bản lượng tử hóa. Những cấu hình đó cần được giữ tách biệt: lượng tử hóa không cho phép chuyển ngữ cảnh của bản thông thường sang mọi checkpoint định dạng nhỏ hơn hoặc suy ra dung lượng được cấu hình của một dịch vụ cụ thể.
Sử dụng ngữ cảnh cho các đoạn văn và hội thoại liên quan đến một thao tác đã xác định. Tài liệu dài vẫn có thể chỉ cần bản tóm tắt ngắn, truy vấn tìm kiếm viết lại hoặc câu trả lời dựa trên nguồn. Xác định tài liệu mà kết quả phải giữ lại cùng độ dài hoặc các trường mà bước ứng dụng tiếp theo cần.
Truy xuất, tóm tắt và viết lại
Đối với tóm tắt, cung cấp đoạn văn hoặc hội thoại thực tế và chỉ rõ đối tượng đọc, độ dài cùng các dữ kiện thiết yếu. Kết quả hữu ích có thể tách vấn đề trung tâm, những quyết định đã nêu và các câu hỏi mở. Nếu nguồn chứa nhiều chủ đề, xác định chủ đề bản tóm tắt cần bao quát thay vì yêu cầu rút gọn toàn bộ một cách không định hướng.
Đối với truy xuất kiến thức, cung cấp các đoạn nguồn được chọn hoặc thông tin do thành phần truy xuất trả về. Yêu cầu phát biểu trả lời câu hỏi và đoạn hỗ trợ nó. Phản hồi văn bản của mô hình có thể giải thích thông tin đã truy xuất, trong khi tìm kiếm bộ sưu tập riêng vẫn là công việc của ứng dụng được kết nối. Mô hình không có được bộ sưu tập đó chỉ từ nhãn trường hợp sử dụng truy xuất.
Đối với viết lại truy vấn, cung cấp câu hỏi gốc và mục đích tìm kiếm. Yêu cầu cách diễn đạt lại ngắn gọn giữ nguyên thực thể, điều kiện và thông tin mong muốn. Truy vấn hỗ trợ có thể được viết lại với thuật ngữ sản phẩm và hành động quan trọng, không thêm dữ kiện không có trong tin nhắn người dùng. Trả lại truy vấn đã sửa riêng khỏi mọi giải thích nếu thành phần khác sẽ dùng trực tiếp.
Đối với trợ lý viết, chỉ rõ người đọc, giọng văn và dữ kiện nguồn trước khi yêu cầu thư ngắn hoặc đoạn văn chỉnh sửa. Với nhiệm vụ trích xuất, định nghĩa các trường và cách biểu diễn thông tin vắng mặt. Đây là những thao tác cụ thể nối trọng tâm văn bản được tài liệu hóa của mô hình gọn nhẹ với sản phẩm có thể kiểm tra.
Ngôn ngữ được hỗ trợ và huấn luyện
Các ngôn ngữ được hỗ trợ chính thức là tiếng Anh, Đức, Pháp, Ý, Bồ Đào Nha, Hindi, Tây Ban Nha và Thái. Mô hình được huấn luyện trên tập ngôn ngữ rộng hơn, khác với tám ngôn ngữ được thẻ hỗ trợ tường minh. Xác định ngôn ngữ cuối và mọi thuật ngữ hoặc định danh phải giữ nguyên.
Dòng mô hình được tiền huấn luyện trên tối đa chín nghìn tỷ token, với mốc dữ liệu tháng 12 năm 2023. Đối với các mô hình 1B và 3B, nhà sản xuất sử dụng đầu ra từ Llama 3.1 8B và 70B làm mục tiêu huấn luyện ở cấp token và chưng cất kiến thức sau cắt tỉa. Đây là quá trình huấn luyện; không có nghĩa mô hình 1B được triển khai hỏi các mô hình lớn hơn đó để trả lời từng câu hỏi người dùng.
Thẻ mô tả tinh chỉnh có giám sát và căn chỉnh dựa trên sở thích, với các vòng hậu huấn luyện gồm ví dụ có giám sát, lấy mẫu loại bỏ và tối ưu hóa sở thích trực tiếp. Những giai đoạn đó tạo hành vi Instruct, đồng thời giữ checkpoint mang tên riêng và phương thức chỉ văn bản.
Hội thoại và các phiên bản lượng tử hóa
Nhà sản xuất minh họa tin nhắn system và user riêng bằng định dạng hội thoại tương ứng. Xác định vai trò trợ lý và yêu cầu phản hồi riêng với văn bản nguồn thực tế. Giữ câu trả lời trước đó có liên quan khi lượt tiếp theo yêu cầu chỉnh sửa, làm rõ hoặc hình thức khác của cùng thông tin.
Bản phát hành cũng tài liệu hóa các biến thể riêng được huấn luyện có tính đến lượng tử hóa và các biến thể được lượng tử hóa sau huấn luyện. Độ chính xác số cùng ngữ cảnh 8k của chúng thuộc những biến thể ấy, thay vì là đặc tả phổ quát cho mục Instruct thông thường này. Sử dụng checkpoint và cấu hình chính xác khi so sánh nhiệm vụ được lặp lại hoặc chuẩn bị triển khai dẫn xuất.
Ranh giới về khả năng
Bản phát hành 1B này chỉ xử lý văn bản. Nó không nên kế thừa đầu vào hình ảnh từ các mô hình thị giác Llama 3.2 11B hoặc 90B, khả năng văn bản và hình ảnh của Llama 4 hay các điều khiển mức nỗ lực suy luận mang tên riêng của Muse Spark. Ví dụ tạo 256 token trong thẻ là thiết lập ví dụ, không phải dung lượng câu trả lời tối đa được nêu độc lập.
Kết quả cuối thực dụng là bản tóm tắt, truy vấn, bản ghi trích xuất hoặc văn bản viết lại được yêu cầu, giữ ý nghĩa liên quan và định danh của nguồn. Các nguồn đã đọc không nêu giới hạn cứng riêng cho token đầu ra. Giữ nhiệm vụ có trọng tâm, tài liệu đầu vào đầy đủ cho thao tác đó và sự phân biệt ngữ cảnh thông thường với lượng tử hóa rõ ràng.
", "aboutText": "Llama 3.2 1B Instruct là mô hình văn bản gọn nhẹ của Meta được tinh chỉnh theo chỉ dẫn, có 1.23 tỷ tham số trong bảng của nhà sản xuất. Mô hình nhận văn bản đa ngôn ngữ và trả lại văn bản hoặc mã. Bản phát hành dành cho đối thoại, truy xuất kiến thức, tóm tắt, trợ lý viết trên thiết bị di động và viết lại truy vấn hoặc prompt, thay vì các nhiệm vụ hiểu hình ảnh của những phiên bản thị giác riêng của Llama.\n\nThông tin mô hình và ngữ cảnh\n\nMô hình sử dụng kiến trúc Transformer tự hồi quy với grouped-query attention và embedding dùng chung. Meta phân biệt các mô hình 1B và 3B tiền huấn luyện với các mô hình tinh chỉnh theo chỉ dẫn. Mục này là checkpoint 1B Instruct, có nhiệm vụ tuân theo yêu cầu của người dùng trong hội thoại thay vì đóng vai trò nền tảng tiền huấn luyện.\n\nBản phát hành văn bản thông thường được tài liệu hóa với ngữ cảnh 128k. Nhà sản xuất liệt kê riêng ngữ cảnh 8k cho các mô hình văn bản lượng tử hóa. Những cấu hình đó cần được giữ tách biệt: lượng tử hóa không cho phép chuyển ngữ cảnh của bản thông thường sang mọi checkpoint định dạng nhỏ hơn hoặc suy ra dung lượng được cấu hình của một dịch vụ cụ thể.\n\nSử dụng ngữ cảnh cho các đoạn văn và hội thoại liên quan đến một thao tác đã xác định. Tài liệu dài vẫn có thể chỉ cần bản tóm tắt ngắn, truy vấn tìm kiếm viết lại hoặc câu trả lời dựa trên nguồn. Xác định tài liệu mà kết quả phải giữ lại cùng độ dài hoặc các trường mà bước ứng dụng tiếp theo cần.\n\nTruy xuất, tóm tắt và viết lại\n\nĐối với tóm tắt, cung cấp đoạn văn hoặc hội thoại thực tế và chỉ rõ đối tượng đọc, độ dài cùng các dữ kiện thiết yếu. Kết quả hữu ích có thể tách vấn đề trung tâm, những quyết định đã nêu và các câu hỏi mở. Nếu nguồn chứa nhiều chủ đề, xác định chủ đề bản tóm tắt cần bao quát thay vì yêu cầu rút gọn toàn bộ một cách không định hướng.\n\nĐối với truy xuất kiến thức, cung cấp các đoạn nguồn được chọn hoặc thông tin do thành phần truy xuất trả về. Yêu cầu phát biểu trả lời câu hỏi và đoạn hỗ trợ nó. Phản hồi văn bản của mô hình có thể giải thích thông tin đã truy xuất, trong khi tìm kiếm bộ sưu tập riêng vẫn là công việc của ứng dụng được kết nối. Mô hình không có được bộ sưu tập đó chỉ từ nhãn trường hợp sử dụng truy xuất.\n\nĐối với viết lại truy vấn, cung cấp câu hỏi gốc và mục đích tìm kiếm. Yêu cầu cách diễn đạt lại ngắn gọn giữ nguyên thực thể, điều kiện và thông tin mong muốn. Truy vấn hỗ trợ có thể được viết lại với thuật ngữ sản phẩm và hành động quan trọng, không thêm dữ kiện không có trong tin nhắn người dùng. Trả lại truy vấn đã sửa riêng khỏi mọi giải thích nếu thành phần khác sẽ dùng trực tiếp.\n\nĐối với trợ lý viết, chỉ rõ người đọc, giọng văn và dữ kiện nguồn trước khi yêu cầu thư ngắn hoặc đoạn văn chỉnh sửa. Với nhiệm vụ trích xuất, định nghĩa các trường và cách biểu diễn thông tin vắng mặt. Đây là những thao tác cụ thể nối trọng tâm văn bản được tài liệu hóa của mô hình gọn nhẹ với sản phẩm có thể kiểm tra.\n\nNgôn ngữ được hỗ trợ và huấn luyện\n\nCác ngôn ngữ được hỗ trợ chính thức là tiếng Anh, Đức, Pháp, Ý, Bồ Đào Nha, Hindi, Tây Ban Nha và Thái. Mô hình được huấn luyện trên tập ngôn ngữ rộng hơn, khác với tám ngôn ngữ được thẻ hỗ trợ tường minh. Xác định ngôn ngữ cuối và mọi thuật ngữ hoặc định danh phải giữ nguyên.\n\nDòng mô hình được tiền huấn luyện trên tối đa chín nghìn tỷ token, với mốc dữ liệu tháng 12 năm 2023. Đối với các mô hình 1B và 3B, nhà sản xuất sử dụng đầu ra từ Llama 3.1 8B và 70B làm mục tiêu huấn luyện ở cấp token và chưng cất kiến thức sau cắt tỉa. Đây là quá trình huấn luyện; không có nghĩa mô hình 1B được triển khai hỏi các mô hình lớn hơn đó để trả lời từng câu hỏi người dùng.\n\nThẻ mô tả tinh chỉnh có giám sát và căn chỉnh dựa trên sở thích, với các vòng hậu huấn luyện gồm ví dụ có giám sát, lấy mẫu loại bỏ và tối ưu hóa sở thích trực tiếp. Những giai đoạn đó tạo hành vi Instruct, đồng thời giữ checkpoint mang tên riêng và phương thức chỉ văn bản.\n\nHội thoại và các phiên bản lượng tử hóa\n\nNhà sản xuất minh họa tin nhắn system và user riêng bằng định dạng hội thoại tương ứng. Xác định vai trò trợ lý và yêu cầu phản hồi riêng với văn bản nguồn thực tế. Giữ câu trả lời trước đó có liên quan khi lượt tiếp theo yêu cầu chỉnh sửa, làm rõ hoặc hình thức khác của cùng thông tin.\n\nBản phát hành cũng tài liệu hóa các biến thể riêng được huấn luyện có tính đến lượng tử hóa và các biến thể được lượng tử hóa sau huấn luyện. Độ chính xác số cùng ngữ cảnh 8k của chúng thuộc những biến thể ấy, thay vì là đặc tả phổ quát cho mục Instruct thông thường này. Sử dụng checkpoint và cấu hình chính xác khi so sánh nhiệm vụ được lặp lại hoặc chuẩn bị triển khai dẫn xuất.\n\nRanh giới về khả năng\n\nBản phát hành 1B này chỉ xử lý văn bản. Nó không nên kế thừa đầu vào hình ảnh từ các mô hình thị giác Llama 3.2 11B hoặc 90B, khả năng văn bản và hình ảnh của Llama 4 hay các điều khiển mức nỗ lực suy luận mang tên riêng của Muse Spark. Ví dụ tạo 256 token trong thẻ là thiết lập ví dụ, không phải dung lượng câu trả lời tối đa được nêu độc lập.\n\nKết quả cuối thực dụng là bản tóm tắt, truy vấn, bản ghi trích xuất hoặc văn bản viết lại được yêu cầu, giữ ý nghĩa liên quan và định danh của nguồn. Các nguồn đã đọc không nêu giới hạn cứng riêng cho token đầu ra. Giữ nhiệm vụ có trọng tâm, tài liệu đầu vào đầy đủ cho thao tác đó và sự phân biệt ngữ cảnh thông thường với lượng tử hóa rõ ràng.", "editorialOverlay": { "copy_fields": { "practical_html": "Ví dụ kỹ thuật bằng tiếng Anh
Rewrite a retrieval query\n\nRewrite this customer question as one concise search query for a support knowledge base: “My Atlas Mini still shows the old timezone after I changed it in account settings. Do I need to restart?” Preserve the product, stale timezone symptom and restart question. Return only the query and do not invent a cause.A single concise retrieval query retaining the product name, symptom and requested information.Check that the query includes Atlas Mini and timezone refresh or restart, without asserting a confirmed defect.meta-llama/llama-3.2-1b-instructLlama 3.2 1B Instruct là mô hình văn bản 1.23B gọn nhẹ của Meta dành cho đối thoại, tóm tắt, truy xuất kiến thức và viết lại truy vấn. Nhà sản xuất liệt kê ngữ cảnh 128k cho bản phát hành thông thường và 8k cho các biến thể lượng tử hóa riêng, với đầu ra văn bản đa ngôn ngữ và mã.
Mô tả này trình bày khả năng của mô hình. Đầu vào, đầu ra và tùy chọn có trên Ailoot được liệt kê bên dưới cho phương thức đã chọn.
Llama 3.2 1B Instruct là mô hình văn bản gọn nhẹ của Meta được tinh chỉnh theo chỉ dẫn, có 1.23 tỷ tham số trong bảng của nhà sản xuất. Mô hình nhận văn bản đa ngôn ngữ và trả lại văn bản hoặc mã. Bản phát hành dành cho đối thoại, truy xuất kiến thức, tóm tắt, trợ lý viết trên thiết bị di động và viết lại truy vấn hoặc prompt, thay vì các nhiệm vụ hiểu hình ảnh của những phiên bản thị giác riêng của Llama.
Thông tin mô hình và ngữ cảnh
Mô hình sử dụng kiến trúc Transformer tự hồi quy với grouped-query attention và embedding dùng chung. Meta phân biệt các mô hình 1B và 3B tiền huấn luyện với các mô hình tinh chỉnh theo chỉ dẫn. Mục này là checkpoint 1B Instruct, có nhiệm vụ tuân theo yêu cầu của người dùng trong hội thoại thay vì đóng vai trò nền tảng tiền huấn luyện.
Bản phát hành văn bản thông thường được tài liệu hóa với ngữ cảnh 128k. Nhà sản xuất liệt kê riêng ngữ cảnh 8k cho các mô hình văn bản lượng tử hóa. Những cấu hình đó cần được giữ tách biệt: lượng tử hóa không cho phép chuyển ngữ cảnh của bản thông thường sang mọi checkpoint định dạng nhỏ hơn hoặc suy ra dung lượng được cấu hình của một dịch vụ cụ thể.
Sử dụng ngữ cảnh cho các đoạn văn và hội thoại liên quan đến một thao tác đã xác định. Tài liệu dài vẫn có thể chỉ cần bản tóm tắt ngắn, truy vấn tìm kiếm viết lại hoặc câu trả lời dựa trên nguồn. Xác định tài liệu mà kết quả phải giữ lại cùng độ dài hoặc các trường mà bước ứng dụng tiếp theo cần.
Truy xuất, tóm tắt và viết lại
Đối với tóm tắt, cung cấp đoạn văn hoặc hội thoại thực tế và chỉ rõ đối tượng đọc, độ dài cùng các dữ kiện thiết yếu. Kết quả hữu ích có thể tách vấn đề trung tâm, những quyết định đã nêu và các câu hỏi mở. Nếu nguồn chứa nhiều chủ đề, xác định chủ đề bản tóm tắt cần bao quát thay vì yêu cầu rút gọn toàn bộ một cách không định hướng.
Đối với truy xuất kiến thức, cung cấp các đoạn nguồn được chọn hoặc thông tin do thành phần truy xuất trả về. Yêu cầu phát biểu trả lời câu hỏi và đoạn hỗ trợ nó. Phản hồi văn bản của mô hình có thể giải thích thông tin đã truy xuất, trong khi tìm kiếm bộ sưu tập riêng vẫn là công việc của ứng dụng được kết nối. Mô hình không có được bộ sưu tập đó chỉ từ nhãn trường hợp sử dụng truy xuất.
Đối với viết lại truy vấn, cung cấp câu hỏi gốc và mục đích tìm kiếm. Yêu cầu cách diễn đạt lại ngắn gọn giữ nguyên thực thể, điều kiện và thông tin mong muốn. Truy vấn hỗ trợ có thể được viết lại với thuật ngữ sản phẩm và hành động quan trọng, không thêm dữ kiện không có trong tin nhắn người dùng. Trả lại truy vấn đã sửa riêng khỏi mọi giải thích nếu thành phần khác sẽ dùng trực tiếp.
Đối với trợ lý viết, chỉ rõ người đọc, giọng văn và dữ kiện nguồn trước khi yêu cầu thư ngắn hoặc đoạn văn chỉnh sửa. Với nhiệm vụ trích xuất, định nghĩa các trường và cách biểu diễn thông tin vắng mặt. Đây là những thao tác cụ thể nối trọng tâm văn bản được tài liệu hóa của mô hình gọn nhẹ với sản phẩm có thể kiểm tra.
Ngôn ngữ được hỗ trợ và huấn luyện
Các ngôn ngữ được hỗ trợ chính thức là tiếng Anh, Đức, Pháp, Ý, Bồ Đào Nha, Hindi, Tây Ban Nha và Thái. Mô hình được huấn luyện trên tập ngôn ngữ rộng hơn, khác với tám ngôn ngữ được thẻ hỗ trợ tường minh. Xác định ngôn ngữ cuối và mọi thuật ngữ hoặc định danh phải giữ nguyên.
Dòng mô hình được tiền huấn luyện trên tối đa chín nghìn tỷ token, với mốc dữ liệu tháng 12 năm 2023. Đối với các mô hình 1B và 3B, nhà sản xuất sử dụng đầu ra từ Llama 3.1 8B và 70B làm mục tiêu huấn luyện ở cấp token và chưng cất kiến thức sau cắt tỉa. Đây là quá trình huấn luyện; không có nghĩa mô hình 1B được triển khai hỏi các mô hình lớn hơn đó để trả lời từng câu hỏi người dùng.
Thẻ mô tả tinh chỉnh có giám sát và căn chỉnh dựa trên sở thích, với các vòng hậu huấn luyện gồm ví dụ có giám sát, lấy mẫu loại bỏ và tối ưu hóa sở thích trực tiếp. Những giai đoạn đó tạo hành vi Instruct, đồng thời giữ checkpoint mang tên riêng và phương thức chỉ văn bản.
Hội thoại và các phiên bản lượng tử hóa
Nhà sản xuất minh họa tin nhắn system và user riêng bằng định dạng hội thoại tương ứng. Xác định vai trò trợ lý và yêu cầu phản hồi riêng với văn bản nguồn thực tế. Giữ câu trả lời trước đó có liên quan khi lượt tiếp theo yêu cầu chỉnh sửa, làm rõ hoặc hình thức khác của cùng thông tin.
Bản phát hành cũng tài liệu hóa các biến thể riêng được huấn luyện có tính đến lượng tử hóa và các biến thể được lượng tử hóa sau huấn luyện. Độ chính xác số cùng ngữ cảnh 8k của chúng thuộc những biến thể ấy, thay vì là đặc tả phổ quát cho mục Instruct thông thường này. Sử dụng checkpoint và cấu hình chính xác khi so sánh nhiệm vụ được lặp lại hoặc chuẩn bị triển khai dẫn xuất.
Ranh giới về khả năng
Bản phát hành 1B này chỉ xử lý văn bản. Nó không nên kế thừa đầu vào hình ảnh từ các mô hình thị giác Llama 3.2 11B hoặc 90B, khả năng văn bản và hình ảnh của Llama 4 hay các điều khiển mức nỗ lực suy luận mang tên riêng của Muse Spark. Ví dụ tạo 256 token trong thẻ là thiết lập ví dụ, không phải dung lượng câu trả lời tối đa được nêu độc lập.
Kết quả cuối thực dụng là bản tóm tắt, truy vấn, bản ghi trích xuất hoặc văn bản viết lại được yêu cầu, giữ ý nghĩa liên quan và định danh của nguồn. Các nguồn đã đọc không nêu giới hạn cứng riêng cho token đầu ra. Giữ nhiệm vụ có trọng tâm, tài liệu đầu vào đầy đủ cho thao tác đó và sự phân biệt ngữ cảnh thông thường với lượng tử hóa rõ ràng.
POST /v1/chat/completionstexttext| Trường | Loại | Yêu cầu | Giá trị & giới hạn | Mặc định |
|---|---|---|---|---|
Trườngmodel | Loạistring | Yêu cầuBắt buộc | Giá trị & giới hạn meta-llama/llama-3.2-1b-instruct | Mặc định— |
Trườngmessages | Loạimessage[] | Yêu cầuBắt buộc | Giá trị & giới hạn Số mục tối thiểu: 1 | Mặc định— |
Trườngmessages[].role | Loạistring | Yêu cầuBắt buộc | Giá trị & giới hạn Ví dụ: system, user, assistant, tool, function Điều kiện: Các vai trò này được biểu diễn rõ trong các kiểu tương thích của mã nguồn; tập vai trò chính xác vẫn tùy từng mô hình. Tùy thuộc vào mô hình | Mặc định— |
Trườngmessages[].content | Loạistring|content_part[]|null | Yêu cầuKhông bắt buộc | Giá trị & giới hạn | Mặc định— |
Trườngmessages[].tool_calls | Loạitool_call[] | Yêu cầuKhông bắt buộc | Giá trị & giới hạn | Mặc định— |
Trườngmessages[].tool_call_id | Loạistring | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Áp dụng khi: role=tool; dùng ID thực tế được trả về | Mặc định— |
Trườngmessages[].name | Loạistring | Yêu cầuKhông bắt buộc | Giá trị & giới hạn | Mặc định— |
Trườngmessages[].reasoning_content | Loạistring | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Áp dụng khi: Gửi lại dữ liệu suy luận thực tế đã được trả về khi mô hình này sử dụng dữ liệu đó | Mặc định— |
Trườngmessages[].reasoning_details | Loạiobject|array | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngmax_tokens | Loạiinteger | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tối thiểu: 1 Tùy thuộc vào mô hình | Mặc định— |
Trườngmax_completion_tokens | Loạiinteger | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tối thiểu: 1 Tùy thuộc vào mô hình | Mặc định— |
Trườngstream | Loạiboolean | Yêu cầuKhông bắt buộc | Giá trị & giới hạn | Mặc địnhfalse |
Trườngstream_options.include_usage | Loạiboolean | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngtemperature | Loạinumber | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngtop_p | Loạinumber | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngstop | Loạistring|string[] | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngtools | Loạifunction_tool[] | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngtools[].type | Loạistring | Yêu cầuKhông bắt buộc | Giá trị & giới hạn function Tùy thuộc vào mô hình | Mặc định— |
Trườngtools[].function.name | Loạistring | Yêu cầuBắt buộc | Giá trị & giới hạn Áp dụng khi: Có cung cấp công cụ hàm | Mặc định— |
Trườngtools[].function.description | Loạistring | Yêu cầuKhông bắt buộc | Giá trị & giới hạn | Mặc định— |
Trườngtools[].function.parameters | LoạiJSON_schema | Yêu cầuKhông bắt buộc | Giá trị & giới hạn | Mặc định— |
Trườngtool_choice | Loạistring|object | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngparallel_tool_calls | Loạiboolean | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngresponse_format | Loạiobject | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngreasoning_effort | Loạistring | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngreasoning | Loạiobject | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngservice_tier | Loạistring | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườnginstructions | Loạistring | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Trường tương thích | Mặc định— |
Trườngfunctions | Loạifunction[] | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngfunction_call | Loạistring|object | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngprompt_cache_options | Loạiobject | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngmodalities | Loạistring[] | Yêu cầuKhông bắt buộc | Giá trị & giới hạn text | Mặc định— |
Trườngprovider | Loạiobject | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Điều kiện: provider.options bị từ chối trên tuyến văn bản Ultra này | Mặc định— |
Trườngcache_control.ttl | Loạistring | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Điều kiện: 1h bị từ chối tại các vị trí lưu đệm prompt thực tế | Mặc định— |
Văn bản · Văn bản UTF8
messages[].content
| Tham số | Hợp đồng |
|---|---|
Tham sốcontent_type | Hợp đồngapplication/json |
Tham sốrequired | Hợp đồngmodel, messages |
Tham sốmaterial_types | Hợp đồngtext |
Tham sốmessages | Hợp đồngMảng thông điệp có cấu trúc role/content |
Tham sốfile_material | Hợp đồngTài liệu UTF-8 thực tế được chèn nguyên dạng văn bản; không suy ra ID tệp |
Tham sốoptional_controls | Hợp đồngstream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
Tham sốcontrol_scope | Hợp đồngTùy từng mô hình; công cụ hàm của người dùng khác với công cụ do dịch vụ cung cấp |
Tham sốoutput_modalities | Hợp đồngtext |
Tham sốhosted_operations | Hợp đồngfalse |
Tham sốmultimodal_input_binding | Hợp đồngnull |
Vòng đời: synchronous_or_streamed
Gửi ID mô hình chính xác cùng messages.
Độ dài ngữ cảnh không phải giới hạn đầu ra.
Tệp văn bản có thể cung cấp nguyên văn nội dung; đầu vào hình ảnh, âm thanh hoặc đối tượng tệp cần có liên kết chính xác.
Thông tin biểu giá không bổ sung tùy chọn yêu cầu. Các tham số được hỗ trợ nằm trong phương thức đã chọn.
Đối chiếu từng khoản phí với điều kiện hiển thị. Dùng một mức phí cho mỗi nhóm cấu hình thay thế.
| Cấu hình | Biểu mức phí | Token ngữ cảnh, lớn hơn | Token ngữ cảnh, tối đa và bao gồm | Phí |
|---|---|---|---|---|
| Cấu hìnhGiá cơ sở cho token | Biểu mức phíMức phí cơ bản | Token ngữ cảnh, lớn hơn— | Token ngữ cảnh, tối đa và bao gồmKhông có giới hạn trên | Phí Đầu vào · Token đầu vào $0.000054 / 1K token Đầu ra · Token đầu ra $0.000402 / 1K token Đầu vào · Đọc bộ nhớ đệm — / 1K token Đầu vào · Ghi bộ nhớ đệm — / 1K token Đầu vào · Ghi bộ nhớ đệm, 1 giờ — / 1K token |
| Cấu hìnhBậc 1 theo độ dài yêu cầu | Biểu mức phí— | Token ngữ cảnh, lớn hơn0 | Token ngữ cảnh, tối đa và bao gồmKhông có giới hạn trên | Phí Đầu vào · Token đầu vào $0.000054 / 1K token Đầu ra · Token đầu ra $0.000402 / 1K token Đầu vào · Đọc bộ nhớ đệm — / 1K token Đầu vào · Ghi bộ nhớ đệm — / 1K token Đầu vào · Ghi bộ nhớ đệm, 1 giờ — / 1K token |
Ailoot tạm giữ một khoản ước tính trước yêu cầu. Sau khi có kết quả, phí cuối cùng được quyết toán theo mức sử dụng đo được. Việc quyết toán khi truyền luồng dùng bản ghi mức sử dụng cuối cùng. Cách hoạt động của cơ chế tạm giữ và quyết toán →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "meta-llama/llama-3.2-1b-instruct", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='meta-llama/llama-3.2-1b-instruct',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='meta-llama/llama-3.2-1b-instruct',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson hoặc SSE
Lưu mọi phản hồi hoàn chỉnh, tệp và phần nội dung được trả về.
Giữ mọi phương án trả lời cùng nội dung, lệnh gọi công cụ và dữ liệu suy luận của phương án đó. Với SSE, ghép các phần thay đổi theo chỉ số phương án và công cụ, giữ lý do kết thúc cuối cùng cùng dữ liệu sử dụng.
Giữ ID và header của yêu cầu, phản hồi. Không cung cấp URL chung để truy xuất tác vụ văn bản.
| Trường | Loại |
|---|---|
Trườngchoices[].index | Loạiinteger |
Trườngchoices[].message.content | Loạistring|null |
Trườngchoices[].message.tool_calls | Loạitool_call[] |
Trườngchoices[].message.reasoning_content | Loạistring |
Trườngchoices[].message.reasoning_details | Loạiobject|array |
Trườngchoices[].finish_reason | Loạistring|null |
Trườngusage | Loạiobject |
| Phản hồi | Điều kiện | Bước tiếp theo |
|---|---|---|
Phản hồi400 · invalid_request_error | Điều kiệnTrường bắt buộc, cách biểu diễn tài liệu hoặc giá trị tham số không hợp lệ | Bước tiếp theoSửa các trường được chỉ ra trước khi gửi yêu cầu tạo mới. |
Ailoot Ultra meta-llama/llama-3.2-1b-instruct
Dùng các đường dẫn phương thức hiển thị ở trên.
meta-llama/llama-3.2-1b-instructLlama 3.2 1B Instruct là mô hình văn bản 1.23B gọn nhẹ của Meta dành cho đối thoại, tóm tắt, truy xuất kiến thức và viết lại truy vấn. Nhà sản xuất liệt kê ngữ cảnh 128k cho bản phát hành thông thường và 8k cho các biến thể lượng tử hóa riêng, với đầu ra văn bản đa ngôn ngữ và mã.
Mô tả này trình bày khả năng của mô hình. Đầu vào, đầu ra và tùy chọn có trên Ailoot được liệt kê bên dưới cho phương thức đã chọn.
Llama 3.2 1B Instruct là mô hình văn bản gọn nhẹ của Meta được tinh chỉnh theo chỉ dẫn, có 1.23 tỷ tham số trong bảng của nhà sản xuất. Mô hình nhận văn bản đa ngôn ngữ và trả lại văn bản hoặc mã. Bản phát hành dành cho đối thoại, truy xuất kiến thức, tóm tắt, trợ lý viết trên thiết bị di động và viết lại truy vấn hoặc prompt, thay vì các nhiệm vụ hiểu hình ảnh của những phiên bản thị giác riêng của Llama.
Thông tin mô hình và ngữ cảnh
Mô hình sử dụng kiến trúc Transformer tự hồi quy với grouped-query attention và embedding dùng chung. Meta phân biệt các mô hình 1B và 3B tiền huấn luyện với các mô hình tinh chỉnh theo chỉ dẫn. Mục này là checkpoint 1B Instruct, có nhiệm vụ tuân theo yêu cầu của người dùng trong hội thoại thay vì đóng vai trò nền tảng tiền huấn luyện.
Bản phát hành văn bản thông thường được tài liệu hóa với ngữ cảnh 128k. Nhà sản xuất liệt kê riêng ngữ cảnh 8k cho các mô hình văn bản lượng tử hóa. Những cấu hình đó cần được giữ tách biệt: lượng tử hóa không cho phép chuyển ngữ cảnh của bản thông thường sang mọi checkpoint định dạng nhỏ hơn hoặc suy ra dung lượng được cấu hình của một dịch vụ cụ thể.
Sử dụng ngữ cảnh cho các đoạn văn và hội thoại liên quan đến một thao tác đã xác định. Tài liệu dài vẫn có thể chỉ cần bản tóm tắt ngắn, truy vấn tìm kiếm viết lại hoặc câu trả lời dựa trên nguồn. Xác định tài liệu mà kết quả phải giữ lại cùng độ dài hoặc các trường mà bước ứng dụng tiếp theo cần.
Truy xuất, tóm tắt và viết lại
Đối với tóm tắt, cung cấp đoạn văn hoặc hội thoại thực tế và chỉ rõ đối tượng đọc, độ dài cùng các dữ kiện thiết yếu. Kết quả hữu ích có thể tách vấn đề trung tâm, những quyết định đã nêu và các câu hỏi mở. Nếu nguồn chứa nhiều chủ đề, xác định chủ đề bản tóm tắt cần bao quát thay vì yêu cầu rút gọn toàn bộ một cách không định hướng.
Đối với truy xuất kiến thức, cung cấp các đoạn nguồn được chọn hoặc thông tin do thành phần truy xuất trả về. Yêu cầu phát biểu trả lời câu hỏi và đoạn hỗ trợ nó. Phản hồi văn bản của mô hình có thể giải thích thông tin đã truy xuất, trong khi tìm kiếm bộ sưu tập riêng vẫn là công việc của ứng dụng được kết nối. Mô hình không có được bộ sưu tập đó chỉ từ nhãn trường hợp sử dụng truy xuất.
Đối với viết lại truy vấn, cung cấp câu hỏi gốc và mục đích tìm kiếm. Yêu cầu cách diễn đạt lại ngắn gọn giữ nguyên thực thể, điều kiện và thông tin mong muốn. Truy vấn hỗ trợ có thể được viết lại với thuật ngữ sản phẩm và hành động quan trọng, không thêm dữ kiện không có trong tin nhắn người dùng. Trả lại truy vấn đã sửa riêng khỏi mọi giải thích nếu thành phần khác sẽ dùng trực tiếp.
Đối với trợ lý viết, chỉ rõ người đọc, giọng văn và dữ kiện nguồn trước khi yêu cầu thư ngắn hoặc đoạn văn chỉnh sửa. Với nhiệm vụ trích xuất, định nghĩa các trường và cách biểu diễn thông tin vắng mặt. Đây là những thao tác cụ thể nối trọng tâm văn bản được tài liệu hóa của mô hình gọn nhẹ với sản phẩm có thể kiểm tra.
Ngôn ngữ được hỗ trợ và huấn luyện
Các ngôn ngữ được hỗ trợ chính thức là tiếng Anh, Đức, Pháp, Ý, Bồ Đào Nha, Hindi, Tây Ban Nha và Thái. Mô hình được huấn luyện trên tập ngôn ngữ rộng hơn, khác với tám ngôn ngữ được thẻ hỗ trợ tường minh. Xác định ngôn ngữ cuối và mọi thuật ngữ hoặc định danh phải giữ nguyên.
Dòng mô hình được tiền huấn luyện trên tối đa chín nghìn tỷ token, với mốc dữ liệu tháng 12 năm 2023. Đối với các mô hình 1B và 3B, nhà sản xuất sử dụng đầu ra từ Llama 3.1 8B và 70B làm mục tiêu huấn luyện ở cấp token và chưng cất kiến thức sau cắt tỉa. Đây là quá trình huấn luyện; không có nghĩa mô hình 1B được triển khai hỏi các mô hình lớn hơn đó để trả lời từng câu hỏi người dùng.
Thẻ mô tả tinh chỉnh có giám sát và căn chỉnh dựa trên sở thích, với các vòng hậu huấn luyện gồm ví dụ có giám sát, lấy mẫu loại bỏ và tối ưu hóa sở thích trực tiếp. Những giai đoạn đó tạo hành vi Instruct, đồng thời giữ checkpoint mang tên riêng và phương thức chỉ văn bản.
Hội thoại và các phiên bản lượng tử hóa
Nhà sản xuất minh họa tin nhắn system và user riêng bằng định dạng hội thoại tương ứng. Xác định vai trò trợ lý và yêu cầu phản hồi riêng với văn bản nguồn thực tế. Giữ câu trả lời trước đó có liên quan khi lượt tiếp theo yêu cầu chỉnh sửa, làm rõ hoặc hình thức khác của cùng thông tin.
Bản phát hành cũng tài liệu hóa các biến thể riêng được huấn luyện có tính đến lượng tử hóa và các biến thể được lượng tử hóa sau huấn luyện. Độ chính xác số cùng ngữ cảnh 8k của chúng thuộc những biến thể ấy, thay vì là đặc tả phổ quát cho mục Instruct thông thường này. Sử dụng checkpoint và cấu hình chính xác khi so sánh nhiệm vụ được lặp lại hoặc chuẩn bị triển khai dẫn xuất.
Ranh giới về khả năng
Bản phát hành 1B này chỉ xử lý văn bản. Nó không nên kế thừa đầu vào hình ảnh từ các mô hình thị giác Llama 3.2 11B hoặc 90B, khả năng văn bản và hình ảnh của Llama 4 hay các điều khiển mức nỗ lực suy luận mang tên riêng của Muse Spark. Ví dụ tạo 256 token trong thẻ là thiết lập ví dụ, không phải dung lượng câu trả lời tối đa được nêu độc lập.
Kết quả cuối thực dụng là bản tóm tắt, truy vấn, bản ghi trích xuất hoặc văn bản viết lại được yêu cầu, giữ ý nghĩa liên quan và định danh của nguồn. Các nguồn đã đọc không nêu giới hạn cứng riêng cho token đầu ra. Giữ nhiệm vụ có trọng tâm, tài liệu đầu vào đầy đủ cho thao tác đó và sự phân biệt ngữ cảnh thông thường với lượng tử hóa rõ ràng.
POST /v1/messagestextjson, sse| Trường | Loại | Yêu cầu | Giá trị & giới hạn | Mặc định |
|---|---|---|---|---|
Trườngmodel | Loạistring | Yêu cầuBắt buộc | Giá trị & giới hạn meta-llama/llama-3.2-1b-instruct | Mặc định— |
Trườngmessages | Loạimessage[] | Yêu cầuBắt buộc | Giá trị & giới hạn | Mặc định— |
Trườngmessages[].role | Loạistring | Yêu cầuBắt buộc | Giá trị & giới hạn user, assistant | Mặc định— |
Trườngmessages[].content | Loạistring | Yêu cầuBắt buộc | Giá trị & giới hạn | Mặc định— |
Trườngmax_tokens | Loạiinteger | Yêu cầuBắt buộc | Giá trị & giới hạn | Mặc định— |
Trườngstream | Loạiboolean | Yêu cầuKhông bắt buộc | Giá trị & giới hạn | Mặc địnhfalse |
Văn bản · Văn bản UTF-8
Chuỗi messages[].content
| Tham số | Hợp đồng |
|---|---|
Tham sốcontent_type | Hợp đồngapplication/json |
Tham sốrequired | Hợp đồngmodel, messages, max_tokens |
Tham sốoptional_controls | Hợp đồngstream |
Tham sốmaterial_types | Hợp đồngtext |
Tham sốtext_file_material | Hợp đồngĐọc tài liệu UTF-8 thực tế và đặt nội dung văn bản vào chuỗi đầu vào hoặc nội dung thông điệp được chỉ định. |
Vòng đời: synchronous_or_streamed
Thông tin biểu giá không bổ sung tùy chọn yêu cầu. Các tham số được hỗ trợ nằm trong phương thức đã chọn.
Đối chiếu từng khoản phí với điều kiện hiển thị. Dùng một mức phí cho mỗi nhóm cấu hình thay thế.
| Cấu hình | Biểu mức phí | Token ngữ cảnh, lớn hơn | Token ngữ cảnh, tối đa và bao gồm | Phí |
|---|---|---|---|---|
| Cấu hìnhGiá cơ sở cho token | Biểu mức phíMức phí cơ bản | Token ngữ cảnh, lớn hơn— | Token ngữ cảnh, tối đa và bao gồmKhông có giới hạn trên | Phí Đầu vào · Token đầu vào $0.000054 / 1K token Đầu ra · Token đầu ra $0.000402 / 1K token Đầu vào · Đọc bộ nhớ đệm — / 1K token Đầu vào · Ghi bộ nhớ đệm — / 1K token Đầu vào · Ghi bộ nhớ đệm, 1 giờ — / 1K token |
| Cấu hìnhBậc 1 theo độ dài yêu cầu | Biểu mức phí— | Token ngữ cảnh, lớn hơn0 | Token ngữ cảnh, tối đa và bao gồmKhông có giới hạn trên | Phí Đầu vào · Token đầu vào $0.000054 / 1K token Đầu ra · Token đầu ra $0.000402 / 1K token Đầu vào · Đọc bộ nhớ đệm — / 1K token Đầu vào · Ghi bộ nhớ đệm — / 1K token Đầu vào · Ghi bộ nhớ đệm, 1 giờ — / 1K token |
Ailoot tạm giữ một khoản ước tính trước yêu cầu. Sau khi có kết quả, phí cuối cùng được quyết toán theo mức sử dụng đo được. Việc quyết toán khi truyền luồng dùng bản ghi mức sử dụng cuối cùng. Cách hoạt động của cơ chế tạm giữ và quyết toán →
{\n "model": "meta-llama/llama-3.2-1b-instruct",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'meta-llama/llama-3.2-1b-instruct', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'meta-llama/llama-3.2-1b-instruct', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON hoặc SSE
Lưu mọi phản hồi hoàn chỉnh, tệp và phần nội dung được trả về.
Giữ mọi khối nội dung, chữ ký suy nghĩ và ID sử dụng công cụ thực tế. Ghép tất cả các phần thay đổi của khối SSE; khối văn bản đầu tiên không phải toàn bộ đầu ra.
Giữ ID và header của yêu cầu, phản hồi. Không cung cấp URL chung để truy xuất tác vụ văn bản.
| Trường | Loại |
|---|---|
Trườngid | Loạistring |
Trườngmodel | Loạistring |
Trườngcontent[] | Loạitext|thinking|tool_use|other content block |
Trườngstop_reason | Loạistring|null |
Trườngusage | Loạiobject |
| Phản hồi | Điều kiện | Bước tiếp theo |
|---|---|---|
Phản hồi400 · invalid_request_error | Điều kiệnTrường bắt buộc, cách biểu diễn tài liệu hoặc giá trị tham số không hợp lệ | Bước tiếp theoSửa các trường được chỉ ra trước khi gửi yêu cầu tạo mới. |
Ailoot Ultra meta-llama/llama-3.2-1b-instruct
Dùng các đường dẫn phương thức hiển thị ở trên.
Ví dụ kỹ thuật bằng tiếng Anh
Rewrite a retrieval query\n\nRewrite this customer question as one concise search query for a support knowledge base: “My Atlas Mini still shows the old timezone after I changed it in account settings. Do I need to restart?” Preserve the product, stale timezone symptom and restart question. Return only the query and do not invent a cause.A single concise retrieval query retaining the product name, symptom and requested information.Check that the query includes Atlas Mini and timezone refresh or restart, without asserting a confirmed defect.