Llama 3.1 8B Instruct là mô hình văn bản tám tỷ tham số của Meta dành cho đối thoại đa ngôn ngữ và trợ lý theo chỉ dẫn. Mô hình nhận hội thoại viết cùng tài liệu nguồn và tạo văn bản hoặc mã. Đây là phiên bản Instruct ở quy mô 8B, khác với mô hình nền tiền huấn luyện và các mô hình 70B, 405B trong dòng.
Kiến trúc, ngữ cảnh và ngôn ngữ
Mô hình sử dụng kiến trúc Transformer tự hồi quy với grouped-query attention. Dòng tinh chỉnh theo chỉ dẫn dùng tinh chỉnh có giám sát và học tăng cường từ phản hồi của con người để căn chỉnh phản hồi hội thoại. Nhà sản xuất tài liệu hóa ngữ cảnh 128k cho bản phát hành văn bản này; đó không phải đặc tả thị giác hoặc ngữ cảnh dài của mô hình Llama 4 ra đời sau.
Tám ngôn ngữ được hỗ trợ chính thức là tiếng Anh, Đức, Pháp, Ý, Bồ Đào Nha, Hindi, Tây Ban Nha và Thái. Dữ liệu tiền huấn luyện bao quát tập rộng hơn, khác với các ngôn ngữ được thẻ hỗ trợ tường minh. Nêu ngôn ngữ đầu ra cùng mọi tên, định danh biến hoặc thuật ngữ cần giữ nguyên trong kết quả đa ngôn ngữ.
Dòng mô hình được tiền huấn luyện trên khoảng mười lăm nghìn tỷ token, với mốc dữ liệu tháng 12 năm 2023. Tinh chỉnh gồm tài liệu chỉ dẫn và hơn hai mươi lăm triệu ví dụ tổng hợp. Điều này mô tả việc huấn luyện mô hình, không phải quyền truy cập cơ sở tri thức riêng hoặc thông tin trực tiếp khi câu hỏi mới đến.
Các thao tác văn bản đã xác định
Yêu cầu hướng đến hỗ trợ có thể cung cấp tin nhắn người dùng và các đoạn tham khảo liên quan, rồi yêu cầu câu trả lời cùng điều kiện hỗ trợ nó. Bản ghi gọn có thể tách vấn đề, thông tin đã cung cấp và bước cần thiết tiếp theo. Định nghĩa tên trường và cách xử lý giá trị thiếu khi ứng dụng cần xử lý kết quả đó.
Đối với tóm tắt, cung cấp đoạn văn hoặc trao đổi thực tế và chỉ rõ đối tượng đọc, độ dài cùng dữ kiện cần giữ. Yêu cầu quyết định hoặc câu hỏi chưa giải quyết liên quan đến một chủ đề thay vì bản tóm tắt không định hướng về tài liệu không liên quan. Lượt tiếp theo có thể yêu cầu phản hồi ngắn hơn hoặc giải thích rõ hơn một điều kiện, đồng thời giữ nguyên các dữ kiện nguồn.
Đối với biên tập, chỉ rõ người đọc và giọng văn, đồng thời xác định ý nghĩa phải giữ nguyên. Nhiệm vụ thực tế có thể yêu cầu tin nhắn rõ ràng hơn kèm danh sách thay đổi ngắn, hoặc chỉ tin nhắn đã chỉnh nếu sẽ được dùng trực tiếp. Nhiệm vụ phân loại nên cung cấp các nhãn được phép và điểm phân biệt giữa chúng, thay vì dựa vào tên nhãn để định nghĩa quy tắc.
Tạo mã và ví dụ
Đầu ra được tài liệu hóa cũng bao gồm mã. Cung cấp ngôn ngữ, đầu vào bắt buộc và kết quả mong đợi trước khi yêu cầu hàm. Để giải thích, đưa hàm hiện có cùng đầu vào cụ thể và hỏi những bước nào quyết định giá trị trả về. Để sửa, bao gồm lỗi quan sát được và hành vi mong muốn, giữ giao diện phải tương thích.
Đầu ra hữu ích có thể tách mã đề xuất, các giả định và đầu vào ví dụ. Ứng dụng hoặc nhà phát triển thực hiện việc biên dịch, thực thi hoặc thay đổi kho mã thực tế. Mã nguồn được viết là sản phẩm cần kiểm tra, không phải thao tác bên ngoài đã hoàn thành chỉ vì mô hình trả lại nó.
Dòng mô hình cũng hỗ trợ sử dụng đầu ra được tạo cho ví dụ tổng hợp và chưng cất. Yêu cầu văn bản xác định rõ có thể tạo các biến thể theo quy tắc được cung cấp và ở định dạng đã chỉ định. Giữ quy tắc cùng nhãn để mỗi ví dụ có thể được kiểm tra; ví dụ được tạo không tự xác lập tính đúng đắn của tập dữ liệu huấn luyện.
Vai trò hội thoại và sử dụng công cụ
Thẻ mô hình minh họa mẫu trò chuyện với tin nhắn system và user riêng. Xác định vai trò trợ lý và yêu cầu phản hồi trong ngữ cảnh hệ thống, rồi cung cấp câu hỏi cùng tài liệu nguồn làm nhiệm vụ. Giữ các tin nhắn trước đó có liên quan khi đặt câu hỏi tiếp hoặc đưa bằng chứng mới làm thay đổi kết quả.
Llama 3.1 tài liệu hóa nhiều định dạng sử dụng công cụ. Ứng dụng mô tả hàm, mô hình tạo lệnh gọi đề xuất cùng đối số, ứng dụng thực thi và trả kết quả với vai trò tool. Câu trả lời tiếp theo khi đó có thể dùng thông tin được trả về. Giữ thao tác gốc và kết quả liên kết xuyên suốt hội thoại.
Chẳng hạn, thao tác tra cứu có thể trả lại giá trị tham khảo hiện tại còn thiếu trong đoạn văn, hoặc công cụ tính toán có thể cung cấp kết quả số cần cho phần giải thích. Trợ lý có công cụ cần môi trường cung cấp các thao tác đó. Hành vi văn bản của mô hình tự nó không tạo kết nối tới nguồn bên ngoài hoặc hoàn tất tác động phụ.
Ranh giới thực tế
Nhãn ngữ cảnh 128k của nhà sản xuất cần được giữ cùng đúng bản phát hành 8B Instruct và cấu hình áp dụng. Ví dụ tạo 256 token chỉ là lựa chọn sử dụng; các nguồn đã đọc không nêu giới hạn cứng riêng về dung lượng câu trả lời tối đa. Quy mô 8B không nên kế thừa số tham số của thành viên khác hoặc các điều khiển suy luận mang tên riêng của dòng khác.
Đây là mô hình chỉ văn bản. Đầu vào trực quan, hiểu âm thanh và tạo giọng nói cần các thành phần được quy định riêng. Xác định sản phẩm cuối trước khi cung cấp tài liệu: phản hồi ngắn gọn, bản ghi trích xuất, đoạn văn chỉnh sửa, phần giải thích hoặc đề xuất mã. Giữ thông tin nguồn cần thiết để kiểm tra ý nghĩa và định dạng của sản phẩm đó.
", "aboutText": "Llama 3.1 8B Instruct là mô hình văn bản tám tỷ tham số của Meta dành cho đối thoại đa ngôn ngữ và trợ lý theo chỉ dẫn. Mô hình nhận hội thoại viết cùng tài liệu nguồn và tạo văn bản hoặc mã. Đây là phiên bản Instruct ở quy mô 8B, khác với mô hình nền tiền huấn luyện và các mô hình 70B, 405B trong dòng.\n\nKiến trúc, ngữ cảnh và ngôn ngữ\n\nMô hình sử dụng kiến trúc Transformer tự hồi quy với grouped-query attention. Dòng tinh chỉnh theo chỉ dẫn dùng tinh chỉnh có giám sát và học tăng cường từ phản hồi của con người để căn chỉnh phản hồi hội thoại. Nhà sản xuất tài liệu hóa ngữ cảnh 128k cho bản phát hành văn bản này; đó không phải đặc tả thị giác hoặc ngữ cảnh dài của mô hình Llama 4 ra đời sau.\n\nTám ngôn ngữ được hỗ trợ chính thức là tiếng Anh, Đức, Pháp, Ý, Bồ Đào Nha, Hindi, Tây Ban Nha và Thái. Dữ liệu tiền huấn luyện bao quát tập rộng hơn, khác với các ngôn ngữ được thẻ hỗ trợ tường minh. Nêu ngôn ngữ đầu ra cùng mọi tên, định danh biến hoặc thuật ngữ cần giữ nguyên trong kết quả đa ngôn ngữ.\n\nDòng mô hình được tiền huấn luyện trên khoảng mười lăm nghìn tỷ token, với mốc dữ liệu tháng 12 năm 2023. Tinh chỉnh gồm tài liệu chỉ dẫn và hơn hai mươi lăm triệu ví dụ tổng hợp. Điều này mô tả việc huấn luyện mô hình, không phải quyền truy cập cơ sở tri thức riêng hoặc thông tin trực tiếp khi câu hỏi mới đến.\n\nCác thao tác văn bản đã xác định\n\nYêu cầu hướng đến hỗ trợ có thể cung cấp tin nhắn người dùng và các đoạn tham khảo liên quan, rồi yêu cầu câu trả lời cùng điều kiện hỗ trợ nó. Bản ghi gọn có thể tách vấn đề, thông tin đã cung cấp và bước cần thiết tiếp theo. Định nghĩa tên trường và cách xử lý giá trị thiếu khi ứng dụng cần xử lý kết quả đó.\n\nĐối với tóm tắt, cung cấp đoạn văn hoặc trao đổi thực tế và chỉ rõ đối tượng đọc, độ dài cùng dữ kiện cần giữ. Yêu cầu quyết định hoặc câu hỏi chưa giải quyết liên quan đến một chủ đề thay vì bản tóm tắt không định hướng về tài liệu không liên quan. Lượt tiếp theo có thể yêu cầu phản hồi ngắn hơn hoặc giải thích rõ hơn một điều kiện, đồng thời giữ nguyên các dữ kiện nguồn.\n\nĐối với biên tập, chỉ rõ người đọc và giọng văn, đồng thời xác định ý nghĩa phải giữ nguyên. Nhiệm vụ thực tế có thể yêu cầu tin nhắn rõ ràng hơn kèm danh sách thay đổi ngắn, hoặc chỉ tin nhắn đã chỉnh nếu sẽ được dùng trực tiếp. Nhiệm vụ phân loại nên cung cấp các nhãn được phép và điểm phân biệt giữa chúng, thay vì dựa vào tên nhãn để định nghĩa quy tắc.\n\nTạo mã và ví dụ\n\nĐầu ra được tài liệu hóa cũng bao gồm mã. Cung cấp ngôn ngữ, đầu vào bắt buộc và kết quả mong đợi trước khi yêu cầu hàm. Để giải thích, đưa hàm hiện có cùng đầu vào cụ thể và hỏi những bước nào quyết định giá trị trả về. Để sửa, bao gồm lỗi quan sát được và hành vi mong muốn, giữ giao diện phải tương thích.\n\nĐầu ra hữu ích có thể tách mã đề xuất, các giả định và đầu vào ví dụ. Ứng dụng hoặc nhà phát triển thực hiện việc biên dịch, thực thi hoặc thay đổi kho mã thực tế. Mã nguồn được viết là sản phẩm cần kiểm tra, không phải thao tác bên ngoài đã hoàn thành chỉ vì mô hình trả lại nó.\n\nDòng mô hình cũng hỗ trợ sử dụng đầu ra được tạo cho ví dụ tổng hợp và chưng cất. Yêu cầu văn bản xác định rõ có thể tạo các biến thể theo quy tắc được cung cấp và ở định dạng đã chỉ định. Giữ quy tắc cùng nhãn để mỗi ví dụ có thể được kiểm tra; ví dụ được tạo không tự xác lập tính đúng đắn của tập dữ liệu huấn luyện.\n\nVai trò hội thoại và sử dụng công cụ\n\nThẻ mô hình minh họa mẫu trò chuyện với tin nhắn system và user riêng. Xác định vai trò trợ lý và yêu cầu phản hồi trong ngữ cảnh hệ thống, rồi cung cấp câu hỏi cùng tài liệu nguồn làm nhiệm vụ. Giữ các tin nhắn trước đó có liên quan khi đặt câu hỏi tiếp hoặc đưa bằng chứng mới làm thay đổi kết quả.\n\nLlama 3.1 tài liệu hóa nhiều định dạng sử dụng công cụ. Ứng dụng mô tả hàm, mô hình tạo lệnh gọi đề xuất cùng đối số, ứng dụng thực thi và trả kết quả với vai trò tool. Câu trả lời tiếp theo khi đó có thể dùng thông tin được trả về. Giữ thao tác gốc và kết quả liên kết xuyên suốt hội thoại.\n\nChẳng hạn, thao tác tra cứu có thể trả lại giá trị tham khảo hiện tại còn thiếu trong đoạn văn, hoặc công cụ tính toán có thể cung cấp kết quả số cần cho phần giải thích. Trợ lý có công cụ cần môi trường cung cấp các thao tác đó. Hành vi văn bản của mô hình tự nó không tạo kết nối tới nguồn bên ngoài hoặc hoàn tất tác động phụ.\n\nRanh giới thực tế\n\nNhãn ngữ cảnh 128k của nhà sản xuất cần được giữ cùng đúng bản phát hành 8B Instruct và cấu hình áp dụng. Ví dụ tạo 256 token chỉ là lựa chọn sử dụng; các nguồn đã đọc không nêu giới hạn cứng riêng về dung lượng câu trả lời tối đa. Quy mô 8B không nên kế thừa số tham số của thành viên khác hoặc các điều khiển suy luận mang tên riêng của dòng khác.\n\nĐây là mô hình chỉ văn bản. Đầu vào trực quan, hiểu âm thanh và tạo giọng nói cần các thành phần được quy định riêng. Xác định sản phẩm cuối trước khi cung cấp tài liệu: phản hồi ngắn gọn, bản ghi trích xuất, đoạn văn chỉnh sửa, phần giải thích hoặc đề xuất mã. Giữ thông tin nguồn cần thiết để kiểm tra ý nghĩa và định dạng của sản phẩm đó.", "editorialOverlay": { "copy_fields": { "practical_html": "Ví dụ kỹ thuật bằng tiếng Anh
Translate a delivery notice into German\n\nTranslate this customer notice into German: 'Order BN-42 will leave our warehouse on Thursday. Delivery normally takes three business days. We will send tracking details after dispatch.' Preserve BN-42, distinguish dispatch from delivery and use a polite professional tone. Return only the translation; do not turn the normal transit time into a guaranteed arrival date.One German customer notice preserving the identifier, event sequence and qualified transit time.The translation distinguishes warehouse dispatch from delivery and retains the word's sense of a normal estimate.meta-llama/llama-3.1-8b-instructLlama 3.1 8B Instruct là mô hình văn bản theo chỉ dẫn nhỏ hơn của Meta dành cho đối thoại đa ngôn ngữ, tóm tắt và câu trả lời dựa trên nguồn. Mô hình có quy mô 8B tham số, ngữ cảnh 128k do nhà sản xuất công bố, grouped-query attention và định dạng sử dụng công cụ được tài liệu hóa, trả lại văn bản hoặc mã.
Mô tả này trình bày khả năng của mô hình. Đầu vào, đầu ra và tùy chọn có trên Ailoot được liệt kê bên dưới cho phương thức đã chọn.
Llama 3.1 8B Instruct là mô hình văn bản tám tỷ tham số của Meta dành cho đối thoại đa ngôn ngữ và trợ lý theo chỉ dẫn. Mô hình nhận hội thoại viết cùng tài liệu nguồn và tạo văn bản hoặc mã. Đây là phiên bản Instruct ở quy mô 8B, khác với mô hình nền tiền huấn luyện và các mô hình 70B, 405B trong dòng.
Kiến trúc, ngữ cảnh và ngôn ngữ
Mô hình sử dụng kiến trúc Transformer tự hồi quy với grouped-query attention. Dòng tinh chỉnh theo chỉ dẫn dùng tinh chỉnh có giám sát và học tăng cường từ phản hồi của con người để căn chỉnh phản hồi hội thoại. Nhà sản xuất tài liệu hóa ngữ cảnh 128k cho bản phát hành văn bản này; đó không phải đặc tả thị giác hoặc ngữ cảnh dài của mô hình Llama 4 ra đời sau.
Tám ngôn ngữ được hỗ trợ chính thức là tiếng Anh, Đức, Pháp, Ý, Bồ Đào Nha, Hindi, Tây Ban Nha và Thái. Dữ liệu tiền huấn luyện bao quát tập rộng hơn, khác với các ngôn ngữ được thẻ hỗ trợ tường minh. Nêu ngôn ngữ đầu ra cùng mọi tên, định danh biến hoặc thuật ngữ cần giữ nguyên trong kết quả đa ngôn ngữ.
Dòng mô hình được tiền huấn luyện trên khoảng mười lăm nghìn tỷ token, với mốc dữ liệu tháng 12 năm 2023. Tinh chỉnh gồm tài liệu chỉ dẫn và hơn hai mươi lăm triệu ví dụ tổng hợp. Điều này mô tả việc huấn luyện mô hình, không phải quyền truy cập cơ sở tri thức riêng hoặc thông tin trực tiếp khi câu hỏi mới đến.
Các thao tác văn bản đã xác định
Yêu cầu hướng đến hỗ trợ có thể cung cấp tin nhắn người dùng và các đoạn tham khảo liên quan, rồi yêu cầu câu trả lời cùng điều kiện hỗ trợ nó. Bản ghi gọn có thể tách vấn đề, thông tin đã cung cấp và bước cần thiết tiếp theo. Định nghĩa tên trường và cách xử lý giá trị thiếu khi ứng dụng cần xử lý kết quả đó.
Đối với tóm tắt, cung cấp đoạn văn hoặc trao đổi thực tế và chỉ rõ đối tượng đọc, độ dài cùng dữ kiện cần giữ. Yêu cầu quyết định hoặc câu hỏi chưa giải quyết liên quan đến một chủ đề thay vì bản tóm tắt không định hướng về tài liệu không liên quan. Lượt tiếp theo có thể yêu cầu phản hồi ngắn hơn hoặc giải thích rõ hơn một điều kiện, đồng thời giữ nguyên các dữ kiện nguồn.
Đối với biên tập, chỉ rõ người đọc và giọng văn, đồng thời xác định ý nghĩa phải giữ nguyên. Nhiệm vụ thực tế có thể yêu cầu tin nhắn rõ ràng hơn kèm danh sách thay đổi ngắn, hoặc chỉ tin nhắn đã chỉnh nếu sẽ được dùng trực tiếp. Nhiệm vụ phân loại nên cung cấp các nhãn được phép và điểm phân biệt giữa chúng, thay vì dựa vào tên nhãn để định nghĩa quy tắc.
Tạo mã và ví dụ
Đầu ra được tài liệu hóa cũng bao gồm mã. Cung cấp ngôn ngữ, đầu vào bắt buộc và kết quả mong đợi trước khi yêu cầu hàm. Để giải thích, đưa hàm hiện có cùng đầu vào cụ thể và hỏi những bước nào quyết định giá trị trả về. Để sửa, bao gồm lỗi quan sát được và hành vi mong muốn, giữ giao diện phải tương thích.
Đầu ra hữu ích có thể tách mã đề xuất, các giả định và đầu vào ví dụ. Ứng dụng hoặc nhà phát triển thực hiện việc biên dịch, thực thi hoặc thay đổi kho mã thực tế. Mã nguồn được viết là sản phẩm cần kiểm tra, không phải thao tác bên ngoài đã hoàn thành chỉ vì mô hình trả lại nó.
Dòng mô hình cũng hỗ trợ sử dụng đầu ra được tạo cho ví dụ tổng hợp và chưng cất. Yêu cầu văn bản xác định rõ có thể tạo các biến thể theo quy tắc được cung cấp và ở định dạng đã chỉ định. Giữ quy tắc cùng nhãn để mỗi ví dụ có thể được kiểm tra; ví dụ được tạo không tự xác lập tính đúng đắn của tập dữ liệu huấn luyện.
Vai trò hội thoại và sử dụng công cụ
Thẻ mô hình minh họa mẫu trò chuyện với tin nhắn system và user riêng. Xác định vai trò trợ lý và yêu cầu phản hồi trong ngữ cảnh hệ thống, rồi cung cấp câu hỏi cùng tài liệu nguồn làm nhiệm vụ. Giữ các tin nhắn trước đó có liên quan khi đặt câu hỏi tiếp hoặc đưa bằng chứng mới làm thay đổi kết quả.
Llama 3.1 tài liệu hóa nhiều định dạng sử dụng công cụ. Ứng dụng mô tả hàm, mô hình tạo lệnh gọi đề xuất cùng đối số, ứng dụng thực thi và trả kết quả với vai trò tool. Câu trả lời tiếp theo khi đó có thể dùng thông tin được trả về. Giữ thao tác gốc và kết quả liên kết xuyên suốt hội thoại.
Chẳng hạn, thao tác tra cứu có thể trả lại giá trị tham khảo hiện tại còn thiếu trong đoạn văn, hoặc công cụ tính toán có thể cung cấp kết quả số cần cho phần giải thích. Trợ lý có công cụ cần môi trường cung cấp các thao tác đó. Hành vi văn bản của mô hình tự nó không tạo kết nối tới nguồn bên ngoài hoặc hoàn tất tác động phụ.
Ranh giới thực tế
Nhãn ngữ cảnh 128k của nhà sản xuất cần được giữ cùng đúng bản phát hành 8B Instruct và cấu hình áp dụng. Ví dụ tạo 256 token chỉ là lựa chọn sử dụng; các nguồn đã đọc không nêu giới hạn cứng riêng về dung lượng câu trả lời tối đa. Quy mô 8B không nên kế thừa số tham số của thành viên khác hoặc các điều khiển suy luận mang tên riêng của dòng khác.
Đây là mô hình chỉ văn bản. Đầu vào trực quan, hiểu âm thanh và tạo giọng nói cần các thành phần được quy định riêng. Xác định sản phẩm cuối trước khi cung cấp tài liệu: phản hồi ngắn gọn, bản ghi trích xuất, đoạn văn chỉnh sửa, phần giải thích hoặc đề xuất mã. Giữ thông tin nguồn cần thiết để kiểm tra ý nghĩa và định dạng của sản phẩm đó.
POST /v1/chat/completionstexttext| Trường | Loại | Yêu cầu | Giá trị & giới hạn | Mặc định |
|---|---|---|---|---|
Trườngmodel | Loạistring | Yêu cầuBắt buộc | Giá trị & giới hạn meta-llama/llama-3.1-8b-instruct | Mặc định— |
Trườngmessages | Loạimessage[] | Yêu cầuBắt buộc | Giá trị & giới hạn Số mục tối thiểu: 1 | Mặc định— |
Trườngmessages[].role | Loạistring | Yêu cầuBắt buộc | Giá trị & giới hạn Ví dụ: system, user, assistant, tool, function Điều kiện: Các vai trò này được biểu diễn rõ trong các kiểu tương thích của mã nguồn; tập vai trò chính xác vẫn tùy từng mô hình. Tùy thuộc vào mô hình | Mặc định— |
Trườngmessages[].content | Loạistring|content_part[]|null | Yêu cầuKhông bắt buộc | Giá trị & giới hạn | Mặc định— |
Trườngmessages[].tool_calls | Loạitool_call[] | Yêu cầuKhông bắt buộc | Giá trị & giới hạn | Mặc định— |
Trườngmessages[].tool_call_id | Loạistring | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Áp dụng khi: role=tool; dùng ID thực tế được trả về | Mặc định— |
Trườngmessages[].name | Loạistring | Yêu cầuKhông bắt buộc | Giá trị & giới hạn | Mặc định— |
Trườngmessages[].reasoning_content | Loạistring | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Áp dụng khi: Gửi lại dữ liệu suy luận thực tế đã được trả về khi mô hình này sử dụng dữ liệu đó | Mặc định— |
Trườngmessages[].reasoning_details | Loạiobject|array | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngmax_tokens | Loạiinteger | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tối thiểu: 1 Tùy thuộc vào mô hình | Mặc định— |
Trườngmax_completion_tokens | Loạiinteger | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tối thiểu: 1 Tùy thuộc vào mô hình | Mặc định— |
Trườngstream | Loạiboolean | Yêu cầuKhông bắt buộc | Giá trị & giới hạn | Mặc địnhfalse |
Trườngstream_options.include_usage | Loạiboolean | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngtemperature | Loạinumber | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngtop_p | Loạinumber | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngstop | Loạistring|string[] | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngtools | Loạifunction_tool[] | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngtools[].type | Loạistring | Yêu cầuKhông bắt buộc | Giá trị & giới hạn function Tùy thuộc vào mô hình | Mặc định— |
Trườngtools[].function.name | Loạistring | Yêu cầuBắt buộc | Giá trị & giới hạn Áp dụng khi: Có cung cấp công cụ hàm | Mặc định— |
Trườngtools[].function.description | Loạistring | Yêu cầuKhông bắt buộc | Giá trị & giới hạn | Mặc định— |
Trườngtools[].function.parameters | LoạiJSON_schema | Yêu cầuKhông bắt buộc | Giá trị & giới hạn | Mặc định— |
Trườngtool_choice | Loạistring|object | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngparallel_tool_calls | Loạiboolean | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngresponse_format | Loạiobject | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngreasoning_effort | Loạistring | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngreasoning | Loạiobject | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngservice_tier | Loạistring | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườnginstructions | Loạistring | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Trường tương thích | Mặc định— |
Trườngfunctions | Loạifunction[] | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngfunction_call | Loạistring|object | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngprompt_cache_options | Loạiobject | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngmodalities | Loạistring[] | Yêu cầuKhông bắt buộc | Giá trị & giới hạn text | Mặc định— |
Trườngprovider | Loạiobject | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Điều kiện: provider.options bị từ chối trên tuyến văn bản Ultra này | Mặc định— |
Trườngcache_control.ttl | Loạistring | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Điều kiện: 1h bị từ chối tại các vị trí lưu đệm prompt thực tế | Mặc định— |
Văn bản · Văn bản UTF8
messages[].content
| Tham số | Hợp đồng |
|---|---|
Tham sốcontent_type | Hợp đồngapplication/json |
Tham sốrequired | Hợp đồngmodel, messages |
Tham sốmaterial_types | Hợp đồngtext |
Tham sốmessages | Hợp đồngMảng thông điệp có cấu trúc role/content |
Tham sốfile_material | Hợp đồngTài liệu UTF-8 thực tế được chèn nguyên dạng văn bản; không suy ra ID tệp |
Tham sốoptional_controls | Hợp đồngstream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
Tham sốcontrol_scope | Hợp đồngTùy từng mô hình; công cụ hàm của người dùng khác với công cụ do dịch vụ cung cấp |
Tham sốoutput_modalities | Hợp đồngtext |
Tham sốhosted_operations | Hợp đồngfalse |
Tham sốmultimodal_input_binding | Hợp đồngnull |
Vòng đời: synchronous_or_streamed
Gửi ID mô hình chính xác cùng messages.
Độ dài ngữ cảnh không phải giới hạn đầu ra.
Tệp văn bản có thể cung cấp nguyên văn nội dung; đầu vào hình ảnh, âm thanh hoặc đối tượng tệp cần có liên kết chính xác.
Thông tin biểu giá không bổ sung tùy chọn yêu cầu. Các tham số được hỗ trợ nằm trong phương thức đã chọn.
Đối chiếu từng khoản phí với điều kiện hiển thị. Dùng một mức phí cho mỗi nhóm cấu hình thay thế.
| Cấu hình | Biểu mức phí | Token ngữ cảnh, lớn hơn | Token ngữ cảnh, tối đa và bao gồm | Phí |
|---|---|---|---|---|
| Cấu hìnhGiá cơ sở cho token | Biểu mức phíMức phí cơ bản | Token ngữ cảnh, lớn hơn— | Token ngữ cảnh, tối đa và bao gồmKhông có giới hạn trên | Phí Đầu vào · Token đầu vào $0.00044 / 1K token Đầu ra · Token đầu ra $0.00044 / 1K token Đầu vào · Đọc bộ nhớ đệm $0.00044 / 1K token Đầu vào · Ghi bộ nhớ đệm — / 1K token Đầu vào · Ghi bộ nhớ đệm, 1 giờ — / 1K token |
| Cấu hìnhBậc 1 theo độ dài yêu cầu | Biểu mức phí— | Token ngữ cảnh, lớn hơn0 | Token ngữ cảnh, tối đa và bao gồmKhông có giới hạn trên | Phí Đầu vào · Token đầu vào $0.00044 / 1K token Đầu ra · Token đầu ra $0.00044 / 1K token Đầu vào · Đọc bộ nhớ đệm $0.00044 / 1K token Đầu vào · Ghi bộ nhớ đệm — / 1K token Đầu vào · Ghi bộ nhớ đệm, 1 giờ — / 1K token |
Ailoot tạm giữ một khoản ước tính trước yêu cầu. Sau khi có kết quả, phí cuối cùng được quyết toán theo mức sử dụng đo được. Việc quyết toán khi truyền luồng dùng bản ghi mức sử dụng cuối cùng. Cách hoạt động của cơ chế tạm giữ và quyết toán →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "meta-llama/llama-3.1-8b-instruct", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='meta-llama/llama-3.1-8b-instruct',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='meta-llama/llama-3.1-8b-instruct',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson hoặc SSE
Lưu mọi phản hồi hoàn chỉnh, tệp và phần nội dung được trả về.
Giữ mọi phương án trả lời cùng nội dung, lệnh gọi công cụ và dữ liệu suy luận của phương án đó. Với SSE, ghép các phần thay đổi theo chỉ số phương án và công cụ, giữ lý do kết thúc cuối cùng cùng dữ liệu sử dụng.
Giữ ID và header của yêu cầu, phản hồi. Không cung cấp URL chung để truy xuất tác vụ văn bản.
| Trường | Loại |
|---|---|
Trườngchoices[].index | Loạiinteger |
Trườngchoices[].message.content | Loạistring|null |
Trườngchoices[].message.tool_calls | Loạitool_call[] |
Trườngchoices[].message.reasoning_content | Loạistring |
Trườngchoices[].message.reasoning_details | Loạiobject|array |
Trườngchoices[].finish_reason | Loạistring|null |
Trườngusage | Loạiobject |
| Phản hồi | Điều kiện | Bước tiếp theo |
|---|---|---|
Phản hồi400 · invalid_request_error | Điều kiệnTrường bắt buộc, cách biểu diễn tài liệu hoặc giá trị tham số không hợp lệ | Bước tiếp theoSửa các trường được chỉ ra trước khi gửi yêu cầu tạo mới. |
Ailoot Ultra meta-llama/llama-3.1-8b-instruct
Dùng các đường dẫn phương thức hiển thị ở trên.
meta-llama/llama-3.1-8b-instructLlama 3.1 8B Instruct là mô hình văn bản theo chỉ dẫn nhỏ hơn của Meta dành cho đối thoại đa ngôn ngữ, tóm tắt và câu trả lời dựa trên nguồn. Mô hình có quy mô 8B tham số, ngữ cảnh 128k do nhà sản xuất công bố, grouped-query attention và định dạng sử dụng công cụ được tài liệu hóa, trả lại văn bản hoặc mã.
Mô tả này trình bày khả năng của mô hình. Đầu vào, đầu ra và tùy chọn có trên Ailoot được liệt kê bên dưới cho phương thức đã chọn.
Llama 3.1 8B Instruct là mô hình văn bản tám tỷ tham số của Meta dành cho đối thoại đa ngôn ngữ và trợ lý theo chỉ dẫn. Mô hình nhận hội thoại viết cùng tài liệu nguồn và tạo văn bản hoặc mã. Đây là phiên bản Instruct ở quy mô 8B, khác với mô hình nền tiền huấn luyện và các mô hình 70B, 405B trong dòng.
Kiến trúc, ngữ cảnh và ngôn ngữ
Mô hình sử dụng kiến trúc Transformer tự hồi quy với grouped-query attention. Dòng tinh chỉnh theo chỉ dẫn dùng tinh chỉnh có giám sát và học tăng cường từ phản hồi của con người để căn chỉnh phản hồi hội thoại. Nhà sản xuất tài liệu hóa ngữ cảnh 128k cho bản phát hành văn bản này; đó không phải đặc tả thị giác hoặc ngữ cảnh dài của mô hình Llama 4 ra đời sau.
Tám ngôn ngữ được hỗ trợ chính thức là tiếng Anh, Đức, Pháp, Ý, Bồ Đào Nha, Hindi, Tây Ban Nha và Thái. Dữ liệu tiền huấn luyện bao quát tập rộng hơn, khác với các ngôn ngữ được thẻ hỗ trợ tường minh. Nêu ngôn ngữ đầu ra cùng mọi tên, định danh biến hoặc thuật ngữ cần giữ nguyên trong kết quả đa ngôn ngữ.
Dòng mô hình được tiền huấn luyện trên khoảng mười lăm nghìn tỷ token, với mốc dữ liệu tháng 12 năm 2023. Tinh chỉnh gồm tài liệu chỉ dẫn và hơn hai mươi lăm triệu ví dụ tổng hợp. Điều này mô tả việc huấn luyện mô hình, không phải quyền truy cập cơ sở tri thức riêng hoặc thông tin trực tiếp khi câu hỏi mới đến.
Các thao tác văn bản đã xác định
Yêu cầu hướng đến hỗ trợ có thể cung cấp tin nhắn người dùng và các đoạn tham khảo liên quan, rồi yêu cầu câu trả lời cùng điều kiện hỗ trợ nó. Bản ghi gọn có thể tách vấn đề, thông tin đã cung cấp và bước cần thiết tiếp theo. Định nghĩa tên trường và cách xử lý giá trị thiếu khi ứng dụng cần xử lý kết quả đó.
Đối với tóm tắt, cung cấp đoạn văn hoặc trao đổi thực tế và chỉ rõ đối tượng đọc, độ dài cùng dữ kiện cần giữ. Yêu cầu quyết định hoặc câu hỏi chưa giải quyết liên quan đến một chủ đề thay vì bản tóm tắt không định hướng về tài liệu không liên quan. Lượt tiếp theo có thể yêu cầu phản hồi ngắn hơn hoặc giải thích rõ hơn một điều kiện, đồng thời giữ nguyên các dữ kiện nguồn.
Đối với biên tập, chỉ rõ người đọc và giọng văn, đồng thời xác định ý nghĩa phải giữ nguyên. Nhiệm vụ thực tế có thể yêu cầu tin nhắn rõ ràng hơn kèm danh sách thay đổi ngắn, hoặc chỉ tin nhắn đã chỉnh nếu sẽ được dùng trực tiếp. Nhiệm vụ phân loại nên cung cấp các nhãn được phép và điểm phân biệt giữa chúng, thay vì dựa vào tên nhãn để định nghĩa quy tắc.
Tạo mã và ví dụ
Đầu ra được tài liệu hóa cũng bao gồm mã. Cung cấp ngôn ngữ, đầu vào bắt buộc và kết quả mong đợi trước khi yêu cầu hàm. Để giải thích, đưa hàm hiện có cùng đầu vào cụ thể và hỏi những bước nào quyết định giá trị trả về. Để sửa, bao gồm lỗi quan sát được và hành vi mong muốn, giữ giao diện phải tương thích.
Đầu ra hữu ích có thể tách mã đề xuất, các giả định và đầu vào ví dụ. Ứng dụng hoặc nhà phát triển thực hiện việc biên dịch, thực thi hoặc thay đổi kho mã thực tế. Mã nguồn được viết là sản phẩm cần kiểm tra, không phải thao tác bên ngoài đã hoàn thành chỉ vì mô hình trả lại nó.
Dòng mô hình cũng hỗ trợ sử dụng đầu ra được tạo cho ví dụ tổng hợp và chưng cất. Yêu cầu văn bản xác định rõ có thể tạo các biến thể theo quy tắc được cung cấp và ở định dạng đã chỉ định. Giữ quy tắc cùng nhãn để mỗi ví dụ có thể được kiểm tra; ví dụ được tạo không tự xác lập tính đúng đắn của tập dữ liệu huấn luyện.
Vai trò hội thoại và sử dụng công cụ
Thẻ mô hình minh họa mẫu trò chuyện với tin nhắn system và user riêng. Xác định vai trò trợ lý và yêu cầu phản hồi trong ngữ cảnh hệ thống, rồi cung cấp câu hỏi cùng tài liệu nguồn làm nhiệm vụ. Giữ các tin nhắn trước đó có liên quan khi đặt câu hỏi tiếp hoặc đưa bằng chứng mới làm thay đổi kết quả.
Llama 3.1 tài liệu hóa nhiều định dạng sử dụng công cụ. Ứng dụng mô tả hàm, mô hình tạo lệnh gọi đề xuất cùng đối số, ứng dụng thực thi và trả kết quả với vai trò tool. Câu trả lời tiếp theo khi đó có thể dùng thông tin được trả về. Giữ thao tác gốc và kết quả liên kết xuyên suốt hội thoại.
Chẳng hạn, thao tác tra cứu có thể trả lại giá trị tham khảo hiện tại còn thiếu trong đoạn văn, hoặc công cụ tính toán có thể cung cấp kết quả số cần cho phần giải thích. Trợ lý có công cụ cần môi trường cung cấp các thao tác đó. Hành vi văn bản của mô hình tự nó không tạo kết nối tới nguồn bên ngoài hoặc hoàn tất tác động phụ.
Ranh giới thực tế
Nhãn ngữ cảnh 128k của nhà sản xuất cần được giữ cùng đúng bản phát hành 8B Instruct và cấu hình áp dụng. Ví dụ tạo 256 token chỉ là lựa chọn sử dụng; các nguồn đã đọc không nêu giới hạn cứng riêng về dung lượng câu trả lời tối đa. Quy mô 8B không nên kế thừa số tham số của thành viên khác hoặc các điều khiển suy luận mang tên riêng của dòng khác.
Đây là mô hình chỉ văn bản. Đầu vào trực quan, hiểu âm thanh và tạo giọng nói cần các thành phần được quy định riêng. Xác định sản phẩm cuối trước khi cung cấp tài liệu: phản hồi ngắn gọn, bản ghi trích xuất, đoạn văn chỉnh sửa, phần giải thích hoặc đề xuất mã. Giữ thông tin nguồn cần thiết để kiểm tra ý nghĩa và định dạng của sản phẩm đó.
POST /v1/messagestextjson, sse| Trường | Loại | Yêu cầu | Giá trị & giới hạn | Mặc định |
|---|---|---|---|---|
Trườngmodel | Loạistring | Yêu cầuBắt buộc | Giá trị & giới hạn meta-llama/llama-3.1-8b-instruct | Mặc định— |
Trườngmessages | Loạimessage[] | Yêu cầuBắt buộc | Giá trị & giới hạn | Mặc định— |
Trườngmessages[].role | Loạistring | Yêu cầuBắt buộc | Giá trị & giới hạn user, assistant | Mặc định— |
Trườngmessages[].content | Loạistring | Yêu cầuBắt buộc | Giá trị & giới hạn | Mặc định— |
Trườngmax_tokens | Loạiinteger | Yêu cầuBắt buộc | Giá trị & giới hạn | Mặc định— |
Trườngstream | Loạiboolean | Yêu cầuKhông bắt buộc | Giá trị & giới hạn | Mặc địnhfalse |
Văn bản · Văn bản UTF-8
Chuỗi messages[].content
| Tham số | Hợp đồng |
|---|---|
Tham sốcontent_type | Hợp đồngapplication/json |
Tham sốrequired | Hợp đồngmodel, messages, max_tokens |
Tham sốoptional_controls | Hợp đồngstream |
Tham sốmaterial_types | Hợp đồngtext |
Tham sốtext_file_material | Hợp đồngĐọc tài liệu UTF-8 thực tế và đặt nội dung văn bản vào chuỗi đầu vào hoặc nội dung thông điệp được chỉ định. |
Vòng đời: synchronous_or_streamed
Thông tin biểu giá không bổ sung tùy chọn yêu cầu. Các tham số được hỗ trợ nằm trong phương thức đã chọn.
Đối chiếu từng khoản phí với điều kiện hiển thị. Dùng một mức phí cho mỗi nhóm cấu hình thay thế.
| Cấu hình | Biểu mức phí | Token ngữ cảnh, lớn hơn | Token ngữ cảnh, tối đa và bao gồm | Phí |
|---|---|---|---|---|
| Cấu hìnhGiá cơ sở cho token | Biểu mức phíMức phí cơ bản | Token ngữ cảnh, lớn hơn— | Token ngữ cảnh, tối đa và bao gồmKhông có giới hạn trên | Phí Đầu vào · Token đầu vào $0.00044 / 1K token Đầu ra · Token đầu ra $0.00044 / 1K token Đầu vào · Đọc bộ nhớ đệm $0.00044 / 1K token Đầu vào · Ghi bộ nhớ đệm — / 1K token Đầu vào · Ghi bộ nhớ đệm, 1 giờ — / 1K token |
| Cấu hìnhBậc 1 theo độ dài yêu cầu | Biểu mức phí— | Token ngữ cảnh, lớn hơn0 | Token ngữ cảnh, tối đa và bao gồmKhông có giới hạn trên | Phí Đầu vào · Token đầu vào $0.00044 / 1K token Đầu ra · Token đầu ra $0.00044 / 1K token Đầu vào · Đọc bộ nhớ đệm $0.00044 / 1K token Đầu vào · Ghi bộ nhớ đệm — / 1K token Đầu vào · Ghi bộ nhớ đệm, 1 giờ — / 1K token |
Ailoot tạm giữ một khoản ước tính trước yêu cầu. Sau khi có kết quả, phí cuối cùng được quyết toán theo mức sử dụng đo được. Việc quyết toán khi truyền luồng dùng bản ghi mức sử dụng cuối cùng. Cách hoạt động của cơ chế tạm giữ và quyết toán →
{\n "model": "meta-llama/llama-3.1-8b-instruct",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'meta-llama/llama-3.1-8b-instruct', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'meta-llama/llama-3.1-8b-instruct', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON hoặc SSE
Lưu mọi phản hồi hoàn chỉnh, tệp và phần nội dung được trả về.
Giữ mọi khối nội dung, chữ ký suy nghĩ và ID sử dụng công cụ thực tế. Ghép tất cả các phần thay đổi của khối SSE; khối văn bản đầu tiên không phải toàn bộ đầu ra.
Giữ ID và header của yêu cầu, phản hồi. Không cung cấp URL chung để truy xuất tác vụ văn bản.
| Trường | Loại |
|---|---|
Trườngid | Loạistring |
Trườngmodel | Loạistring |
Trườngcontent[] | Loạitext|thinking|tool_use|other content block |
Trườngstop_reason | Loạistring|null |
Trườngusage | Loạiobject |
| Phản hồi | Điều kiện | Bước tiếp theo |
|---|---|---|
Phản hồi400 · invalid_request_error | Điều kiệnTrường bắt buộc, cách biểu diễn tài liệu hoặc giá trị tham số không hợp lệ | Bước tiếp theoSửa các trường được chỉ ra trước khi gửi yêu cầu tạo mới. |
Ailoot Ultra meta-llama/llama-3.1-8b-instruct
Dùng các đường dẫn phương thức hiển thị ở trên.
Ví dụ kỹ thuật bằng tiếng Anh
Translate a delivery notice into German\n\nTranslate this customer notice into German: 'Order BN-42 will leave our warehouse on Thursday. Delivery normally takes three business days. We will send tracking details after dispatch.' Preserve BN-42, distinguish dispatch from delivery and use a polite professional tone. Return only the translation; do not turn the normal transit time into a guaranteed arrival date.One German customer notice preserving the identifier, event sequence and qualified transit time.The translation distinguishes warehouse dispatch from delivery and retains the word's sense of a normal estimate.