Llama 3.1 70B Instruct là mô hình văn bản 70 tỷ tham số của Meta, được tối ưu cho đối thoại đa ngôn ngữ và yêu cầu kiểu trợ lý. Đây là checkpoint tinh chỉnh theo chỉ dẫn trong dòng cũng gồm quy mô 8B, 405B và các mô hình tiền huấn luyện riêng. Mô hình nhận văn bản và trả lại văn bản đa ngôn ngữ hoặc mã; phiên bản 70B mang tên riêng giữ quy mô và danh tính riêng.
Thông tin mô hình và huấn luyện
Bản phát hành sử dụng kiến trúc Transformer tự hồi quy với grouped-query attention. Các mô hình đã tinh chỉnh được căn chỉnh bằng tinh chỉnh có giám sát và học tăng cường từ phản hồi của con người. Đây là những giai đoạn huấn luyện cho hành vi hội thoại hữu ích, không phải công tắc thời gian chạy mang tên riêng giữa chế độ suy luận và không suy luận tách biệt.
Nhà sản xuất tài liệu hóa ngữ cảnh 128k cho các mô hình văn bản và hỗ trợ chính thức tiếng Anh, Đức, Pháp, Ý, Bồ Đào Nha, Hindi, Tây Ban Nha cùng Thái. Huấn luyện bao gồm tập ngôn ngữ rộng hơn, điều đó không khiến mọi ngôn ngữ được hỗ trợ ngang nhau. Chỉ rõ ngôn ngữ đầu ra, thuật ngữ và người đọc trước khi yêu cầu sản phẩm đa ngôn ngữ.
Kho dữ liệu tiền huấn luyện của dòng được mô tả là khoảng mười lăm nghìn tỷ token, với mốc tháng 12 năm 2023. Tinh chỉnh gồm các tập dữ liệu chỉ dẫn và hơn hai mươi lăm triệu ví dụ tổng hợp. Mốc này là ranh giới dữ liệu huấn luyện; câu hỏi phụ thuộc vào thông tin mới hơn hoặc riêng tư cần được cung cấp thông tin ấy trong nhiệm vụ hoặc nhận từ nguồn được kết nối.
Trò chuyện kiểu trợ lý và phân tích nguồn
Phiên bản Instruct nhằm phản hồi yêu cầu hội thoại, trong khi phiên bản tiền huấn luyện là nền tảng có thể được điều chỉnh cho những nhiệm vụ tạo nội dung khác. Với câu trả lời dựa trên nguồn, cung cấp câu hỏi và các đoạn quyết định kết quả. Gắn nhãn nguồn và yêu cầu phần hoặc phát biểu hỗ trợ bên cạnh mỗi phát hiện.
Phép so sánh thực tế có thể cung cấp hai quy trình và yêu cầu điều kiện chung, điểm khác biệt cùng xung đột chưa giải quyết. Hướng dẫn thu được có thể giữ trình tự gốc và điều kiện áp dụng từng hành động. Nhiệm vụ biên tập tài liệu có thể chỉ rõ đối tượng đọc, dữ kiện phải giữ và sản phẩm cuối nên là chỉ đoạn văn đã sửa hay đoạn văn kèm giải thích.
Đối với câu trả lời dài hơn, nêu các phần bắt buộc và mục đích của từng phần. Ngữ cảnh lớn có thể giữ tài liệu liên quan cùng nhau trong khi kết quả cuối vẫn là ma trận hoặc phần giải thích ngắn gọn. Danh tính nguồn và câu hỏi được xác định rõ quan trọng hơn việc đơn giản đưa vào mọi tài liệu sẵn có.
Mã và ví dụ được tạo
Đầu ra được tài liệu hóa bao gồm mã. Đối với triển khai đề xuất, cung cấp ngôn ngữ, kiểu đầu vào, kết quả mong đợi và giao diện phải giữ tương thích. Bao gồm đoạn mã hiện có cùng các khai báo liên quan khi nhiệm vụ là sửa chữa. Yêu cầu mã riêng khỏi các giả định và ví dụ để bước phát triển tiếp theo có thể kiểm tra.
Để giải thích mã, cung cấp đầu vào cần truy vết và hỏi hàm đã cung cấp đạt đến giá trị trả về như thế nào. Để giải thích toán học, định nghĩa ký hiệu và giả định, đồng thời nêu kết quả cần chính xác, xấp xỉ hay chứng minh. Tạo mã và suy luận viết tự chúng không biên dịch chương trình hoặc thực thi phép tính.
Nhà sản xuất cũng xác định tạo dữ liệu tổng hợp và chưng cất là các cách dùng của dòng. Nhiệm vụ văn bản có thể yêu cầu ví dụ đa dạng ở định dạng đã chỉ định, giữ các quy tắc được cung cấp. Những ví dụ ấy có phù hợp để huấn luyện tiếp hay không là quyết định riêng của ứng dụng; chỉ đầu ra văn bản không phải kiểm chứng độc lập về tính đúng đắn của chúng.
Định dạng hội thoại và công cụ
Thẻ minh họa tin nhắn system và user riêng với mẫu trò chuyện tương ứng. Dùng chỉ dẫn hệ thống cho vai trò, giọng văn và quy tắc phản hồi bền vững, còn yêu cầu người dùng chứa vấn đề thực tế và các nguồn. Giữ những tin nhắn trước đó có liên quan khi đặt yêu cầu tiếp xây dựng trên câu trả lời trước.
Llama 3.1 hỗ trợ nhiều định dạng sử dụng công cụ được tài liệu hóa. Ứng dụng cung cấp các hàm và tham số, mô hình chuẩn bị lệnh gọi đề xuất, ứng dụng thực thi và nối kết quả vào hội thoại. Lần tạo tiếp theo có thể sử dụng kết quả đó. Ví dụ ngắn trong thẻ thể hiện rõ việc thêm lệnh gọi của trợ lý rồi đến kết quả công cụ; chọn hàm khác với hoàn tất thao tác của nó.
Đối với tra cứu, nêu thông tin cần có và định nghĩa hàm trả lại nó. Giữ giá trị trả về thực tế cùng lệnh gọi gốc trước khi yêu cầu giải thích cuối. Đối với phép tính, phân biệt thao tác mô hình đề xuất với kết quả do máy tính trả về. Định dạng công cụ nguyên bản và biểu diễn hiển thị của giao diện bọc cần giữ các quy ước được tài liệu hóa riêng.
Phiên bản và giới hạn thực tế
Thiết lập tạo 256 token trong thẻ đã đọc là ví dụ sử dụng thay vì dung lượng đầu ra tối đa được nêu độc lập. Ngữ cảnh 128k liên quan đến tài liệu và hội thoại được tạo trong bản phát hành đã cấu hình. Không thay thế bằng ngữ cảnh hoặc khả năng trực quan của Llama 4 hay quy mô của checkpoint Llama 3.1 khác.
Đây là mô hình Instruct chỉ văn bản. Hình ảnh, bản ghi hoặc video cần nội dung liên quan được chuẩn bị qua thành phần khác. Truy xuất bên ngoài, thực thi chương trình và thay đổi tệp cũng thuộc về ứng dụng kết nối với trợ lý. Giữ đúng phiên bản 70B Instruct và yêu cầu phần giải thích gắn nguồn, tài liệu chỉnh sửa, mã hoặc văn bản có cấu trúc mà nhiệm vụ cần.
", "aboutText": "Llama 3.1 70B Instruct là mô hình văn bản 70 tỷ tham số của Meta, được tối ưu cho đối thoại đa ngôn ngữ và yêu cầu kiểu trợ lý. Đây là checkpoint tinh chỉnh theo chỉ dẫn trong dòng cũng gồm quy mô 8B, 405B và các mô hình tiền huấn luyện riêng. Mô hình nhận văn bản và trả lại văn bản đa ngôn ngữ hoặc mã; phiên bản 70B mang tên riêng giữ quy mô và danh tính riêng.\n\nThông tin mô hình và huấn luyện\n\nBản phát hành sử dụng kiến trúc Transformer tự hồi quy với grouped-query attention. Các mô hình đã tinh chỉnh được căn chỉnh bằng tinh chỉnh có giám sát và học tăng cường từ phản hồi của con người. Đây là những giai đoạn huấn luyện cho hành vi hội thoại hữu ích, không phải công tắc thời gian chạy mang tên riêng giữa chế độ suy luận và không suy luận tách biệt.\n\nNhà sản xuất tài liệu hóa ngữ cảnh 128k cho các mô hình văn bản và hỗ trợ chính thức tiếng Anh, Đức, Pháp, Ý, Bồ Đào Nha, Hindi, Tây Ban Nha cùng Thái. Huấn luyện bao gồm tập ngôn ngữ rộng hơn, điều đó không khiến mọi ngôn ngữ được hỗ trợ ngang nhau. Chỉ rõ ngôn ngữ đầu ra, thuật ngữ và người đọc trước khi yêu cầu sản phẩm đa ngôn ngữ.\n\nKho dữ liệu tiền huấn luyện của dòng được mô tả là khoảng mười lăm nghìn tỷ token, với mốc tháng 12 năm 2023. Tinh chỉnh gồm các tập dữ liệu chỉ dẫn và hơn hai mươi lăm triệu ví dụ tổng hợp. Mốc này là ranh giới dữ liệu huấn luyện; câu hỏi phụ thuộc vào thông tin mới hơn hoặc riêng tư cần được cung cấp thông tin ấy trong nhiệm vụ hoặc nhận từ nguồn được kết nối.\n\nTrò chuyện kiểu trợ lý và phân tích nguồn\n\nPhiên bản Instruct nhằm phản hồi yêu cầu hội thoại, trong khi phiên bản tiền huấn luyện là nền tảng có thể được điều chỉnh cho những nhiệm vụ tạo nội dung khác. Với câu trả lời dựa trên nguồn, cung cấp câu hỏi và các đoạn quyết định kết quả. Gắn nhãn nguồn và yêu cầu phần hoặc phát biểu hỗ trợ bên cạnh mỗi phát hiện.\n\nPhép so sánh thực tế có thể cung cấp hai quy trình và yêu cầu điều kiện chung, điểm khác biệt cùng xung đột chưa giải quyết. Hướng dẫn thu được có thể giữ trình tự gốc và điều kiện áp dụng từng hành động. Nhiệm vụ biên tập tài liệu có thể chỉ rõ đối tượng đọc, dữ kiện phải giữ và sản phẩm cuối nên là chỉ đoạn văn đã sửa hay đoạn văn kèm giải thích.\n\nĐối với câu trả lời dài hơn, nêu các phần bắt buộc và mục đích của từng phần. Ngữ cảnh lớn có thể giữ tài liệu liên quan cùng nhau trong khi kết quả cuối vẫn là ma trận hoặc phần giải thích ngắn gọn. Danh tính nguồn và câu hỏi được xác định rõ quan trọng hơn việc đơn giản đưa vào mọi tài liệu sẵn có.\n\nMã và ví dụ được tạo\n\nĐầu ra được tài liệu hóa bao gồm mã. Đối với triển khai đề xuất, cung cấp ngôn ngữ, kiểu đầu vào, kết quả mong đợi và giao diện phải giữ tương thích. Bao gồm đoạn mã hiện có cùng các khai báo liên quan khi nhiệm vụ là sửa chữa. Yêu cầu mã riêng khỏi các giả định và ví dụ để bước phát triển tiếp theo có thể kiểm tra.\n\nĐể giải thích mã, cung cấp đầu vào cần truy vết và hỏi hàm đã cung cấp đạt đến giá trị trả về như thế nào. Để giải thích toán học, định nghĩa ký hiệu và giả định, đồng thời nêu kết quả cần chính xác, xấp xỉ hay chứng minh. Tạo mã và suy luận viết tự chúng không biên dịch chương trình hoặc thực thi phép tính.\n\nNhà sản xuất cũng xác định tạo dữ liệu tổng hợp và chưng cất là các cách dùng của dòng. Nhiệm vụ văn bản có thể yêu cầu ví dụ đa dạng ở định dạng đã chỉ định, giữ các quy tắc được cung cấp. Những ví dụ ấy có phù hợp để huấn luyện tiếp hay không là quyết định riêng của ứng dụng; chỉ đầu ra văn bản không phải kiểm chứng độc lập về tính đúng đắn của chúng.\n\nĐịnh dạng hội thoại và công cụ\n\nThẻ minh họa tin nhắn system và user riêng với mẫu trò chuyện tương ứng. Dùng chỉ dẫn hệ thống cho vai trò, giọng văn và quy tắc phản hồi bền vững, còn yêu cầu người dùng chứa vấn đề thực tế và các nguồn. Giữ những tin nhắn trước đó có liên quan khi đặt yêu cầu tiếp xây dựng trên câu trả lời trước.\n\nLlama 3.1 hỗ trợ nhiều định dạng sử dụng công cụ được tài liệu hóa. Ứng dụng cung cấp các hàm và tham số, mô hình chuẩn bị lệnh gọi đề xuất, ứng dụng thực thi và nối kết quả vào hội thoại. Lần tạo tiếp theo có thể sử dụng kết quả đó. Ví dụ ngắn trong thẻ thể hiện rõ việc thêm lệnh gọi của trợ lý rồi đến kết quả công cụ; chọn hàm khác với hoàn tất thao tác của nó.\n\nĐối với tra cứu, nêu thông tin cần có và định nghĩa hàm trả lại nó. Giữ giá trị trả về thực tế cùng lệnh gọi gốc trước khi yêu cầu giải thích cuối. Đối với phép tính, phân biệt thao tác mô hình đề xuất với kết quả do máy tính trả về. Định dạng công cụ nguyên bản và biểu diễn hiển thị của giao diện bọc cần giữ các quy ước được tài liệu hóa riêng.\n\nPhiên bản và giới hạn thực tế\n\nThiết lập tạo 256 token trong thẻ đã đọc là ví dụ sử dụng thay vì dung lượng đầu ra tối đa được nêu độc lập. Ngữ cảnh 128k liên quan đến tài liệu và hội thoại được tạo trong bản phát hành đã cấu hình. Không thay thế bằng ngữ cảnh hoặc khả năng trực quan của Llama 4 hay quy mô của checkpoint Llama 3.1 khác.\n\nĐây là mô hình Instruct chỉ văn bản. Hình ảnh, bản ghi hoặc video cần nội dung liên quan được chuẩn bị qua thành phần khác. Truy xuất bên ngoài, thực thi chương trình và thay đổi tệp cũng thuộc về ứng dụng kết nối với trợ lý. Giữ đúng phiên bản 70B Instruct và yêu cầu phần giải thích gắn nguồn, tài liệu chỉnh sửa, mã hoặc văn bản có cấu trúc mà nhiệm vụ cần.", "editorialOverlay": { "copy_fields": { "practical_html": "Ví dụ kỹ thuật bằng tiếng Anh
Produce a bilingual maintenance notice\n\nWrite a maintenance notice in English and Spanish from these facts: warehouse entrance B closes on Tuesday from 08:00 to 11:00; deliveries must use entrance A; pedestrian access is unchanged. Use three short sentences per language and preserve entrance letters and times. Do not add a date, delay estimate or closure of pedestrian access.Two labelled language blocks with equivalent three-sentence notices.Compare both versions for entrance A/B, Tuesday, the time range and unchanged pedestrian access.meta-llama/llama-3.1-70b-instructLlama 3.1 70B Instruct là mô hình văn bản của Meta dành cho đối thoại đa ngôn ngữ, suy luận tài liệu và mã. Bản phát hành 70B tinh chỉnh theo chỉ dẫn sử dụng grouped-query attention, ngữ cảnh 128k do nhà sản xuất công bố và định dạng hội thoại gọi công cụ được tài liệu hóa, với đầu ra văn bản cùng mã.
Mô tả này trình bày khả năng của mô hình. Đầu vào, đầu ra và tùy chọn có trên Ailoot được liệt kê bên dưới cho phương thức đã chọn.
Llama 3.1 70B Instruct là mô hình văn bản 70 tỷ tham số của Meta, được tối ưu cho đối thoại đa ngôn ngữ và yêu cầu kiểu trợ lý. Đây là checkpoint tinh chỉnh theo chỉ dẫn trong dòng cũng gồm quy mô 8B, 405B và các mô hình tiền huấn luyện riêng. Mô hình nhận văn bản và trả lại văn bản đa ngôn ngữ hoặc mã; phiên bản 70B mang tên riêng giữ quy mô và danh tính riêng.
Thông tin mô hình và huấn luyện
Bản phát hành sử dụng kiến trúc Transformer tự hồi quy với grouped-query attention. Các mô hình đã tinh chỉnh được căn chỉnh bằng tinh chỉnh có giám sát và học tăng cường từ phản hồi của con người. Đây là những giai đoạn huấn luyện cho hành vi hội thoại hữu ích, không phải công tắc thời gian chạy mang tên riêng giữa chế độ suy luận và không suy luận tách biệt.
Nhà sản xuất tài liệu hóa ngữ cảnh 128k cho các mô hình văn bản và hỗ trợ chính thức tiếng Anh, Đức, Pháp, Ý, Bồ Đào Nha, Hindi, Tây Ban Nha cùng Thái. Huấn luyện bao gồm tập ngôn ngữ rộng hơn, điều đó không khiến mọi ngôn ngữ được hỗ trợ ngang nhau. Chỉ rõ ngôn ngữ đầu ra, thuật ngữ và người đọc trước khi yêu cầu sản phẩm đa ngôn ngữ.
Kho dữ liệu tiền huấn luyện của dòng được mô tả là khoảng mười lăm nghìn tỷ token, với mốc tháng 12 năm 2023. Tinh chỉnh gồm các tập dữ liệu chỉ dẫn và hơn hai mươi lăm triệu ví dụ tổng hợp. Mốc này là ranh giới dữ liệu huấn luyện; câu hỏi phụ thuộc vào thông tin mới hơn hoặc riêng tư cần được cung cấp thông tin ấy trong nhiệm vụ hoặc nhận từ nguồn được kết nối.
Trò chuyện kiểu trợ lý và phân tích nguồn
Phiên bản Instruct nhằm phản hồi yêu cầu hội thoại, trong khi phiên bản tiền huấn luyện là nền tảng có thể được điều chỉnh cho những nhiệm vụ tạo nội dung khác. Với câu trả lời dựa trên nguồn, cung cấp câu hỏi và các đoạn quyết định kết quả. Gắn nhãn nguồn và yêu cầu phần hoặc phát biểu hỗ trợ bên cạnh mỗi phát hiện.
Phép so sánh thực tế có thể cung cấp hai quy trình và yêu cầu điều kiện chung, điểm khác biệt cùng xung đột chưa giải quyết. Hướng dẫn thu được có thể giữ trình tự gốc và điều kiện áp dụng từng hành động. Nhiệm vụ biên tập tài liệu có thể chỉ rõ đối tượng đọc, dữ kiện phải giữ và sản phẩm cuối nên là chỉ đoạn văn đã sửa hay đoạn văn kèm giải thích.
Đối với câu trả lời dài hơn, nêu các phần bắt buộc và mục đích của từng phần. Ngữ cảnh lớn có thể giữ tài liệu liên quan cùng nhau trong khi kết quả cuối vẫn là ma trận hoặc phần giải thích ngắn gọn. Danh tính nguồn và câu hỏi được xác định rõ quan trọng hơn việc đơn giản đưa vào mọi tài liệu sẵn có.
Mã và ví dụ được tạo
Đầu ra được tài liệu hóa bao gồm mã. Đối với triển khai đề xuất, cung cấp ngôn ngữ, kiểu đầu vào, kết quả mong đợi và giao diện phải giữ tương thích. Bao gồm đoạn mã hiện có cùng các khai báo liên quan khi nhiệm vụ là sửa chữa. Yêu cầu mã riêng khỏi các giả định và ví dụ để bước phát triển tiếp theo có thể kiểm tra.
Để giải thích mã, cung cấp đầu vào cần truy vết và hỏi hàm đã cung cấp đạt đến giá trị trả về như thế nào. Để giải thích toán học, định nghĩa ký hiệu và giả định, đồng thời nêu kết quả cần chính xác, xấp xỉ hay chứng minh. Tạo mã và suy luận viết tự chúng không biên dịch chương trình hoặc thực thi phép tính.
Nhà sản xuất cũng xác định tạo dữ liệu tổng hợp và chưng cất là các cách dùng của dòng. Nhiệm vụ văn bản có thể yêu cầu ví dụ đa dạng ở định dạng đã chỉ định, giữ các quy tắc được cung cấp. Những ví dụ ấy có phù hợp để huấn luyện tiếp hay không là quyết định riêng của ứng dụng; chỉ đầu ra văn bản không phải kiểm chứng độc lập về tính đúng đắn của chúng.
Định dạng hội thoại và công cụ
Thẻ minh họa tin nhắn system và user riêng với mẫu trò chuyện tương ứng. Dùng chỉ dẫn hệ thống cho vai trò, giọng văn và quy tắc phản hồi bền vững, còn yêu cầu người dùng chứa vấn đề thực tế và các nguồn. Giữ những tin nhắn trước đó có liên quan khi đặt yêu cầu tiếp xây dựng trên câu trả lời trước.
Llama 3.1 hỗ trợ nhiều định dạng sử dụng công cụ được tài liệu hóa. Ứng dụng cung cấp các hàm và tham số, mô hình chuẩn bị lệnh gọi đề xuất, ứng dụng thực thi và nối kết quả vào hội thoại. Lần tạo tiếp theo có thể sử dụng kết quả đó. Ví dụ ngắn trong thẻ thể hiện rõ việc thêm lệnh gọi của trợ lý rồi đến kết quả công cụ; chọn hàm khác với hoàn tất thao tác của nó.
Đối với tra cứu, nêu thông tin cần có và định nghĩa hàm trả lại nó. Giữ giá trị trả về thực tế cùng lệnh gọi gốc trước khi yêu cầu giải thích cuối. Đối với phép tính, phân biệt thao tác mô hình đề xuất với kết quả do máy tính trả về. Định dạng công cụ nguyên bản và biểu diễn hiển thị của giao diện bọc cần giữ các quy ước được tài liệu hóa riêng.
Phiên bản và giới hạn thực tế
Thiết lập tạo 256 token trong thẻ đã đọc là ví dụ sử dụng thay vì dung lượng đầu ra tối đa được nêu độc lập. Ngữ cảnh 128k liên quan đến tài liệu và hội thoại được tạo trong bản phát hành đã cấu hình. Không thay thế bằng ngữ cảnh hoặc khả năng trực quan của Llama 4 hay quy mô của checkpoint Llama 3.1 khác.
Đây là mô hình Instruct chỉ văn bản. Hình ảnh, bản ghi hoặc video cần nội dung liên quan được chuẩn bị qua thành phần khác. Truy xuất bên ngoài, thực thi chương trình và thay đổi tệp cũng thuộc về ứng dụng kết nối với trợ lý. Giữ đúng phiên bản 70B Instruct và yêu cầu phần giải thích gắn nguồn, tài liệu chỉnh sửa, mã hoặc văn bản có cấu trúc mà nhiệm vụ cần.
POST /v1/chat/completionstexttext| Trường | Loại | Yêu cầu | Giá trị & giới hạn | Mặc định |
|---|---|---|---|---|
Trườngmodel | Loạistring | Yêu cầuBắt buộc | Giá trị & giới hạn meta-llama/llama-3.1-70b-instruct | Mặc định— |
Trườngmessages | Loạimessage[] | Yêu cầuBắt buộc | Giá trị & giới hạn Số mục tối thiểu: 1 | Mặc định— |
Trườngmessages[].role | Loạistring | Yêu cầuBắt buộc | Giá trị & giới hạn Ví dụ: system, user, assistant, tool, function Điều kiện: Các vai trò này được biểu diễn rõ trong các kiểu tương thích của mã nguồn; tập vai trò chính xác vẫn tùy từng mô hình. Tùy thuộc vào mô hình | Mặc định— |
Trườngmessages[].content | Loạistring|content_part[]|null | Yêu cầuKhông bắt buộc | Giá trị & giới hạn | Mặc định— |
Trườngmessages[].tool_calls | Loạitool_call[] | Yêu cầuKhông bắt buộc | Giá trị & giới hạn | Mặc định— |
Trườngmessages[].tool_call_id | Loạistring | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Áp dụng khi: role=tool; dùng ID thực tế được trả về | Mặc định— |
Trườngmessages[].name | Loạistring | Yêu cầuKhông bắt buộc | Giá trị & giới hạn | Mặc định— |
Trườngmessages[].reasoning_content | Loạistring | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Áp dụng khi: Gửi lại dữ liệu suy luận thực tế đã được trả về khi mô hình này sử dụng dữ liệu đó | Mặc định— |
Trườngmessages[].reasoning_details | Loạiobject|array | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngmax_tokens | Loạiinteger | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tối thiểu: 1 Tùy thuộc vào mô hình | Mặc định— |
Trườngmax_completion_tokens | Loạiinteger | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tối thiểu: 1 Tùy thuộc vào mô hình | Mặc định— |
Trườngstream | Loạiboolean | Yêu cầuKhông bắt buộc | Giá trị & giới hạn | Mặc địnhfalse |
Trườngstream_options.include_usage | Loạiboolean | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngtemperature | Loạinumber | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngtop_p | Loạinumber | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngstop | Loạistring|string[] | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngtools | Loạifunction_tool[] | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngtools[].type | Loạistring | Yêu cầuKhông bắt buộc | Giá trị & giới hạn function Tùy thuộc vào mô hình | Mặc định— |
Trườngtools[].function.name | Loạistring | Yêu cầuBắt buộc | Giá trị & giới hạn Áp dụng khi: Có cung cấp công cụ hàm | Mặc định— |
Trườngtools[].function.description | Loạistring | Yêu cầuKhông bắt buộc | Giá trị & giới hạn | Mặc định— |
Trườngtools[].function.parameters | LoạiJSON_schema | Yêu cầuKhông bắt buộc | Giá trị & giới hạn | Mặc định— |
Trườngtool_choice | Loạistring|object | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngparallel_tool_calls | Loạiboolean | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngresponse_format | Loạiobject | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngreasoning_effort | Loạistring | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngreasoning | Loạiobject | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngservice_tier | Loạistring | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườnginstructions | Loạistring | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Trường tương thích | Mặc định— |
Trườngfunctions | Loạifunction[] | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngfunction_call | Loạistring|object | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngprompt_cache_options | Loạiobject | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngmodalities | Loạistring[] | Yêu cầuKhông bắt buộc | Giá trị & giới hạn text | Mặc định— |
Trườngprovider | Loạiobject | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Điều kiện: provider.options bị từ chối trên tuyến văn bản Ultra này | Mặc định— |
Trườngcache_control.ttl | Loạistring | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Điều kiện: 1h bị từ chối tại các vị trí lưu đệm prompt thực tế | Mặc định— |
Văn bản · Văn bản UTF8
messages[].content
| Tham số | Hợp đồng |
|---|---|
Tham sốcontent_type | Hợp đồngapplication/json |
Tham sốrequired | Hợp đồngmodel, messages |
Tham sốmaterial_types | Hợp đồngtext |
Tham sốmessages | Hợp đồngMảng thông điệp có cấu trúc role/content |
Tham sốfile_material | Hợp đồngTài liệu UTF-8 thực tế được chèn nguyên dạng văn bản; không suy ra ID tệp |
Tham sốoptional_controls | Hợp đồngstream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
Tham sốcontrol_scope | Hợp đồngTùy từng mô hình; công cụ hàm của người dùng khác với công cụ do dịch vụ cung cấp |
Tham sốoutput_modalities | Hợp đồngtext |
Tham sốhosted_operations | Hợp đồngfalse |
Tham sốmultimodal_input_binding | Hợp đồngnull |
Vòng đời: synchronous_or_streamed
Gửi ID mô hình chính xác cùng messages.
Độ dài ngữ cảnh không phải giới hạn đầu ra.
Tệp văn bản có thể cung cấp nguyên văn nội dung; đầu vào hình ảnh, âm thanh hoặc đối tượng tệp cần có liên kết chính xác.
Thông tin biểu giá không bổ sung tùy chọn yêu cầu. Các tham số được hỗ trợ nằm trong phương thức đã chọn.
Đối chiếu từng khoản phí với điều kiện hiển thị. Dùng một mức phí cho mỗi nhóm cấu hình thay thế.
| Cấu hình | Biểu mức phí | Token ngữ cảnh, lớn hơn | Token ngữ cảnh, tối đa và bao gồm | Phí |
|---|---|---|---|---|
| Cấu hìnhGiá cơ sở cho token | Biểu mức phíMức phí cơ bản | Token ngữ cảnh, lớn hơn— | Token ngữ cảnh, tối đa và bao gồmKhông có giới hạn trên | Phí Đầu vào · Token đầu vào $0.00144 / 1K token Đầu ra · Token đầu ra $0.00144 / 1K token Đầu vào · Đọc bộ nhớ đệm — / 1K token Đầu vào · Ghi bộ nhớ đệm — / 1K token Đầu vào · Ghi bộ nhớ đệm, 1 giờ — / 1K token |
| Cấu hìnhBậc 1 theo độ dài yêu cầu | Biểu mức phí— | Token ngữ cảnh, lớn hơn0 | Token ngữ cảnh, tối đa và bao gồmKhông có giới hạn trên | Phí Đầu vào · Token đầu vào $0.00144 / 1K token Đầu ra · Token đầu ra $0.00144 / 1K token Đầu vào · Đọc bộ nhớ đệm — / 1K token Đầu vào · Ghi bộ nhớ đệm — / 1K token Đầu vào · Ghi bộ nhớ đệm, 1 giờ — / 1K token |
Ailoot tạm giữ một khoản ước tính trước yêu cầu. Sau khi có kết quả, phí cuối cùng được quyết toán theo mức sử dụng đo được. Việc quyết toán khi truyền luồng dùng bản ghi mức sử dụng cuối cùng. Cách hoạt động của cơ chế tạm giữ và quyết toán →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "meta-llama/llama-3.1-70b-instruct", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='meta-llama/llama-3.1-70b-instruct',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='meta-llama/llama-3.1-70b-instruct',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson hoặc SSE
Lưu mọi phản hồi hoàn chỉnh, tệp và phần nội dung được trả về.
Giữ mọi phương án trả lời cùng nội dung, lệnh gọi công cụ và dữ liệu suy luận của phương án đó. Với SSE, ghép các phần thay đổi theo chỉ số phương án và công cụ, giữ lý do kết thúc cuối cùng cùng dữ liệu sử dụng.
Giữ ID và header của yêu cầu, phản hồi. Không cung cấp URL chung để truy xuất tác vụ văn bản.
| Trường | Loại |
|---|---|
Trườngchoices[].index | Loạiinteger |
Trườngchoices[].message.content | Loạistring|null |
Trườngchoices[].message.tool_calls | Loạitool_call[] |
Trườngchoices[].message.reasoning_content | Loạistring |
Trườngchoices[].message.reasoning_details | Loạiobject|array |
Trườngchoices[].finish_reason | Loạistring|null |
Trườngusage | Loạiobject |
| Phản hồi | Điều kiện | Bước tiếp theo |
|---|---|---|
Phản hồi400 · invalid_request_error | Điều kiệnTrường bắt buộc, cách biểu diễn tài liệu hoặc giá trị tham số không hợp lệ | Bước tiếp theoSửa các trường được chỉ ra trước khi gửi yêu cầu tạo mới. |
Ailoot Ultra meta-llama/llama-3.1-70b-instruct
Dùng các đường dẫn phương thức hiển thị ở trên.
meta-llama/llama-3.1-70b-instructLlama 3.1 70B Instruct là mô hình văn bản của Meta dành cho đối thoại đa ngôn ngữ, suy luận tài liệu và mã. Bản phát hành 70B tinh chỉnh theo chỉ dẫn sử dụng grouped-query attention, ngữ cảnh 128k do nhà sản xuất công bố và định dạng hội thoại gọi công cụ được tài liệu hóa, với đầu ra văn bản cùng mã.
Mô tả này trình bày khả năng của mô hình. Đầu vào, đầu ra và tùy chọn có trên Ailoot được liệt kê bên dưới cho phương thức đã chọn.
Llama 3.1 70B Instruct là mô hình văn bản 70 tỷ tham số của Meta, được tối ưu cho đối thoại đa ngôn ngữ và yêu cầu kiểu trợ lý. Đây là checkpoint tinh chỉnh theo chỉ dẫn trong dòng cũng gồm quy mô 8B, 405B và các mô hình tiền huấn luyện riêng. Mô hình nhận văn bản và trả lại văn bản đa ngôn ngữ hoặc mã; phiên bản 70B mang tên riêng giữ quy mô và danh tính riêng.
Thông tin mô hình và huấn luyện
Bản phát hành sử dụng kiến trúc Transformer tự hồi quy với grouped-query attention. Các mô hình đã tinh chỉnh được căn chỉnh bằng tinh chỉnh có giám sát và học tăng cường từ phản hồi của con người. Đây là những giai đoạn huấn luyện cho hành vi hội thoại hữu ích, không phải công tắc thời gian chạy mang tên riêng giữa chế độ suy luận và không suy luận tách biệt.
Nhà sản xuất tài liệu hóa ngữ cảnh 128k cho các mô hình văn bản và hỗ trợ chính thức tiếng Anh, Đức, Pháp, Ý, Bồ Đào Nha, Hindi, Tây Ban Nha cùng Thái. Huấn luyện bao gồm tập ngôn ngữ rộng hơn, điều đó không khiến mọi ngôn ngữ được hỗ trợ ngang nhau. Chỉ rõ ngôn ngữ đầu ra, thuật ngữ và người đọc trước khi yêu cầu sản phẩm đa ngôn ngữ.
Kho dữ liệu tiền huấn luyện của dòng được mô tả là khoảng mười lăm nghìn tỷ token, với mốc tháng 12 năm 2023. Tinh chỉnh gồm các tập dữ liệu chỉ dẫn và hơn hai mươi lăm triệu ví dụ tổng hợp. Mốc này là ranh giới dữ liệu huấn luyện; câu hỏi phụ thuộc vào thông tin mới hơn hoặc riêng tư cần được cung cấp thông tin ấy trong nhiệm vụ hoặc nhận từ nguồn được kết nối.
Trò chuyện kiểu trợ lý và phân tích nguồn
Phiên bản Instruct nhằm phản hồi yêu cầu hội thoại, trong khi phiên bản tiền huấn luyện là nền tảng có thể được điều chỉnh cho những nhiệm vụ tạo nội dung khác. Với câu trả lời dựa trên nguồn, cung cấp câu hỏi và các đoạn quyết định kết quả. Gắn nhãn nguồn và yêu cầu phần hoặc phát biểu hỗ trợ bên cạnh mỗi phát hiện.
Phép so sánh thực tế có thể cung cấp hai quy trình và yêu cầu điều kiện chung, điểm khác biệt cùng xung đột chưa giải quyết. Hướng dẫn thu được có thể giữ trình tự gốc và điều kiện áp dụng từng hành động. Nhiệm vụ biên tập tài liệu có thể chỉ rõ đối tượng đọc, dữ kiện phải giữ và sản phẩm cuối nên là chỉ đoạn văn đã sửa hay đoạn văn kèm giải thích.
Đối với câu trả lời dài hơn, nêu các phần bắt buộc và mục đích của từng phần. Ngữ cảnh lớn có thể giữ tài liệu liên quan cùng nhau trong khi kết quả cuối vẫn là ma trận hoặc phần giải thích ngắn gọn. Danh tính nguồn và câu hỏi được xác định rõ quan trọng hơn việc đơn giản đưa vào mọi tài liệu sẵn có.
Mã và ví dụ được tạo
Đầu ra được tài liệu hóa bao gồm mã. Đối với triển khai đề xuất, cung cấp ngôn ngữ, kiểu đầu vào, kết quả mong đợi và giao diện phải giữ tương thích. Bao gồm đoạn mã hiện có cùng các khai báo liên quan khi nhiệm vụ là sửa chữa. Yêu cầu mã riêng khỏi các giả định và ví dụ để bước phát triển tiếp theo có thể kiểm tra.
Để giải thích mã, cung cấp đầu vào cần truy vết và hỏi hàm đã cung cấp đạt đến giá trị trả về như thế nào. Để giải thích toán học, định nghĩa ký hiệu và giả định, đồng thời nêu kết quả cần chính xác, xấp xỉ hay chứng minh. Tạo mã và suy luận viết tự chúng không biên dịch chương trình hoặc thực thi phép tính.
Nhà sản xuất cũng xác định tạo dữ liệu tổng hợp và chưng cất là các cách dùng của dòng. Nhiệm vụ văn bản có thể yêu cầu ví dụ đa dạng ở định dạng đã chỉ định, giữ các quy tắc được cung cấp. Những ví dụ ấy có phù hợp để huấn luyện tiếp hay không là quyết định riêng của ứng dụng; chỉ đầu ra văn bản không phải kiểm chứng độc lập về tính đúng đắn của chúng.
Định dạng hội thoại và công cụ
Thẻ minh họa tin nhắn system và user riêng với mẫu trò chuyện tương ứng. Dùng chỉ dẫn hệ thống cho vai trò, giọng văn và quy tắc phản hồi bền vững, còn yêu cầu người dùng chứa vấn đề thực tế và các nguồn. Giữ những tin nhắn trước đó có liên quan khi đặt yêu cầu tiếp xây dựng trên câu trả lời trước.
Llama 3.1 hỗ trợ nhiều định dạng sử dụng công cụ được tài liệu hóa. Ứng dụng cung cấp các hàm và tham số, mô hình chuẩn bị lệnh gọi đề xuất, ứng dụng thực thi và nối kết quả vào hội thoại. Lần tạo tiếp theo có thể sử dụng kết quả đó. Ví dụ ngắn trong thẻ thể hiện rõ việc thêm lệnh gọi của trợ lý rồi đến kết quả công cụ; chọn hàm khác với hoàn tất thao tác của nó.
Đối với tra cứu, nêu thông tin cần có và định nghĩa hàm trả lại nó. Giữ giá trị trả về thực tế cùng lệnh gọi gốc trước khi yêu cầu giải thích cuối. Đối với phép tính, phân biệt thao tác mô hình đề xuất với kết quả do máy tính trả về. Định dạng công cụ nguyên bản và biểu diễn hiển thị của giao diện bọc cần giữ các quy ước được tài liệu hóa riêng.
Phiên bản và giới hạn thực tế
Thiết lập tạo 256 token trong thẻ đã đọc là ví dụ sử dụng thay vì dung lượng đầu ra tối đa được nêu độc lập. Ngữ cảnh 128k liên quan đến tài liệu và hội thoại được tạo trong bản phát hành đã cấu hình. Không thay thế bằng ngữ cảnh hoặc khả năng trực quan của Llama 4 hay quy mô của checkpoint Llama 3.1 khác.
Đây là mô hình Instruct chỉ văn bản. Hình ảnh, bản ghi hoặc video cần nội dung liên quan được chuẩn bị qua thành phần khác. Truy xuất bên ngoài, thực thi chương trình và thay đổi tệp cũng thuộc về ứng dụng kết nối với trợ lý. Giữ đúng phiên bản 70B Instruct và yêu cầu phần giải thích gắn nguồn, tài liệu chỉnh sửa, mã hoặc văn bản có cấu trúc mà nhiệm vụ cần.
POST /v1/messagestextjson, sse| Trường | Loại | Yêu cầu | Giá trị & giới hạn | Mặc định |
|---|---|---|---|---|
Trườngmodel | Loạistring | Yêu cầuBắt buộc | Giá trị & giới hạn meta-llama/llama-3.1-70b-instruct | Mặc định— |
Trườngmessages | Loạimessage[] | Yêu cầuBắt buộc | Giá trị & giới hạn | Mặc định— |
Trườngmessages[].role | Loạistring | Yêu cầuBắt buộc | Giá trị & giới hạn user, assistant | Mặc định— |
Trườngmessages[].content | Loạistring | Yêu cầuBắt buộc | Giá trị & giới hạn | Mặc định— |
Trườngmax_tokens | Loạiinteger | Yêu cầuBắt buộc | Giá trị & giới hạn | Mặc định— |
Trườngstream | Loạiboolean | Yêu cầuKhông bắt buộc | Giá trị & giới hạn | Mặc địnhfalse |
Văn bản · Văn bản UTF-8
Chuỗi messages[].content
| Tham số | Hợp đồng |
|---|---|
Tham sốcontent_type | Hợp đồngapplication/json |
Tham sốrequired | Hợp đồngmodel, messages, max_tokens |
Tham sốoptional_controls | Hợp đồngstream |
Tham sốmaterial_types | Hợp đồngtext |
Tham sốtext_file_material | Hợp đồngĐọc tài liệu UTF-8 thực tế và đặt nội dung văn bản vào chuỗi đầu vào hoặc nội dung thông điệp được chỉ định. |
Vòng đời: synchronous_or_streamed
Thông tin biểu giá không bổ sung tùy chọn yêu cầu. Các tham số được hỗ trợ nằm trong phương thức đã chọn.
Đối chiếu từng khoản phí với điều kiện hiển thị. Dùng một mức phí cho mỗi nhóm cấu hình thay thế.
| Cấu hình | Biểu mức phí | Token ngữ cảnh, lớn hơn | Token ngữ cảnh, tối đa và bao gồm | Phí |
|---|---|---|---|---|
| Cấu hìnhGiá cơ sở cho token | Biểu mức phíMức phí cơ bản | Token ngữ cảnh, lớn hơn— | Token ngữ cảnh, tối đa và bao gồmKhông có giới hạn trên | Phí Đầu vào · Token đầu vào $0.00144 / 1K token Đầu ra · Token đầu ra $0.00144 / 1K token Đầu vào · Đọc bộ nhớ đệm — / 1K token Đầu vào · Ghi bộ nhớ đệm — / 1K token Đầu vào · Ghi bộ nhớ đệm, 1 giờ — / 1K token |
| Cấu hìnhBậc 1 theo độ dài yêu cầu | Biểu mức phí— | Token ngữ cảnh, lớn hơn0 | Token ngữ cảnh, tối đa và bao gồmKhông có giới hạn trên | Phí Đầu vào · Token đầu vào $0.00144 / 1K token Đầu ra · Token đầu ra $0.00144 / 1K token Đầu vào · Đọc bộ nhớ đệm — / 1K token Đầu vào · Ghi bộ nhớ đệm — / 1K token Đầu vào · Ghi bộ nhớ đệm, 1 giờ — / 1K token |
Ailoot tạm giữ một khoản ước tính trước yêu cầu. Sau khi có kết quả, phí cuối cùng được quyết toán theo mức sử dụng đo được. Việc quyết toán khi truyền luồng dùng bản ghi mức sử dụng cuối cùng. Cách hoạt động của cơ chế tạm giữ và quyết toán →
{\n "model": "meta-llama/llama-3.1-70b-instruct",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'meta-llama/llama-3.1-70b-instruct', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'meta-llama/llama-3.1-70b-instruct', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON hoặc SSE
Lưu mọi phản hồi hoàn chỉnh, tệp và phần nội dung được trả về.
Giữ mọi khối nội dung, chữ ký suy nghĩ và ID sử dụng công cụ thực tế. Ghép tất cả các phần thay đổi của khối SSE; khối văn bản đầu tiên không phải toàn bộ đầu ra.
Giữ ID và header của yêu cầu, phản hồi. Không cung cấp URL chung để truy xuất tác vụ văn bản.
| Trường | Loại |
|---|---|
Trườngid | Loạistring |
Trườngmodel | Loạistring |
Trườngcontent[] | Loạitext|thinking|tool_use|other content block |
Trườngstop_reason | Loạistring|null |
Trườngusage | Loạiobject |
| Phản hồi | Điều kiện | Bước tiếp theo |
|---|---|---|
Phản hồi400 · invalid_request_error | Điều kiệnTrường bắt buộc, cách biểu diễn tài liệu hoặc giá trị tham số không hợp lệ | Bước tiếp theoSửa các trường được chỉ ra trước khi gửi yêu cầu tạo mới. |
Ailoot Ultra meta-llama/llama-3.1-70b-instruct
Dùng các đường dẫn phương thức hiển thị ở trên.
Ví dụ kỹ thuật bằng tiếng Anh
Produce a bilingual maintenance notice\n\nWrite a maintenance notice in English and Spanish from these facts: warehouse entrance B closes on Tuesday from 08:00 to 11:00; deliveries must use entrance A; pedestrian access is unchanged. Use three short sentences per language and preserve entrance letters and times. Do not add a date, delay estimate or closure of pedestrian access.Two labelled language blocks with equivalent three-sentence notices.Compare both versions for entrance A/B, Tuesday, the time range and unchanged pedestrian access.