Hermes 3 Llama 3.1 70B là phiên bản mô hình ngôn ngữ đa dụng 70B của Nous Research trong dòng Hermes 3. Mô hình nhận văn bản và tạo phản hồi, đoạn viết, mã, bản ghi có cấu trúc hoặc lời gọi công cụ đề xuất. Nhà sản xuất nhấn mạnh khả năng người dùng điều hướng, suy luận, nhập vai, đối thoại nhiều lượt và tính nhất quán ngữ cảnh dài, cùng gọi hàm và tạo mã được cải thiện.
Chỉ dẫn hệ thống có thể xác định vai trò, quy tắc, phong cách và yêu cầu đầu ra. Với nhập vai, hãy cung cấp bối cảnh, góc nhìn và ranh giới nhân vật; với nhiệm vụ phân tích, hãy cung cấp đoạn nguồn và tiêu chí kết luận. Bản yêu cầu hữu ích là: “Giải thích khác biệt giữa các yêu cầu này, giữ tên kỹ thuật và xác định đoạn văn hỗ trợ từng phát hiện.”
Với lập trình, hãy cung cấp triển khai liên quan, lỗi quan sát được, hành vi mong đợi và giao diện phải ổn định. Yêu cầu sản phẩm mã đề xuất cùng giải thích, rồi dùng quan sát xác minh thực tế khi cần sửa. Khả năng điều hướng của mô hình giúp định hình phản hồi, nhưng bản yêu cầu vẫn phải xác định kết quả hữu ích.
Hermes 3 dùng ChatML với lượt system, user và assistant riêng cùng ranh giới rõ ràng. Nhà sản xuất khuyến nghị định dạng hội thoại qua mẫu riêng của mô hình và thêm lời nhắc bắt đầu phần sinh của trợ lý. Thông điệp hệ thống là tùy chọn; khi dùng, nó cần mô tả ngữ cảnh tác vụ và hành vi mong muốn thay vì thay thế yêu cầu thực tế của người dùng.
Giữ lịch sử đối thoại trong đúng vai trò. Với tác vụ viết tiếp tục, hãy giữ dữ kiện đã xác lập và nói cho mô hình đoạn nào có thể thay đổi. Với công việc nguồn, hãy xác định tài liệu là bằng chứng và tách nó khỏi chỉ dẫn. Điều này giúp phản hồi về sau giữ ràng buộc tác vụ mà không nhầm văn bản trích dẫn với lệnh mới.
Thẻ cụ thể huấn luyện sử dụng hàm với cách biểu diễn hệ thống, chữ ký hàm và lược đồ tham số riêng. Mô hình trả đối tượng JSON chứa tên hàm được chọn và đối số bên trong thẻ gọi công cụ. Ứng dụng bao quanh phân tích đề xuất đó, thực hiện hàm và trả phản hồi công cụ có tên. Mô hình sau đó dùng dữ liệu trả về để tạo câu trả lời.
Xác định hàm chính xác và yêu cầu giá trị thực cho đối số thay vì giả định về hệ thống bên ngoài. Hàm tra cứu có thể cung cấp trường sản phẩm hoặc phép tính thiếu, còn câu trả lời giải thích ý nghĩa thông tin trả về. Lời gọi được tạo khác với kết quả đã thực thi; giữ quan sát cùng tác vụ.
Hermes 3 cũng mô tả chỉ dẫn hệ thống được định điều kiện bằng lược đồ cho phản hồi chỉ có JSON. Xác định các trường và kiểu dữ liệu, giải thích cách biểu diễn thông tin thiếu trong nguồn. Kiểm tra đối tượng được tạo cả về cấu trúc lẫn sự phù hợp với đầu vào. Không coi phản hồi tương thích lược đồ là bằng chứng giá trị đã được truy xuất hoặc xác minh.
Cấu hình mô hình 70B công bố có 131.072 vị trí. Văn bản nguồn, hội thoại và nội dung được tạo dùng chung ngữ cảnh của quy trình được chọn, còn kích thước tạo ví dụ không phải giới hạn câu trả lời cứng phổ quát. Dành chỗ cho kết quả và giữ đầu vào dài liên quan tới câu hỏi.
Sản phẩm hữu ích là văn bản, đề xuất mã hoặc bản ghi có cấu trúc có thể đánh giá, dựa trên ngữ cảnh được cung cấp và quan sát công cụ thực tế. Phiên bản Hermes 3 70B cụ thể này vẫn tách khỏi mô hình 405B lớn hơn cùng định dạng và điều khiển suy luận lai của Hermes 4.
", "aboutText": "Hermes 3 Llama 3.1 70B là phiên bản mô hình ngôn ngữ đa dụng 70B của Nous Research trong dòng Hermes 3. Mô hình nhận văn bản và tạo phản hồi, đoạn viết, mã, bản ghi có cấu trúc hoặc lời gọi công cụ đề xuất. Nhà sản xuất nhấn mạnh khả năng người dùng điều hướng, suy luận, nhập vai, đối thoại nhiều lượt và tính nhất quán ngữ cảnh dài, cùng gọi hàm và tạo mã được cải thiện.\n\n### Điều hướng tác vụ và phản hồi\n\nChỉ dẫn hệ thống có thể xác định vai trò, quy tắc, phong cách và yêu cầu đầu ra. Với nhập vai, hãy cung cấp bối cảnh, góc nhìn và ranh giới nhân vật; với nhiệm vụ phân tích, hãy cung cấp đoạn nguồn và tiêu chí kết luận. Bản yêu cầu hữu ích là: “Giải thích khác biệt giữa các yêu cầu này, giữ tên kỹ thuật và xác định đoạn văn hỗ trợ từng phát hiện.”\n\nVới lập trình, hãy cung cấp triển khai liên quan, lỗi quan sát được, hành vi mong đợi và giao diện phải ổn định. Yêu cầu sản phẩm mã đề xuất cùng giải thích, rồi dùng quan sát xác minh thực tế khi cần sửa. Khả năng điều hướng của mô hình giúp định hình phản hồi, nhưng bản yêu cầu vẫn phải xác định kết quả hữu ích.\n\n### Hội thoại ChatML\n\nHermes 3 dùng ChatML với lượt system, user và assistant riêng cùng ranh giới rõ ràng. Nhà sản xuất khuyến nghị định dạng hội thoại qua mẫu riêng của mô hình và thêm lời nhắc bắt đầu phần sinh của trợ lý. Thông điệp hệ thống là tùy chọn; khi dùng, nó cần mô tả ngữ cảnh tác vụ và hành vi mong muốn thay vì thay thế yêu cầu thực tế của người dùng.\n\nGiữ lịch sử đối thoại trong đúng vai trò. Với tác vụ viết tiếp tục, hãy giữ dữ kiện đã xác lập và nói cho mô hình đoạn nào có thể thay đổi. Với công việc nguồn, hãy xác định tài liệu là bằng chứng và tách nó khỏi chỉ dẫn. Điều này giúp phản hồi về sau giữ ràng buộc tác vụ mà không nhầm văn bản trích dẫn với lệnh mới.\n\n### Gọi hàm\n\nThẻ cụ thể huấn luyện sử dụng hàm với cách biểu diễn hệ thống, chữ ký hàm và lược đồ tham số riêng. Mô hình trả đối tượng JSON chứa tên hàm được chọn và đối số bên trong thẻ gọi công cụ. Ứng dụng bao quanh phân tích đề xuất đó, thực hiện hàm và trả phản hồi công cụ có tên. Mô hình sau đó dùng dữ liệu trả về để tạo câu trả lời.\n\nXác định hàm chính xác và yêu cầu giá trị thực cho đối số thay vì giả định về hệ thống bên ngoài. Hàm tra cứu có thể cung cấp trường sản phẩm hoặc phép tính thiếu, còn câu trả lời giải thích ý nghĩa thông tin trả về. Lời gọi được tạo khác với kết quả đã thực thi; giữ quan sát cùng tác vụ.\n\n### Chế độ JSON và giới hạn\n\nHermes 3 cũng mô tả chỉ dẫn hệ thống được định điều kiện bằng lược đồ cho phản hồi chỉ có JSON. Xác định các trường và kiểu dữ liệu, giải thích cách biểu diễn thông tin thiếu trong nguồn. Kiểm tra đối tượng được tạo cả về cấu trúc lẫn sự phù hợp với đầu vào. Không coi phản hồi tương thích lược đồ là bằng chứng giá trị đã được truy xuất hoặc xác minh.\n\nCấu hình mô hình 70B công bố có 131.072 vị trí. Văn bản nguồn, hội thoại và nội dung được tạo dùng chung ngữ cảnh của quy trình được chọn, còn kích thước tạo ví dụ không phải giới hạn câu trả lời cứng phổ quát. Dành chỗ cho kết quả và giữ đầu vào dài liên quan tới câu hỏi.\n\nSản phẩm hữu ích là văn bản, đề xuất mã hoặc bản ghi có cấu trúc có thể đánh giá, dựa trên ngữ cảnh được cung cấp và quan sát công cụ thực tế. Phiên bản Hermes 3 70B cụ thể này vẫn tách khỏi mô hình 405B lớn hơn cùng định dạng và điều khiển suy luận lai của Hermes 4.", "editorialOverlay": { "copy_fields": { "practical_html": "Ví dụ kỹ thuật bằng tiếng Anh
Continue a constrained roleplay\n\nPlay Irena, the archivist who knows a bridge is unsafe but fears closing it will isolate the town. I play the mayor. Begin with two or three lines of dialogue that reveal the conflict through subtext. Keep Irena’s knowledge consistent and stop before choosing the mayor’s answer or actions.Two or three in-character lines, with optional short stage direction and room for the mayor’s response.Check that the safety-versus-isolation conflict is present and that the user’s character remains under user control.nousresearch/hermes-3-llama-3.1-70bHermes 3 Llama 3.1 70B là mô hình văn bản đa dụng có thể điều hướng của Nous Research, dành cho đối thoại nhiều lượt, nhập vai, mã và tác vụ tác nhân. Biến thể ChatML gồm JSON được hướng dẫn bằng lược đồ và lời gọi hàm gắn thẻ, với cấu hình công bố 131.072 vị trí.
Mô tả này trình bày khả năng của mô hình. Đầu vào, đầu ra và tùy chọn có trên Ailoot được liệt kê bên dưới cho phương thức đã chọn.
Hermes 3 Llama 3.1 70B là phiên bản mô hình ngôn ngữ đa dụng 70B của Nous Research trong dòng Hermes 3. Mô hình nhận văn bản và tạo phản hồi, đoạn viết, mã, bản ghi có cấu trúc hoặc lời gọi công cụ đề xuất. Nhà sản xuất nhấn mạnh khả năng người dùng điều hướng, suy luận, nhập vai, đối thoại nhiều lượt và tính nhất quán ngữ cảnh dài, cùng gọi hàm và tạo mã được cải thiện.
Chỉ dẫn hệ thống có thể xác định vai trò, quy tắc, phong cách và yêu cầu đầu ra. Với nhập vai, hãy cung cấp bối cảnh, góc nhìn và ranh giới nhân vật; với nhiệm vụ phân tích, hãy cung cấp đoạn nguồn và tiêu chí kết luận. Bản yêu cầu hữu ích là: “Giải thích khác biệt giữa các yêu cầu này, giữ tên kỹ thuật và xác định đoạn văn hỗ trợ từng phát hiện.”
Với lập trình, hãy cung cấp triển khai liên quan, lỗi quan sát được, hành vi mong đợi và giao diện phải ổn định. Yêu cầu sản phẩm mã đề xuất cùng giải thích, rồi dùng quan sát xác minh thực tế khi cần sửa. Khả năng điều hướng của mô hình giúp định hình phản hồi, nhưng bản yêu cầu vẫn phải xác định kết quả hữu ích.
Hermes 3 dùng ChatML với lượt system, user và assistant riêng cùng ranh giới rõ ràng. Nhà sản xuất khuyến nghị định dạng hội thoại qua mẫu riêng của mô hình và thêm lời nhắc bắt đầu phần sinh của trợ lý. Thông điệp hệ thống là tùy chọn; khi dùng, nó cần mô tả ngữ cảnh tác vụ và hành vi mong muốn thay vì thay thế yêu cầu thực tế của người dùng.
Giữ lịch sử đối thoại trong đúng vai trò. Với tác vụ viết tiếp tục, hãy giữ dữ kiện đã xác lập và nói cho mô hình đoạn nào có thể thay đổi. Với công việc nguồn, hãy xác định tài liệu là bằng chứng và tách nó khỏi chỉ dẫn. Điều này giúp phản hồi về sau giữ ràng buộc tác vụ mà không nhầm văn bản trích dẫn với lệnh mới.
Thẻ cụ thể huấn luyện sử dụng hàm với cách biểu diễn hệ thống, chữ ký hàm và lược đồ tham số riêng. Mô hình trả đối tượng JSON chứa tên hàm được chọn và đối số bên trong thẻ gọi công cụ. Ứng dụng bao quanh phân tích đề xuất đó, thực hiện hàm và trả phản hồi công cụ có tên. Mô hình sau đó dùng dữ liệu trả về để tạo câu trả lời.
Xác định hàm chính xác và yêu cầu giá trị thực cho đối số thay vì giả định về hệ thống bên ngoài. Hàm tra cứu có thể cung cấp trường sản phẩm hoặc phép tính thiếu, còn câu trả lời giải thích ý nghĩa thông tin trả về. Lời gọi được tạo khác với kết quả đã thực thi; giữ quan sát cùng tác vụ.
Hermes 3 cũng mô tả chỉ dẫn hệ thống được định điều kiện bằng lược đồ cho phản hồi chỉ có JSON. Xác định các trường và kiểu dữ liệu, giải thích cách biểu diễn thông tin thiếu trong nguồn. Kiểm tra đối tượng được tạo cả về cấu trúc lẫn sự phù hợp với đầu vào. Không coi phản hồi tương thích lược đồ là bằng chứng giá trị đã được truy xuất hoặc xác minh.
Cấu hình mô hình 70B công bố có 131.072 vị trí. Văn bản nguồn, hội thoại và nội dung được tạo dùng chung ngữ cảnh của quy trình được chọn, còn kích thước tạo ví dụ không phải giới hạn câu trả lời cứng phổ quát. Dành chỗ cho kết quả và giữ đầu vào dài liên quan tới câu hỏi.
Sản phẩm hữu ích là văn bản, đề xuất mã hoặc bản ghi có cấu trúc có thể đánh giá, dựa trên ngữ cảnh được cung cấp và quan sát công cụ thực tế. Phiên bản Hermes 3 70B cụ thể này vẫn tách khỏi mô hình 405B lớn hơn cùng định dạng và điều khiển suy luận lai của Hermes 4.
POST /v1/chat/completionstexttext| Trường | Loại | Yêu cầu | Giá trị & giới hạn | Mặc định |
|---|---|---|---|---|
Trườngmodel | Loạistring | Yêu cầuBắt buộc | Giá trị & giới hạn nousresearch/hermes-3-llama-3.1-70b | Mặc định— |
Trườngmessages | Loạimessage[] | Yêu cầuBắt buộc | Giá trị & giới hạn Số mục tối thiểu: 1 | Mặc định— |
Trườngmessages[].role | Loạistring | Yêu cầuBắt buộc | Giá trị & giới hạn Ví dụ: system, user, assistant, tool, function Điều kiện: Các vai trò này được biểu diễn rõ trong các kiểu tương thích của mã nguồn; tập vai trò chính xác vẫn tùy từng mô hình. Tùy thuộc vào mô hình | Mặc định— |
Trườngmessages[].content | Loạistring|content_part[]|null | Yêu cầuKhông bắt buộc | Giá trị & giới hạn | Mặc định— |
Trườngmessages[].tool_calls | Loạitool_call[] | Yêu cầuKhông bắt buộc | Giá trị & giới hạn | Mặc định— |
Trườngmessages[].tool_call_id | Loạistring | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Áp dụng khi: role=tool; dùng ID thực tế được trả về | Mặc định— |
Trườngmessages[].name | Loạistring | Yêu cầuKhông bắt buộc | Giá trị & giới hạn | Mặc định— |
Trườngmessages[].reasoning_content | Loạistring | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Áp dụng khi: Gửi lại dữ liệu suy luận thực tế đã được trả về khi mô hình này sử dụng dữ liệu đó | Mặc định— |
Trườngmessages[].reasoning_details | Loạiobject|array | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngmax_tokens | Loạiinteger | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tối thiểu: 1 Tùy thuộc vào mô hình | Mặc định— |
Trườngmax_completion_tokens | Loạiinteger | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tối thiểu: 1 Tùy thuộc vào mô hình | Mặc định— |
Trườngstream | Loạiboolean | Yêu cầuKhông bắt buộc | Giá trị & giới hạn | Mặc địnhfalse |
Trườngstream_options.include_usage | Loạiboolean | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngtemperature | Loạinumber | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngtop_p | Loạinumber | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngstop | Loạistring|string[] | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngtools | Loạifunction_tool[] | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngtools[].type | Loạistring | Yêu cầuKhông bắt buộc | Giá trị & giới hạn function Tùy thuộc vào mô hình | Mặc định— |
Trườngtools[].function.name | Loạistring | Yêu cầuBắt buộc | Giá trị & giới hạn Áp dụng khi: Có cung cấp công cụ hàm | Mặc định— |
Trườngtools[].function.description | Loạistring | Yêu cầuKhông bắt buộc | Giá trị & giới hạn | Mặc định— |
Trườngtools[].function.parameters | LoạiJSON_schema | Yêu cầuKhông bắt buộc | Giá trị & giới hạn | Mặc định— |
Trườngtool_choice | Loạistring|object | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngparallel_tool_calls | Loạiboolean | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngresponse_format | Loạiobject | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngreasoning_effort | Loạistring | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngreasoning | Loạiobject | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngservice_tier | Loạistring | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườnginstructions | Loạistring | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Trường tương thích | Mặc định— |
Trườngfunctions | Loạifunction[] | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngfunction_call | Loạistring|object | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngprompt_cache_options | Loạiobject | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tùy thuộc vào mô hình | Mặc định— |
Trườngmodalities | Loạistring[] | Yêu cầuKhông bắt buộc | Giá trị & giới hạn text | Mặc định— |
Trườngprovider | Loạiobject | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Điều kiện: provider.options bị từ chối trên tuyến văn bản Ultra này | Mặc định— |
Trườngcache_control.ttl | Loạistring | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Điều kiện: 1h bị từ chối tại các vị trí lưu đệm prompt thực tế | Mặc định— |
Văn bản · Văn bản UTF8
messages[].content
| Tham số | Hợp đồng |
|---|---|
Tham sốcontent_type | Hợp đồngapplication/json |
Tham sốrequired | Hợp đồngmodel, messages |
Tham sốmaterial_types | Hợp đồngtext |
Tham sốmessages | Hợp đồngMảng thông điệp có cấu trúc role/content |
Tham sốfile_material | Hợp đồngTài liệu UTF-8 thực tế được chèn nguyên dạng văn bản; không suy ra ID tệp |
Tham sốoptional_controls | Hợp đồngstream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
Tham sốcontrol_scope | Hợp đồngTùy từng mô hình; công cụ hàm của người dùng khác với công cụ do dịch vụ cung cấp |
Tham sốoutput_modalities | Hợp đồngtext |
Tham sốhosted_operations | Hợp đồngfalse |
Tham sốmultimodal_input_binding | Hợp đồngnull |
Vòng đời: synchronous_or_streamed
Gửi ID mô hình chính xác cùng messages.
Độ dài ngữ cảnh không phải giới hạn đầu ra.
Tệp văn bản có thể cung cấp nguyên văn nội dung; đầu vào hình ảnh, âm thanh hoặc đối tượng tệp cần có liên kết chính xác.
Thông tin biểu giá không bổ sung tùy chọn yêu cầu. Các tham số được hỗ trợ nằm trong phương thức đã chọn.
Đối chiếu từng khoản phí với điều kiện hiển thị. Dùng một mức phí cho mỗi nhóm cấu hình thay thế.
| Cấu hình | Biểu mức phí | Token ngữ cảnh, lớn hơn | Token ngữ cảnh, tối đa và bao gồm | Phí |
|---|---|---|---|---|
| Cấu hìnhGiá cơ sở cho token | Biểu mức phíMức phí cơ bản | Token ngữ cảnh, lớn hơn— | Token ngữ cảnh, tối đa và bao gồmKhông có giới hạn trên | Phí Đầu vào · Token đầu vào $0.0014 / 1K token Đầu ra · Token đầu ra $0.0014 / 1K token Đầu vào · Đọc bộ nhớ đệm — / 1K token Đầu vào · Ghi bộ nhớ đệm — / 1K token Đầu vào · Ghi bộ nhớ đệm, 1 giờ — / 1K token |
| Cấu hìnhBậc 1 theo độ dài yêu cầu | Biểu mức phí— | Token ngữ cảnh, lớn hơn0 | Token ngữ cảnh, tối đa và bao gồmKhông có giới hạn trên | Phí Đầu vào · Token đầu vào $0.0014 / 1K token Đầu ra · Token đầu ra $0.0014 / 1K token Đầu vào · Đọc bộ nhớ đệm — / 1K token Đầu vào · Ghi bộ nhớ đệm — / 1K token Đầu vào · Ghi bộ nhớ đệm, 1 giờ — / 1K token |
Ailoot tạm giữ một khoản ước tính trước yêu cầu. Sau khi có kết quả, phí cuối cùng được quyết toán theo mức sử dụng đo được. Việc quyết toán khi truyền luồng dùng bản ghi mức sử dụng cuối cùng. Cách hoạt động của cơ chế tạm giữ và quyết toán →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "nousresearch/hermes-3-llama-3.1-70b", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='nousresearch/hermes-3-llama-3.1-70b',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='nousresearch/hermes-3-llama-3.1-70b',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson hoặc SSE
Lưu mọi phản hồi hoàn chỉnh, tệp và phần nội dung được trả về.
Giữ mọi phương án trả lời cùng nội dung, lệnh gọi công cụ và dữ liệu suy luận của phương án đó. Với SSE, ghép các phần thay đổi theo chỉ số phương án và công cụ, giữ lý do kết thúc cuối cùng cùng dữ liệu sử dụng.
Giữ ID và header của yêu cầu, phản hồi. Không cung cấp URL chung để truy xuất tác vụ văn bản.
| Trường | Loại |
|---|---|
Trườngchoices[].index | Loạiinteger |
Trườngchoices[].message.content | Loạistring|null |
Trườngchoices[].message.tool_calls | Loạitool_call[] |
Trườngchoices[].message.reasoning_content | Loạistring |
Trườngchoices[].message.reasoning_details | Loạiobject|array |
Trườngchoices[].finish_reason | Loạistring|null |
Trườngusage | Loạiobject |
| Phản hồi | Điều kiện | Bước tiếp theo |
|---|---|---|
Phản hồi400 · invalid_request_error | Điều kiệnTrường bắt buộc, cách biểu diễn tài liệu hoặc giá trị tham số không hợp lệ | Bước tiếp theoSửa các trường được chỉ ra trước khi gửi yêu cầu tạo mới. |
Ailoot Ultra nousresearch/hermes-3-llama-3.1-70b
Dùng các đường dẫn phương thức hiển thị ở trên.
nousresearch/hermes-3-llama-3.1-70bHermes 3 Llama 3.1 70B là mô hình văn bản đa dụng có thể điều hướng của Nous Research, dành cho đối thoại nhiều lượt, nhập vai, mã và tác vụ tác nhân. Biến thể ChatML gồm JSON được hướng dẫn bằng lược đồ và lời gọi hàm gắn thẻ, với cấu hình công bố 131.072 vị trí.
Mô tả này trình bày khả năng của mô hình. Đầu vào, đầu ra và tùy chọn có trên Ailoot được liệt kê bên dưới cho phương thức đã chọn.
Hermes 3 Llama 3.1 70B là phiên bản mô hình ngôn ngữ đa dụng 70B của Nous Research trong dòng Hermes 3. Mô hình nhận văn bản và tạo phản hồi, đoạn viết, mã, bản ghi có cấu trúc hoặc lời gọi công cụ đề xuất. Nhà sản xuất nhấn mạnh khả năng người dùng điều hướng, suy luận, nhập vai, đối thoại nhiều lượt và tính nhất quán ngữ cảnh dài, cùng gọi hàm và tạo mã được cải thiện.
Chỉ dẫn hệ thống có thể xác định vai trò, quy tắc, phong cách và yêu cầu đầu ra. Với nhập vai, hãy cung cấp bối cảnh, góc nhìn và ranh giới nhân vật; với nhiệm vụ phân tích, hãy cung cấp đoạn nguồn và tiêu chí kết luận. Bản yêu cầu hữu ích là: “Giải thích khác biệt giữa các yêu cầu này, giữ tên kỹ thuật và xác định đoạn văn hỗ trợ từng phát hiện.”
Với lập trình, hãy cung cấp triển khai liên quan, lỗi quan sát được, hành vi mong đợi và giao diện phải ổn định. Yêu cầu sản phẩm mã đề xuất cùng giải thích, rồi dùng quan sát xác minh thực tế khi cần sửa. Khả năng điều hướng của mô hình giúp định hình phản hồi, nhưng bản yêu cầu vẫn phải xác định kết quả hữu ích.
Hermes 3 dùng ChatML với lượt system, user và assistant riêng cùng ranh giới rõ ràng. Nhà sản xuất khuyến nghị định dạng hội thoại qua mẫu riêng của mô hình và thêm lời nhắc bắt đầu phần sinh của trợ lý. Thông điệp hệ thống là tùy chọn; khi dùng, nó cần mô tả ngữ cảnh tác vụ và hành vi mong muốn thay vì thay thế yêu cầu thực tế của người dùng.
Giữ lịch sử đối thoại trong đúng vai trò. Với tác vụ viết tiếp tục, hãy giữ dữ kiện đã xác lập và nói cho mô hình đoạn nào có thể thay đổi. Với công việc nguồn, hãy xác định tài liệu là bằng chứng và tách nó khỏi chỉ dẫn. Điều này giúp phản hồi về sau giữ ràng buộc tác vụ mà không nhầm văn bản trích dẫn với lệnh mới.
Thẻ cụ thể huấn luyện sử dụng hàm với cách biểu diễn hệ thống, chữ ký hàm và lược đồ tham số riêng. Mô hình trả đối tượng JSON chứa tên hàm được chọn và đối số bên trong thẻ gọi công cụ. Ứng dụng bao quanh phân tích đề xuất đó, thực hiện hàm và trả phản hồi công cụ có tên. Mô hình sau đó dùng dữ liệu trả về để tạo câu trả lời.
Xác định hàm chính xác và yêu cầu giá trị thực cho đối số thay vì giả định về hệ thống bên ngoài. Hàm tra cứu có thể cung cấp trường sản phẩm hoặc phép tính thiếu, còn câu trả lời giải thích ý nghĩa thông tin trả về. Lời gọi được tạo khác với kết quả đã thực thi; giữ quan sát cùng tác vụ.
Hermes 3 cũng mô tả chỉ dẫn hệ thống được định điều kiện bằng lược đồ cho phản hồi chỉ có JSON. Xác định các trường và kiểu dữ liệu, giải thích cách biểu diễn thông tin thiếu trong nguồn. Kiểm tra đối tượng được tạo cả về cấu trúc lẫn sự phù hợp với đầu vào. Không coi phản hồi tương thích lược đồ là bằng chứng giá trị đã được truy xuất hoặc xác minh.
Cấu hình mô hình 70B công bố có 131.072 vị trí. Văn bản nguồn, hội thoại và nội dung được tạo dùng chung ngữ cảnh của quy trình được chọn, còn kích thước tạo ví dụ không phải giới hạn câu trả lời cứng phổ quát. Dành chỗ cho kết quả và giữ đầu vào dài liên quan tới câu hỏi.
Sản phẩm hữu ích là văn bản, đề xuất mã hoặc bản ghi có cấu trúc có thể đánh giá, dựa trên ngữ cảnh được cung cấp và quan sát công cụ thực tế. Phiên bản Hermes 3 70B cụ thể này vẫn tách khỏi mô hình 405B lớn hơn cùng định dạng và điều khiển suy luận lai của Hermes 4.
POST /v1/messagestextjson, sse| Trường | Loại | Yêu cầu | Giá trị & giới hạn | Mặc định |
|---|---|---|---|---|
Trườngmodel | Loạistring | Yêu cầuBắt buộc | Giá trị & giới hạn nousresearch/hermes-3-llama-3.1-70b | Mặc định— |
Trườngmessages | Loạimessage[] | Yêu cầuBắt buộc | Giá trị & giới hạn | Mặc định— |
Trườngmessages[].role | Loạistring | Yêu cầuBắt buộc | Giá trị & giới hạn user, assistant | Mặc định— |
Trườngmessages[].content | Loạistring | Yêu cầuBắt buộc | Giá trị & giới hạn | Mặc định— |
Trườngmax_tokens | Loạiinteger | Yêu cầuBắt buộc | Giá trị & giới hạn | Mặc định— |
Trườngstream | Loạiboolean | Yêu cầuKhông bắt buộc | Giá trị & giới hạn | Mặc địnhfalse |
Văn bản · Văn bản UTF-8
Chuỗi messages[].content
| Tham số | Hợp đồng |
|---|---|
Tham sốcontent_type | Hợp đồngapplication/json |
Tham sốrequired | Hợp đồngmodel, messages, max_tokens |
Tham sốoptional_controls | Hợp đồngstream |
Tham sốmaterial_types | Hợp đồngtext |
Tham sốtext_file_material | Hợp đồngĐọc tài liệu UTF-8 thực tế và đặt nội dung văn bản vào chuỗi đầu vào hoặc nội dung thông điệp được chỉ định. |
Vòng đời: synchronous_or_streamed
Thông tin biểu giá không bổ sung tùy chọn yêu cầu. Các tham số được hỗ trợ nằm trong phương thức đã chọn.
Đối chiếu từng khoản phí với điều kiện hiển thị. Dùng một mức phí cho mỗi nhóm cấu hình thay thế.
| Cấu hình | Biểu mức phí | Token ngữ cảnh, lớn hơn | Token ngữ cảnh, tối đa và bao gồm | Phí |
|---|---|---|---|---|
| Cấu hìnhGiá cơ sở cho token | Biểu mức phíMức phí cơ bản | Token ngữ cảnh, lớn hơn— | Token ngữ cảnh, tối đa và bao gồmKhông có giới hạn trên | Phí Đầu vào · Token đầu vào $0.0014 / 1K token Đầu ra · Token đầu ra $0.0014 / 1K token Đầu vào · Đọc bộ nhớ đệm — / 1K token Đầu vào · Ghi bộ nhớ đệm — / 1K token Đầu vào · Ghi bộ nhớ đệm, 1 giờ — / 1K token |
| Cấu hìnhBậc 1 theo độ dài yêu cầu | Biểu mức phí— | Token ngữ cảnh, lớn hơn0 | Token ngữ cảnh, tối đa và bao gồmKhông có giới hạn trên | Phí Đầu vào · Token đầu vào $0.0014 / 1K token Đầu ra · Token đầu ra $0.0014 / 1K token Đầu vào · Đọc bộ nhớ đệm — / 1K token Đầu vào · Ghi bộ nhớ đệm — / 1K token Đầu vào · Ghi bộ nhớ đệm, 1 giờ — / 1K token |
Ailoot tạm giữ một khoản ước tính trước yêu cầu. Sau khi có kết quả, phí cuối cùng được quyết toán theo mức sử dụng đo được. Việc quyết toán khi truyền luồng dùng bản ghi mức sử dụng cuối cùng. Cách hoạt động của cơ chế tạm giữ và quyết toán →
{\n "model": "nousresearch/hermes-3-llama-3.1-70b",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'nousresearch/hermes-3-llama-3.1-70b', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'nousresearch/hermes-3-llama-3.1-70b', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON hoặc SSE
Lưu mọi phản hồi hoàn chỉnh, tệp và phần nội dung được trả về.
Giữ mọi khối nội dung, chữ ký suy nghĩ và ID sử dụng công cụ thực tế. Ghép tất cả các phần thay đổi của khối SSE; khối văn bản đầu tiên không phải toàn bộ đầu ra.
Giữ ID và header của yêu cầu, phản hồi. Không cung cấp URL chung để truy xuất tác vụ văn bản.
| Trường | Loại |
|---|---|
Trườngid | Loạistring |
Trườngmodel | Loạistring |
Trườngcontent[] | Loạitext|thinking|tool_use|other content block |
Trườngstop_reason | Loạistring|null |
Trườngusage | Loạiobject |
| Phản hồi | Điều kiện | Bước tiếp theo |
|---|---|---|
Phản hồi400 · invalid_request_error | Điều kiệnTrường bắt buộc, cách biểu diễn tài liệu hoặc giá trị tham số không hợp lệ | Bước tiếp theoSửa các trường được chỉ ra trước khi gửi yêu cầu tạo mới. |
Ailoot Ultra nousresearch/hermes-3-llama-3.1-70b
Dùng các đường dẫn phương thức hiển thị ở trên.
Ví dụ kỹ thuật bằng tiếng Anh
Continue a constrained roleplay\n\nPlay Irena, the archivist who knows a bridge is unsafe but fears closing it will isolate the town. I play the mayor. Begin with two or three lines of dialogue that reveal the conflict through subtext. Keep Irena’s knowledge consistent and stop before choosing the mayor’s answer or actions.Two or three in-character lines, with optional short stage direction and room for the mayor’s response.Check that the safety-versus-isolation conflict is present and that the user’s character remains under user control.