Eleven v4 là mô hình chuyển văn bản thành giọng nói giàu biểu cảm của ElevenLabs cho nội dung sản xuất, lời dẫn và thể hiện nhân vật. Kiến trúc mới dùng ngữ cảnh kịch bản để định hình ai đang nói, điều gì đã xảy ra và câu tiếp theo nên nghe như thế nào. Đầu vào là kịch bản viết sẵn gắn với giọng đã chọn; đầu ra là âm thanh. Nhà sản xuất nhấn mạnh đối thoại cảm xúc, sản xuất sách nói, hoạt hình và trò chơi, cùng dự án đa ngôn ngữ là các ứng dụng điển hình.
Có thể viết chỉ dẫn vào kịch bản bằng thẻ âm thanh chèn trong văn bản. Thẻ như [laughs], [whispers] và [door slams] có thể mô tả cách thể hiện giọng, sự kiện phi ngôn ngữ hoặc âm thanh trong cảnh. Bản cập nhật v4 được công bố cải thiện việc làm theo chuỗi chỉ dẫn đó so với v3. Với khoảnh khắc kịch tính ngắn, viết chính lời cần nói và đặt tín hiệu thể hiện đúng điểm quan trọng, thay vì thêm danh sách cảm xúc không liên quan ở cuối.
Khoảng nghỉ và điểm nhấn dùng chỉ dẫn âm thanh bằng ngôn ngữ tự nhiên. ElevenLabs công bố [pause] và [long pause] cho khoảng nghỉ, cùng tín hiệu như [excited] hoặc [sighs] cho cách thể hiện. Thẻ SSML <break> bị tắt cho v4, nên kịch bản cũ dùng thẻ đó cần được chuyển sang định dạng chỉ dẫn v4. Thẻ nêu phần thể hiện dự kiến; bản thân thẻ không đặt số mili giây chính xác hoặc bảo đảm thời lượng cuối cố định.
Quy trình đối thoại của nhà sản xuất hỗ trợ nhiều người nói, cho phép cảnh có các giọng riêng và sự kiện âm thanh. Hồ sơ WebSocket đối thoại v4 hỗ trợ tối đa mười giọng được đăng ký, còn hồ sơ v4 Turbo dùng một giọng. Soạn rõ thứ tự lượt nói và giữ mỗi câu gắn với giọng dự kiến. Một cuộc trao đổi minh họa có thể đi từ câu hỏi nhỏ nhẹ, không chắc chắn đến câu trả lời tự tin rồi phản ứng nhẹ nhõm. Nội dung và chuyển biến cảm xúc cần hiểu được từ chính kịch bản. Với một người dẫn, dùng cùng độ rõ ràng để phân biệt lời dẫn với câu trích dẫn hoặc thay đổi tâm trạng.
Eleven v4 hỗ trợ hơn 90 ngôn ngữ, gồm tiếng Anh, Pháp, Đức, Nhật, Tây Ban Nha, Bồ Đào Nha và Nga. Nhà sản xuất mô tả chất lượng giọng nhất quán qua các lần đổi ngôn ngữ. Chọn giọng và phát âm phù hợp với ngôn ngữ, vùng miền của bản ghi dự kiến; cả ngôn ngữ kịch bản lẫn đặc trưng giọng đều quan trọng. Với bài học bản địa hóa, dịch câu chữ cần đọc trước rồi giữ ý nghĩa, thuật ngữ và tín hiệu thể hiện trong kịch bản mới.
Một lần tạo hỗ trợ tối đa 10.000 ký tự. Nội dung dài hơn được chuẩn bị thành nhiều lần tạo liên kết, với việc nối ngữ cảnh nhằm giữ nhịp và cách thể hiện nhất quán giữa các đoạn. Chia chương tại ranh giới câu hoặc cảnh tự nhiên và giữ ngữ cảnh quanh đó. Nhà sản xuất cũng mô tả danh tính người nói ổn định khi một câu được tạo lại. Điều này hữu ích để sửa một đoạn trong khi giữ cùng dàn nhân vật và phong cách thể hiện ở tài liệu xung quanh.
V4 hỗ trợ Instant và Professional Voice Clones trong quy trình của nhà sản xuất ElevenLabs. ElevenLabs nhấn mạnh việc hỗ trợ này quay trở lại ở v4; hướng dẫn prompt v3 nói rằng Professional Voice Clones chưa được tối ưu hoàn toàn cho v3. Instant hoặc Professional Voice Clones tạo trước khi v4 ra mắt cần được huấn luyện lại cho v4 để hoạt động hiệu quả với mô hình. Sao chép giọng tạo hoặc chuẩn bị giọng dùng cho tổng hợp; điều đó tách biệt với thao tác chuyển kịch bản được cung cấp thành lời nói. Định danh mô hình không yêu cầu một giọng mặc định duy nhất, nên chọn giọng cho người dẫn hoặc nhân vật thay vì cho rằng tên mô hình quyết định người nói.
Nhà sản xuất công bố MP3 để nghe thông thường và cung cấp nội dung truyền thông, WAV hoặc PCM cho âm thanh sản xuất không nén, cùng μ-law cho điện thoại. API điều khiển tần số lấy mẫu và tốc độ bit của định dạng đã chọn. Từ điển phát âm có thể xác định cách đọc tên, từ viết tắt và thuật ngữ kỹ thuật. V4 cũng nhận phiên âm IPA chuẩn nằm giữa dấu gạch chéo, như /IPA_transcription/, gồm dấu trọng âm cho thuật ngữ nhiều âm tiết; phát âm vẫn có thể thay đổi theo giọng và cụm lời. Chuẩn bị thuật ngữ cần thiết trước sản xuất và giữ cách đọc mong muốn nhất quán qua các lần sửa. Hồ sơ v4 của nhà sản xuất dùng thiết lập giọng Stability và Similarity; thanh trượt Style và Speed không có. Nhịp và cách thể hiện cảm xúc được hướng dẫn qua kịch bản, thẻ âm thanh.
Với yêu cầu lời dẫn thực tế, cung cấp cảnh hoàn chỉnh, giọng dự kiến, ngôn ngữ, diễn tiến cảm xúc và nơi sử dụng âm thanh. Ví dụ: “Đọc phần mở đầu điềm tĩnh, nghỉ trước phát hiện và để câu cuối nghe nhẹ nhõm; giữ sắc thái người dẫn nhất quán.” Kiểm tra phát âm, thay đổi người nói, thẻ hoặc sự kiện có thể nghe được và chuyển tiếp giữa các đoạn. Sản phẩm hữu ích là bản ghi lời nói được sản xuất gắn với kịch bản, có bản thể hiện đã chọn và chỉ dẫn cần thiết để sửa một câu cụ thể.
", "aboutText": "Eleven v4 là mô hình chuyển văn bản thành giọng nói giàu biểu cảm của ElevenLabs cho nội dung sản xuất, lời dẫn và thể hiện nhân vật. Kiến trúc mới dùng ngữ cảnh kịch bản để định hình ai đang nói, điều gì đã xảy ra và câu tiếp theo nên nghe như thế nào. Đầu vào là kịch bản viết sẵn gắn với giọng đã chọn; đầu ra là âm thanh. Nhà sản xuất nhấn mạnh đối thoại cảm xúc, sản xuất sách nói, hoạt hình và trò chơi, cùng dự án đa ngôn ngữ là các ứng dụng điển hình.\n\nCó thể viết chỉ dẫn vào kịch bản bằng thẻ âm thanh chèn trong văn bản. Thẻ như [laughs], [whispers] và [door slams] có thể mô tả cách thể hiện giọng, sự kiện phi ngôn ngữ hoặc âm thanh trong cảnh. Bản cập nhật v4 được công bố cải thiện việc làm theo chuỗi chỉ dẫn đó so với v3. Với khoảnh khắc kịch tính ngắn, viết chính lời cần nói và đặt tín hiệu thể hiện đúng điểm quan trọng, thay vì thêm danh sách cảm xúc không liên quan ở cuối.\n\nKhoảng nghỉ và điểm nhấn dùng chỉ dẫn âm thanh bằng ngôn ngữ tự nhiên. ElevenLabs công bố [pause] và [long pause] cho khoảng nghỉ, cùng tín hiệu như [excited] hoặc [sighs] cho cách thể hiện. Thẻ SSMLelevenlabs/eleven-v4Eleven v4 biến kịch bản thành giọng nói giàu biểu cảm với cách thể hiện theo ngữ cảnh, chỉ dẫn âm thanh chèn trong văn bản và sự kiện âm thanh. ElevenLabs thiết kế mô hình cho lời dẫn sản xuất, đối thoại nhân vật và âm thanh đa ngôn ngữ, với giới hạn 10.000 ký tự mỗi lần tạo.
Mô tả này trình bày khả năng của mô hình. Đầu vào, đầu ra và tùy chọn có trên Ailoot được liệt kê bên dưới cho phương thức đã chọn.
Eleven v4 là mô hình chuyển văn bản thành giọng nói giàu biểu cảm của ElevenLabs cho nội dung sản xuất, lời dẫn và thể hiện nhân vật. Kiến trúc mới dùng ngữ cảnh kịch bản để định hình ai đang nói, điều gì đã xảy ra và câu tiếp theo nên nghe như thế nào. Đầu vào là kịch bản viết sẵn gắn với giọng đã chọn; đầu ra là âm thanh. Nhà sản xuất nhấn mạnh đối thoại cảm xúc, sản xuất sách nói, hoạt hình và trò chơi, cùng dự án đa ngôn ngữ là các ứng dụng điển hình.
Có thể viết chỉ dẫn vào kịch bản bằng thẻ âm thanh chèn trong văn bản. Thẻ như [laughs], [whispers] và [door slams] có thể mô tả cách thể hiện giọng, sự kiện phi ngôn ngữ hoặc âm thanh trong cảnh. Bản cập nhật v4 được công bố cải thiện việc làm theo chuỗi chỉ dẫn đó so với v3. Với khoảnh khắc kịch tính ngắn, viết chính lời cần nói và đặt tín hiệu thể hiện đúng điểm quan trọng, thay vì thêm danh sách cảm xúc không liên quan ở cuối.
Khoảng nghỉ và điểm nhấn dùng chỉ dẫn âm thanh bằng ngôn ngữ tự nhiên. ElevenLabs công bố [pause] và [long pause] cho khoảng nghỉ, cùng tín hiệu như [excited] hoặc [sighs] cho cách thể hiện. Thẻ SSML <break> bị tắt cho v4, nên kịch bản cũ dùng thẻ đó cần được chuyển sang định dạng chỉ dẫn v4. Thẻ nêu phần thể hiện dự kiến; bản thân thẻ không đặt số mili giây chính xác hoặc bảo đảm thời lượng cuối cố định.
Quy trình đối thoại của nhà sản xuất hỗ trợ nhiều người nói, cho phép cảnh có các giọng riêng và sự kiện âm thanh. Hồ sơ WebSocket đối thoại v4 hỗ trợ tối đa mười giọng được đăng ký, còn hồ sơ v4 Turbo dùng một giọng. Soạn rõ thứ tự lượt nói và giữ mỗi câu gắn với giọng dự kiến. Một cuộc trao đổi minh họa có thể đi từ câu hỏi nhỏ nhẹ, không chắc chắn đến câu trả lời tự tin rồi phản ứng nhẹ nhõm. Nội dung và chuyển biến cảm xúc cần hiểu được từ chính kịch bản. Với một người dẫn, dùng cùng độ rõ ràng để phân biệt lời dẫn với câu trích dẫn hoặc thay đổi tâm trạng.
Eleven v4 hỗ trợ hơn 90 ngôn ngữ, gồm tiếng Anh, Pháp, Đức, Nhật, Tây Ban Nha, Bồ Đào Nha và Nga. Nhà sản xuất mô tả chất lượng giọng nhất quán qua các lần đổi ngôn ngữ. Chọn giọng và phát âm phù hợp với ngôn ngữ, vùng miền của bản ghi dự kiến; cả ngôn ngữ kịch bản lẫn đặc trưng giọng đều quan trọng. Với bài học bản địa hóa, dịch câu chữ cần đọc trước rồi giữ ý nghĩa, thuật ngữ và tín hiệu thể hiện trong kịch bản mới.
Một lần tạo hỗ trợ tối đa 10.000 ký tự. Nội dung dài hơn được chuẩn bị thành nhiều lần tạo liên kết, với việc nối ngữ cảnh nhằm giữ nhịp và cách thể hiện nhất quán giữa các đoạn. Chia chương tại ranh giới câu hoặc cảnh tự nhiên và giữ ngữ cảnh quanh đó. Nhà sản xuất cũng mô tả danh tính người nói ổn định khi một câu được tạo lại. Điều này hữu ích để sửa một đoạn trong khi giữ cùng dàn nhân vật và phong cách thể hiện ở tài liệu xung quanh.
V4 hỗ trợ Instant và Professional Voice Clones trong quy trình của nhà sản xuất ElevenLabs. ElevenLabs nhấn mạnh việc hỗ trợ này quay trở lại ở v4; hướng dẫn prompt v3 nói rằng Professional Voice Clones chưa được tối ưu hoàn toàn cho v3. Instant hoặc Professional Voice Clones tạo trước khi v4 ra mắt cần được huấn luyện lại cho v4 để hoạt động hiệu quả với mô hình. Sao chép giọng tạo hoặc chuẩn bị giọng dùng cho tổng hợp; điều đó tách biệt với thao tác chuyển kịch bản được cung cấp thành lời nói. Định danh mô hình không yêu cầu một giọng mặc định duy nhất, nên chọn giọng cho người dẫn hoặc nhân vật thay vì cho rằng tên mô hình quyết định người nói.
Nhà sản xuất công bố MP3 để nghe thông thường và cung cấp nội dung truyền thông, WAV hoặc PCM cho âm thanh sản xuất không nén, cùng μ-law cho điện thoại. API điều khiển tần số lấy mẫu và tốc độ bit của định dạng đã chọn. Từ điển phát âm có thể xác định cách đọc tên, từ viết tắt và thuật ngữ kỹ thuật. V4 cũng nhận phiên âm IPA chuẩn nằm giữa dấu gạch chéo, như /IPA_transcription/, gồm dấu trọng âm cho thuật ngữ nhiều âm tiết; phát âm vẫn có thể thay đổi theo giọng và cụm lời. Chuẩn bị thuật ngữ cần thiết trước sản xuất và giữ cách đọc mong muốn nhất quán qua các lần sửa. Hồ sơ v4 của nhà sản xuất dùng thiết lập giọng Stability và Similarity; thanh trượt Style và Speed không có. Nhịp và cách thể hiện cảm xúc được hướng dẫn qua kịch bản, thẻ âm thanh.
Với yêu cầu lời dẫn thực tế, cung cấp cảnh hoàn chỉnh, giọng dự kiến, ngôn ngữ, diễn tiến cảm xúc và nơi sử dụng âm thanh. Ví dụ: “Đọc phần mở đầu điềm tĩnh, nghỉ trước phát hiện và để câu cuối nghe nhẹ nhõm; giữ sắc thái người dẫn nhất quán.” Kiểm tra phát âm, thay đổi người nói, thẻ hoặc sự kiện có thể nghe được và chuyển tiếp giữa các đoạn. Sản phẩm hữu ích là bản ghi lời nói được sản xuất gắn với kịch bản, có bản thể hiện đã chọn và chỉ dẫn cần thiết để sửa một câu cụ thể.
POST /v1/audio/speechtextaudio| Trường | Loại | Yêu cầu | Giá trị & giới hạn | Mặc định |
|---|---|---|---|---|
Trườngmodel | Loạistring | Yêu cầuBắt buộc | Giá trị & giới hạn elevenlabs/eleven-v4 | Mặc định— |
Trườnginput | Loạistring | Yêu cầuBắt buộc | Giá trị & giới hạn Độ dài tối thiểu: 1 Độ dài tối đa: 10.000 Đơn vị: ký tự Unicode | Mặc định— |
Trườngvoice | Loạistring | Yêu cầuBắt buộc | Giá trị & giới hạn george, sarah, adam, alice, bella, bill, brian, callum, charlie, chris, daniel, eric, harry, jessica, laura, liam, lily, matilda, river, roger, will | Mặc định— |
Trườngresponse_format | Loạistring | Yêu cầuBắt buộc | Giá trị & giới hạn mp3 | Mặc định— |
text_to_speech · Bắt buộc: input
| Tham số | Hợp đồng |
|---|---|
Tham sốcontent_type | Hợp đồngapplication/json |
Tham sốrequired | Hợp đồngmodel, input, voice, response_format |
Tham sốvoice_ids | Hợp đồnggeorge, sarah, adam, alice, bella, bill, brian, callum, charlie, chris, daniel, eric, harry, jessica, laura, liam, lily, matilda, river, roger, will |
Tham sốresponse_format | Hợp đồngmp3 |
Tham sốmax_input_characters | Hợp đồng10000 |
Tham sốother_options | Hợp đồngfalse |
Tham sốinput | Hợp đồngvăn bản UTF-8 nguyên dạng; đếm ký tự Unicode mà không chuẩn hóa |
Tham sốmaterial_types | Hợp đồngtext |
Vòng đời: synchronous_result_then_owned_library
GET /v1/media/tasks/{task_id} · Giá trị task_id thực tế đã trả về hoặc bản ghi trong thư viện nội dung đa phương tiện
GET /v1/media/assets/{asset_id}/content
GET /v1/media/assets
GET /v1/media/assets/{asset_id}
Chọn giọng nói chính xác từ hồ sơ mô hình này.
Ký tự đầu vào và giây âm thanh là các đơn vị đo tính phí khác nhau.
Thông tin biểu giá không bổ sung tùy chọn yêu cầu. Các tham số được hỗ trợ nằm trong phương thức đã chọn.
Đối chiếu từng khoản phí với điều kiện hiển thị. Dùng một mức phí cho mỗi nhóm cấu hình thay thế.
| Cấu hình | Biểu mức phí | Đơn vị tính phí | Phí |
|---|---|---|---|
| Cấu hìnhGiá cơ sở cho token | Biểu mức phíMức phí cơ bản | Đơn vị tính phí— | Phí Đầu vào · Token đầu vào — / 1K token Đầu ra · Token đầu ra — / 1K token Đầu vào · Đọc bộ nhớ đệm — / 1K token Đầu vào · Ghi bộ nhớ đệm — / 1K token Đầu vào · Ghi bộ nhớ đệm, 1 giờ — / 1K token |
| Cấu hìnhKý tự đầu vào | Biểu mức phí— | Đơn vị tính phímỗi ký tự đầu vào | Phí Đầu vào · Ký tự đầu vào $0.00016 mỗi ký tự đầu vào |
Biểu tham chiếu cấp mô hình không thay đổi việc chọn phương thức, báo giá hoặc khoản phí. Khoản phí đang áp dụng dùng mức phí phương thức Ailoot đã chọn.
| Cấu hình | Điều kiện tính phí | Phí |
|---|---|---|
| Cấu hìnhElevenLabs: Eleven v4 · Cấu hình mặc định | Điều kiện tính phíCấu hình mặc định | Phí Đầu vào · Ký tự đầu vào 0,00008 US$ mỗi ký tự đầu vào |
Ailoot tạm giữ một khoản ước tính trước yêu cầu. Sau khi có kết quả, phí cuối cùng được quyết toán theo mức sử dụng đo được. Việc quyết toán khi truyền luồng dùng bản ghi mức sử dụng cuối cùng. Cách hoạt động của cơ chế tạm giữ và quyết toán →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_VOICE_ID:?Choose an accepted voice ID from this exact model profile}"\nexport AILOOT_VOICE_ID\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "elevenlabs/eleven-v4", "input": "Good afternoon! This is a short voice take."}')\nvoice=os.environ["AILOOT_VOICE_ID"]\nallowed=json.loads('["george", "sarah", "adam", "alice", "bella", "bill", "brian", "callum", "charlie", "chris", "daniel", "eric", "harry", "jessica", "laura", "liam", "lily", "matilda", "river", "roger", "will"]')\nif voice not in allowed: raise SystemExit("Choose an accepted voice ID from this exact model profile")\np["voice"]=voice\np["response_format"]="mp3"\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/audio/speech \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o speech.mp3\nmp3
GET /v1/media/tasks/{task_id}GET /v1/media/assets/{asset_id}/contentGET /v1/media/assetsGET /v1/media/assets/{asset_id}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/media/assets \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -o media-assets.json\nset -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_MEDIA_TASK_ID:?Set the actual ID returned by the response or media-library metadata}"\nexport AILOOT_MEDIA_TASK_ID\nresource_id=$(python3 -c 'import os,urllib.parse;print(urllib.parse.quote(os.environ["AILOOT_MEDIA_TASK_ID"],safe=""))')\ncurl --fail-with-body --silent --show-error "https://api.ailoot.ai/v1/media/tasks/$resource_id" \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -o media-task.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nprint(json.dumps(json.loads(Path("media-task.json").read_text())))\nPY_RESULT\nset -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_ASSET_ID:?Set the actual ID returned by the response or media-library metadata}"\nexport AILOOT_ASSET_ID\nresource_id=$(python3 -c 'import os,urllib.parse;print(urllib.parse.quote(os.environ["AILOOT_ASSET_ID"],safe=""))')\ncurl --fail-with-body --silent --show-error "https://api.ailoot.ai/v1/media/assets/$resource_id" \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -o media-asset.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nprint(json.dumps(json.loads(Path("media-asset.json").read_text())))\nPY_RESULT\nLưu mọi phản hồi hoàn chỉnh, tệp và phần nội dung được trả về.
Giữ lại toàn bộ kết quả nhị phân và các header. Nếu phản hồi ở dạng JSON hoặc chứa nhiều đầu ra, giữ lại mọi phần tử dữ liệu và tải từng tài nguyên từ URL có chữ ký thực tế.
Giữ lại operation_id/X-Client-Request-ID gốc để đối soát mà không gửi lại yêu cầu; không có tuyến truy vấn trạng thái riêng cho âm thanh.
| Trường | Loại |
|---|---|
Trườngbinary audio | Loạibytes |
Trườngresponse headers | Loạiheaders |
| Phản hồi | Điều kiện | Bước tiếp theo |
|---|---|---|
Phản hồi400 · invalid_request_error | Điều kiệnTrường bắt buộc, cách biểu diễn tài liệu hoặc giá trị tham số không hợp lệ | Bước tiếp theoSửa các trường được chỉ ra trước khi gửi yêu cầu tạo mới. |
Phản hồiserver_error | Điều kiệnPhản hồi trả về cho biết thao tác hoặc kết quả cần được kiểm tra | Bước tiếp theoGiữ lại ID thao tác/tác vụ gốc đã trả về, các header của yêu cầu và toàn bộ phản hồi; tiếp tục truy xuất thao tác gốc đó bằng các phương thức được hỗ trợ. Không gửi lại yêu cầu tạo. |
Ailoot Ultra elevenlabs/eleven-v4
Dùng các đường dẫn phương thức hiển thị ở trên.