Canopy Labs: Orpheus 3B
Το αγγλικό μοντέλο ομιλίας Orpheus 3B της Canopy Labs με λεπτομερή προσαρμογή μετατρέπει γραπτές φράσεις σε εκφραστικό ήχο. Οκτώ προκαθορισμένες φωνές και μη λεκτικές ετικέτες υποστηρίζουν αφήγηση, διάλογο και προφορικές απαντήσεις εφαρμογών.
Σχετικά με το μοντέλο
Αυτή η περιγραφή καλύπτει τις δυνατότητες του μοντέλου. Οι είσοδοι, έξοδοι και επιλογές που διατίθενται στο Ailoot παρατίθενται παρακάτω για την επιλεγμένη μέθοδο.
Το Orpheus 3B 0.1 Fine-Tuned είναι το αγγλικό μοντέλο μετατροπής κειμένου σε ομιλία της Canopy Labs για καθημερινή σύνθεση. Ανήκει στην οικογένεια Orpheus, που βασίζεται σε κορμό Llama 3B, και εστιάζει στον φυσικό επιτονισμό, στον ρυθμό και στην εκφραστική εκφορά. Η είσοδος είναι το κείμενο που πρέπει να εκφωνηθεί, με έναν επιλεγμένο ομιλητή· η έξοδος είναι ήχος ομιλίας. Ο κατασκευαστής αναφέρει επίσης κλωνοποίηση φωνής zero-shot για αυτό ακριβώς το μοντέλο με λεπτομερή προσαρμογή. Το δημοσιευμένο παράδειγμα σύνθεσης για την έκδοση με λεπτομερή προσαρμογή χρησιμοποιεί προκαθορισμένους ομιλητές, ενώ η χρήση προτροπών κειμένου και ομιλίας με εξάρτηση από αναφορά τεκμηριώνεται ξεχωριστά για την προεκπαιδευμένη έκδοση. Αυτή η έκδοση με λεπτομερή προσαρμογή είναι διαφορετική από το προεκπαιδευμένο μοντέλο και από τα πολύγλωσσα ερευνητικά μοντέλα που κυκλοφόρησαν ξεχωριστά.
Επιλέξτε ομιλητή και προετοιμάστε τη φράση
Ο κατασκευαστής αναφέρει οκτώ προκαθορισμένες αγγλικές φωνές: tara, leah, jess, leo, dan, mia, zac και zoe. Η σύμβαση προτροπής του τοποθετεί το όνομα του ομιλητή πριν από το προφορικό κείμενο, χωρισμένο με άνω και κάτω τελεία. Η ροή αναφοράς για παραγωγή ομιλίας μπορεί να προσθέσει αυτή τη μορφοποίηση όταν η φωνή παρέχεται ξεχωριστά. Επιλέξτε ομιλητή για το επιθυμητό έργο και διατηρήστε αυτή την επιλογή συνεπή μεταξύ συνδεδεμένων αποσπασμάτων.
Για μια σύντομη επεξήγηση, γράψτε την τελική αφήγηση αντί για μια οδηγία που ζητά από το μοντέλο να επινοήσει την εξήγηση. Μια χρήσιμη προφορική φράση είναι: «Choose the folder you want to share, check who can open it, and save the changes.» Για διάλογο, προετοιμάστε ρητά τη φράση κάθε ομιλητή και κρατήστε τη στίξη που βοηθά την εκφορά. Μια συντομογραφία, μια ημερομηνία ή ένα όνομα προϊόντος πρέπει να γράφεται στη μορφή που θέλετε να ακούσει ο ακροατής, ιδίως όταν η γραπτή συντομευμένη μορφή μπορεί να είναι αμφίσημη.
Εκφραστικές και μη λεκτικές ενδείξεις
Το Orpheus τεκμηριώνει τις ετικέτες <laugh>, <chuckle>, <sigh>, <cough>, <sniffle>, <groan>, <yawn> και <gasp>. Δίνουν στο κείμενο ένα ρητό μη λεκτικό συμβάν στο αντίστοιχο σημείο. Ένα σύντομο απόσπασμα συνομιλίας μπορεί να τοποθετεί ένα σιγανό γέλιο πριν από ένα ανάλαφρο σχόλιο ή έναν αναστεναγμό πριν από μια στοχαστική πρόταση. Χρησιμοποιήστε την ένδειξη εκεί όπου ταιριάζει στην εκτέλεση και κρατήστε σαφείς τις πραγματικές λέξεις της φράσης.
Αυτές είναι ενδείξεις παραγωγής ομιλίας και όχι μια γενική γλώσσα οδηγιών για επεξεργασία υπάρχουσας ηχογράφησης. Για αφήγηση voice-over, ξεκινήστε με ευανάγνωστο κείμενο και προσθέστε μόνο τα εκφραστικά συμβάντα που χρειάζεται η σκηνή. Ακούστε ολόκληρη τη φράση για να κρίνετε αν το συμβάν, η έμφαση και ο ρυθμός στηρίζουν το νόημα. Μια εργασία αφήγησης μπορεί να απαιτεί σταθερή φωνή, ενώ μια φράση χαρακτήρα μπορεί να ωφεληθεί από μια συγκεκριμένη μη λεκτική ένδειξη.
Streaming και ηχητικό αποτέλεσμα
Ο κατασκευαστής παρέχει τόσο ένα notebook χωρίς streaming όσο και ένα παράδειγμα ομιλίας σε streaming. Το streaming επιστρέφει διαδοχικά τμήματα ήχου καθώς παράγεται το απόσπασμα. Στο δημοσιευμένο παράδειγμα, αυτά τα τμήματα γράφονται σε μονοφωνικό αρχείο WAV στα 24.000 Hz με δείγματα 16 bit. Αυτές οι ρυθμίσεις αρχείου περιγράφουν τη ροή αναφοράς· το χρήσιμο αποτέλεσμα είναι μια ηχογράφηση που μπορεί να αναπαραχθεί και της οποίας οι λέξεις, ο ομιλητής και η εκφορά μπορούν να ελεγχθούν σε σχέση με το κείμενο εκφώνησης.
Για μια μεγαλύτερη αφήγηση, προετοιμάστε συνεκτικά αποσπάσματα με σαφή όρια προτάσεων και διατηρήστε ένα αντίγραφο του τελικού κειμένου δίπλα στον ήχο. Ελέγξτε την αρχή και το τέλος κάθε αποσπάσματος, την προφορά σημαντικών ονομάτων και τη μετάβαση μεταξύ γειτονικών ηχογραφήσεων. Οι οδηγίες δειγματοληψίας του κατασκευαστή ορίζουν ποινή επανάληψης τουλάχιστον 1.1 για σταθερή παραγωγή στην υλοποίηση αναφοράς του και σημειώνουν ότι οι επιλογές δειγματοληψίας μπορούν να επηρεάσουν την ταχύτητα ομιλίας. Το ρυθμισμένο μήκος μοντέλου στο παράδειγμα είναι ρύθμιση συμπερασμού και όχι καθιερωμένη μέγιστη διάρκεια αφήγησης.
Όρια μεταξύ εκδόσεων
Αυτό το προφίλ αφορά το αγγλικό μοντέλο με λεπτομερή προσαρμογή και τους τεκμηριωμένους προκαθορισμένους ομιλητές του. Το προεκπαιδευμένο μοντέλο έχει τη δική του ροή εξάρτησης από κείμενο και ομιλία· οι πολύγλωσσες εκδόσεις έχουν ομιλητές και ετικέτες ανά γλώσσα. Η επιλογή αυτής της αγγλικής έκδοσης δεν συνδυάζει αυτά τα ξεχωριστά προφίλ. Ένα πρακτικό παραδοτέο είναι ένα κείμενο εκφώνησης, μια σκόπιμα επιλεγμένη προκαθορισμένη φωνή και ήχος που έχει ελεγχθεί ως προς τη διατύπωση και την εκτέλεση που απαιτεί το έργο.
Ailoot Ultra · Σύνθεση ομιλίας POST /v1/audio/speech canopylabs/orpheus-3b-0.1-ft
canopylabs/orpheus-3b-0.1-ftΕισαγωγή
Το αγγλικό μοντέλο ομιλίας Orpheus 3B της Canopy Labs με λεπτομερή προσαρμογή μετατρέπει γραπτές φράσεις σε εκφραστικό ήχο. Οκτώ προκαθορισμένες φωνές και μη λεκτικές ετικέτες υποστηρίζουν αφήγηση, διάλογο και προφορικές απαντήσεις εφαρμογών.
- Αποδεκτές είσοδοι
- Κείμενο
- Αποτελέσματα
- Ήχος
Διαθέσιμα στο Ailoot · είσοδοι και μέθοδοι
Ailoot Ultra · Σύνθεση ομιλίας POST /v1/audio/speech
- Είσοδος
text- Έξοδος
audio- Μορφή εξόδου
- mp3
| Πεδίο | Τύπος | Απαίτηση | Τιμές και όρια | Προεπιλογή |
|---|---|---|---|---|
Πεδίοmodel | Τύποςstring | ΑπαίτησηΥποχρεωτικό | Τιμές και όρια canopylabs/orpheus-3b-0.1-ft | Προεπιλογή— |
Πεδίοinput | Τύποςstring | ΑπαίτησηΥποχρεωτικό | Τιμές και όρια Ελάχιστο μήκος: 1 Μονάδα: χαρακτήρες Unicode | Προεπιλογή— |
Πεδίοvoice | Τύποςstring | ΑπαίτησηΥποχρεωτικό | Τιμές και όρια tara, leah, jess, leo, dan, mia, zac | Προεπιλογή— |
Πεδίοresponse_format | Τύποςstring | ΑπαίτησηΥποχρεωτικό | Τιμές και όρια mp3 | Προεπιλογή— |
Συνδυασμοί υλικών εισόδου
text_to_speech · Υποχρεωτικό: input
Παράμετροι και κύκλος ζωής μεθόδου
| Παράμετρος | Σύμβαση |
|---|---|
Παράμετροςcontent_type | Σύμβασηapplication/json |
Παράμετροςrequired | Σύμβασηmodel, input, voice, response_format |
Παράμετροςvoice_ids | Σύμβασηtara, leah, jess, leo, dan, mia, zac |
Παράμετροςresponse_format | Σύμβασηmp3 |
Παράμετροςmax_input_characters | Σύμβασηnull |
Παράμετροςother_options | Σύμβασηfalse |
Παράμετροςinput | Σύμβασηακριβές κείμενο UTF-8· πλήθος χαρακτήρων Unicode χωρίς κανονικοποίηση |
Παράμετροςmaterial_types | Σύμβασηtext |
Κύκλος ζωής: synchronous_result_then_owned_library
GET /v1/media/tasks/{task_id} · Το πραγματικό task_id που επιστράφηκε ή μια εγγραφή στη βιβλιοθήκη πολυμέσων
GET /v1/media/assets/{asset_id}/content
GET /v1/media/assets
GET /v1/media/assets/{asset_id}
Επιλέξτε την ακριβή φωνή από αυτό το προφίλ μοντέλου.
Οι χαρακτήρες εισόδου και τα δευτερόλεπτα ήχου αποτελούν διαφορετικές μονάδες μέτρησης.
Τιμολόγηση
Οι τιμολογιακές αναφορές δεν προσθέτουν επιλογές αιτήματος. Οι υποστηριζόμενες παράμετροι αναφέρονται στην επιλεγμένη μέθοδο.
- Γρήγορη λειτουργία
- Δεν έχει οριστεί Όταν επιλέγεται η γρήγορη λειτουργία
- Λειτουργία flex
- Δεν έχει οριστεί Όταν επιλέγεται η λειτουργία flex
- Μέγιστη προσπάθεια συλλογισμού
- Δεν έχει οριστεί Όταν η μέγιστη προσπάθεια συλλογισμού χρησιμοποιεί την προσαρμογή default
Χρεώσεις Ailoot
Τιμές ανά διαμόρφωση
Αντιστοιχίστε κάθε χρέωση στις συνθήκες που εμφανίζονται. Χρησιμοποιήστε μία χρέωση ανά σύνολο εναλλακτικών διαμορφώσεων.
| Διαμόρφωση | Πίνακας χρεώσεων | Χρεώσιμη ποσότητα | Μονάδα τιμολόγησης | Χρέωση |
|---|---|---|---|---|
| ΔιαμόρφωσηΒασικές χρεώσεις token | Πίνακας χρεώσεωνΒασική χρέωση | Χρεώσιμη ποσότητα— | Μονάδα τιμολόγησης— | Χρέωση Είσοδος · Token εισόδου — / 1K token Έξοδος · Token εξόδου — / 1K token Είσοδος · Ανάγνωση από την κρυφή μνήμη — / 1K token Είσοδος · Εγγραφή στην κρυφή μνήμη — / 1K token Είσοδος · Εγγραφή στην κρυφή μνήμη, 1 ώρα — / 1K token |
| ΔιαμόρφωσηUltra | Πίνακας χρεώσεων— | Χρεώσιμη ποσότηταΚάθε σημείο κώδικα Unicode μετρά ως ένας χαρακτήρας, συμπεριλαμβανομένων των χαρακτήρων Han. | Μονάδα τιμολόγησηςανά 1K χαρακτήρες εισόδου | Χρέωση Είσοδος · χαρακτήρας εισόδου $0.03 ανά 1K χαρακτήρες εισόδου |
Στοιχεία τιμοκαταλόγου αναφοράς
Οι πίνακες αναφοράς του μοντέλου δεν αλλάζουν την επιλογή μεθόδου, τις εκτιμήσεις τιμής ή τις χρεώσεις. Οι εφαρμοζόμενες χρεώσεις χρησιμοποιούν τις τιμές της επιλεγμένης μεθόδου Ailoot.
Canopy Labs: Orpheus 3B
Τιμές ανά διαμόρφωση
| Διαμόρφωση | Συνθήκες χρέωσης | Χρέωση |
|---|---|---|
| ΔιαμόρφωσηCanopy Labs: Orpheus 3B · Προεπιλεγμένη διαμόρφωση | Συνθήκες χρέωσηςΠροεπιλεγμένη διαμόρφωση | Χρέωση Είσοδος · Χαρακτήρες εισόδου 0,000014 $ ανά χαρακτήρα εισόδου |
Το Ailoot δεσμεύει ένα εκτιμώμενο ποσό πριν από το αίτημα. Μετά το αποτέλεσμα, εκκαθαρίζει την τελική χρέωση βάσει της μετρημένης χρήσης. Η εκκαθάριση ροής χρησιμοποιεί την τελική καταγραφή χρήσης. Πώς λειτουργούν η δέσμευση και η εκκαθάριση →
Παραδείγματα αιτημάτων
Ailoot Ultra · Σύνθεση ομιλίας
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
: "${AILOOT_VOICE_ID:?Choose an accepted voice ID from this exact model profile}"
export AILOOT_VOICE_ID
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "canopylabs/orpheus-3b-0.1-ft", "input": "Good afternoon! This is a short voice take."}')
voice=os.environ["AILOOT_VOICE_ID"]
allowed=json.loads('["tara", "leah", "jess", "leo", "dan", "mia", "zac"]')
if voice not in allowed: raise SystemExit("Choose an accepted voice ID from this exact model profile")
p["voice"]=voice
p["response_format"]="mp3"
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/audio/speech \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o speech.mp3
Λήψη και αποθήκευση αποτελεσμάτων
Ailoot Ultra · Σύνθεση ομιλίας
mp3
GET /v1/media/tasks/{task_id}GET /v1/media/assets/{asset_id}/contentGET /v1/media/assetsGET /v1/media/assets/{asset_id}
Άλλες ανακτήσεις περιεχομένου
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/media/assets \
-H "Authorization: Bearer $AILOOT_API_KEY" -o media-assets.json
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
: "${AILOOT_MEDIA_TASK_ID:?Set the actual ID returned by the response or media-library metadata}"
export AILOOT_MEDIA_TASK_ID
resource_id=$(python3 -c 'import os,urllib.parse;print(urllib.parse.quote(os.environ["AILOOT_MEDIA_TASK_ID"],safe=""))')
curl --fail-with-body --silent --show-error "https://api.ailoot.ai/v1/media/tasks/$resource_id" \
-H "Authorization: Bearer $AILOOT_API_KEY" -o media-task.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
print(json.dumps(json.loads(Path("media-task.json").read_text())))
PY_RESULT
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
: "${AILOOT_ASSET_ID:?Set the actual ID returned by the response or media-library metadata}"
export AILOOT_ASSET_ID
resource_id=$(python3 -c 'import os,urllib.parse;print(urllib.parse.quote(os.environ["AILOOT_ASSET_ID"],safe=""))')
curl --fail-with-body --silent --show-error "https://api.ailoot.ai/v1/media/assets/$resource_id" \
-H "Authorization: Bearer $AILOOT_API_KEY" -o media-asset.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
print(json.dumps(json.loads(Path("media-asset.json").read_text())))
PY_RESULT
Διατηρήστε όλα τα ολοκληρωμένα αποτελέσματα
Διατηρήστε κάθε πλήρη απάντηση, αρχείο και τμήμα περιεχομένου που επιστρέφεται.
Διατηρήστε ολόκληρο το δυαδικό αποτέλεσμα και τις κεφαλίδες. Αν επιστραφεί JSON ή επιστραφούν πολλαπλές έξοδοι, διατηρήστε κάθε στοιχείο δεδομένων και ανακτήστε κάθε πραγματικό υπογεγραμμένο URL πόρου.
Αν χρειάζεται έλεγχος της αρχικής απάντησης
Διατηρήστε το αρχικό operation_id/X-Client-Request-ID για τη συμφωνία των εγγραφών χωρίς νέα υποβολή· δεν υπάρχει ειδική διαδρομή περιοδικού ελέγχου για τον ήχο.
Πεδία απάντησης
| Πεδίο | Τύπος |
|---|---|
Πεδίοbinary audio | Τύποςbytes |
Πεδίοresponse headers | Τύποςheaders |
Σφάλματα και επόμενα βήματα
| Απάντηση | Συνθήκη | Επόμενο βήμα |
|---|---|---|
Απάντηση400 · invalid_request_error | ΣυνθήκηΜη έγκυρα υποχρεωτικά πεδία, μη έγκυρη αναπαράσταση υλικού ή μη έγκυρη τιμή παραμέτρου | Επόμενο βήμαΔιορθώστε τα υποδεικνυόμενα πεδία πριν από νέο αίτημα δημιουργίας. |
Απάντησηserver_error | ΣυνθήκηΗ απόκριση που επιστράφηκε αναφέρει ότι η λειτουργία ή το αποτέλεσμα χρειάζεται έλεγχο | Επόμενο βήμαΔιατηρήστε το αρχικό ID της λειτουργίας/εργασίας που επιστράφηκε, τις κεφαλίδες του αιτήματος και την απόκριση· συνεχίστε με τις υποστηριζόμενες αναγνώσεις αυτής της αρχικής λειτουργίας. Μην υποβάλετε ξανά το αίτημα δημιουργίας. |
Εναλλακτικά ονόματα
Εναλλακτικά ονόματα μοντέλου
Ailoot Ultra canopylabs/orpheus-3b-0.1-ft
Εναλλακτικές διαδρομές μεθόδων
Χρησιμοποιήστε τις διαδρομές μεθόδων που εμφανίζονται παραπάνω.
Σχετικά ID μοντέλων
FAQ · Canopy Labs: Orpheus 3B
- Ποιες είσοδοι και αποτελέσματα διατίθενται;
POST /v1/audio/speech·canopylabs/orpheus-3b-0.1-ft:text→audio- Ποια πεδία χρησιμοποιεί το αίτημα;
POST /v1/audio/speech·canopylabs/orpheus-3b-0.1-ft:model,input,voice,response_format