Meta: Muse Voice Transcribe 1.0

Muse Voice Transcribe 1.0 on Metan puheentunnistusmalli saneluun, havaittuihin puheenvuoroihin ja puhujat huomioiviin litterointeihin. Se tukee kieli- ja sanastovihjeitä, kielenvaihtoa ja puheenvuorokohtaista ajoitusta, ja siinä on erilliset työnkulut tallennetulle katkelmalle ja suoralle äänelle.

Ailoot Ultra · Litterointi POST /v1/audio/transcriptions meta/muse-voice-transcribe-1.0

Tietoa mallista

Tämä kuvaus kattaa mallin ominaisuudet. Ailootissa saatavilla olevat syötteet, tulosteet ja asetukset luetellaan alla valitulle menetelmälle.

Muse Voice Transcribe 1.0 on Metan äänihavaintomalli puheen litterointiin, lausumarajojen tunnistamiseen ja puheenvuorojen kohdentamiseen puhujille. Se kuuluu Muse Spark -malliperheeseen ja yhdistää tunnistuksen, puhujien erottelun ja puheenvuoron päättymisen tunnistuksen mallin sisällä. Sen tuloksena on tunnistettu teksti sekä valitussa tilassa saatavilla olevat ajoitus- ja puhujatiedot.

Malli käsittelee ääntä 80 millisekunnin lohkoina ja päättää, jatkaako se kuuntelua vai tuottaako se tekstiä. Sen mukautuva viive antaa sen odottaa lisää ääntä, kun sanan ratkaiseminen on vaikeampaa. Tämä tuottaa osittaista tekstiä puheen saapuessa ja sitten valmiit litterointitulokset. Käsittele osittaista tulkintaa ja valmista puheenvuoroa kuuntelukokemuksen eri vaiheina.

Valitse kolmesta tilasta. Push-to-talk on oletus yhdelle hallitulle lausumalle, kuten äänikyselylle tai lyhyelle sanelulle. Endpointing antaa mallin tunnistaa puheenvuorojen rajat ja palauttaa yhden valmiin litteroinnin kutakin tunnistettua jaksoa kohti. Diarization kohdentaa tunnistetun puheen puhujatunnisteille. Se on tarkoitettu usean puhujan tallenteisiin eikä nopeimpaan äänikomentojen vuorotteluun.

Tallennetulle leikkeelle tiedostolitteroinnin työnkulku palauttaa kokonaisen litteroinnin yhdessä pyynnössä. Oletustulos on JSON, joka sisältää litteroinnin ja äänen keston sekä turns-taulukon endpointing- ja diarization-tiloissa. Kullakin puheenvuorolla voi olla tunniste, alku ja loppu millisekunteina sekä tunnistettu teksti. Puhujatunnisteet ovat mukana diarization-tilassa. Push-to-talk tuottaa kokonaisen litteroinnin ilman kyseiseen taulukkoon tunnistettuja puheenvuoroja. Valmistajan tallennetun tiedoston rajapinta voi palauttaa myös pelkkää tekstiä tai litterointitapahtumien virran. Pelkkä teksti pitää tunnistetut puheenvuorot erillisillä riveillä ja voi sisältää puhujatunnisteita. Tapahtumavirta päättyy viimeisen tapahtuman jälkeen ilman erillistä JSON-yhteenvetoa. Sen delta-osittaistila palauttaa tekstilisäyksiä, kun taas lopullinen litterointitapahtuma sisältää kokonaisen sanamuodon.

Valmistele RIFF/WAVE-tiedosto, joka sisältää 16-bittistä kokonaisluku-PCM-monoääntä taajuudella 16 tai 24 kHz. Mallin natiivitaajuus on 24 kHz, ja rajapinta hyväksyy myös 16 kHz:n taajuuden. Muunna muut säiliömuodot tai koodaukset tuettuun WAV-muotoon ennen tallenteen antamista. Tiedostolitteroinnin profiili sallii enintään 10 minuutin äänen ja enintään 32 MB:n kokoisen pyynnön rungon. Säilytä alkuperäinen tallenne ja mahdollinen muunnos palautettuun litterointiin liitettyinä myöhempää kuuntelutarkistusta varten.

Suoran äänen työnkulku käyttää raakaa etumerkillistä 16-bittistä little-endian-PCM-monoääntä taajuudella 16 tai 24 kHz suunnilleen reaaliaikaisesti tahdistettuna. Sen dokumentoitu istuntoikkuna on 60 minuuttia. Meta kuvaa yli tunnin pituista natiivia äänisyötettä; dokumentoidut tiedosto- ja live-istuntorajat pysyvät erillisinä rajapintarajoina. Valitse tallennetun tiedoston tai suoran äänen työnkulku sen mukaan, onko ääni jo valmis vai tallennetaanko sitä edelleen. Liitä eri istuntojen tulokset niiden omiin syötejaksoihin.

Muse Voice Transcribe on koulutettu yli 70 kielellä, kun taas dokumentoitu tunnistusrajapinta luettelee 25 tuettua kieltä. Näihin kuuluvat englanti, ranska, saksa, espanja, arabia, mandariinikiina, hindi, japani, korea, italia ja portugali. Se tunnistaa kielenvaihdot virkkeen sisällä tai virkkeiden välillä. Kielivihje voi nimetä äänessä odotettavat kielet, mutta se ohjaa tunnistusta eikä pakota litterointia yhdelle kielelle.

Sanastovihjeet auttavat tallenteessa tärkeiden tuotetermien, lyhenteiden, nimien tai paikkojen kanssa. Anna varsinaiset sanat ja kirjoitusasut, jotka odotat kuulevasi. Avainsanalista painottaa tunnistusta takaamatta täsmällistä kirjoitusasua, joten tarkista ratkaisevat termit ääntä vasten. Kielivihjeet ja avainsanat valitaan litteroinnin alussa. Pidä ne tallenteeseen sopivina sen sijaan, että muuttaisit niiden merkitystä istunnon aikana.

Malli tukee puhujien erottelua keskusteluissa, joissa on yli 20 puhujaa. Tunnisteet kuten A ja B yksilöivät puhujat yhden litteroinnin sisällä. Ne eivät ole varmistettuja nimiä eivätkä osoita, että tunniste viittaa samaan henkilöön toisessa istunnossa. Omassa kokousanalyysitehtävässä pyydä puhujille kohdennetut vuorot, säilytä tallenne ja käytä tunnisteita keskustelun järjestämiseen ennen todellisten osallistujanimien liittämistä ympäröivässä työnkulussa.

Suoran äänen osittaiset litteroinnit voivat muuttua puheen lisääntyessä. Kumulatiivisessa tilassa kukin osittainen tulos korvaa edellisen tulkinnan eikä lisää siitä toista kopiota. Tunnistettu puheen loppu merkitsee rajaa, kun taas valmiin puheenvuoron tulos antaa lopullisen tekstin ja voi erota viimeisestä osittaisesta tuloksesta. Liitä päällekkäiset puheenvuorot niiden vuorotunnisteisiin ja käsittele valmiit tulokset ennen litteroinnin pitämistä valmiina. Kun suora syöte päättyy, ilmoita syötteen loppumisesta ja jatka vastaanottamista, kunnes valmistaja on toimittanut odottavat tulokset loppuun. Yhteyden sulkeminen heti voi hävittää nämä tulokset. Tunnistettu puheraja päättää vuoron, ei koko istuntoa.

Ajoitus annetaan puheenvuorotasolla. Tämä profiili ei tarjoa sanakohtaisia aikaleimoja tai varmuuspisteitä, eikä äänen käsittelyn edistyminen ole tietyn sanan aikaleima. Myös äänitapahtumien ja tunteiden tunnistus sekä litteroinnin uudelleenmuotoilu jäävät dokumentoidun tulosprofiilin ulkopuolelle. Käytä palautettuja vuorovälejä puhujan aikajanaan tai jaksotason tarkistukseen ja säilytä tunnistetut sanat, jos erillinen muokkausvaihe myöhemmin tuottaa siistimmät muistiinpanot.

Hyödyllisiä tuotoksia ovat valmis sanelukatkelma, äänikyselyn litterointi, puhujille kohdennettu keskustelu tai lausumien aikajana. Vertaa nimiä, lukuja ja teknisiä termejä alkuperäiseen tallenteeseen, säilytä tilan ja ajoituksen yhteydet ja pidä kokonaiset puheenvuorot tarkistettavina. Litterointi osoittaa, mitä äänestä tunnistettiin. Puhuttuun kysymykseen vastaaminen, sen kääntäminen tai muuntaminen kokousmuistiinpanoiksi kuuluu seuraavaan sovellusvaiheeseen.

Ailoot Ultra · Litterointi POST /v1/audio/transcriptions meta/muse-voice-transcribe-1.0

meta/muse-voice-transcribe-1.0

Meta /meta/muse-voice-transcribe-1.0

Aloitus

Hyväksytyt syötteet: Ääni
Tulokset: Teksti

Saatavilla Ailootissa · syötteet & menetelmät

Ailoot Ultra · Litterointi POST /v1/audio/transcriptions

Syötetyypit: audio
Tulostyypit: text

Kenttä	Tyyppi	Vaatimus	Arvot & rajat	Oletus
Kenttä`model`	Tyyppi`string`	VaatimusPakollinen	Arvot & rajat meta/muse-voice-transcribe-1.0	Oletus—
Kenttä`input_audio`	Tyyppi`object`	VaatimusPakollinen	Arvot & rajat	Oletus—

Menetelmän parametrit ja elinkaari

Parametri	Sopimus
Parametri`content_type`	Sopimusapplication/json
Parametri`required`	Sopimusmodel, input_audio
Parametri`material_types`	Sopimusaudio
Parametri`material_conditions`	SopimusEsimerkki lukee todellisen, ei-tyhjän PCM WAV -tiedostosi, koodaa tiedoston kaikki tavut base64-muotoon ja lähettää input_audio.format-kentän arvona wav.

Elinkaari: synchronous_result_then_owned_library

GET /v1/media/tasks/{task_id} · täsmällinen task_id olemassa olevasta käyttäjälle kuuluvasta mediatietueesta

GET /v1/media/assets/{asset_id}/content

GET /v1/media/assets

GET /v1/media/assets/{asset_id}

Hinnoittelu

Hintatiedot eivät lisää pyyntövalintoja. Tuetut parametrit on lueteltu valitulle menetelmälle.

Nopea tila: Ei määritetty Kun nopea tila on valittu
Flex-tila: Ei määritetty Kun flex-tila on valittu
Päättelyn enimmäisteho: Ei määritetty Kun päättelyn enimmäistehoon sovelletaan default-oletussäätöä

Ailoot-hinnat

Hinnat asetusten mukaan

Kohdista kukin veloitus näytettyihin ehtoihin. Käytä yhtä hintaa kutakin vaihtoehtoisten asetusten ryhmää kohden.

Asetukset	Hinnasto	Laskutusyksikkö	Veloitus
AsetuksetTokenien perushinnat	HinnastoPerushinta	Laskutusyksikkö—	Veloitus Syöte · Syötetokenit — / 1K tokenia Tuloste · Tulostokenit — / 1K tokenia Syöte · Välimuistin luku — / 1K tokenia Syöte · Välimuistiin kirjoitus — / 1K tokenia Syöte · Välimuistiin kirjoitus, 1 tunti — / 1K tokenia
Asetuksetäänisyötteen sekunti	Hinnasto—	Laskutusyksikkösyöteäänen sekuntia kohden	Veloitus Syöte · äänisyötteen sekunti $0.0001 syöteäänen sekuntia kohden

Ailoot varaa arvioidun summan ennen pyyntöä. Tuloksen jälkeen lopullinen veloitus toteutetaan mitatun käytön perusteella. Suoratoiston veloituksessa käytetään lopullista käyttötietuetta. Varauksen ja lopullisen veloituksen toiminta →

Esimerkkipyynnöt

Ailoot Ultra · Litterointi

curl · todellinen WAV-tiedosto ja koko alkuperäinen tulos

set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
: "${AILOOT_AUDIO_FILE:?Set the path to your actual PCM WAV recording}"
export AILOOT_AUDIO_FILE
python3 - <<'PY_REQUEST'
import base64, io, json, os, wave
from pathlib import Path
audio = Path(os.environ['AILOOT_AUDIO_FILE']).read_bytes()
if not (audio[:4] == b'RIFF' and audio[8:12] == b'WAVE'):
    raise SystemExit('Supply your actual PCM WAV audio file')
with wave.open(io.BytesIO(audio), 'rb') as recording:
    if recording.getcomptype() != 'NONE' or recording.getnframes() <= 0:
        raise SystemExit('Supply a nonempty PCM WAV recording')
request = {'model': 'meta/muse-voice-transcribe-1.0', 'input_audio': {'data': base64.b64encode(audio).decode('ascii'), 'format': 'wav'}}
Path('request.json').write_text(json.dumps(request, ensure_ascii=False), encoding='utf-8')
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/audio/transcriptions \
  -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
  --data-binary @request.json -D response-headers.txt -o response.bin
# Retain the complete original response, headers and actual X-Client-Request-ID.
# Read existing owned records for recovery; do not resubmit an uncertain operation.

Vastaanota ja tallenna tulokset

Ailoot Ultra · Litterointi

Koko alkuperäinen vastaussisältö, tila ja välitetyt otsakkeet. Tämä käsittelijä ei lisää yleistä JSON-rakennetta, tekstikenttää tai tehtävän käärettä.

GET /v1/media/tasks/{task_id}
GET /v1/media/assets/{asset_id}/content
GET /v1/media/assets
GET /v1/media/assets/{asset_id}

Säilytä kaikki valmistuneet tulokset

Säilytä jokainen kokonainen palautettu vastaus, tiedosto ja sisällön osa.

Säilytä koko vastaus ja otsakkeet, jokainen todellinen tuloste, alkuperäiset palautetut tunnisteet ja kaikki käyttötietokentät. Selvitä alkuperäisen operaation tila lähettämättä luontipyyntöä uudelleen.

Jos alkuperäinen vastaus on tarkistettava

Säilytä todellinen X-Client-Request-ID ja koko vastaus. Lue alkuperäisiä käyttäjälle kuuluvia aineistoja ja niiden täsmällisiä allekirjoitettuja sisällön URL-osoitteita; älä koskaan lähetä epävarmaa luontipyyntöä uudelleen.

Vastauksen kentät

Kenttä	Tyyppi
Kenttä`text (when present)`	Tyyppi
Kenttä`usage (when present)`	Tyyppi

Virheet ja seuraavat vaiheet

Vastaus	Ehto	Seuraava vaihe
Vastaus400 · `invalid_request_error`	EhtoJSON-sisältö tai nimenomainen kanoninen mallin tunniste on virheellinen.	Seuraava vaiheSäilytä vastaus ja korjaa ilmoitettu pyyntökenttä.
Vastaus401 · `authentication_error`	EhtoAiloot API -avain on virheellinen.	Seuraava vaiheKäytä käyttöön oikeutettua Ailoot API -avaintasi.
Vastaus403 · `permission_error`	EhtoAvaimen ryhmällä ei ole käyttöoikeutta tähän menetelmään.	Seuraava vaiheSäilytä palautetut virheen lisätiedot.
Vastaus404 · `not_found_error`	EhtoValitulla menetelmällä ei ole käyttöön hyväksyttyä reittiä.	Seuraava vaiheSäilytä palautetut virheen lisätiedot.
Vastaus422 · `price_unavailable`	EhtoHyväksytyn hinnaston edellyttämää syötemäärää tai sen rajaa ei saada selville.	Seuraava vaiheSäilytä vastaus; käytä hyväksytyn hinnaston edellyttämää syötteen esitysmuotoa.
Vastaus503 ·	EhtoVaadittu tallennustila, reitti, menetelmän hinta tai katevaraus ei ole saatavilla.	Seuraava vaiheSäilytä koko alkuperäinen vastaus. Epävarma katevaraus ei oikeuta uudelleenlähetykseen.
Vastaus502 · `server_error`	EhtoAlkuperäinen tulos, käyttötiedot tai veloituksen lopullinen kirjaus on tarkistettava.	Seuraava vaiheSäilytä todellinen pyynnön tunniste ja alkuperäinen vastaus. Lue olemassa olevaa käyttäjälle kuuluvaa tietuetta; älä lähetä luontipyyntöä uudelleen.

Aliakset

Mallin aliakset

Ailoot Ultra meta/muse-voice-transcribe-1.0

Menetelmäpolkujen aliakset

Käytä yllä näytettyjä menetelmäpolkuja.

Liittyvät kutsujan ID:t

meta/muse-voice-transcribe-1.0

FAQ · Meta: Muse Voice Transcribe 1.0

Mitä syötteitä ja tuloksia on saatavilla?: POST /v1/audio/transcriptions · meta/muse-voice-transcribe-1.0: audio → text
Mitä kenttiä pyyntö käyttää?: POST /v1/audio/transcriptions · meta/muse-voice-transcribe-1.0: model, input_audio

Meta: Muse Voice Transcribe 1.0