Google: Gemini 3.5 Transcribe

Google Gemini 3.5 Transcribe on synkroninen malli kokonaisten, ennalta tallennettujen äänitiedostojen puheen muuntamiseen tekstiksi. Se perustuu Geminin kykyyn ymmärtää ääntä, mutta sen syöte- ja tulosmäärittelyt on laadittu erityisesti litterointia varten. Erillinen Gemini 3.5 Transcribe Live -versio vastaanottaa äänivirran ja palauttaa osatuloksia. Tämä tallennetulle äänelle tarkoitettu malli tuottaa valmiin litteroinnin, johon voidaan valitun kokoonpanon mukaan lisätä sanakohtaiset ajoitustiedot tai tieto siitä, mille puhujalle kukin puheosuus kuuluu.

Valmistele selkeä tallenne, jossa puheääni ei ole pahasti leikkautunutta ja eri puhujien äänet erottuvat mahdollisuuksien mukaan toisistaan. Valmistajan synkronisissa esimerkeissä WAV-ääni välitetään tiedoston tavuina tai tallennettuna ääniresurssina, ja sen MIME-tyyppi määritetään. Säilytä alkuperäinen äänite tarkistamista varten. Tavoiteltu tulos voi olla tarkistettu haastattelulitterointi, tekstityksen kohdistusta kuvaava tietue tai luettava saneluteksti. Päätä, mitä tuotosta tarvitaan, ennen kuin yhdistät sanamuotoa muuttavia tai metatietoja lisääviä ominaisuuksia.

Google dokumentoi yli 85 kielen automaattisen tunnistuksen, myös silloin, kun kieliä käytetään sekaisin saman istunnon aikana. Kielten tukitasot vaihtelevat, ja vihje tiedossa olevasta kielestä voi parantaa tunnistusta. Mukautetun sanaston avulla voidaan antaa erisnimiä, tuotemerkkejä tai erikoisalan termejä, joita tallenteessa todennäköisesti esiintyy. Valmistaja sallii enintään 1 000 termiä ja toteaa, että kohdennetut, enintään noin 100 termin luettelot toimivat yleensä parhaiten. Varmista, että harvinaiset termit ovat tallenteen kannalta olennaisia, ja tarkista niiden esiintyminen äänitteestä sen sijaan, että pitäisit sanastovihjettä todisteena termin lausumisesta.

VERBATIM on oletustila. Se säilyttää täytesanat, toistot, kesken jääneet aloitukset ja puheessa tehdyt korjaukset, jotta teksti säilyttää puheen alkuperäisen sanamuodon. Käytä tätä tilaa, kun tehtävässä tarvitaan sanakohtaisia aikaleimoja tai puhujien erottelua. Säilytä esimerkiksi haastattelun alkuperäiset puheenvuorot ja ajoitukset ja korjaa sitten tärkeät nimet ja määrät kuuntelemalla kyseinen kohta tallenteesta. Myöhempi yhteenveto tai viimeistelty artikkeli voi perustua tähän tarkistettuun litterointiin ilman, että puhujan sanoja korvataan huomaamatta.

SMART-tila on suunniteltu tuottamaan luettavaa sanelutekstiä. Se poistaa puheen sujumattomuuksia, korjaa tekstin puheessa tehtyjen itsekorjausten mukaiseksi ja jäsentää puhutun aineiston kappaleiksi tai luetteloiksi sekä normalisoi tarvittaessa päivämäärät ja luvut. Saneltu tehtävälista voidaan muotoilla luettavaksi luetteloksi sen sijaan, että se jäisi puhuttujen siirtymäilmausten ketjuksi. Tämä käsittely muuttaa litteroinnin muotoa. Google toteaa nimenomaisesti, ettei SMART ole yhteensopiva sanakohtaisten aikaleimojen eikä puhujien erottelun kanssa. Valitse se siis silloin, kun tarvittava tuotos on luettava teksti, äläkä yritä käyttää sitä ajoitettuna litterointina, jossa puhe on kohdistettu puhujille.

Kun sanakohtainen ajoitus on käytössä, vastaus sisältää tunnistetut sanat sekä niiden suhteelliset alku- ja loppuajat. Näiden tietojen avulla voidaan löytää korjattava kohta tallenteesta tai valmistella tekstityksiä. Valmistajan mukaan sanakohtaisten aikaleimojen käyttöönottoon liittyy tarkkuutta koskeva kompromissi. Tarkista tekstin lisäksi myös kohdistus etenkin nopean tai päällekkäisen puheen ja epätavallisen terminologian kohdalla. Hyödyllisessä ajoitetussa litteroinnissa sanakohtaiset tiedot ja alkuperäinen äänite säilytetään yhdessä, eikä sujuvaa lausetta pidetä todisteena siitä, että sen kohdistus on oikea.

Puhujien erottelu tunnistaa äänitteessä esiintyvät eri puhujien äänet ja merkitsee ne tunnisteilla. Dokumentoitu enimmäismäärä on kahdeksan puhujaa. Valmistajan mukaan puheen kohdistaminen puhujille on kokeellista, kun puhujia on vähintään kolme. Käsittele tunnisteita päätelminä siitä, mitkä puheosuudet kuuluvat samalle puhujalle, ja tarkista puhujanvaihdot tallenteesta. Puhujatunniste ei itsessään todista henkilön identiteettiä tai roolia. Jos tehtävässä tarvitaan nimiä, yhdistä tunnisteet tallennetta koskeviin tunnettuihin tietoihin sen sijaan, että keksisit henkilöiden identiteettejä tunnistettujen sanojen perusteella.

Valmistajan ominaisuustaulukossa tallennetun äänen käsittelyikkunaksi ilmoitetaan 15 minuuttia. Tiedoston käsittely on rajattu tähän kestoon, kun käytössä on esimerkiksi aikaleimat tai puhujien erottelu. Jaa pidempi lähdeaineisto sopiviin osiin ja säilytä niiden järjestys sekä sijainti alkuperäisen tallenteen aikajanalla. Mallin litterointi, ajoitetut sanat ja puhujatunnisteilla merkityt osat ovat tuloksen eri esitysmuotoja; säilytä tehtävässä tarvittava esitysmuoto. Näitä äänen käsittelyä koskevia rajoja ei tule korvata yleisen multimodaalisen Gemini-mallin konteksti- tai kestoluvuilla. Google luettelee SMART-muotoilun, sanakohtaiset aikaleimat ja puhujien erottelun kokeellisiksi ominaisuuksiksi.

Tuloksen määrittelyt koskevat nimenomaan litterointia. SMART-muotoilu tuottaa luettavaa tekstiä, mutta se ei tuo mukanaan JSON-skeemaan perustuvaa yleistä vastausmäärittelyä, työkalukutsujen tukea tai ohjeita noudattavan avustajan työnkulkua. Tarkista lopullista tuotosta varten tärkeät sanamuodot, luvut ja kielteiset ilmaukset äänitteestä, säilytä epäselviksi jääneet kohdat korjattaviksi ja tallenna tieto valitusta tilasta tuloksen yhteyteen. Näin käy selväksi, säilyttääkö tuotos puheen alkuperäisen sanamuodon vai esittääkö se siitä muokatun, luettavaksi tarkoitetun version.