Mistral: Voxtral Small 24B 2507 STT

Voxtral Small 1.0 24B 2507 legger til lydinndata og taleforståelse i en Mistral Small-språkmodell som grunnlag. Den tar imot lyd og tekst og returnerer tekst, blant annet en transkripsjon, et svar om opptaket, en oversettelse eller et strukturert sammendrag. Dette er den navngitte taleforståelsesutgaven med 24 milliarder parametere, forskjellig fra Voxtral Mini, transkripsjonsoptimaliserte tjenestevarianter og senere Voxtral-utgivelser for talegenerering eller sanntid.

Transkripsjon og lydforståelse

Modellen har en egen modus for ren transkripsjon. Produsenten sier at den automatisk forutsier språket i kildelyden som standard og transkriberer deretter. Bruk denne modusen når det ønskede artefaktet er selve den talte ordlyden fremfor en tolkning eller et sammendrag. Identifiser om resultatet skal bevare originalspråket eller etterfølges av en separat forespurt oversettelse.

Lydforståelse gjør at et spørsmål kan stilles direkte om et opptak, uten først å koble sammen en separat talegjenkjenningsmodell og tekstmodell. En forespørsel kan spørre hvilket tema som ble diskutert, hvilken beslutning som ble uttalt, eller hvilken informasjon i opptaket som svarer på et spesifikt spørsmål. Resultatet kan være et kortfattet svar eller et organisert sammendrag, fremfor en full transkripsjon av hvert talt ord.

For et møtesammendrag gir du opptaket og definerer feltene som skal returneres: temaer, uttrykkelig uttalte beslutninger og oppfølgingshandlinger. Be om navn eller datoer bare når opptaket faktisk oppgir dem, og hold uavklarte detaljer atskilt fra beslutningene. For et intervju ber du om svaret på et bestemt spørsmål og den omkringliggende konteksten som gjør det forståelig. Disse utdatautformingene knytter lydoppgaven til et dokument noen kan bruke etterpå.

Kontekst, varighet og språk

Produsenten dokumenterer en kontekst på 32k tokener og lyd på opptil 30 minutter for transkripsjon, eller 40 minutter for forståelse. De to varighetstallene gjelder forskjellige oppgavetyper. Velg ønsket operasjon før du velger opptaket, og inkluder tekstinstruksjonen og samtalen når du planlegger tilgjengelig kontekst. Et langt opptak og et langt skriftlig svar bruker begge ressurser; varighetsangivelsen er ikke et separat løfte om ubegrenset svarlengde.

Utgivelsen identifiserer engelsk, spansk, fransk, portugisisk, hindi, tysk, nederlandsk og italiensk blant de viktigste støttede språkene og har automatisk språkgjenkjenning. For taleoversettelse angir du målspråket og eventuelle begreper som skal beholde originalformen. For et spørsmål om lyd på ett språk skiller du språket i opptaket fra språket svaret skal skrives på.

Flere opptak og oppfølgingsspørsmål

Modellkortet støtter flere lydinndata i én melding og lyd i flere brukerrunder. Gi hvert opptak en identifikator og angi rollen det har når de sammenlignes. En praktisk forespørsel kan sammenligne to versjoner av en muntlig forklaring, spørre hvilke betingelser som ble endret, og returnere en tabell med en separat kolonne for hvert opptak. Identifikatorer bidrar til å holde modellens funn knyttet til riktig kilde.

En oppfølging kan beholde det forrige spørsmålet og svaret mens den ber om en mer avgrenset detalj eller gir et nytt opptak. Be for eksempel først om beslutningene fra en diskusjon, og spør deretter hvilken beslutning som gjelder et bestemt krav. Samme utgivelse demonstrerer også forespørsler med bare tekst og bare lyd. Tekstgrunnlaget kan arbeide med det skriftlige spørsmålet eller resultatet, mens lydfunksjonen gir bevis fra tale.

Talestyrte funksjoner

Produsenten beskriver funksjonskall ut fra muntlig uttrykt hensikt og merker funksjonskalleksemplet i det utgitte modellkortet som eksperimentell støtte. I denne arbeidsflyten definerer applikasjonen en funksjon og argumentene, modellen forbereder et kall fra forespørselen, og applikasjonen utfører det og gir resultatet. Et talebasert oppslag kan derfor returnere et skriftlig svar med informasjon fra et tilknyttet verktøy. Funksjonskall betyr ikke at modellen automatisk disponerer den eksterne tjenesten eller utfører en handling bare ved å navngi den.

Hold funksjonens formål og den nødvendige informasjonen eksplisitte. Hvis opptaket ber om en operasjon, men utelater en påkrevd verdi, trenger applikasjonen fortsatt denne verdien for å utføre funksjonen. Skill mellom den muntlige forespørselen, de foreslåtte argumentene og det returnerte resultatet slik at neste svar kan vise til det faktiske operasjonsutfallet.

Anbefalte innstillinger og nyttige avgrensninger

For lydforståelse og chatfullføring anbefaler modellkortet temperatur 0.2 og top-p 0.95. For transkripsjon anbefaler det temperatur 0.0. Det sier uttrykkelig at systeminstruksjoner ikke støttes i denne utgitte bruksflyten, så plasser oppgaven og svarkravene i brukerinndataene fremfor å overføre en systeminstruksjonskonvensjon fra en annen Mistral-modell.

Velg et opptak som inneholder materialet som er relevant for spørsmålet, hold den hørbare talen tydelig og angi om resultatet skal være en transkripsjon, oversettelse, et svar eller et sammendrag. De dokumenterte utdataene er tekst. Et muntlig svar trenger en tekst-til-tale-komponent, og taleridentifikasjon, detaljert talerdiarisering eller tidsstempler på ordnivå skal ikke utledes fra den generelle påstanden om lydforståelse for denne konkrete utgivelsen.

Genereringseksemplene på 500 tokener i modellkortet er eksempelinnstillinger, ikke en separat angitt maksimal utdatakapasitet. Bevar 2507-utgaven, den oppgavespesifikke varighetsveiledningen og inndataspråket når du forbereder en repeterbar arbeidsflyt. Det nyttige endelige artefaktet er den ønskede teksten, knyttet til opptaket og formatert for neste dokument- eller applikasjonssteg.