Mistral: Voxtral Small 24B 2507 STT

Voxtral Small 1.0 24B 2507 tillför ljudindata och talförståelse till en Mistral Small-språkmodell som bas. Den tar emot ljud och text och returnerar text, inklusive en transkription, ett svar om inspelningen, en översättning eller en strukturerad sammanfattning. Detta är den namngivna utgåvan för talförståelse med 24 miljarder parametrar, skild från Voxtral Mini, tjänstevarianter optimerade för transkription och senare Voxtral-utgåvor för talgenerering eller realtid.

Transkription och ljudförståelse

Modellen har ett särskilt läge för ren transkription. Tillverkaren anger att den som standard automatiskt förutsäger källjudets språk och transkriberar därefter. Använd läget när den önskade leveransen är själva de talade orden snarare än en tolkning eller sammanfattning. Ange om resultatet ska bevara originalspråket eller följas av en separat begärd översättning.

Ljudförståelse gör det möjligt att ställa en fråga direkt om en inspelning, utan att först koppla ihop en separat taligenkänningsmodell och textmodell. En begäran kan fråga vilket ämne som diskuterades, vilket beslut som uttalades eller vilken information i inspelningen som besvarar en specifik fråga. Resultatet kan vara ett kortfattat svar eller en organiserad sammanfattning snarare än en fullständig transkription av varje talat ord.

För en mötessammanfattning tillhandahåller du inspelningen och definierar fälten som ska returneras: ämnen, uttryckligen uttalade beslut och uppföljningsåtgärder. Begär namn eller datum bara när inspelningen faktiskt anger dem och håll olösta detaljer skilda från besluten. För en intervju begär du svaret på en viss fråga och det omgivande sammanhang som gör det begripligt. Dessa utdatautformningar knyter ljuduppgiften till ett dokument som någon kan använda efteråt.

Kontext, längd och språk

Tillverkaren dokumenterar en kontext på 32k token och ljud på upp till 30 minuter för transkription eller 40 minuter för förståelse. De två längdangivelserna gäller olika uppgifter. Välj önskad operation innan du väljer inspelningen och inkludera textinstruktionen och samtalet när du planerar den tillgängliga kontexten. En lång inspelning och ett långt skriftligt svar förbrukar båda resurser; längdangivelsen är inte ett separat löfte om obegränsad svarslängd.

Utgåvan anger engelska, spanska, franska, portugisiska, hindi, tyska, nederländska och italienska bland de huvudsakligen stödda språken och erbjuder automatisk språkidentifiering. För talöversättning anger du målspråket och eventuella termer som ska behålla sin ursprungliga form. För en fråga om ljud på ett språk skiljer du inspelningens språk från språket som svaret ska skrivas på.

Flera inspelningar och följdfrågor

Modellkortet stöder flera ljudindata i ett meddelande och ljud i flera användarturer. Ge varje inspelning en identifierare och ange dess roll när de jämförs. En praktisk begäran kan jämföra två versioner av en talad förklaring, fråga vilka villkor som ändrats och returnera en tabell med en separat kolumn för varje inspelning. Identifierare hjälper till att hålla modellens slutsatser kopplade till rätt källa.

En uppföljning kan behålla den tidigare frågan och svaret och samtidigt efterfråga en snävare detalj eller tillhandahålla en annan inspelning. Begär exempelvis först besluten från en diskussion och fråga sedan vilket beslut som gäller ett visst krav. Samma utgåva demonstrerar också begäranden med enbart text och enbart ljud. Dess textbas kan arbeta med den skriftliga frågan eller resultatet, medan ljudfunktionen ger underlag från tal.

Röststyrda funktioner

Tillverkaren beskriver funktionsanrop utifrån talad avsikt och märker det publicerade modellkortets exempel på funktionsanrop som experimentellt stöd. I det här flödet definierar applikationen en funktion och dess argument, modellen förbereder ett anrop utifrån begäran och applikationen kör det och tillhandahåller resultatet. En röstbaserad uppslagning kan därför returnera ett skriftligt svar med information från ett anslutet verktyg. Funktionsanrop innebär inte att modellen automatiskt äger den externa tjänsten eller utför en åtgärd bara genom att namnge den.

Håll funktionens syfte och nödvändig information tydliga. Om inspelningen begär en operation men utelämnar ett obligatoriskt värde behöver applikationen fortfarande värdet för att köra funktionen. Skilj den talade begäran, föreslagna argument och returnerat resultat åt så att nästa svar kan hänvisa till operationens faktiska utfall.

Rekommenderade inställningar och användbara avgränsningar

För ljudförståelse och chattkomplettering rekommenderar modellkortet temperatur 0.2 och top-p 0.95. För transkription rekommenderas temperatur 0.0. Det anger uttryckligen att systemprompter inte stöds i det här publicerade användningsflödet, så placera uppgiften och svarskraven i användarindata i stället för att överföra en systempromptkonvention från en annan Mistral-modell.

Välj en inspelning som innehåller materialet som är relevant för frågan, håll talet tydligt hörbart och ange om resultatet ska vara en transkription, översättning, ett svar eller en sammanfattning. Dokumenterade utdata är text. Ett talat svar behöver en text-till-tal-komponent, och talaridentifiering, detaljerad talarseparering eller tidsstämplar på ordnivå ska inte härledas ur det allmänna påståendet om ljudförståelse för just den här utgåvan.

Modellkortets genereringsexempel på 500 token är exempelinställningar, inte en separat angiven maximal utmatningskapacitet. Bevara utgåvan 2507, de uppgiftsspecifika längdråden och indataspråket när du förbereder ett repeterbart arbetsflöde. Den användbara slutliga leveransen är den begärda texten, kopplad till inspelningen och formaterad för nästa dokument- eller applikationssteg.