Mistral: Voxtral Small 24B 2507 STT

Voxtral Small 1.0 24B 2507 dodaje wejście audio i rozumienie mowy do bazowego modelu językowego Mistral Small. Przyjmuje dźwięk i tekst oraz zwraca tekst, w tym transkrypcję, odpowiedź o nagraniu, tłumaczenie lub uporządkowane podsumowanie. Jest to wskazana edycja rozumienia mowy 24B, odrębna od Voxtral Mini, wariantów usługi zoptymalizowanych do transkrypcji i późniejszych wydań Voxtral do generowania mowy lub pracy w czasie rzeczywistym.

Transkrypcja i rozumienie dźwięku

Model ma dedykowany tryb czystej transkrypcji. Producent stwierdza, że domyślnie automatycznie przewiduje język źródłowego nagrania i odpowiednio je transkrybuje. Używaj tego trybu, gdy pożądanym artefaktem jest samo wypowiedziane brzmienie, a nie interpretacja lub podsumowanie. Wskaż, czy wynik ma zachować język oryginału, czy po nim powinno nastąpić osobno żądane tłumaczenie.

Rozumienie dźwięku pozwala zadawać pytanie bezpośrednio o nagranie, bez wcześniejszego łączenia osobnego modelu rozpoznawania mowy i modelu tekstowego. Żądanie może pytać, jaki temat omawiano, jaką decyzję wypowiedziano lub jaka informacja w nagraniu odpowiada na konkretne pytanie. Wynikiem może być zwięzła odpowiedź lub uporządkowane podsumowanie zamiast pełnej transkrypcji każdego wypowiedzianego słowa.

Dla podsumowania spotkania dostarcz nagranie i zdefiniuj pola do zwrócenia: tematy, wyraźnie wypowiedziane decyzje i dalsze działania. Proś o nazwiska lub daty tylko wtedy, gdy rzeczywiście padają w nagraniu, i oddziel nierozstrzygnięte szczegóły od decyzji. Dla wywiadu zażądaj odpowiedzi na konkretne pytanie i otaczającego kontekstu, który czyni ją zrozumiałą. Takie projekty wyników łączą zadanie audio z dokumentem, który ktoś może później wykorzystać.

Kontekst, czas trwania i języki

Producent dokumentuje kontekst o wielkości 32 tys. tokenów i nagrania do 30 minut dla transkrypcji lub 40 minut dla rozumienia. Te dwie długości dotyczą różnych zakresów zadań. Wybierz pożądaną operację przed wyborem nagrania i uwzględnij instrukcję tekstową oraz rozmowę przy planowaniu dostępnego kontekstu. Długie nagranie i długa odpowiedź pisemna zużywają zasoby; podany czas trwania nie jest osobną obietnicą nieograniczonej długości odpowiedzi.

Wydanie wskazuje angielski, hiszpański, francuski, portugalski, hindi, niemiecki, niderlandzki i włoski wśród głównych obsługiwanych języków i zapewnia automatyczne wykrywanie języka. Dla tłumaczenia mowy ustal język końcowy i terminy, które powinny zachować oryginalną formę. Dla pytania o dźwięk w jednym języku odróżnij język nagrania od języka, w którym ma być napisana odpowiedź.

Wiele nagrań i pytania uzupełniające

Karta obsługuje kilka wejść audio w wiadomości i dźwięk w wielu turach użytkownika. Nadaj każdemu nagraniu identyfikator i określ jego rolę przy porównywaniu. Praktyczne żądanie może porównywać dwie wersje wypowiedzianego wyjaśnienia, pytać o zmienione warunki i zwracać tabelę z osobną kolumną dla każdego nagrania. Identyfikatory pomagają utrzymać powiązanie ustaleń modelu z właściwym źródłem.

Pytanie uzupełniające może zachować wcześniejsze pytanie i odpowiedź, jednocześnie prosząc o węższy szczegół lub dostarczając inne nagranie. Na przykład najpierw poproś o decyzje z dyskusji, a następnie zapytaj, która decyzja dotyczy konkretnego wymagania. To samo wydanie demonstruje również żądania wyłącznie tekstowe i wyłącznie dźwiękowe. Jego baza tekstowa może pracować nad pisemnym pytaniem lub wynikiem, a możliwość audio dostarcza dowodów z mowy.

Funkcje sterowane głosem

Producent opisuje wywoływanie funkcji na podstawie intencji wypowiedzianej głosem i oznacza przykład wywoływania funkcji w opublikowanej karcie jako obsługę eksperymentalną. W tym przepływie aplikacja definiuje funkcję i jej argumenty, model przygotowuje wywołanie na podstawie żądania, a aplikacja je wykonuje i dostarcza wynik. Wyszukiwanie głosowe może więc zwrócić pisemną odpowiedź z wykorzystaniem informacji z połączonego narzędzia. Wywoływanie funkcji nie oznacza, że model automatycznie włada usługą zewnętrzną lub wykonuje działanie jedynie przez jego nazwanie.

Wyraźnie określ przeznaczenie funkcji i wymagane informacje. Jeśli nagranie prosi o operację, ale pomija wymaganą wartość, aplikacja nadal potrzebuje tej wartości do wykonania funkcji. Oddziel wypowiedziane żądanie, proponowane argumenty i zwrócony wynik, aby kolejna odpowiedź mogła odnieść się do rzeczywistego rezultatu operacji.

Zalecane ustawienia i przydatne granice zakresu

Dla rozumienia dźwięku i uzupełniania czatu karta zaleca temperaturę 0.2 i top-p 0.95. Dla transkrypcji zaleca temperaturę 0.0. Wyraźnie stwierdza, że prompty systemowe nie są obsługiwane w tym udostępnionym przepływie użycia, więc umieść zadanie i wymagania odpowiedzi w wejściu użytkownika, zamiast przenosić konwencję promptu systemowego z innego modelu Mistral.

Wybierz nagranie zawierające materiał istotny dla pytania, zadbaj o czytelną słyszalność mowy i określ, czy wynikiem ma być transkrypcja, tłumaczenie, odpowiedź czy podsumowanie. Udokumentowane wyjście to tekst. Odpowiedź mówiona wymaga komponentu text-to-speech, a identyfikacji mówcy, szczegółowej diarizacji lub znaczników czasu na poziomie słów nie należy wywodzić z ogólnego twierdzenia o rozumieniu dźwięku dla tego konkretnego wydania.

Przykłady generowania 500 tokenów w karcie są przykładowymi ustawieniami, a nie osobno podaną maksymalną pojemnością wyjścia. Zachowaj edycję 2507, wskazówki czasu trwania zależne od zadania i język wejścia podczas przygotowywania powtarzalnego przepływu. Przydatny końcowy artefakt to żądany tekst, powiązany z nagraniem i sformatowany dla kolejnego kroku dokumentu lub aplikacji.