Mistral: Voxtral Mini Transcribe

Voxtral Mini Transcribe 2 to skoncentrowana na transkrypcji edycja Voxtral firmy Mistral AI, oznaczona w karcie modelu producenta jako voxtral-mini-2602. Jest przeznaczona do wsadowej transkrypcji nagrań, a nie szerszej roli odpowiadania na pytania oryginalnego modelu Voxtral Mini 3B. Wejściem jest dźwięk, a wynikiem transkrybowany tekst, opcjonalnie wzbogacony etykietami mówców i informacjami o czasie. Praktyczne zastosowania obejmują transkrypcje spotkań, analizę wywiadów, zapisy rozmów wielostronnych i tekst dopasowany do nagranych multimediów.

Producent dokumentuje diarizację mówców oraz czas początku/końca, dzięki czemu transkrypcja może pokazywać, kto mówił i kiedy. Znaczniki czasu na poziomie słów wspierają napisy, przeszukiwanie audio i dopasowanie fragmentu tekstu do jego pozycji w nagraniu. Przewodnik producenta dopuszcza znaczniki czasu o szczegółowości segmentu lub słowa. Dla wywiadu przydatny artefakt to sekwencja przypisanych mówcom fragmentów z czasem; przy przygotowywaniu napisów czas słów lub segmentów może kierować późniejszym etapem tworzenia napisów, zamiast wymuszać wywnioskowanie czasu ze zwykłego tekstu transkrypcji.

Ukierunkowanie kontekstowe przyjmuje do 100 słów lub fraz, które kierują model ku zamierzonej pisowni nazw, terminów technicznych i słownictwa dziedzinowego. Mistral podaje, że funkcja jest zoptymalizowana dla angielskiego, a obsługa innych języków jest eksperymentalna. Przygotuj ukierunkowaną listę słownictwa z tematu nagrania zamiast niepowiązanego słowniczka. Oryginalny przykład mógłby dostarczać nazwy projektów i specjalistyczne terminy prawdopodobnie pojawiające się w dyskusji technicznej, a następnie sprawdzać ich pisownię w ukończonej transkrypcji.

Ta edycja obsługuje trzynaście języków: angielski, chiński, hindi, hiszpański, arabski, francuski, portugalski, rosyjski, niemiecki, japoński, koreański, włoski i niderlandzki. Producent dokumentuje też odporność na szum i nagrania do trzech godzin w jednym żądaniu. Należą one do przepływu nagrań Mini Transcribe 2; twierdzenia o kontekście i czasie trwania oryginalnego modelu rozumienia dźwięku 2507 opisują inne wydanie. Dostępne jest automatyczne wykrywanie języka, a przewodnik podaje, że jawne dostarczenie znanego języka nagrania może poprawić dokładność transkrypcji.

W udokumentowanym przepływie producenta dźwięk można dostarczyć jako przesłany plik, identyfikator wcześniej przesłanego pliku lub wskazane nagranie. Towarzysząca demonstracja przesyłania przyjmuje nagrania MP3, WAV, M4A, FLAC i OGG; wybierz jeden z tych formatów dla zademonstrowanego przepływu przesyłania. Nagranie powinno dać się zdekodować i zawierać istotną mowę. Dla długich materiałów zachowaj identyfikator i początek osi czasu, aby późniejsze fragmenty lub zmiany nadal można było prześledzić do źródła.

Dokumentacja transkrypcji zwraca tekst i wykryty język, z segmentami na żądanie, oraz osobno dokumentuje zdarzenia transkrypcji strumieniowej. Diarizacja jest opcjonalna i domyślnie ma wartość false. Przewodnik zaznacza, że timestamp_granularities i jawne ustawienie language nie są obecnie zgodne, więc wybierz pożądany przepływ znaczników czasu albo ręczną wskazówkę języka zamiast je łączyć. Transkrypcję z etykietami mówców, ukierunkowanie słownictwa i czas należy wybierać według zamierzonego wyniku, zamiast zakładać ich obecność w podstawowym żądaniu.

Nakładająca się mowa jest istotnym ograniczeniem: Mistral podaje, że model zwykle transkrybuje jednego mówcę, gdy wypowiedzi się nakładają. Transkrypcji z etykietami nie należy więc traktować jako wyczerpującego zapisu każdej jednoczesnej wypowiedzi. Dla zapisu spotkania sprawdź trudne nakładanie się mowy oraz ważne nazwy lub liczby względem nagrania. Celem modelu jest transkrypcja; podsumowanie, tłumaczenie lub analiza mogą stanowić osobne zadanie oparte na tej transkrypcji. Voxtral Realtime ma osobny profil opóźnień transkrypcji na żywo, a generowanie mowy należy do innych modeli.

Przygotuj wynik do kolejnego użycia. Przepływ spotkania może zachować transkrypcję, etykiety mówców i czas przed osobnym etapem wyodrębniania decyzji; przepływ multimedialny może używać czasu do lokalizacji fragmentów i przygotowania napisów; nagranie bogate w terminologię może obejmować ukierunkowaną listę kontekstową i przegląd uzyskanej pisowni. Przydatny rezultat to tekst powiązany z nagraniem źródłowym i skonfigurowanymi metadanymi, z zachowaniem odrębności tej numerowanej edycji transkrypcji od oryginalnego modelu Mini i zmiennych nazw latest.