OpenAI: Whisper Large V3

Whisper large-v3 es un checkpoint publicado de reconocimiento de voz de OpenAI con aproximadamente 1,55 mil millones de parámetros. Es un modelo multilingüe de codificador-decodificador: el audio entra en el codificador y el decodificador predice texto y tokens relacionados con la tarea. Las tareas principales son transcribir voz en el idioma de origen y traducir voz al inglés. Es una identidad de modelo con pesos abiertos, separada del identificador de modelo de un servicio alojado o de las reglas de carga y formato de respuesta de ese servicio.

Large-v3 conserva la arquitectura de los checkpoints Whisper grandes anteriores con dos cambios indicados: su entrada de espectrograma utiliza 128 bandas de frecuencia Mel en lugar de 80 y añade un token de idioma cantonés. La ficha del modelo del productor describe entrenamiento con un millón de horas de audio con etiquetas débiles y cuatro millones de horas de audio pseudoetiquetado preparado con Whisper large-v2. Esta mezcla se utilizó durante dos épocas de entrenamiento. La publicación es un checkpoint large-v3 específico, en lugar de un nombre genérico para todos los modelos de la familia Whisper.

El flujo de inferencia documentado realiza transcripción por defecto, conservando el idioma hablado en la grabación. Puede detectar automáticamente el idioma de origen o aceptar la selección de un idioma conocido. Para traducción, el modelo grande multilingüe proporciona un resultado textual en inglés a partir de habla en otro idioma. Elige expresamente esa tarea: una transcripción en el mismo idioma y una traducción al inglés son artefactos diferentes. Para una entrevista, conserva la formulación en el idioma original; para un documento de referencia en inglés, especifica que el resultado deseado sea una traducción del contenido hablado.

La preparación de audio forma parte de la ruta de entrada. El cargador de OpenAI decodifica una grabación a una forma de onda mono y la remuestrea a 16 kHz. El campo receptivo acústico del modelo es de 30 segundos. Es una ventana de procesamiento, no una longitud máxima de una entrevista o conferencia completas. La inferencia larga puede avanzar de forma secuencial mediante ventanas deslizantes o dividir una grabación larga en fragmentos solapados y unir sus transcripciones. La ficha del modelo del productor describe procesamiento secuencial cuando la prioridad es la precisión y procesamiento por fragmentos cuando importa más el tiempo de entrega de una grabación larga individual.

La configuración publicada enumera 448 posiciones de decodificador para una secuencia individual de decodificación. Las grabaciones más largas se gestionan mediante el proceso largo, en lugar de tratar ese número como un límite universal de transcripción. El flujo documentado puede devolver marcas de tiempo a nivel de segmento o palabra junto al texto reconocido. Esas salidas de tiempo son útiles para navegar por grabaciones y preparar subtítulos, mientras que cualquier contenedor final de subtítulos o formato de archivo de transcripción es una elección separada de formato de salida. Conserva los tiempos de la grabación al preparar audio si la transcripción va a alinearse con el material original.

La función prevista de Whisper es reconocer y traducir voz. Una transcripción de conferencia, un registro de entrevista o una colección consultable de material hablado son salidas prácticas; el resumen o la interpretación pueden seguir como otro paso sobre el texto. La ficha del modelo no establece clasificación automática robusta de hablantes ni diarización como salida estándar del checkpoint base. Si una tarea necesita etiquetas de hablante, ese requisito debe gestionarse por separado de afirmar que la transcripción sea precisa. Unas instrucciones útiles identifican el idioma de origen, si se necesita transcripción o traducción al inglés y si se requiere información de tiempos.

Las limitaciones sustantivas incluyen texto inventado que nunca se pronunció y texto repetitivo, asociados al entrenamiento con supervisión débil sobre datos ruidosos y al diseño secuencia-a-secuencia. La calidad del reconocimiento varía entre idiomas, acentos y dialectos, con resultados más débiles donde hay menos material de entrenamiento. Por tanto, el ruido, el vocabulario especializado y el habla solapada deben estar representados en la muestra utilizada para juzgar la adecuación. Compara nombres, cantidades y afirmaciones importantes con la grabación y examina pasajes sin habla o líneas repetidas, en lugar de tratar una transcripción fluida como prueba de que se oyó cada palabra.

Un resultado completo conserva el texto reconocido, su idioma y cualquier tiempo solicitado con una referencia a la grabación original. Mantén la transcripción separada de la edición posterior: una transcripción corregida para publicación puede eliminar muletillas, mientras que la transcripción reconocida conserva lo que realmente devolvió el modelo. La identidad y capacidad de traducción de Large-v3 también deben mantenerse separadas de la edición Turbo más rápida. La velocidad real de procesamiento depende del idioma, la velocidad de habla, el hardware y el método de inferencia; ninguna latencia alojada particular, tamaño máximo de carga o ruta habilitada de una aplicación se deriva por sí sola del nombre del checkpoint.