Mistral: Voxtral Mini Transcribe
Voxtral Mini Transcribe 2 แปลงการบันทึกเป็นข้อความพร้อมแยกผู้พูด ระบุเวลาระดับคำ และให้น้ำหนักคำศัพท์ Mistral ระบุ 13 ภาษาและการบันทึกสูงสุดสามชั่วโมงสำหรับรุ่นเน้นถอดเสียงนี้ ซึ่งแยกจาก Voxtral Realtime
เกี่ยวกับโมเดล
คำอธิบายนี้ครอบคลุมความสามารถของโมเดล อินพุต เอาต์พุต และตัวเลือกที่ใช้ได้ใน Ailoot แสดงด้านล่างตามเมธอดที่เลือก
Voxtral Mini Transcribe 2 เป็น Voxtral รุ่นเน้นถอดเสียงของ Mistral AI ที่การ์ดโมเดลผู้ผลิตระบุเป็น voxtral-mini-2602 ออกแบบสำหรับถอดเสียงจากการบันทึกแบบแบตช์ แทนบทบาทตอบคำถามที่กว้างกว่าของโมเดล Voxtral Mini 3B ต้นฉบับ ข้อมูลเข้าคือเสียงและผลคือข้อความถอดเสียง ซึ่งเลือกเพิ่มป้ายผู้พูดและเวลาได้ การใช้งานเชิงปฏิบัติรวมข้อความถอดเสียงการประชุม การวิเคราะห์สัมภาษณ์ บันทึกสายสนทนาหลายฝ่าย และข้อความที่ตรงกับสื่อบันทึก
ผู้ผลิตระบุการแยกผู้พูดและเวลาเริ่ม/จบเพื่อให้ข้อความถอดเสียงแสดงว่าใครพูดเมื่อใด เวลาระดับคำรองรับคำบรรยาย การค้นหาเสียง และการจับคู่ข้อความกับตำแหน่งในการบันทึก คู่มือผู้ผลิตอนุญาตความละเอียดเวลาระดับช่วงหรือคำ สำหรับสัมภาษณ์ ชิ้นงานที่มีประโยชน์คือลำดับข้อความที่ระบุผู้พูดพร้อมเวลา สำหรับเตรียมคำบรรยาย เวลาระดับคำหรือช่วงช่วยกำกับขั้นตอนคำบรรยายภายหลัง แทนบังคับให้อนุมานเวลาจากข้อความถอดเสียงล้วน
Context biasing รับได้สูงสุด 100 คำหรือวลีเพื่อชี้นำโมเดลให้สะกดชื่อ ศัพท์เทคนิค และคำศัพท์เฉพาะโดเมนตามที่ต้องการ Mistral ระบุว่าความสามารถนี้ปรับเหมาะกับภาษาอังกฤษ และการรองรับภาษาอื่นเป็นการทดลอง เตรียมรายการคำศัพท์เจาะจงจากหัวข้อการบันทึกแทนอภิธานศัพท์ไม่เกี่ยวข้อง ตัวอย่างหนึ่งคือให้ชื่อโครงการและศัพท์เฉพาะที่น่าจะปรากฏในการสนทนาเทคนิค แล้วตรวจการสะกดในข้อความถอดเสียงที่เสร็จ
รุ่นนี้รองรับสิบสามภาษา ได้แก่ อังกฤษ จีน ฮินดี สเปน อาหรับ ฝรั่งเศส โปรตุเกส รัสเซีย เยอรมัน ญี่ปุ่น เกาหลี อิตาลี และดัตช์ ผู้ผลิตยังระบุความทนทานต่อเสียงรบกวนและการบันทึกสูงสุดสามชั่วโมงในคำขอเดียว สิ่งเหล่านี้เป็นของเวิร์กโฟลว์การบันทึก Mini Transcribe 2 ส่วนข้อความบริบทและระยะเวลาของโมเดลความเข้าใจเสียง 2507 ต้นฉบับอธิบายคนละรุ่น มีการตรวจภาษาอัตโนมัติ และคู่มือระบุว่าการให้ภาษาของเสียงที่ทราบอย่างชัดเจนช่วยเพิ่มความแม่นยำถอดเสียงได้
ในเวิร์กโฟลว์ผู้ผลิตที่ระบุ สามารถให้เสียงเป็นไฟล์อัปโหลด รหัสไฟล์ที่อัปโหลดก่อนหน้า หรือการบันทึกที่อ้างอิง ตัวอย่างอัปโหลดประกอบรองรับ MP3, WAV, M4A, FLAC และ OGG เลือกรูปแบบเหล่านี้สำหรับเวิร์กโฟลว์อัปโหลดที่สาธิต รักษาการบันทึกให้ถอดรหัสได้และมีคำพูดที่เกี่ยวข้อง สำหรับเนื้อหายาว เก็บรหัสและจุดเริ่มเวลาเพื่อให้ส่วนตัดหรือการแก้ภายหลังยังตรวจย้อนกลับต้นทางได้
เอกสารอ้างอิงถอดเสียงส่งข้อความและภาษาที่ตรวจพบ พร้อมช่วงข้อความเมื่อร้องขอ และระบุเหตุการณ์ถอดเสียงแบบสตรีมแยก การแยกผู้พูดเป็นทางเลือกและเริ่มต้นที่ false คู่มือระบุว่า timestamp_granularities กับการตั้ง language โดยชัดเจนยังใช้ร่วมกันไม่ได้ จึงเลือกเวิร์กโฟลว์เวลาที่ต้องการหรือคำใบ้ภาษาที่กำหนดเองแทนรวมทั้งสอง การถอดเสียงติดป้ายผู้พูด การให้น้ำหนักคำศัพท์ และเวลาควรเลือกตามผลที่ตั้งใจ แทนสมมติว่ามีจากคำขอพื้นฐาน
คำพูดซ้อนเป็นข้อจำกัดสำคัญ Mistral ระบุว่าเมื่อผู้พูดพูดซ้อนกัน โมเดลมักถอดเพียงคนเดียว จึงไม่ควรถือว่าข้อความติดป้ายผู้พูดบันทึกทุกคำที่พูดพร้อมกันอย่างครบถ้วน สำหรับบันทึกประชุม ตรวจช่วงซ้อนที่ยากและชื่อหรือตัวเลขสำคัญเทียบการบันทึก วัตถุประสงค์โมเดลคือถอดเสียง การสรุป แปล หรือวิเคราะห์อาจเป็นงานแยกที่ต่อยอดจากข้อความถอดเสียง Voxtral Realtime มีลักษณะความหน่วงถอดเสียงสดแยก ส่วนการสร้างคำพูดเป็นของโมเดลอื่น
เตรียมผลสำหรับการใช้ต่อ เวิร์กโฟลว์ประชุมสามารถเก็บข้อความถอดเสียง ป้ายผู้พูด และเวลาก่อนขั้นแยกดึงข้อตัดสินใจ เวิร์กโฟลว์สื่อสามารถใช้ข้อมูลเวลาเพื่อระบุตำแหน่งข้อความและร่างคำบรรยาย การบันทึกที่มีศัพท์มากสามารถให้รายการ context-bias ที่เจาะจงและทบทวนการสะกดที่ได้ สิ่งส่งมอบที่มีประโยชน์คือข้อความที่ผูกกับการบันทึกต้นทางและเมทาดาทาที่ตั้งค่า โดยแยกรุ่นถอดเสียงมีหมายเลขนี้จากโมเดล Mini ต้นฉบับและชื่อ latest ที่เปลี่ยนตามเวลา
Ailoot Ultra · การถอดเสียง POST /v1/audio/transcriptions mistralai/voxtral-mini-transcribe
mistralai/voxtral-mini-transcribe
mistralai/voxtral-mini-transcribeเริ่มต้น
Voxtral Mini Transcribe 2 แปลงการบันทึกเป็นข้อความพร้อมแยกผู้พูด ระบุเวลาระดับคำ และให้น้ำหนักคำศัพท์ Mistral ระบุ 13 ภาษาและการบันทึกสูงสุดสามชั่วโมงสำหรับรุ่นเน้นถอดเสียงนี้ ซึ่งแยกจาก Voxtral Realtime
- อินพุตที่รองรับ
- เสียง
- ผลลัพธ์
- ข้อความ
ใช้งานได้ใน Ailoot · อินพุตและเมธอด
Ailoot Ultra · การถอดเสียง POST /v1/audio/transcriptions
- ขาเข้า
audio- ขาออก
text
| ฟิลด์ | ประเภท | ข้อกำหนด | ค่าและข้อจำกัด | ค่าเริ่มต้น |
|---|---|---|---|---|
ฟิลด์model | ประเภทstring | ข้อกำหนดจำเป็น | ค่าและข้อจำกัด mistralai/voxtral-mini-transcribe | ค่าเริ่มต้น— |
ฟิลด์input_audio | ประเภทobject | ข้อกำหนดจำเป็น | ค่าและข้อจำกัด | ค่าเริ่มต้น— |
พารามิเตอร์และวงจรการทำงานของเมธอด
| พารามิเตอร์ | ข้อกำหนด |
|---|---|
พารามิเตอร์content_type | ข้อกำหนดapplication/json |
พารามิเตอร์required | ข้อกำหนดmodel, input_audio |
พารามิเตอร์material_types | ข้อกำหนดaudio |
พารามิเตอร์material_conditions | ข้อกำหนดตัวอย่างนี้อ่านไฟล์ PCM WAV จริงของคุณที่ไม่ว่าง เข้ารหัสไบต์ทั้งหมดของไฟล์เป็น base64 และส่ง input_audio.format เป็น wav |
วงจรการทำงาน: synchronous_result_then_owned_library
GET /v1/media/tasks/{task_id} · task_id ที่ตรงตามบันทึกสื่อเดิมซึ่งเป็นของคุณ
GET /v1/media/assets/{asset_id}/content
GET /v1/media/assets
GET /v1/media/assets/{asset_id}
ราคา
ข้อมูลอัตราราคาไม่ได้เพิ่มตัวเลือกคำขอ พารามิเตอร์ที่รองรับระบุไว้สำหรับเมธอดที่เลือก
- โหมดรวดเร็ว
- ไม่ได้ระบุ เมื่อเลือกโหมดรวดเร็ว
- โหมดยืดหยุ่น
- ไม่ได้ระบุ เมื่อเลือกโหมด flex
- ระดับการใช้เหตุผลสูงสุด
- ไม่ได้ระบุ เมื่อใช้การปรับตามค่าเริ่มต้น (default) สำหรับระดับการใช้เหตุผลสูงสุด
อัตราค่าบริการ Ailoot
ราคาตามการตั้งค่า
เทียบค่าบริการแต่ละรายการกับเงื่อนไขที่แสดง เลือกใช้อัตราเดียวสำหรับแต่ละชุดการตั้งค่าที่เป็นตัวเลือกทดแทนกัน
| การตั้งค่า | ตารางอัตราค่าบริการ | หน่วยคิดค่าบริการ | ค่าบริการ |
|---|---|---|---|
| การตั้งค่าอัตราค่าบริการโทเคนพื้นฐาน | ตารางอัตราค่าบริการอัตราพื้นฐาน | หน่วยคิดค่าบริการ— | ค่าบริการ ขาเข้า · โทเค็นอินพุต — / 1K โทเค็น ขาออก · โทเค็นเอาต์พุต — / 1K โทเค็น ขาเข้า · การอ่านแคช — / 1K โทเค็น ขาเข้า · การเขียนแคช — / 1K โทเค็น ขาเข้า · การเขียนแคช, 1 ชั่วโมง — / 1K โทเค็น |
| การตั้งค่าวินาทีเสียงขาเข้า | ตารางอัตราค่าบริการ— | หน่วยคิดค่าบริการต่อวินาทีของเสียงอินพุต | ค่าบริการ ขาเข้า · วินาทีเสียงขาเข้า $0.0001 ต่อวินาทีของเสียงอินพุต |
Ailoot กันยอดเงินประมาณการไว้ก่อนส่งคำขอ หลังได้ผลลัพธ์ จะคิดค่าบริการสุดท้ายตามการใช้งานที่วัดได้ การคิดค่าบริการแบบสตรีมใช้บันทึกการใช้งานสุดท้าย วิธีกันยอดเงินและคิดค่าบริการสุดท้าย →
ตัวอย่างคำขอ
Ailoot Ultra · การถอดเสียง
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
: "${AILOOT_AUDIO_FILE:?Set the path to your actual PCM WAV recording}"
export AILOOT_AUDIO_FILE
python3 - <<'PY_REQUEST'
import base64, io, json, os, wave
from pathlib import Path
audio = Path(os.environ['AILOOT_AUDIO_FILE']).read_bytes()
if not (audio[:4] == b'RIFF' and audio[8:12] == b'WAVE'):
raise SystemExit('Supply your actual PCM WAV audio file')
with wave.open(io.BytesIO(audio), 'rb') as recording:
if recording.getcomptype() != 'NONE' or recording.getnframes() <= 0:
raise SystemExit('Supply a nonempty PCM WAV recording')
request = {'model': 'mistralai/voxtral-mini-transcribe', 'input_audio': {'data': base64.b64encode(audio).decode('ascii'), 'format': 'wav'}}
Path('request.json').write_text(json.dumps(request, ensure_ascii=False), encoding='utf-8')
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/audio/transcriptions \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o response.bin
# Retain the complete original response, headers and actual X-Client-Request-ID.
# Read existing owned records for recovery; do not resubmit an uncertain operation.
รับและบันทึกผลลัพธ์
Ailoot Ultra · การถอดเสียง
เนื้อหาการตอบกลับเดิมทั้งหมด สถานะ และส่วนหัวที่ส่งต่อ ตัวจัดการนี้ไม่เพิ่มโครงสร้าง JSON ฟิลด์ข้อความ หรือโครงสร้างห่อหุ้มงานแบบสากล
GET /v1/media/tasks/{task_id}GET /v1/media/assets/{asset_id}/contentGET /v1/media/assetsGET /v1/media/assets/{asset_id}
เก็บผลลัพธ์ที่เสร็จสมบูรณ์ทั้งหมด
เก็บทุกการตอบกลับ ไฟล์ และส่วนเนื้อหาที่ส่งกลับมาอย่างครบถ้วน
เก็บการตอบกลับและส่วนหัวให้ครบถ้วน เก็บผลลัพธ์จริงทุกรายการ ตัวระบุที่ส่งกลับมาแต่เดิม และฟิลด์ข้อมูลการใช้งานทั้งหมด กู้คืนการดำเนินการเดิมโดยไม่ส่งคำขอสร้างซ้ำ
เมื่อต้องตรวจสอบการตอบกลับต้นฉบับ
เก็บ X-Client-Request-ID จริงและการตอบกลับทั้งหมด อ่านแอสเซ็ตเดิมที่เป็นของคุณและ URL เนื้อหาที่ลงลายเซ็นตรงตามที่ส่งกลับ ห้ามส่งคำขอสร้างที่ยังไม่แน่ชัดซ้ำ
ฟิลด์การตอบกลับ
| ฟิลด์ | ประเภท |
|---|---|
ฟิลด์text (when present) | ประเภท |
ฟิลด์usage (when present) | ประเภท |
ข้อผิดพลาดและขั้นตอนถัดไป
| การตอบกลับ | เงื่อนไข | ขั้นตอนถัดไป |
|---|---|---|
การตอบกลับ400 · invalid_request_error | เงื่อนไขเนื้อหา JSON หรือ ID โมเดลมาตรฐานที่ระบุชัดเจนไม่ถูกต้อง | ขั้นตอนถัดไปเก็บการตอบกลับและแก้ไขฟิลด์คำขอที่ระบุ |
การตอบกลับ401 · authentication_error | เงื่อนไขคีย์ API ของ Ailoot ไม่ถูกต้อง | ขั้นตอนถัดไปใช้คีย์ API ของ Ailoot ที่คุณได้รับอนุญาต |
การตอบกลับ403 · permission_error | เงื่อนไขกลุ่มคีย์ไม่อนุญาตให้ใช้เมธอดนี้ | ขั้นตอนถัดไปเก็บรายละเอียดข้อผิดพลาดที่ส่งกลับไว้ |
การตอบกลับ404 · not_found_error | เงื่อนไขเมธอดที่เลือกไม่มีเส้นทางที่ได้รับอนุญาต | ขั้นตอนถัดไปเก็บรายละเอียดข้อผิดพลาดที่ส่งกลับไว้ |
การตอบกลับ422 · price_unavailable | เงื่อนไขอัตราค่าบริการที่ยอมรับไม่สามารถระบุปริมาณข้อมูลขาเข้าหรือขอบเขตที่จำเป็นได้ | ขั้นตอนถัดไปเก็บการตอบกลับไว้ ใช้รูปแบบข้อมูลขาเข้าที่อัตราค่าบริการที่ยอมรับกำหนดไว้ |
การตอบกลับ503 · | เงื่อนไขที่เก็บข้อมูล เส้นทาง ราคาเมธอด หรือการกันวงเงินที่จำเป็นไม่พร้อมใช้งาน | ขั้นตอนถัดไปเก็บการตอบกลับเดิมทั้งหมด การกันวงเงินที่ไม่แน่นอนไม่อนุญาตให้ส่งซ้ำ |
การตอบกลับ502 · server_error | เงื่อนไขต้องตรวจสอบผลลัพธ์ การใช้งาน หรือการชำระบัญชีเดิม | ขั้นตอนถัดไปเก็บ ID คำขอจริงและการตอบกลับเดิม อ่านบันทึกเดิมที่เป็นของคุณ อย่าส่งคำขอสร้างซ้ำ |
ชื่ออื่น
ชื่ออื่นของโมเดล
Ailoot Ultra mistralai/voxtral-mini-transcribe
ชื่อพาธเมธอดอื่น
ใช้พาธเมธอดที่แสดงด้านบน
ID ที่เกี่ยวข้องสำหรับเรียกใช้โมเดล
FAQ · Mistral: Voxtral Mini Transcribe
- มีอินพุตและผลลัพธ์ใดบ้าง?
POST /v1/audio/transcriptions·mistralai/voxtral-mini-transcribe:audio→text- คำขอใช้ฟิลด์ใดบ้าง?
POST /v1/audio/transcriptions·mistralai/voxtral-mini-transcribe:model,input_audio