Apa Itu Perutean Model?
MarkdownMendefinisikan perutean model dan menguraikan kriteria untuk mengevaluasi aturan perutean, alias, distribusi penyedia, perilaku percobaan ulang dan fallback, penyeimbangan beban, serta kompromi biaya dan latensi.
Perutean model adalah proses memetakan permintaan LLM yang masuk ke penyedia, pengenal model, dan kunci API tertentu saat permintaan dibuat, berdasarkan kebijakan, bukan kode aplikasi. Perute model mengevaluasi konteks permintaan (header, tenant, status anggaran, kompleksitas prompt) dan status penyedia (tingkat kesalahan, latensi, ruang tersisa untuk batas laju), lalu menulis ulang target sebelum memanggil penyedia. Lapisan perutean model yang memangkas biaya token LLM biasanya menjadi tempat tim pertama kali melihat hasilnya.
Istilah ini mencakup tiga mekanisme yang sering disamakan:
- Perutean statis memetakan nama model ke penyedia dengan bobot tetap.
- Perutean bersyarat mengevaluasi ekspresi untuk setiap permintaan (header tingkat, tim, anggaran yang telah digunakan, tingkat kompleksitas) dan mengganti target jika cocok.
- Perutean adaptif terus menyesuaikan bobot penyedia dan kunci berdasarkan tingkat kesalahan dan latensi yang teramati.
Perute LLM produksi memerlukan ketiganya; alat yang hanya menawarkan satu mekanisme akan membebankan dua lainnya kembali ke kode aplikasi. Panduan perutean LLM cerdas tentang memilih model optimal untuk setiap permintaan membahas mekanisme kedua secara mendalam.
Cara Mengevaluasi Perute LLM
| Kriteria | Hal yang perlu diperiksa |
|---|---|
| Bahasa aturan perutean | Dapatkah aturan membaca header, tenant, penggunaan anggaran, dan jenis permintaan dengan urutan prioritas yang ditetapkan? |
| Alias model | Dapatkah best-model diuraikan menjadi pengenal yang berbeda untuk setiap kunci, tim, atau lingkungan tanpa perubahan kode? |
| Distribusi berbobot | Apakah bobot diterapkan pada tingkat penyedia dan kunci API, lalu dinormalisasi untuk setiap model? |
| Semantik fallback dan percobaan ulang | Apakah setiap fallback memiliki anggaran percobaan ulang sendiri? Apakah 429 ditangani secara berbeda dari 401? |
| Penyeimbangan beban adaptif | Apakah bobot dihitung ulang berdasarkan tingkat kesalahan dan latensi langsung, dan seberapa cepat rute yang pulih kembali digunakan? |
| Kesadaran biaya | Apakah data harga disinkronkan dan dapat diganti, serta dapatkah aturan merespons anggaran yang telah digunakan? |
| Overhead dan penerapan | Latensi terukur pada throughput berkelanjutan; di-host sendiri, di-host, atau hanya berupa pustaka? |
Perbedaan antara percobaan ulang dan fallback adalah kriteria yang paling sering tidak dicantumkan dalam perbandingan vendor: percobaan ulang mengirim ulang permintaan ke penyedia yang sama, fallback berpindah ke penyedia lain, dan perute yang menggabungkan keduanya tidak dapat menganggarkan keduanya secara terpisah.
Tantangan Umum pada Alat Perutean Model
Sebagian besar kegagalan perutean model produksi berasal dari beberapa kekurangan yang berulang, dan masing-masing memiliki solusi di tingkat konfigurasi.
- Status perutean berada di kode aplikasi. Nama model, preferensi penyedia, dan daftar fallback yang ditanamkan dalam layanan tidak dapat diubah tanpa penerapan ulang; konfigurasi kunci virtual dan aturan perutean membuatnya dapat diaudit.
- Percobaan ulang yang mengabaikan kelas kesalahan. Mencoba ulang
401dengan jeda yang makin lama membuang waktu beberapa detik dan tidak akan pernah berhasil; perute seharusnya menandai kredensial sebagai tidak berlaku dan langsung beralih ke kunci lain.. - Tidak ada catatan keputusan perutean. Perilaku batas laju penyedia, seperti batas RPM dan TPM bertingkat OpenAI, jauh lebih mudah dianalisis ketika gateway mencatat mesin mana yang memilih rute dan kunci mana yang mencapai batas.
Pertanyaan yang Sering Diajukan
Apa itu perute LLM?
Perute LLM adalah komponen yang memilih penyedia, model, dan kredensial untuk setiap permintaan berdasarkan aturan yang dikonfigurasi, bobot statis, atau metrik kinerja langsung. Komponen ini berada di antara aplikasi dan penyedia, menulis ulang target permintaan sebelum pemanggilan, serta menangani percobaan ulang dan fallback ketika rute gagal.
Apa perbedaan antara perute model dan gateway AI?
Perute model menentukan ke mana permintaan dikirim. Gateway AI menjalankan permintaan sekaligus mengelola kredensial, anggaran, batas laju, pagar pengaman, dan pencatatan.
Bagaimana perutean model mengurangi biaya LLM?
Perutean model mengurangi biaya dengan mengirim setiap permintaan ke model termurah yang memenuhi persyaratan kualitasnya dan mengalihkan lalu lintas dari penyedia yang mendekati batas anggaran atau batas laju.
Apa perbedaan antara percobaan ulang dan fallback?
Percobaan ulang mengirim kembali permintaan ke penyedia yang sama, mungkin dengan kunci API yang berbeda, setelah kegagalan sementara seperti 5xx atau 429. Fallback berpindah ke penyedia dan model yang berbeda setelah percobaan ulang pada rute utama habis.
Apa itu penyeimbangan beban adaptif pada perute LLM?
Penyeimbangan beban adaptif menghitung ulang bobot rute berdasarkan metrik yang teramati, bukan konfigurasi statis.
Terapkan panduan ini dengan Ailoot
Hubungkan model AI ke aplikasi, agen, dan otomasi Anda melalui satu API Ailoot. Pilih model yang sesuai dengan tugas Anda dan ikuti dokumentasi Ailoot untuk memulai.