Blog

Apa itu perutean LLM?

Markdown

Bagaimana perutean LLM memilih model berdasarkan persyaratan permintaan, biaya, kualitas, latensi, konteks, dan kebijakan.

Perutean LLM adalah praktik mengirim setiap permintaan AI ke model dan penyedia yang paling sesuai, alih-alih mengunci setiap pemanggilan ke satu model. Router mengevaluasi permintaan berdasarkan tujuan, biaya, kualitas, latensi, panjang konteks, dan kebijakan Anda, lalu meneruskannya ke opsi yang paling sesuai.

Sebagian besar tim memulai dengan menghubungkan aplikasi mereka langsung ke satu penyedia, biasanya OpenAI. Cara itu berhasil sampai tidak lagi: model yang lebih murah dapat menangani 60% lalu lintas Anda dengan sama baiknya, penyedia mengalami gangguan, permintaan memerlukan jendela konteks yang lebih panjang, atau beban kerja yang diatur tidak boleh meninggalkan suatu yurisdiksi. Router menyelesaikan semua masalah ini melalui satu endpoint.

Cara kerja perutean LLM

Arahkan SDK kompatibel OpenAI yang sudah Anda gunakan ke router, bukan ke penyedia. Untuk setiap permintaan, router:

  1. Menyusun kumpulan kandidat model yang dapat menangani permintaan (kapabilitas, jendela konteks, dan ketersediaan yang sesuai).
  2. Memberi skor kepada kandidat berdasarkan sasaran Anda, misalnya “opsi termurah yang melampaui ambang kualitas” atau “latensi terukur terendah.”
  3. Menerapkan batasan seperti anggaran, penyedia yang diizinkan, residensi data, dan daftar model yang diizinkan untuk setiap kunci.
  4. Meneruskan permintaan dan beralih ke cadangan: jika pilihan pertama mengalami kesalahan atau waktu tunggu habis, router otomatis mencoba kandidat terbaik berikutnya.

Mengapa tim memilih perutean daripada mengunci model

  • Biaya. Arahkan permintaan sederhana ke model murah dan sisihkan model premium untuk permintaan yang membutuhkannya.
  • Keandalan. Pengalihan otomatis antarpenyedia berarti gangguan pada satu vendor tidak membuat produk Anda berhenti berfungsi.
  • Fleksibilitas. Ganti atau tambahkan model tanpa merilis kode, karena perutean berada dalam kebijakan, bukan di aplikasi Anda.
  • Tata kelola. Terapkan anggaran, residensi, dan ambang kualitas secara terpusat, bukan per layanan.

Perutean dibandingkan dengan cadangan sederhana

Cadangan (“jika OpenAI gagal, coba Anthropic”) adalah bentuk perutean paling dasar, tetapi perutean yang sesungguhnya mengoptimalkan setiap permintaan, bukan hanya permintaan yang gagal, dengan memilih opsi terbaik sejak awal berdasarkan biaya dan kualitas, bukan hanya saat terjadi masalah.

Terapkan panduan ini dengan Ailoot

Hubungkan model AI ke aplikasi, agen, dan otomatisasi Anda melalui satu API Ailoot. Pilih model yang sesuai dengan tugas Anda dan ikuti dokumentasi Ailoot untuk memulai.