# Apa itu perutean LLM?

> Bagaimana perutean LLM memilih model berdasarkan persyaratan permintaan, biaya, kualitas, latensi, konteks, dan kebijakan.

Source: https://ailoot.ai/blog/id/what-is-llm-routing/
Canonical: https://ailoot.ai/blog/id/what-is-llm-routing/
Language: id
Publisher: Ailoot (https://ailoot.ai/)
Translation: guide-100040
Revision: sha256-2f2b1c752999657f8dd4610e536eec019ad4632aa13f6ebd4993a9b4e51d1713


**Perutean LLM** adalah praktik mengirim setiap permintaan AI ke model dan penyedia yang paling sesuai, alih-alih mengunci setiap pemanggilan ke satu model. Router mengevaluasi permintaan berdasarkan tujuan, biaya, kualitas, latensi, panjang konteks, dan kebijakan Anda, lalu meneruskannya ke opsi yang paling sesuai.

Sebagian besar tim memulai dengan menghubungkan aplikasi mereka langsung ke satu penyedia, biasanya OpenAI. Cara itu berhasil sampai tidak lagi: model yang lebih murah dapat menangani 60% lalu lintas Anda dengan sama baiknya, penyedia mengalami gangguan, permintaan memerlukan jendela konteks yang lebih panjang, atau beban kerja yang diatur tidak boleh meninggalkan suatu yurisdiksi. Router menyelesaikan semua masalah ini melalui satu endpoint.

## Cara kerja perutean LLM

Arahkan SDK kompatibel OpenAI yang sudah Anda gunakan ke router, bukan ke penyedia. Untuk setiap permintaan, router:

1. **Menyusun kumpulan kandidat** model yang dapat menangani permintaan (kapabilitas, jendela konteks, dan ketersediaan yang sesuai).
2. **Memberi skor kepada kandidat** berdasarkan sasaran Anda, misalnya “opsi termurah yang melampaui ambang kualitas” atau “latensi terukur terendah.”
3. **Menerapkan batasan** seperti anggaran, penyedia yang diizinkan, residensi data, dan daftar model yang diizinkan untuk setiap kunci.
4. **Meneruskan permintaan dan beralih ke cadangan**: jika pilihan pertama mengalami kesalahan atau waktu tunggu habis, router otomatis mencoba kandidat terbaik berikutnya.

## Mengapa tim memilih perutean daripada mengunci model

- **Biaya.** Arahkan permintaan sederhana ke model murah dan sisihkan model premium untuk permintaan yang membutuhkannya.
- **Keandalan.** Pengalihan otomatis antarpenyedia berarti gangguan pada satu vendor tidak membuat produk Anda berhenti berfungsi.
- **Fleksibilitas.** Ganti atau tambahkan model tanpa merilis kode, karena perutean berada dalam kebijakan, bukan di aplikasi Anda.
- **Tata kelola.** Terapkan anggaran, residensi, dan ambang kualitas secara terpusat, bukan per layanan.

## Perutean dibandingkan dengan cadangan sederhana

Cadangan (“jika OpenAI gagal, coba Anthropic”) adalah bentuk perutean paling dasar, tetapi perutean yang sesungguhnya mengoptimalkan **setiap** permintaan, bukan hanya permintaan yang gagal, dengan memilih opsi terbaik sejak awal berdasarkan biaya dan kualitas, bukan hanya saat terjadi masalah.

## Terapkan panduan ini dengan Ailoot

Hubungkan model AI ke aplikasi, agen, dan otomatisasi Anda melalui satu API Ailoot. Pilih model yang sesuai dengan tugas Anda dan ikuti [dokumentasi Ailoot](https://ailoot.ai/docs/) untuk memulai.


## Ailoot · Perusahaan dan portofolio proyeknya

Ailoot bertumpu pada pengalaman operasional yang teruji, basis pelanggan yang besar, layanan yang stabil, dan pemantauan KPI berkelanjutan.

Perusahaan dan portofolio proyeknya: jutaan pelanggan; penjualan miliaran setiap bulan.

Ailoot memanfaatkan pengalaman operasional ini untuk akses API ke fitur AI dalam produk pelanggan, agen, aplikasi, dan otomatisasi.
