Blog

Tanya Ahli Teknologi: Apa itu inferensi?

Markdown

Para ahli Google menjelaskan inferensi AI melalui wawancara lengkap yang membahas pencocokan pola, jenis model, prediksi, klasifikasi, evaluasi, privasi, AI Overviews, sistem agentik, dan efisiensi.

Inferensi adalah bagian penting yang membuat AI semakin mampu. Dalam wawancara Google Techspert ini, dua ahli Google menjelaskan apa itu inferensi dan bagaimana inferensi membantu sistem AI menghasilkan keluaran yang bermanfaat.

Pada bulan April, Google memperkenalkan Ironwood, Tensor Processing Unit (TPU) generasi ketujuhnya, yang dirancang untuk mendukung inferensi AI generatif. TPU adalah chip yang mendukung sistem AI dan bukan teknologi baru bagi Google, tetapi generasi ini dirancang untuk membantu sistem AI melampaui sifat responsif dan menjadi proaktif. Inferensi adalah proses yang memungkinkan sistem AI menggunakan model untuk menghasilkan keluaran berdasarkan pengetahuan.

Saya tahu arti kata inferensi — berdasarkan informasi yang diberikan, Anda dapat menarik suatu kesimpulan. Apakah maknanya kurang lebih sama saat kita membicarakan AI?

Ahli Google: Kurang lebih, ya. Itu penyederhanaan, tetapi menurut saya cara termudah untuk memahami inferensi adalah sebagai pencocokan pola. Dalam pengertian seluas-luasnya, saat membicarakan AI generatif dan inferensi, yang ingin kita ketahui adalah: Dapatkah model AI mencocokkan pola untuk memprediksi apa yang Anda inginkan? Misalnya, jika saya mengatakan “selai kacang dan ____” lalu meminta audiens Amerika mengisi bagian kosong, kemungkinan mereka akan menjawab “jeli”. Itu contoh yang bagus tentang inferensi untuk pola bicara, dan itulah salah satu hal yang dapat dilakukan inferensi AI, tetapi kemampuannya jauh melampaui itu.

Ahli Google: Secara umum, inferensi adalah cara kita benar-benar menggunakan model untuk melakukan sesuatu yang bermanfaat. Pertama, kita harus melatih model: Model AI akan memuat parameter model, arsitektur model, dan konfigurasi, yaitu kode yang diperlukan untuk menjalankan tugas — dan semua hal ini bergabung untuk menjalankan fungsinya. Jadi, inferensi memungkinkan kita benar-benar memanfaatkan semua itu.

Jenis model AI apa saja yang menggunakan inferensi?

Ahli Google: AI deep learning seperti model bahasa, model pembuat gambar, dan model audio semuanya menggunakan inferensi karena model-model itu membuat prediksi tentang apa yang akan “terjadi” berdasarkan pola data masa lalu yang telah dipelajarinya.

Ahli Google: Model rekomendasi juga menggunakan inferensi.

Apa contoh model rekomendasi?

Ahli Google: Sebagian besar model iklan adalah model rekomendasi, begitu pula model yang merekomendasikan video YouTube kepada Anda. Ini adalah AI “tradisional” (kadang disebut AI “klasik”) — bukan AI generatif seperti LLM dan model pembuat gambar atau video — yang telah lama menggunakan inferensi.

Jadi, inferensi bukan hal baru bagi AI; inferensi hanya semakin baik seiring meningkatnya kemampuan AI?

Ahli Google: Ya. Dan inferensi bukan hanya yang memungkinkan model AI membuat prediksi. Inferensi juga memungkinkan model melakukan klasifikasi. Model dapat memberi label pada berbagai hal berdasarkan apa yang telah dipelajarinya. Ini contoh yang terkenal: Bertahun-tahun lalu, Google memberikan sebuah gambar kepada model AI dan bertanya apakah model itu dapat mengenali kucing di dalam gambar. Dengan menggunakan data — dan inferensi — model tersebut mampu belajar sendiri apa itu kucing, seperti apa bentuknya, dan mengenali kucing itu dengan benar.

Saya ingat itu!

Ahli Google: Itu contoh model yang menggunakan inferensi.

Ahli Google: Belakangan ini, apakah Anda ingat beberapa tahun lalu orang-orang membicarakan gambar buatan AI yang pada dasarnya mengabaikan hukum fisika? Misalnya, tangan manusia sering kali tidak digambarkan dengan benar. Model-model saat ini jauh lebih baik dalam hal itu. Model-model tersebut lebih baik dalam memahami fisika dan tekstur, serta hal-hal lainnya. Hal yang sama berlaku untuk penerjemahan teks. Contohnya: Dahulu, penerjemahan bahasa bersifat statistik. Hasilnya bisa digunakan, tetapi tidak sepenuhnya tepat dan tentu saja tidak terasa seperti percakapan. Namun, penerjemahan statistik membawa kita pada penerjemahan AI generatif, yang kini nyaman digunakan banyak orang, bahkan dalam produk yang mereka gunakan untuk berinteraksi dengan pelanggan. Kita masih menggunakan proses yang disebut inferensi, tetapi AI yang mendasarinya dan kapasitas komputasi kita telah meningkat secara dramatis.

Bisakah kita mengukur seberapa baik inferensi bekerja?

Ahli Google: Bisa, dengan mengukur kinerja model dalam tugas-tugas tertentu. Kita juga menggunakan inferensi untuk mengevaluasi dan melatih model agar menjadi lebih baik. Jadi, saat melatih model, kita terus menjalankan inferensi untuk sekaligus meningkatkan kualitas model.

Dengan pengaturan pelatihan seperti ini, saya rasa tingkat inferensi terus meningkat berdasarkan tolok ukur industri.

Ahli Google: Ya. Namun, ada juga soal persepsi manusia — seberapa jauh kita semua menyadari bahwa hal-hal ini semakin baik? Secara umum, peningkatannya cukup besar. Hal lain yang sangat kami perhatikan di Google saat mengembangkan inferensi adalah privasi: Kami berhati-hati dalam menentukan apa yang perlu disimpan agar pengalaman ini dapat berfungsi.

Apa saja contoh AI Google yang menunjukkan peningkatan inferensi?

Ahli Google: Salah satu penggunaan inferensi terbaik kami di Google adalah AI Overviews. Anda mengetik kueri di Penelusuran, lalu sistem yang sangat kompleks mengirimkannya ke sejumlah model untuk mendapatkan hasil. Sistem itu menggunakan inferensi untuk memahami kueri Anda dan mengetahui jawaban yang Anda inginkan, lalu merangkum hal-hal yang dipelajarinya menjadi sesuatu yang sangat bermanfaat. Inferensi juga sangat penting bagi banyak upaya agentik yang sedang dilakukan Google. Dengan agen, selain meminta model AI memberikan informasi berdasarkan inferensinya, Anda dapat meminta model itu melakukan sesuatu untuk Anda. Ini bisa dibilang merupakan pengembangan dari pemahaman kita sebelumnya tentang inferensi.

Jadi, inferensi semakin baik dalam menggunakan data, atau pengetahuan, untuk memberikan jawaban dan bahkan mengambil tindakan. Apa lagi yang berubah?

Ahli Google: Salah satu hal yang sangat penting adalah biaya. Kami berusaha membuat inferensi semurah mungkin. Misalnya, kami ingin menyediakan versi Gemini yang lebih kecil dan lebih terjangkau bagi masyarakat. Kami akan mengembangkan inferensi model untuk mencari cara mengubah paradigma komputasi, atau kode penyusun model, tanpa mengubah semantiknya, atau tugas utama yang seharusnya dilakukan, demi menurunkan biaya. Pada dasarnya, ini berarti membuat versi model yang lebih kecil dan lebih efisien agar lebih banyak orang dapat mengakses kemampuannya.

Bagaimana kita menurunkan biayanya?

Ahli Google: Salah satu caranya adalah mengoptimalkan perangkat keras. Itulah alasan Google akan meluncurkan Ironwood tahun ini. Ironwood dioptimalkan untuk inferensi berkat desain yang mengutamakan inferensi: daya komputasi dan memori yang lebih besar, serta optimasi untuk jenis numerik tertentu. Dari sisi perangkat lunak, Google sedang meningkatkan compiler dan framework-nya. Seiring waktu, tujuannya adalah membuat inferensi AI lebih efisien: kualitas yang lebih baik dengan jejak sumber daya yang lebih kecil dan biaya yang lebih rendah agar AI dapat bermanfaat.

Jelajahi dokumentasi API Ailoot di ailoot.ai/docs.