Apa Itu Inferensi?
MarkdownPelajari apa itu inferensi AI, cara kerja inferensi batch, edge, waktu nyata, dan streaming, serta cara tim mengatasi tantangan akurasi, kinerja, dan biaya.
Apa itu inferensi (AI)?
Inferensi adalah proses model kecerdasan buatan menghasilkan prediksi atau keluaran dari data baru. Setelah dilatih, model AI telah mempelajari parameter dan representasi. Saat menerima data baru, model menggunakan keduanya untuk menghasilkan keluaran. Inferensi berlangsung selama fase runtime atau penerapan aplikasi AI dan memungkinkan berbagai kasus penggunaan di dunia nyata.
Mengapa inferensi penting?
Inferensi AI adalah proses menghasilkan keluaran dari data yang belum pernah dilihat. Setelah mempelajari pola umum dari kumpulan data pelatihan, model menerapkan pola tersebut pada data baru.
Misalnya, model AI dapat dilatih menggunakan pemindaian citra medis yang telah diberi anotasi oleh tenaga medis profesional. Selama pelatihan, model mempelajari petunjuk visual dan keterkaitan dalam data. Model kemudian dapat mengidentifikasi kemungkinan tumor atau kelainan pada pemindaian baru melalui inferensi. Tenaga medis profesional dapat menilai keakuratan proses tersebut dengan menarik kesimpulan dari pemindaian yang sama.
Dibandingkan dengan teknik analitik tradisional, yang mengharuskan orang menentukan aturan dan memilih teknik statistik, pelatihan model memungkinkan model menemukan pola kompleks yang sulit dikodekan secara manual. Pola-pola ini muncul dari parameter model. Inferensi menerapkannya pada data baru.
Apa saja jenis inferensi machine learning?
Ada beberapa jenis inferensi machine learning (ML).
Inferensi batch
Inferensi batch membuat prediksi menggunakan kelompok yang terdiri atas beberapa masukan data. Metode ini berguna untuk aplikasi yang tidak terikat waktu dan dapat menunggu keluaran. Misalnya, aplikasi AI generatif untuk analitik bisnis dapat memproses pembaruan setiap jam, bukan secara waktu nyata.
Inferensi edge
Inferensi AI edge menjalankan model di perangkat pengguna atau di dekat sumber data. Karena data tidak perlu dikirim ke pusat pemrosesan, inferensi edge dapat mengurangi latensi jaringan. Metode ini berguna di lokasi terpencil dengan konektivitas terbatas atau pada perangkat yang memerlukan inferensi. Kecepatan pemrosesan bergantung pada perangkat dan latensi model.
Inferensi waktu nyata
Inferensi waktu nyata langsung menghasilkan keluaran sebagai respons terhadap permintaan masukan. Model menerima data dari masukan pengguna atau sumber data yang terhubung, sehingga memicu kebutuhan akan keluaran langsung. Inferensi waktu nyata mengandalkan sistem AI berlatensi rendah dan umum digunakan dalam sistem yang sangat terikat waktu. Misalnya, kendaraan otonom menggunakannya untuk mendukung pengambilan keputusan yang tepat waktu.
Inferensi streaming
Inferensi streaming menggunakan pipeline data yang terus-menerus mengirimkan informasi ke model, yang kemudian menghasilkan keluaran secara waktu nyata. Seperti inferensi waktu nyata, metode ini merespons data yang masuk, tetapi terus menghasilkan keluaran berdasarkan aliran masukan. Inferensi waktu nyata merespons masukan pengguna atau permintaan langsung, sedangkan inferensi streaming memproses aliran data baru yang berkelanjutan.
Bagaimana cara kerja inferensi?
Sejumlah teknologi dan sistem data bekerja bersama untuk menyediakan infrastruktur bagi inferensi AI.
Infrastruktur model machine learning
Inferensi AI dapat dilakukan setelah model dilatih. Sebelum penerapan, model dapat melalui pelatihan, penyempurnaan, validasi, dan pengoptimalan inferensi.
Model terlatih di lingkungan produksi dapat memerlukan daya komputasi yang besar dari unit pemrosesan grafis (GPU), unit pemrosesan pusat (CPU), dan akselerator AI khusus seperti AWS Inferentia. Sumber daya komputasi juga memerlukan penyimpanan, jaringan, dan pipeline data.
Masukan pengguna dan prapemrosesan data
Data mungkin perlu dipraproses sebelum dimasukkan ke model. Misalnya, model visi dapat menggunakan normalisasi, sedangkan model bahasa besar (LLM) dapat menggunakan tokenisasi. Data juga dapat dibersihkan untuk meningkatkan kualitasnya.
Proses inferensi
Proses inferensi menerima data bersih dan melakukan forward pass, dengan meneruskan data yang telah dipraproses melalui lapisan-lapisan model untuk menghasilkan keluaran. Proses ini mencakup serangkaian perhitungan.
Pembuatan keluaran dan pascapemrosesan
Setelah forward pass, model menghasilkan keluaran berdasarkan pola yang dipelajari dari data pelatihan.
Pascapemrosesan dapat memindai, memfilter, dan memformat keluaran sesuai dengan pagar pengaman dan kebijakan. Misalnya, pagar pengaman dapat membantu mencegah kata-kata kasar atau konten berbahaya, sedangkan pemformatan dapat menyesuaikan keluaran dengan gaya komunikasi bisnis.
Apa saja tantangan inferensi untuk model AI?
Beberapa tantangan dapat memengaruhi kemampuan model AI untuk membuat inferensi.
Pergeseran model
Pergeseran model terjadi ketika model menjadi kurang efektif seiring waktu karena data di dunia nyata berubah dari data yang digunakan untuk melatihnya. Pergeseran data terjadi ketika pola dalam data masukan berubah. Jika bobot model tetap berdasarkan data pelatihan terdahulu, perubahan ini dapat membuat keluarannya tidak akurat.
Pergeseran konsep terjadi ketika hubungan antara masukan dan keluaran model berubah atau menjadi lebih kompleks. Misalnya, model AI yang dilatih untuk mengidentifikasi email phishing menggunakan pola yang dipelajari untuk membuat prediksi. Jika teknologi baru mengubah cara serangan phishing dilakukan, keluaran model mungkin menjadi kurang akurat. Pelatihan ulang mungkin diperlukan untuk menyesuaikan model dengan perubahan tersebut.
Dalam kedua kasus tersebut, model yang sebelumnya berkinerja baik dapat mulai menghasilkan jawaban yang kurang akurat atau keliru.
Kecepatan dan kinerja
Penerapan model AI dalam skala besar memerlukan infrastruktur yang mampu memberikan keluaran secara andal. Organisasi mungkin memerlukan prosesor grafis, latensi rendah, kecepatan jaringan tinggi, dan unit pemrosesan berperforma tinggi tambahan untuk model yang kompleks.
Cara lain untuk meningkatkan kecepatan dan kinerja meliputi penyempurnaan arsitektur infrastruktur, penggunaan perangkat keras khusus, dan penerapan teknik pengoptimalan inferensi seperti kuantisasi untuk mengurangi ukuran model.
Memilih pendekatan inferensi yang berbeda, seperti inferensi batch, dapat meningkatkan kinerja untuk kasus penggunaan tertentu.
Biaya
Menjalankan beban kerja inferensi dapat menimbulkan biaya tak terduga. Dalam skala besar atau di banyak konteks berbeda, daya komputasi dan volume permintaan inferensi dapat meningkatkan pengeluaran. Organisasi dapat mengelola biaya dengan strategi seperti mengurangi ukuran model, memparalelkan pemrosesan, dan menggunakan infrastruktur cloud dengan penskalaan otomatis untuk inferensi online.
Praktik terbaik untuk meningkatkan akurasi dan kegunaan AI
Peningkatan akurasi dan kegunaan inferensi AI sebagian bergantung pada proses pelatihan dan pengoptimalan. Praktik berikut dapat membantu.
Berinvestasi dalam kualitas data
Kualitas kumpulan data pelatihan secara langsung memengaruhi kemampuan model untuk membuat prediksi tentang data baru dan menghasilkan keluaran yang berguna. Data berkualitas tinggi yang diberi label dengan baik, konsisten, dan bebas dari noise dapat meningkatkan kemampuan model untuk mengenali pola. Tetapkan proses yang ketat untuk menyiapkan data, termasuk membersihkan, memvalidasi, menstandarkan, dan mengatasi inkonsistensi.
Menggunakan tenaga ahli
Jika memungkinkan, libatkan orang yang memiliki keahlian dalam pelatihan model dan arsitektur tumpukan teknologi yang ingin Anda gunakan. Pakar domain dapat membantu memberi anotasi pada data sehingga kualitasnya lebih tinggi dan cakupannya lebih menyeluruh. Melatih model dengan data berkualitas tinggi dapat meningkatkan akurasi keluarannya.
Menyertakan keterjelasan untuk kepatuhan
Keluaran inferensi sebaiknya dapat dijelaskan. Teknik keterjelasan dapat membantu menunjukkan fitur masukan mana yang memengaruhi keluaran tertentu. Berbagai jenis model ML menggunakan teknik yang berbeda. Shapley Additive exPlanations (SHAP), misalnya, dapat diterapkan pada model apa pun dan paling sesuai untuk model berbasis pohon, model linear, serta jaringan saraf. Keterjelasan juga dapat membantu organisasi mematuhi kerangka kerja kepatuhan AI, termasuk hak untuk mendapatkan penjelasan menurut GDPR atas keputusan yang dibuat oleh AI.
Bagaimana AWS dapat mendukung inferensi AI?
AWS menjelaskan layanan dan infrastruktur yang dirancang khusus untuk berbagai tahap siklus hidup machine learning dan model AI.
Amazon SageMaker AI menyediakan lingkungan machine learning untuk membangun, melatih, mengoptimalkan, menguji, dan mengatur model khusus.
Amazon SageMaker AI adalah layanan yang dikelola sepenuhnya dengan alat machine learning untuk berbagai kasus penggunaan. Layanan ini mendukung pembangunan, pelatihan, dan penerapan model dalam skala besar melalui alat seperti notebook, debugger, profiler, pipeline, dan MLOps dalam lingkungan pengembangan terintegrasi (IDE).
SageMaker AI mendukung persyaratan tata kelola selama pelatihan dan inferensi dengan kontrol akses serta transparansi pada proyek ML. Layanan ini juga menyediakan alat untuk membangun model fondasi (FM), yaitu model besar yang dilatih dengan kumpulan data ekstensif, serta untuk menyempurnakan, bereksperimen, melatih ulang, dan menerapkannya.
AWS menawarkan infrastruktur cloud untuk inferensi AI, termasuk GPU khusus di Amazon EC2 dan chip machine learning seperti AWS Inferentia.
Mulai gunakan inferensi model ML di AWS dengan membuat akun gratis hari ini.
Terapkan panduan ini dengan Ailoot
Hubungkan model AI ke aplikasi, agen, dan otomatisasi Anda melalui satu API Ailoot. Pilih model yang sesuai dengan tugas Anda dan ikuti dokumentasi Ailoot untuk memulai.