Apakah Inferens?
MarkdownKetahui maksud inferens AI, cara inferens kelompok, pinggir, masa nyata dan penstriman berfungsi, serta cara pasukan menangani cabaran ketepatan, prestasi dan kos.
Apakah Inferens (AI)?
Inferens ialah proses model kecerdasan buatan menghasilkan ramalan atau output daripada data baharu. Selepas latihan, model AI telah mempelajari parameter dan perwakilan. Apabila menerima data baharu, model menggunakan perkara tersebut untuk menghasilkan output. Inferens berlaku semasa fasa masa jalan atau penggunaan aplikasi AI dan membolehkan pelbagai kes penggunaan dunia sebenar.
Mengapakah inferens penting?
Inferens AI ialah proses menghasilkan output daripada data yang belum pernah dilihat. Selepas mempelajari corak umum daripada set data latihan, model menggunakan corak tersebut pada data baharu.
Contohnya, model AI mungkin dilatih menggunakan imbasan imej perubatan yang dianotasi oleh profesional perubatan. Semasa latihan, model mempelajari petunjuk visual dan perkaitan dalam data. Kemudian, model boleh mengenal pasti potensi tumor atau kelainan dalam imbasan baharu melalui inferens. Profesional perubatan boleh menilai ketepatan proses itu dengan membuat kesimpulan daripada imbasan yang sama.
Berbanding teknik analitik tradisional, yang menetapkan peraturan dan memilih teknik statistik, latihan model membolehkan model menemui corak kompleks yang sukar dikodkan secara manual. Corak ini muncul daripada parameter model. Inferens menggunakan corak tersebut pada data baharu.
Apakah jenis inferens pembelajaran mesin?
Terdapat beberapa jenis inferens pembelajaran mesin (ML).
Inferens kelompok
Inferens kelompok membuat ramalan menggunakan kumpulan berbilang input data. Inferens ini berguna dalam aplikasi yang tidak memerlukan tindakan segera dan boleh menunggu output. Contohnya, aplikasi AI generatif analitik perniagaan mungkin memproses kemas kini sekali sejam dan bukannya dalam masa nyata.
Inferens pinggir
Inferens AI pinggir menjalankan model pada peranti pengguna atau berhampiran sumber data. Oleh sebab data tidak perlu dihantar ke hab pusat untuk diproses, inferens pinggir boleh mengurangkan kependaman rangkaian. Inferens ini berguna di lokasi terpencil dengan sambungan terhad atau pada peranti yang memerlukan inferens. Kelajuan pemprosesan bergantung pada peranti dan kependaman model.
Inferens masa nyata
Inferens masa nyata menghasilkan output serta-merta sebagai tindak balas kepada permintaan input. Model menerima data daripada input pengguna atau sumber data yang disambungkan, lalu mencetuskan keperluan untuk output serta-merta. Inferens masa nyata bergantung pada sistem AI berkependaman rendah dan lazimnya digunakan dalam sistem yang memerlukan tindakan segera. Contohnya, kenderaan autonomi menggunakannya untuk menyokong pembuatan keputusan tepat pada masanya.
Inferens penstriman
Inferens penstriman menggunakan saluran paip data yang menghantar maklumat secara berterusan kepada model, yang menghasilkan output dalam masa nyata. Seperti inferens masa nyata, inferens ini bertindak balas terhadap data masuk, tetapi terus menghasilkan output berdasarkan aliran input. Inferens masa nyata bertindak balas terhadap input pengguna atau permintaan langsung, manakala inferens penstriman memproses aliran data baharu yang berterusan.
Bagaimanakah inferens berfungsi?
Beberapa teknologi dan sistem data bekerjasama untuk menyediakan infrastruktur bagi inferens AI.
Infrastruktur model pembelajaran mesin
Inferens AI boleh dilakukan selepas model dilatih. Sebelum penggunaan, model mungkin melalui latihan, penalaan halus, pengesahan dan pengoptimuman inferens.
Model terlatih dalam produksi mungkin memerlukan kuasa pengkomputeran yang besar daripada unit pemprosesan grafik (GPU), unit pemprosesan pusat (CPU) dan pemecut AI khusus seperti AWS Inferentia. Sumber pengkomputeran juga memerlukan storan, rangkaian dan saluran paip data.
Input pengguna dan prapemprosesan data
Data mungkin perlu dipraproses sebelum dimasukkan ke dalam model. Contohnya, model penglihatan mungkin menggunakan penormalan, manakala model bahasa besar (LLM) mungkin menggunakan penokenan. Data juga boleh dibersihkan untuk meningkatkan kualitinya.
Proses inferens
Proses inferens mengambil data yang bersih dan melakukan laluan ke hadapan, iaitu menggerakkan data yang telah dipraproses melalui lapisan model untuk menghasilkan output. Proses ini melibatkan beberapa siri pengiraan.
Penjanaan output dan pascapemprosesan
Selepas laluan ke hadapan, model menghasilkan output berdasarkan corak yang dipelajari daripada data latihan.
Pascapemprosesan boleh mengimbas, menapis dan memformat output berdasarkan kawalan perlindungan dan dasar. Contohnya, kawalan perlindungan boleh membantu mencegah kata-kata kesat atau kandungan berbahaya, manakala pemformatan boleh menyesuaikan output dengan nada suara perniagaan.
Apakah cabaran inferens bagi model AI?
Beberapa cabaran boleh menjejaskan keupayaan model AI untuk membuat inferens.
Hanyutan model
Hanyutan model berlaku apabila model menjadi kurang berkesan dari semasa ke semasa kerana data dunia sebenar berubah berbanding data yang digunakan untuk melatihnya. Hanyutan data berlaku apabila corak dalam data input berubah. Jika pemberat model kekal tetap berdasarkan data latihan terdahulu, perubahan ini boleh menyebabkan outputnya tidak tepat.
Hanyutan konsep berlaku apabila hubungan antara input dan output model berubah atau menjadi lebih kompleks. Contohnya, model AI yang dilatih untuk mengenal pasti e-mel pancingan data menggunakan corak yang dipelajari untuk membuat ramalan. Jika teknologi baharu mengubah cara serangan pancingan data dilakukan, output model mungkin menjadi kurang tepat. Latihan semula mungkin diperlukan untuk mengambil kira perubahan tersebut.
Dalam kedua-dua kes, model yang pernah berprestasi baik mungkin mula menghasilkan jawapan yang kurang tepat atau salah.
Kelajuan dan prestasi
Penggunaan model AI pada skala besar memerlukan infrastruktur yang mampu menyampaikan output dengan andal. Organisasi mungkin memerlukan pemproses grafik, kependaman rendah, kelajuan rangkaian yang tinggi dan unit pemprosesan berprestasi tinggi tambahan untuk model yang kompleks.
Cara lain untuk meningkatkan kelajuan dan prestasi termasuk memperhalus seni bina infrastruktur, menggunakan perkakasan khusus dan menerapkan teknik pengoptimuman inferens seperti pengkuantuman untuk mengurangkan saiz model.
Memilih pendekatan inferens yang berbeza, seperti inferens kelompok, boleh meningkatkan prestasi untuk kes penggunaan tertentu.
Kos
Menjalankan beban kerja inferens boleh menyebabkan kos yang tidak dijangka. Pada skala besar, atau merentasi pelbagai konteks, kuasa pengkomputeran dan jumlah permintaan inferens boleh meningkatkan perbelanjaan. Organisasi boleh mengurus kos dengan strategi seperti mengurangkan saiz model, memparalelkan pemprosesan dan menggunakan infrastruktur awan penskalaan automatik untuk inferens dalam talian.
Amalan terbaik untuk meningkatkan ketepatan dan kegunaan AI
Peningkatan ketepatan dan kegunaan inferens AI sebahagiannya bergantung pada proses latihan dan pengoptimuman. Amalan berikut boleh membantu.
Melabur dalam kualiti data
Kualiti set data latihan mempengaruhi secara langsung keupayaan model untuk membuat ramalan tentang data baharu dan menghasilkan output yang berguna. Data berkualiti tinggi yang dilabel dengan baik, konsisten dan bebas hingar boleh meningkatkan keupayaan model untuk mengenal pasti corak. Wujudkan proses yang rapi untuk menyediakan data, termasuk membersihkan, mengesahkan, menyeragamkan dan menyelesaikan ketidakselarasan.
Menggunakan kakitangan mahir
Jika boleh, libatkan individu yang mahir dalam latihan model dan seni bina tindanan teknologi yang anda rancang untuk gunakan. Pakar bidang boleh membantu menganotasi data, menjadikannya lebih berkualiti dan menyeluruh. Melatih model menggunakan data berkualiti tinggi boleh meningkatkan ketepatan outputnya.
Menyertakan kebolehjelasan untuk pematuhan
Output inferens harus dapat dijelaskan. Teknik kebolehjelasan boleh membantu menunjukkan ciri input yang mempengaruhi sesuatu output. Jenis model ML yang berbeza menggunakan teknik yang berbeza. Shapley Additive exPlanations (SHAP), contohnya, boleh diterapkan pada mana-mana model dan paling sesuai untuk model berasaskan pepohon, model linear dan rangkaian neural. Kebolehjelasan juga boleh membantu organisasi menyelaraskan diri dengan rangka kerja pematuhan AI, termasuk hak untuk mendapatkan penjelasan di bawah GDPR bagi keputusan yang dibuat oleh AI.
Bagaimanakah AWS boleh menyokong inferens AI?
AWS menerangkan perkhidmatan dan infrastruktur yang dibina khusus untuk pelbagai peringkat kitar hayat pembelajaran mesin dan model AI.
Amazon SageMaker AI menyediakan persekitaran pembelajaran mesin untuk membina, melatih, mengoptimumkan, menguji dan mentadbir model tersuai.
Amazon SageMaker AI ialah perkhidmatan terurus sepenuhnya dengan alat pembelajaran mesin untuk pelbagai kes penggunaan. Perkhidmatan ini menyokong pembinaan, latihan dan penggunaan model pada skala besar dengan alat seperti buku nota, penyahpepijat, pemprofil, saluran paip dan MLOps dalam persekitaran pembangunan bersepadu (IDE).
SageMaker AI menyokong keperluan tadbir urus merentasi latihan dan inferens melalui kawalan akses dan ketelusan projek ML. Perkhidmatan ini juga menyediakan alat untuk membina model asas (FM), iaitu model besar yang dilatih menggunakan set data yang luas, serta untuk memperhalus, mencuba, melatih semula dan menggunakannya.
AWS menawarkan infrastruktur awan untuk inferens AI, termasuk GPU khusus pada Amazon EC2 dan cip pembelajaran mesin seperti AWS Inferentia.
Mulakan inferens model ML di AWS dengan mencipta akaun percuma hari ini.
Gunakan panduan ini dengan Ailoot
Sambungkan model AI kepada aplikasi, ejen dan automasi anda melalui satu API Ailoot. Pilih model yang sesuai dengan tugasan anda dan ikuti dokumentasi Ailoot untuk bermula.