Mi az inferencia?
MarkdownIsmerje meg, mi az AI-inferencia, hogyan működik a kötegelt, peremhálózati, valós idejű és folyamatos inferencia, és hogyan kezelhetik a csapatok a pontossággal, a teljesítménnyel és a költségekkel kapcsolatos kihívásokat.
Mi az (AI-)inferencia?
Az inferencia az a folyamat, amelynek során egy mesterségesintelligencia-modell új adatokból előrejelzéseket vagy kimeneteket állít elő. A betanítás után az AI-modell paramétereket és reprezentációkat sajátít el. Amikor új adatokat kap, ezek felhasználásával állít elő kimenetet. Az inferencia az AI-alkalmazás futtatási vagy telepítési szakaszában történik, és számos valós felhasználási esetet tesz lehetővé.
Miért fontos az inferencia?
Az AI-inferencia a korábban nem látott adatokból történő kimenet-előállítás folyamata. Miután a modell általános mintákat tanult meg a tanító adatkészletekből, ezeket a mintákat új adatokra alkalmazza.
Például egy AI-modellt egészségügyi szakemberek által feliratozott orvosi képalkotó felvételeken taníthatnak be. A betanítás során a modell vizuális jeleket és összefüggéseket tanul meg az adatokban. Ezután inferencia segítségével képes lehet azonosítani a lehetséges daganatokat vagy rendellenességeket az új felvételeken. Az egészségügyi szakemberek ugyanazon felvételekből levont következtetésekkel értékelhetik a folyamat pontosságát.
A hagyományos analitikai technikákkal összehasonlítva, amelyeknél az emberek határozzák meg a szabályokat és választják ki a statisztikai módszereket, a modellbetanítás lehetővé teszi, hogy a modell olyan összetett mintákat fedezzen fel, amelyeket nehéz kézzel kódolni. Ezek a minták a modell paramétereiből rajzolódnak ki. Az inferencia ezeket alkalmazza az új adatokra.
Milyen típusai vannak a gépi tanulási inferenciának?
A gépi tanulási (ML) inferenciának több típusa létezik.
Kötegelt inferencia
A kötegelt inferencia több adatbemenetből álló csoportokat használ előrejelzések készítésére. Olyan alkalmazásokban hasznos, ahol nem kritikus az időzítés, és meg lehet várni a kimeneteket. Például egy üzleti elemzési célú generatív AI-alkalmazás valós idő helyett óránként dolgozhatja fel a frissítéseket.
Pereminferencia
A peremhálózati AI-inferencia a felhasználó eszközén vagy az adatforrás közelében futtatja a modellt. Mivel az adatokat nem kell feldolgozásra egy központi csomópontba küldeni, a pereminferencia csökkentheti a hálózati késleltetést. Hasznos távoli, korlátozott kapcsolattal rendelkező helyszíneken vagy olyan eszközökön, ahol alapvető fontosságú az inferencia. A feldolgozási sebesség az eszköztől és a modell késleltetésétől függ.
Valós idejű inferencia
A valós idejű inferencia a bemeneti kérésekre válaszul azonnal állít elő kimeneteket. A modellek a felhasználói bemenetből vagy csatlakoztatott adatforrásokból kapnak adatokat, ami azonnali kimenet előállítását teszi szükségessé. A valós idejű inferencia alacsony késleltetésű AI-rendszerekre támaszkodik, és gyakran használják időkritikus rendszerekben. Az önvezető járművek például a kellő időben történő döntéshozatal támogatására használják.
Folyamatos inferencia
A folyamatos inferencia olyan adatfolyamot használ, amely megszakítás nélkül továbbítja az információkat egy modellnek, amely valós időben állít elő kimeneteket. A valós idejű inferenciához hasonlóan ez is reagál a beérkező adatokra, de folyamatosan állít elő kimeneteket a bemeneti adatfolyam alapján. A valós idejű inferencia felhasználói bemenetre vagy élő kérésekre reagál, míg a folyamatos inferencia az új adatok megszakítás nélküli áramlását dolgozza fel.
Hogyan működik az inferencia?
Több technológia és adatrendszer működik együtt az AI-inferenciát kiszolgáló infrastruktúra biztosítására.
Gépi tanulási modellinfrastruktúra
Az AI-inferencia a modell betanítása után válik lehetővé. A telepítés előtt a modell betanításon, finomhangoláson, validáción és inferenciaoptimalizáláson mehet keresztül.
Egy éles környezetben működő, betanított modell jelentős számítási teljesítményt igényelhet grafikus feldolgozóegységektől (GPU-k), központi feldolgozóegységektől (CPU-k) és olyan speciális AI-gyorsítóktól, mint az AWS Inferentia. A számítási erőforrásokhoz tárhelyre, hálózatra és adatfolyamokra is szükség van.
Felhasználói bemenet és adat-előfeldolgozás
Előfordulhat, hogy az adatokat elő kell dolgozni, mielőtt a modellbe kerülnek. A képfeldolgozó modellek például normalizálást alkalmazhatnak, míg a nagy nyelvi modellek (LLM-ek) tokenizálást használhatnak. Az adatok a minőségük javítása érdekében is tisztíthatók.
Az inferencia folyamata
Az inferencia folyamata tiszta adatokat vesz át, majd egy előrefelé haladó menetet végez: a modell rétegein keresztül továbbítja az előfeldolgozott adatokat a kimenet előállításához. Ez számítások sorozatából áll.
Kimenet előállítása és utófeldolgozás
Az előrefelé haladó menet után a modell a tanítóadatokból megtanult minták alapján kimenetet állít elő.
Az utófeldolgozás ellenőrizheti, szűrheti és formázhatja a kimeneteket a védőkorlátoknak és szabályzatoknak megfelelően. A védőkorlátok például segíthetnek megelőzni a trágár vagy káros tartalmakat, a formázás pedig az üzleti vállalkozás hangneméhez igazíthatja a kimenetet.
Milyen kihívásokat jelent az inferencia az AI-modellek számára?
Több kihívás is befolyásolhatja egy AI-modell inferenciaképességét.
Modellromlás
Modellromlásról akkor beszélünk, amikor a modell idővel kevésbé hatékonnyá válik, mert a valós adatok eltérnek azoktól az adatoktól, amelyeken betanították. Adateltolódás akkor következik be, amikor a bemeneti adatok mintái megváltoznak. Ha a modell súlyai a korábbi tanítóadatok alapján rögzítve maradnak, ezek az eltolódások pontatlanná tehetik a kimeneteket.
Fogalmi eltolódás akkor történik, amikor megváltozik vagy összetettebbé válik a modell bemenetei és kimenetei közötti kapcsolat. Például egy adathalász e-mailek azonosítására betanított AI-modell a megtanult mintákat használja előrejelzések készítésére. Ha az új technológiák megváltoztatják az adathalász kísérletek végrehajtásának módját, a modell kimenete kevésbé pontossá válhat. A változások kezeléséhez szükség lehet újratanításra.
Mindkét esetben előfordulhat, hogy egy korábban jól teljesítő modell kevésbé pontos vagy hibás válaszokat kezd adni.
Sebesség és teljesítmény
Egy AI-modell nagy léptékű telepítéséhez olyan infrastruktúra szükséges, amely megbízhatóan képes biztosítani a kimeneteket. A szervezeteknek szükségük lehet grafikus processzorokra, alacsony késleltetésre, gyors hálózati kapcsolatra, valamint további nagy teljesítményű feldolgozóegységekre az összetett modellekhez.
A sebesség és a teljesítmény javításának további módjai közé tartozik az infrastruktúra-architektúra finomítása, a speciális hardverek használata, valamint olyan inferenciaoptimalizálási technikák alkalmazása, mint például a kvantálás, amely csökkenti a modell méretét.
Egy másik inferenciamódszer, például a kötegelt inferencia kiválasztása javíthatja a teljesítményt bizonyos felhasználási esetekben.
Költség
Az inferenciamunkaterhelések futtatása váratlan költségeket okozhat. Nagy léptékben vagy sok különböző környezetben a számítási teljesítmény és az inferenciakérések mennyisége növelheti a kiadásokat. A szervezetek olyan stratégiákkal kezelhetik a költségeket, mint a modellméret csökkentése, a feldolgozás párhuzamosítása, valamint az online inferenciához használt automatikusan skálázódó felhőinfrastruktúra.
Bevált gyakorlatok az AI pontosságának és hasznosságának javítására
Az AI-inferencia pontosságának és hasznosságának javítása részben a betanítási és optimalizálási folyamatoktól függ. Az alábbi gyakorlatok segíthetnek.
Fektessen be az adatminőségbe
A tanító adatkészletek minősége közvetlenül befolyásolja, hogy a modell mennyire képes új adatokról előrejelzéseket készíteni és hasznos kimeneteket előállítani. A jó minőségű, megfelelően címkézett, következetes és zajmentes adatok javíthatják a modell mintafelismerési képességét. Hozzon létre szigorú adat-előkészítési folyamatokat, beleértve az adatok tisztítását, validálását, szabványosítását és az inkonzisztenciák feloldását.
Vegyen igénybe képzett szakembereket
Lehetőség szerint vonjon be olyan szakembereket, akik jártasak a modellbetanításban és a használni kívánt technológiai verem architektúrájában. A szakterületi szakértők segíthetnek az adatok címkézésében, így azok jobb minőségűvé és átfogóbbá válnak. A modell jó minőségű adatokon történő betanítása javíthatja a kimenetek pontosságát.
Gondoskodjon a megfelelőséghez szükséges magyarázhatóságról
Az inferencia kimeneteinek megmagyarázhatóknak kell lenniük. A magyarázhatósági technikák segíthetnek megmutatni, hogy mely bemeneti jellemzők befolyásolták az adott kimenetet. A különböző típusú ML-modellek különböző technikákat alkalmaznak. A Shapley Additive exPlanations (SHAP) például bármely modellre alkalmazható, de leginkább a faalapú és lineáris modellekhez, valamint a neurális hálózatokhoz illik. A magyarázhatóság abban is segíthet a szervezeteknek, hogy megfeleljenek az AI-ra vonatkozó keretrendszereknek, köztük a GDPR azon jogának, hogy magyarázatot lehessen kérni az AI által hozott döntésekről.
Hogyan támogathatja az AWS az AI-inferenciát?
Az AWS a gépi tanulás és az AI-modellek életciklusának különböző szakaszaihoz szolgáltatásokat és célra kialakított infrastruktúrát ismertet.
Az Amazon SageMaker AI gépi tanulási környezetet biztosít egyéni modellek létrehozásához, betanításához, optimalizálásához, teszteléséhez és irányításához.
Az Amazon SageMaker AI teljes körűen felügyelt szolgáltatás, amely különféle felhasználási esetekhez kínál gépi tanulási eszközöket. Támogatja modellek nagy léptékű létrehozását, betanítását és telepítését olyan eszközökkel, mint a jegyzetfüzetek, hibakeresők, profilozók, folyamatok és az MLOps egy integrált fejlesztői környezetben (IDE).
A SageMaker AI hozzáférés-vezérléssel és az ML-projektek átláthatóságával támogatja a betanításra és inferenciára vonatkozó irányítási követelményeket. Emellett eszközöket biztosít alapmodellek (FM-ek) létrehozásához. Ezek nagy modellek, amelyeket kiterjedt adatkészleteken tanítanak be; a szolgáltatás a finomhangolásukat, kísérletezést, újratanításukat és telepítésüket is támogatja.
Az AWS felhőinfrastruktúrát kínál az AI-inferenciához, többek között speciális GPU-kat az Amazon EC2 szolgáltatásban és olyan gépi tanulási chipeket, mint az AWS Inferentia.
Kezdje el használni az ML-modellinferenciát az AWS-en: hozzon létre ingyenes fiókot még ma.
Használja ezt az útmutatót az Ailoot segítségével
Kapcsolja össze az AI-modelleket alkalmazásaival, ügynökeivel és automatizálásaival egyetlen Ailoot API-n keresztül. Válassza ki a feladatához illő modellt, és az induláshoz kövesse az Ailoot dokumentációját.