Blog

Czym jest inferencja?

Markdown

Dowiedz się, czym jest inferencja AI, jak działają inferencja wsadowa, brzegowa, czasu rzeczywistego i strumieniowa oraz jak zespoły mogą radzić sobie z wyzwaniami dotyczącymi dokładności, wydajności i kosztów.

Czym jest inferencja (AI)?

Inferencja to proces, w którym model sztucznej inteligencji generuje przewidywania lub wyniki na podstawie nowych danych. Po treningu model AI ma wyuczone parametry i reprezentacje. Gdy otrzymuje nowe dane, wykorzystuje je do wygenerowania wyniku. Inferencja zachodzi podczas działania lub wdrażania aplikacji AI i umożliwia szeroki zakres zastosowań w świecie rzeczywistym.

Dlaczego inferencja jest ważna?

Inferencja AI to proces generowania wyników na podstawie niewidzianych wcześniej danych. Po nauczeniu się uogólnionych wzorców ze zbiorów danych treningowych model stosuje te wzorce do nowych danych.

Na przykład model AI może zostać wytrenowany na skanach obrazów medycznych opisanych przez specjalistów medycznych. Podczas treningu model uczy się wskazówek wizualnych i zależności występujących w danych. Następnie może identyfikować potencjalne guzy lub nieprawidłowości na nowych skanach za pomocą inferencji. Specjaliści medyczni mogą ocenić dokładność tego procesu, wyciągając wnioski z tych samych skanów.

W porównaniu z tradycyjnymi technikami analityki, w których ludzie definiują reguły i wybierają techniki statystyczne, trenowanie modelu pozwala mu odkrywać złożone wzorce, które trudno zakodować ręcznie. Wzorce te wynikają z parametrów modelu. Inferencja stosuje je do nowych danych.

Jakie są rodzaje inferencji w uczeniu maszynowym?

Istnieje kilka rodzajów inferencji w uczeniu maszynowym (ML).

Inferencja wsadowa

Inferencja wsadowa generuje przewidywania na podstawie grup wielu danych wejściowych. Przydaje się w zastosowaniach, w których czas nie ma kluczowego znaczenia i można poczekać na wyniki. Na przykład aplikacja generatywnej AI do analityki biznesowej może przetwarzać aktualizacje raz na godzinę zamiast w czasie rzeczywistym.

Inferencja brzegowa

Inferencja AI na urządzeniu brzegowym uruchamia model na urządzeniu użytkownika lub w pobliżu źródła danych. Ponieważ danych nie trzeba wysyłać do centralnego węzła w celu przetworzenia, inferencja brzegowa może zmniejszyć opóźnienia sieciowe. Przydaje się w odległych lokalizacjach z ograniczoną łącznością lub na urządzeniach, na których inferencja jest niezbędna. Szybkość przetwarzania zależy od urządzenia i opóźnienia modelu.

Inferencja w czasie rzeczywistym

Inferencja w czasie rzeczywistym generuje wyniki natychmiast w odpowiedzi na żądania wejściowe. Modele otrzymują dane z danych wejściowych użytkownika lub połączonych źródeł danych, co powoduje potrzebę natychmiastowego wyniku. Inferencja w czasie rzeczywistym opiera się na systemach AI o niskim opóźnieniu i jest powszechnie stosowana w systemach, w których czas ma kluczowe znaczenie. Na przykład pojazdy autonomiczne wykorzystują ją do podejmowania decyzji na czas.

Inferencja strumieniowa

Inferencja strumieniowa wykorzystuje potok danych, który nieustannie dostarcza informacje do modelu generującego wyniki w czasie rzeczywistym. Podobnie jak inferencja w czasie rzeczywistym reaguje na napływające dane, ale nieprzerwanie generuje wyniki na podstawie strumienia wejściowego. Inferencja w czasie rzeczywistym reaguje na dane wejściowe użytkownika lub bieżące żądania, natomiast inferencja strumieniowa przetwarza ciągły przepływ nowych danych.

Jak działa inferencja?

Kilka technologii i systemów danych współpracuje ze sobą, zapewniając infrastrukturę do inferencji AI.

Infrastruktura modelu uczenia maszynowego

Inferencja AI jest możliwa po wytrenowaniu modelu. Przed wdrożeniem model może przejść trening, dostrajanie, walidację i optymalizację pod kątem inferencji.

Wytrenowany model działający na produkcji może wymagać znacznej mocy obliczeniowej procesorów graficznych (GPU), procesorów centralnych (CPU) oraz wyspecjalizowanych akceleratorów AI, takich jak AWS Inferentia. Zasoby obliczeniowe wymagają również pamięci masowej, sieci i potoków danych.

Dane wejściowe użytkownika i wstępne przetwarzanie danych

Dane mogą wymagać wstępnego przetworzenia, zanim zostaną przekazane do modelu. Na przykład modele wizyjne mogą używać normalizacji, a duże modele językowe (LLM) — tokenizacji. Dane można również oczyścić, aby poprawić ich jakość.

Proces inferencji

Proces inferencji pobiera oczyszczone dane i wykonuje przebieg w przód, przesyłając wstępnie przetworzone dane przez warstwy modelu w celu wygenerowania wyniku. Wiąże się to z szeregiem obliczeń.

Generowanie wyników i przetwarzanie końcowe

Po przebiegu w przód model generuje wynik na podstawie wzorców poznanych z danych treningowych.

Przetwarzanie końcowe może skanować, filtrować i formatować wyniki zgodnie z zabezpieczeniami i politykami. Na przykład zabezpieczenia mogą pomagać zapobiegać użyciu wulgaryzmów lub szkodliwych treści, a formatowanie może dostosować wynik do tonu komunikacji firmy.

Jakie wyzwania wiążą się z inferencją modeli AI?

Kilka wyzwań może wpływać na zdolność modelu AI do wnioskowania.

Dryf modelu

Dryf modelu występuje, gdy model z czasem staje się mniej skuteczny, ponieważ dane ze świata rzeczywistego różnią się od danych, na których został wytrenowany. Dryf danych zachodzi, gdy zmieniają się wzorce w danych wejściowych. Jeśli wagi modelu pozostają niezmienione i odzwierciedlają wcześniejsze dane treningowe, takie zmiany mogą sprawić, że wyniki modelu będą niedokładne.

Dryf koncepcji występuje, gdy zmienia się lub staje się bardziej złożona zależność między danymi wejściowymi modelu a jego wynikami. Na przykład model AI wytrenowany do identyfikowania wiadomości phishingowych wykorzystuje wyuczone wzorce do tworzenia przewidywań. Jeśli nowe technologie zmienią sposób przeprowadzania ataków phishingowych, wyniki modelu mogą stać się mniej dokładne. Może być konieczny ponowny trening, aby uwzględnić te zmiany.

W obu przypadkach model, który wcześniej działał dobrze, może zacząć generować mniej dokładne lub błędne odpowiedzi.

Szybkość i wydajność

Wdrożenie modelu AI na dużą skalę wymaga infrastruktury zdolnej do niezawodnego dostarczania wyników. Organizacje mogą potrzebować procesorów graficznych, niskich opóźnień, szybkich połączeń sieciowych oraz dodatkowych jednostek przetwarzających o wysokiej wydajności do złożonych modeli.

Inne sposoby poprawy szybkości i wydajności obejmują udoskonalenie architektury infrastruktury, użycie wyspecjalizowanego sprzętu oraz zastosowanie technik optymalizacji inferencji, takich jak kwantyzacja, w celu zmniejszenia rozmiaru modelu.

Wybór innego podejścia do inferencji, takiego jak inferencja wsadowa, może poprawić wydajność w określonych zastosowaniach.

Koszt

Uruchamianie obciążeń inferencyjnych może prowadzić do nieoczekiwanych kosztów. Przy dużej skali lub w wielu różnych kontekstach zapotrzebowanie na moc obliczeniową i liczba żądań inferencji mogą zwiększać wydatki. Organizacje mogą zarządzać kosztami za pomocą takich strategii jak zmniejszanie rozmiaru modelu, równoległe przetwarzanie i korzystanie z automatycznie skalowanej infrastruktury chmurowej do inferencji online.

Najlepsze praktyki poprawiające dokładność i użyteczność AI

Poprawa dokładności i użyteczności inferencji AI zależy częściowo od procesów treningu i optymalizacji. Pomóc mogą następujące praktyki.

Inwestuj w jakość danych

Jakość zbiorów danych treningowych bezpośrednio wpływa na zdolność modelu do przewidywania na podstawie nowych danych i generowania użytecznych wyników. Wysokiej jakości dane, które są dobrze oznaczone, spójne i wolne od szumu, mogą poprawić zdolność modelu do identyfikowania wzorców. Ustanów rygorystyczne procesy przygotowywania danych, obejmujące czyszczenie, walidację, standaryzację i usuwanie niespójności.

Korzystaj z wykwalifikowanego personelu

W miarę możliwości angażuj osoby mające doświadczenie w trenowaniu modeli i architekturze stosu technologicznego, którego planujesz użyć. Eksperci dziedzinowi mogą pomóc w opisywaniu danych, podnosząc ich jakość i zwiększając ich kompleksowość. Trenowanie modelu na danych wysokiej jakości może poprawić dokładność jego wyników.

Uwzględnij wyjaśnialność na potrzeby zgodności

Wyniki inferencji powinny być możliwe do wyjaśnienia. Techniki wyjaśnialności mogą pomóc pokazać, które cechy wejściowe wpłynęły na dany wynik. Różne rodzaje modeli ML wykorzystują różne techniki. Na przykład Shapley Additive exPlanations (SHAP) można stosować do dowolnego modelu, a metoda ta najlepiej sprawdza się w przypadku modeli opartych na drzewach, modeli liniowych i sieci neuronowych. Wyjaśnialność może również pomóc organizacjom dostosować się do ram zgodności AI, w tym do prawa do wyjaśnienia decyzji podejmowanych przez AI, określonego w RODO.

Jak AWS może wspierać inferencję AI?

AWS opisuje usługi i infrastrukturę zaprojektowaną z myślą o różnych etapach cyklu życia uczenia maszynowego i modeli AI.

Amazon SageMaker AI zapewnia środowisko uczenia maszynowego do tworzenia, trenowania, optymalizowania, testowania i nadzorowania niestandardowych modeli.

Amazon SageMaker AI to w pełni zarządzana usługa oferująca narzędzia do uczenia maszynowego w wielu zastosowaniach. Obsługuje tworzenie, trenowanie i wdrażanie modeli na dużą skalę za pomocą narzędzi takich jak notatniki, debugery, profilery, potoki oraz MLOps w zintegrowanym środowisku programistycznym (IDE).

SageMaker AI wspiera wymagania dotyczące zarządzania w całym procesie treningu i inferencji, oferując kontrolę dostępu oraz przejrzystość projektów ML. Zapewnia także narzędzia do tworzenia modeli bazowych (FM), czyli dużych modeli trenowanych na obszernych zbiorach danych, a także do ich dostrajania, eksperymentowania z nimi, ponownego trenowania i wdrażania.

AWS oferuje infrastrukturę chmurową do inferencji AI, w tym wyspecjalizowane procesory GPU w usłudze Amazon EC2 oraz układy do uczenia maszynowego, takie jak AWS Inferentia.

Rozpocznij korzystanie z inferencji modeli ML w AWS już dziś, tworząc bezpłatne konto.

Wykorzystaj ten poradnik z Ailoot

Połącz modele AI ze swoimi aplikacjami, agentami i automatyzacjami za pomocą jednego API Ailoot. Wybierz model odpowiedni do zadania i rozpocznij pracę zgodnie z dokumentacją Ailoot.