Blog

Czym jest wnioskowanie AI? Proces stojący za każdym wynikiem AI

Markdown

Dowiedz się, czym jest wnioskowanie AI, jak wytrenowane modele generują predykcje w czasie rzeczywistym oraz dlaczego opóźnienia, koszty i skalowalność mają znaczenie przy tworzeniu aplikacji AI.

Za każdym razem, gdy aplikacja AI generuje odpowiedź lub oznacza podejrzaną transakcję, wykonuje wnioskowanie. Wytrenowany model przyjmuje nowe dane i przepuszcza je przez warstwy wyuczonych parametrów, aby wygenerować wynik. Dzieje się to w milisekundach, często miliony razy dziennie. Ta szybkość ma jednak swoją cenę. Każde żądanie wnioskowania wymaga mocy obliczeniowej GPU i przepustowości pamięci, które rosną wraz z rozmiarem modelu i natężeniem ruchu. Nagłe skoki opóźnień frustrują użytkowników. Rachunki za GPU rosną szybciej, niż się spodziewano. Ponadto skalowanie obciążeń między regionami zwiększa złożoność infrastruktury, której większość zespołów nie przewiduje. Według digitalocean.com/currents/february-2026) wnioskowanie pochłania obecnie około 76–100% budżetów AI w wielu organizacjach.

Jeśli wdrażasz modele uczenia maszynowego lub procesy AI, najważniejsze jest nie tylko to, jak model się uczy. Liczy się też to, jak wydajnie dostarcza predykcje w czasie rzeczywistym. Zrozumienie, czym jest wnioskowanie AI i co wpływa na jego wydajność, pomoże Ci podejmować lepsze decyzje architektoniczne dotyczące kolejnego projektu AI.

Najważniejsze wnioski:

  • Podczas gdy trenowanie rozwija inteligencję modelu, wnioskowanie napędza aplikacje takie jak wykrywanie oszustw, interfejsy czatu LLM i systemy rekomendacji.

  • W miarę jak budżety AI przesuwają się w stronę wdrożeń, przepustowość, koszt żądania, wykorzystanie GPU oraz opóźnienia P95/P99 stają się ważnymi czynnikami przy tworzeniu aplikacji AI/ML.

  • Środowiska wnioskowania AI, takie jak chmura, edge i urządzenia lokalne, odpowiadają na różne potrzeby związane z opóźnieniami, prywatnością, przepustowością i skalowalnością. Wiele systemów produkcyjnych korzysta z podejścia hybrydowego.

  • Dzięki GPU Droplets, Bare Metal GPUs i Gradient™ AI Inference Cloud od DigitalOcean możesz wdrażać skalowalne wnioskowanie o wysokiej efektywności kosztowej, bez złożoności typowej dla hiperskalerów.

Czym jest wnioskowanie AI?

Obraz cyklu życia produktu AI

Wnioskowanie AI to etap cyklu życia AI, na którym wytrenowany model generuje predykcje lub wyniki na podstawie nowych danych. Napędza działające aplikacje, takie jak silniki rekomendacji, diagnostyka medyczna i interfejsy czatu z dużymi modelami językowymi (LLM). W środowiskach produkcyjnych wnioskowanie AI decyduje o tym, jak szybko użytkownicy otrzymują wyniki, jak dobrze system radzi sobie ze skokami ruchu oraz ile kosztuje dostarczenie każdej predykcji.

Workato obniża koszty wnioskowania o 67%:

Aby uruchamiać agentową AI na skalę biliona zadań, Workato nawiązało współpracę z agentową chmurą wnioskowania DigitalOcean, by zoptymalizować wnioskowanie LLM w długim kontekście. Po wdrożeniu NVIDIA Dynamo i vLLM na DOKS z routingiem uwzględniającym KV uzyskano o 67% więcej tokenów na sekundę na GPU i obniżono koszty modeli o 67%, używając o połowę mniej GPU.

Jaka jest różnica między trenowaniem a wnioskowaniem?

Trenowanie to sposób, w jaki model się uczy. Dostarczasz mu ogromne zbiory danych, a on stopniowo dostosowuje miliony wewnętrznych parametrów, aż zacznie samodzielnie rozpoznawać wzorce. Model otrzymuje dane wejściowe wraz z poprawnymi odpowiedziami (na przykład obrazy z etykietami lub tekst z oczekiwanymi wynikami), generuje predykcje, porównuje je z poprawnymi odpowiedziami i dostosowuje się, aby ograniczyć liczbę błędów. Proces ten powtarza się przez wiele cykli, aż model zacznie generować trafne predykcje. Jest intensywny obliczeniowo, ale odbywa się jednorazowo lub okresowo. Wnioskowanie następuje później: wytrenowany model przyjmuje nowe, wcześniej niewidziane dane i generuje predykcję lub odpowiedź w czasie rzeczywistym.

CzynnikTrenowanie AIWnioskowanie AI
CelNauka wzorców i optymalizacja dokładności modeluGenerowanie predykcji lub wyników na podstawie nowych danych
Wykorzystywane daneDuże oznaczone zbiory danych (np. historyczne transakcje oszukańcze, opisane obrazy medyczne, recenzje oznaczone pod kątem sentymentu)Nowe, wcześniej niewidziane dane wejściowe
WynikZaktualizowane wagi modelu (końcowy wytrenowany model)Predykcja, wynik punktowy, klasyfikacja lub wygenerowana odpowiedź
Wymagania obliczenioweBardzo wysokie (np. rozproszone klastry GPU)Niższe dla pojedynczego żądania, ale wrażliwe na opóźnienia
Wrażliwość na czasOffline, niewidoczne dla użytkownikaW czasie rzeczywistym lub zbliżonym do rzeczywistego, widoczne dla użytkownika
CzęstotliwośćOkazjonalnie (początkowe trenowanie i ponowne trenowanie)Ciągle, przy każdym żądaniu
Struktura kosztówWysoki początkowy koszt trenowaniaBieżący koszt każdego żądania
Priorytety optymalizacjiDokładność i redukcja stratyOpóźnienia, przepustowość i efektywność kosztowa
Przykład: system moderacji treści AISystem jest trenowany na milionach postów oznaczonych jako „bezpieczne”, „spam”, „mowa nienawiści” lub „naruszenie zasad”. Podczas trenowania model uczy się wzorców w tekście, tonie, słowach kluczowych i kontekście, dostosowując wewnętrzne wagi, aby odróżniać szkodliwe treści od akceptowalnych.Gdy użytkownik przesyła nowy post, wytrenowany model przetwarza tekst w czasie rzeczywistym i przypisuje wyniki prawdopodobieństwa do każdej kategorii treści. Na ich podstawie system automatycznie publikuje post, oznacza go, ogranicza jego widoczność lub kieruje go do weryfikacji przez człowieka.

Trenowanie i wnioskowanie często wrzuca się do jednego worka, ale stawiają infrastrukturze i budżetowi zupełnie inne wymagania. Nasz artykuł o wnioskowaniu AI i trenowaniu AI pokazuje, na co naprawdę trafiają pieniądze i co warto traktować priorytetowo podczas uruchamiania modeli w środowisku produkcyjnym.

Środowiska wnioskowania AI

Wnioskowanie może odbywać się w różnych miejscach, zależnie od potrzeb aplikacji, wrażliwości danych i wymagań wydajnościowych. Może być wykonywane w scentralizowanych centrach danych w chmurze, bliżej użytkowników na brzegu sieci albo bezpośrednio na urządzeniach lokalnych.

Środowiska wnioskowania w chmurze

Środowiska wnioskowania w chmurze są najczęstszym miejscem produkcyjnego wnioskowania AI i zapewniają skalowalne zasoby obliczeniowe, takie jak GPU. Obsługują frameworki do serwowania modeli, monitorowanie oraz integrację z interfejsami API i systemami rozproszonymi.

Na przykład zespół wdrażający silnik rekomendacji może zastosować następujący przepływ pracy:

  • Uruchomić usługę wnioskowania na GPU Droplets DigitalOcean

  • Wdrożyć interfejsy API za pomocą App Platform

  • Przechowywać artefakty modeli w Spaces

Środowiska wnioskowania na brzegu sieci

Wnioskowanie na brzegu sieci odbywa się bliżej źródła danych, na przykład w sklepach, fabrykach lub wieżach telekomunikacyjnych, aby ograniczyć opóźnienia i zużycie przepustowości. W aplikacjach takich jak analityka wideo lokalne przetwarzanie danych pozwala podejmować decyzje w milisekundach, bez konieczności komunikacji w obie strony ze scentralizowanymi serwerami chmurowymi.

W sklepie kamera monitoruje kasy. Niewielkie urządzenie brzegowe zainstalowane na miejscu uruchamia model widzenia komputerowego, który wykrywa podejrzane zachowania, takie jak pominięcie płatności. Po wykryciu takiego zachowania system natychmiast powiadamia personel sklepu. Podsumowania alertów i dzienne raporty analityczne są później przesyłane w celu scentralizowanej weryfikacji.

Wnioskowanie na urządzeniu

Wnioskowanie na urządzeniu odbywa się bezpośrednio na sprzęcie użytkownika, takim jak smartfony, laptopy lub systemy wbudowane. Ma poprawiać prywatność, ograniczać zależność od łączności sieciowej i zapewniać natychmiastowe odpowiedzi w aplikacjach takich jak asystenci głosowi i uwierzytelnianie biometryczne.

Gdy użytkownik wypowiada frazę aktywującą, taką jak „Hej, asystencie”, model sieci neuronowej działający lokalnie na urządzeniu nieustannie nasłuchuje tego konkretnego wyrażenia. Dźwięk jest przetwarzany w czasie rzeczywistym przez procesor CPU urządzenia lub dedykowany układ AI. Po wykryciu słowa aktywującego system uruchamia się i wysyła żądanie do chmury w celu dalszego przetwarzania. W tym rozwiązaniu:

  • Wytrenowany model wykrywania słowa aktywującego jest przechowywany na urządzeniu.

  • Wnioskowanie odbywa się nieustannie na lokalnym sprzęcie.

  • Surowe nagranie audio nie opuszcza urządzenia, o ile system nie zostanie aktywowany.

  • Asystent odpowiada natychmiast, nawet bez aktywnego połączenia z internetem.

Jak wybrać odpowiednie środowisko wnioskowania AI

Wybrane środowisko wnioskowania zależy od wymagań dotyczących opóźnień i natężenia ruchu, wrażliwości danych oraz ograniczeń kosztowych. W wielu systemach produkcyjnych zespoły stosują podejście hybrydowe, łącząc przetwarzanie na urządzeniu lub brzegu sieci z wnioskowaniem w chmurze.

  • Wybierz wnioskowanie w chmurze: Jeśli potrzebujesz wysokiej skalowalności, scentralizowanego zarządzania modelami oraz możliwości obsługi dużego ruchu lub obciążeń intensywnie wykorzystujących GPU.

  • Wybierz wnioskowanie na brzegu sieci: Jeśli aplikacja wymaga niskich opóźnień blisko źródła danych, mniejszego zużycia przepustowości lub przetwarzania w czasie rzeczywistym w rozproszonych lokalizacjach.

  • Wybierz wnioskowanie na urządzeniu: Jeśli ważna jest prywatność, wymagana jest praca offline albo sprzęt użytkownika, taki jak smartfon, musi odpowiadać natychmiast.

Nie wiesz, co wybrać: edge czy chmurę? Zacznij od pytania: jak szybko Twój system musi odpowiadać? Przeczytaj nasz artykuł o przetwarzaniu w chmurze i na brzegu sieci, aby dowiedzieć się, kiedy i jak efektywnie korzystać z każdego z tych rozwiązań.

Korzyści z wnioskowania AI

Wnioskowanie AI decyduje o tym, jak szybko odpowiada aplikacja, jak niezawodnie się skaluje i jak efektywnie zarządzasz kosztami infrastruktury. Prawidłowo wdrożone wnioskowanie AI zapewnia wymierne korzyści wydajnościowe i operacyjne:

  • Podejmowanie decyzji w czasie rzeczywistym: Wnioskowanie nieustannie przekształca bieżące dane w ustrukturyzowane wyniki, takie jak oceny ryzyka, klasyfikacje, rankingi lub wygenerowany tekst. Wyniki te trafiają do aplikacji. Na przykład modele wykrywania anomalii mogą oznaczać nietypową aktywność w czasie rzeczywistym, uruchamiając automatyczne alerty i przyspieszając reakcję operacyjną.

  • Efektywne kosztowo wykorzystanie modeli: Po wytrenowaniu model może obsługiwać miliony predykcji bez ponownego trenowania. Wnioskowanie jest kosztowne przy dużej skali, ale techniki takie jak grupowanie żądań i kwantyzacja mogą obniżyć koszt pojedynczego żądania przy obsłudze dużych obciążeń, takich jak asystenci oparte na LLM.

  • Lepsze doświadczenia użytkowników: Niskie opóźnienia wnioskowania bezpośrednio wpływają na to, jak „inteligentna” wydaje się aplikacja. Jeśli funkcja AI odpowiada w 100 milisekund zamiast w 2 sekundy, użytkownicy odbierają produkt jako responsywny, niezawodny i godny zaufania.

  • Skalowalne wdrożenie produkcyjne: Wraz ze wzrostem ruchu potoki wnioskowania skalują się poziomo dzięki rozproszonej infrastrukturze i automatycznemu skalowaniu. Asystent pisania oparty na generatywnej AI, wbudowany w platformę SaaS, może mieć kilkuset użytkowników w zwykłych godzinach, a po premierze produktu bez problemu obsłużyć dziesiątki tysięcy.

  • Szybsze eksperymentowanie i iterowanie modeli: Potoki wnioskowania umożliwiają testowanie i wdrażanie nowych wersji modeli bez ponownego trenowania od zera. Możesz przeprowadzić test A/B dwóch modeli, udostępniając je różnym segmentom użytkowników, uruchomić wdrożenie typu shadow, aby ocenić nowy model na bieżącym ruchu bez wpływu na użytkowników, albo stopniowo kierować ruch do nowej wersji w ramach wdrożenia canary przed pełnym wdrożeniem.

Uruchamiaj modele generatywnej AI natychmiast, bez serwerów. Korzystaj z wielu modeli za pomocą jednego klucza API, zmieniaj dostawców i utrzymuj działanie swoich obciążeń wnioskowania. Zobacz, jak wdrażać modele generowania obrazu i dźwięku Fal na platformie Gradient AI firmy DigitalOcean, używając prostych wywołań Python w aplikacji Streamlit.

Wyzwania związane z wnioskowaniem

Złożoność wnioskowania AI ujawnia się, gdy modele stykają się z obciążeniami produkcyjnymi. Przenosząc aplikację od eksperymentów do wdrożenia na dużą skalę, musisz ocenić koszty, wydajność i ograniczenia infrastruktury.

  • Wysoki koszt wnioskowania na dużą skalę: Utrzymujące się wykorzystanie GPU, ceny zależne od liczby tokenów i nieprzewidywalne wzorce ruchu przyczyniają się do wzrostu kosztów.

  • Wrażliwość obciążeń produkcyjnych na opóźnienia: Aplikacje działające w czasie rzeczywistym wymagają niezmiennie niskich opóźnień przy zmiennym ruchu. Wąskie gardła w serwowaniu modeli, sieci lub przydzielaniu sprzętu mogą pogarszać doświadczenia użytkowników i niezawodność systemu.

  • Złożoność infrastruktury i narzut związany z orkiestracją: Wiele zespołów korzysta z licznych narzędzi i interfejsów API do uruchamiania wnioskowania, co zwiększa złożoność operacyjną. Orkiestracja wdrożeń, konfiguracja automatycznego skalowania i obserwowalność w systemach rozproszonych wymagają specjalistycznej wiedzy o harmonogramowaniu GPU i równoważeniu obciążenia.

  • Niezawodność i kwestie produkcyjne: Potoki wnioskowania muszą zachowywać stabilność pod obciążeniem i zapewniać spójność wyników. Jeśli węzły wnioskowania GPU obsługujące renderowanie wspomagające ulegną awarii przy dużej współbieżności, aktywne sesje montażu wideo mogą zakończyć się niepowodzeniem, a podglądy mogą się zawiesić.

Chcesz przejść od ogólnych GPU do zoptymalizowanej chmury wnioskowania? DigitalOcean nawiązał współpracę z Character.AI i AMD, aby obniżyć koszty wnioskowania o 50%, zwiększyć skalę do około 2X QPS i zapewnić o około 91% wyższą wydajność w porównaniu ze standardowymi konfiguracjami GPU.

Rodzaje wnioskowania AI

Wnioskowanie AI klasyfikuje się według tego, jak i kiedy generowane są predykcje. Niektóre systemy natychmiast reagują na dane wejściowe użytkownika, podczas gdy inne okresowo przetwarzają duże ilości danych lub robią to nieustannie w miarę pojawiania się zdarzeń. Różnice dotyczą:

  • Momentu obsługi żądania: Kiedy generowane są predykcje: natychmiast dla każdego żądania, w zaplanowanych odstępach lub nieustannie w miarę napływu danych.

  • Przepływu danych: Jak dane wejściowe przepływają przez system: pojedyncze żądanie i odpowiedź, przetwarzanie zbioru danych lub strumieniowanie oparte na zdarzeniach.

  • Wymagań dotyczących responsywności: Dopuszczalnego czasu odpowiedzi aplikacji: milisekundy w systemach czasu rzeczywistego lub opóźnione wyniki w przypadku obciążeń, które nie są pilne.

Wnioskowanie w czasie rzeczywistym (online)

Wnioskowanie w czasie rzeczywistym przetwarza każde żądanie osobno, w miarę jego napływania, i natychmiast zwraca predykcję. Działa w schemacie „żądanie–odpowiedź”, w którym każde działanie użytkownika lub wywołanie API uruchamia predykcję modelu. Czas odpowiedzi wynosi zwykle od milisekund do kilku sekund, zależnie od złożoności modelu i infrastruktury.

Wnioskowanie strumieniowe

Wnioskowanie strumieniowe nieustannie analizuje napływające strumienie danych, zamiast czekać na pojedyncze żądania lub zaplanowane zadania. Dane przepływają przez system w sposób ciągły, sterowany zdarzeniami, a predykcje są generowane niemal w czasie rzeczywistym, w miarę napływania nowych danych. Pod względem szybkości reakcji plasuje się między wnioskowaniem w czasie rzeczywistym a wnioskowaniem wsadowym: działa szybciej niż zaplanowane zadania wsadowe, ale przetwarza strumienie danych, a nie odizolowane żądania.

Wnioskowanie wsadowe

Wnioskowanie wsadowe uruchamia predykcje dla dużych zbiorów danych w zaplanowanych odstępach. System przetwarza dane zbiorczo, na przykład w ramach okresowych zadań, które mogą trwać minuty lub godziny. Obciążenia są organizowane za pomocą harmonogramów zadań lub silników przepływów pracy, a następnie wykonywane w rozproszonych klastrach obliczeniowych. Dane są odczytywane z systemów przechowywania, przetwarzane równolegle i zapisywane z powrotem jako zaktualizowane tabele, pliki lub rekordy bazy danych.

TypOpisCzas odpowiedziPrzepływ danychZastosowania
Wnioskowanie w czasie rzeczywistym (online)Przetwarza każde żądanie osobno, w miarę jego napływaniaOd milisekund do sekundŻądanie–odpowiedźChatboty, wykrywanie oszustw i silniki rekomendacji
Wnioskowanie strumienioweNieustannie analizuje napływające strumienie danychNiemal w czasie rzeczywistymCiągły przepływ sterowany zdarzeniamiMonitorowanie IoT, wykrywanie zdarzeń finansowych, wykrywanie anomalii
Wnioskowanie wsadoweUruchamia predykcje dla dużych zbiorów danych w zaplanowanych odstępachOd minut do godzin (zaplanowane zadania)Przetwarzanie zbiorczeOcena zdolności kredytowej, raporty analityczne, okresowe ocenianie modeli

Jak działa wnioskowanie AI

Proces wnioskowania AI odbywa się w warstwie serwowania modeli, która obsługuje żądania, wykonuje obliczenia (na CPU lub GPU) i zwraca wyniki przez API albo w określonym formacie. Przyjrzyjmy się poszczególnym etapom, na przykładzie systemu wykrywania oszustw analizującego transakcję kartą kredytową.

Obraz przepływu wnioskowania AI

  1. Wstępne przetwarzanie danych wejściowych: Surowe dane, takie jak tekst, obrazy, dźwięk lub dane ustrukturyzowane, są weryfikowane i przekształcane do formatu oczekiwanego przez model. Może to obejmować tokenizację (w przypadku LLM), normalizację, ekstrakcję cech lub konwersję do tensorów.

Załóżmy na przykład, że klient płaci kartą za elektronikę o wartości $2,400 w sklepie w São Paulo, ale jego konto jest przypisane do Chicago, a system nie widział wcześniej używanego urządzenia. System wyodrębnia z transakcji ustrukturyzowane cechy: kwotę, kategorię sprzedawcy, odcisk urządzenia, geolokalizację, porę dnia i niedawną historię wydatków. Cechy te są normalizowane i przekształcane w numeryczny wektor cech, który model może przetworzyć.

  1. Ładowanie i inicjalizacja modelu: Wytrenowany model, w tym jego architektura i wyuczone wagi, jest ładowany do pamięci. W środowiskach produkcyjnych modele są najczęściej konteneryzowane i serwowane za pomocą frameworków takich jak TensorFlow Serving, TorchServe lub usług opartych na FastAPI.

W tym scenariuszu wstępnie wytrenowana sieć neuronowa do wykrywania oszustw już działa w pamięci i została wdrożona za pośrednictwem skonteneryzowanego serwera modeli korzystającego z TorchServe. Gdy pojawia się transakcja, brama API przekazuje wektor cech do punktu końcowego modelu.

  1. Obliczenia w przebiegu w przód: Przetworzone dane wejściowe są przekazywane przez model, w którym mnożenia macierzy i funkcje aktywacji obliczają wynik. Wnioskowanie w głębokim uczeniu i LLM odbywa się na GPU lub innych akceleratorach, aby optymalizować opóźnienia i przepustowość.

Kontynuując przykład wykrywania oszustw, model przepuszcza wektor cech przez warstwy sieci, oceniając kombinację nieznanego urządzenia, lokalizacji międzynarodowej i wysokiej kwoty transakcji w odniesieniu do wzorców wyuczonych na podstawie milionów historycznych transakcji. Zwraca surowy wynik prawdopodobieństwa oszustwa wynoszący 0.92.

  1. Przetwarzanie końcowe predykcji: Surowy wynik modelu jest przekształcany w użyteczny rezultat, taki jak wynik prawdopodobieństwa, etykieta klasyfikacji, ranking lub wygenerowane tokeny. Można zastosować progowanie, strategie dekodowania (np. dekodowanie zachłanne lub przeszukiwanie wiązką) albo reguły biznesowe.

W tym przypadku silnik reguł interpretuje wynik 0.92 zgodnie z logiką biznesową systemu. Ponieważ przekracza on próg 0.85 i transakcja jest transgraniczna, silnik klasyfikuje ją jako obciążoną wysokim ryzykiem i kieruje do uwierzytelniania podwyższonego poziomu zamiast całkowicie odrzucać.

  1. Dostarczenie odpowiedzi i rejestrowanie: Końcowy wynik jest zwracany do interfejsów API, baz danych lub systemów dalszego przetwarzania (takich jak strumienie Kafka, bramki płatnicze, systemy alertów itp.), zależnie od architektury aplikacji. Jednocześnie rejestrowane są takie metryki jak opóźnienia (P95/P99), przepustowość i odsetek błędów, aby monitorować, skalować i optymalizować wydajność.

Podsumowując sekwencję: w ciągu 120 milisekund od przeciągnięcia karty bramka płatnicza otrzymuje klasyfikację wysokiego ryzyka i uruchamia weryfikację OTP na telefonie klienta. Jednocześnie system zapisuje wynik modelu, metadane transakcji, opóźnienie (P95) i rezultat uwierzytelniania — dane, które posłużą do przyszłego ponownego trenowania modelu i monitorowania wydajności.

Przestań gonić za surowymi FLOP-ami i mierz wydajność wnioskowania LLM tam, gdzie ma to znaczenie. Przeczytaj pełny przewodnik po benchmarkowaniu wnioskowania LLM, aby dowiedzieć się, jak mierzyć opóźnienia, przepustowość, współbieżność i koszty.

Kluczowe wskaźniki wydajności wnioskowania AI

Optymalizacja wnioskowania zaczyna się od określenia, na które metryki warto zwracać uwagę. Nie wszystkie będą równie istotne w Twoim przypadku, ale ignorowanie którejkolwiek może prowadzić do powolnych odpowiedzi, marnowania mocy obliczeniowej lub niepostrzeżenie rosnących kosztów. Oto najważniejsze z nich:

Wskaźnik wydajnościOpisDlaczego ma znaczeniePrzykład
OpóźnienieCzas potrzebny na wygenerowanie predykcji dla pojedynczego żądaniaOkreśla postrzeganą przez użytkownika szybkość; opóźnienia ogonowe (P95/P99) pokazują najgorsze przypadki pod obciążeniemChatbot odpowiada średnio w 120ms, ale przy szczytowym ruchu osiąga 2 sekundy przy P99
PrzepustowośćLiczba żądań na sekundę (RPS) lub tokenów na sekundę (w przypadku LLM)Pokazuje, jaki ruch system może obsłużyć, zanim jego wydajność spadnieLLM generujący 80 tokenów/s zamiast 20 tokenów/s wpływa na szybkość odpowiedzi przy dużej skali
Koszt żądaniaKoszt obliczeniowy zużywany przy każdym wywołaniu wnioskowaniaWpływa na długoterminową ekonomię produkcji i opłacalność skalowaniaWnioskowanie oparte na GPU kosztujące $0.002 za żądanie wobec $0.02 przy dużym wolumenie
Wykorzystanie sprzętuEfektywność użycia CPU, GPU lub akceleratorówSłabe wykorzystanie zwiększa koszty i powoduje wąskie gardła wydajnościGPU działające przy 30% wykorzystania marnuje pojemność i podnosi koszt predykcji
Skalowalność pod obciążeniemZdolność do utrzymania wydajności podczas skoków ruchuZapewnia niezawodność i stabilne opóźnienia przy szczytowym zapotrzebowaniuSystem rekomendacji e-commerce obsługujący ruch w Black Friday bez skoków opóźnień

Zastosowania wnioskowania AI

Wnioskowanie AI rozpoczyna się w chwili, gdy aplikacja odpowiada. Niezależnie od tego, czy ocenia transakcję, szereguje wyniki wyszukiwania czy generuje tekst, wnioskowanie jest warstwą wykonawczą, która przekłada inteligencję modelu na działanie widoczne dla użytkownika.

  • Wykrywanie oszustw w transakcjach finansowych: Amerykańska firma zajmująca się systemami płatniczymi H2o.ai przetwarza modele głębokiego uczenia wytrenowane na 160 milionach rekordów z 1,500 cechami, aby wykrywać oszustwa w czasie rzeczywistym. Po zainicjowaniu nowej transakcji wdrożony model ocenia ją w ciągu milisekund. System blokuje lub oznacza podejrzaną aktywność przed autoryzacją.

  • Analiza obrazów medycznych: W ochronie zdrowia badanie dotyczące wykrywania guzów mózgu pokazuje, jak w praktyce działa wnioskowanie na obrazach medycznych. Obrazy MRI najpierw oznaczono, zmieniono ich rozmiar do 150×150 pikseli i znormalizowano, a następnie przekazano do dostosowanej konwolucyjnej sieci neuronowej (CNN). Podczas wnioskowania wytrenowany model klasyfikował każdy skan jako nowotworowy lub nienowotworowy z dokładnością walidacyjną 98.67%. Aby wspierać podejmowanie decyzji klinicznych, techniki przetwarzania końcowego, takie jak SHAP, LIME i Grad-CAM, wygenerowały wizualne mapy cieplne wskazujące obszary, które wpłynęły na predykcję.

  • Ranking wyszukiwania i systemy rekomendacji: Gdy użytkownik przesyła zapytanie lub odwiedza stronę, kodowane są cechy kontekstowe, takie jak wcześniejsze kliknięcia, zachowanie podczas sesji i metadane. Model rankingowy lub rekomendacyjny ocenia wiele elementów kandydujących w czasie rzeczywistym. System wnioskowania AI sortuje wyniki według przewidywanych ocen trafności i zwraca uporządkowaną listę w ścisłych granicach opóźnień. Netflix korzysta z wnioskowania, w którym pierwszy etap wyszukiwania kandydatów wykorzystuje kliknięcia w bieżącej sesji, zachowania podczas przeglądania i długoterminowe preferencje, aby utworzyć zbiór kandydatów. Następnie drugi model głębokiego uczenia oblicza oceny trafności i dostarcza uporządkowaną listę w około 40 milisekund.

  • Percepcja pojazdów autonomicznych: Tata Elxsi zintegrowało AI z dalekosiężnymi czujnikami LiDAR (do 1 km), działającymi z częstotliwością 10 Hz, aby umożliwić percepcję pojazdów autonomicznych w czasie rzeczywistym. Dane z LiDAR i obrazy z kamer zostały połączone i przekształcone w tensory. Dane tensorowe są następnie przekazywane do modeli głębokiego uczenia, które wykonują wnioskowanie w celu wykrywania pojazdów, pieszych i znaków drogowych oraz segmentacji obszarów, po których można jeździć. Wyniki modelu, takie jak klasyfikacje obiektów, szacowane odległości i wykryte naruszenia (np. jazda pod prąd lub przekroczenie prędkości), są przekazywane bezpośrednio do systemów monitorowania i kontroli, aby natychmiast generować alerty lub podejmować decyzje dotyczące jazdy w zmiennych warunkach oświetlenia i pogody.

  • Generatywna AI i tworzenie treści: Writer to agentowa platforma AI, która wdraża LLM-y o 40-miliardach parametrów do generowania tekstów marketingowych i treści dla przedsiębiorstw. Prompty użytkowników są wysyłane przez API, przetwarzane przez modele akcelerowane przez GPU i serwowane za pośrednictwem NVIDIA Triton Inference Server, a odpowiedzi są generowane token po tokenie. Wnioskowanie obsługuje tu do biliona wywołań API miesięcznie i generuje 90,000 słów na sekundę.

Jak DigitalOcean tworzy infrastrukturę wnioskowania nowej generacji? Zobacz, jak inżynierowie DigitalOcean używają Ray, vLLM i Kubernetes do budowy skalowalnego wnioskowania zoptymalizowanego pod kątem GPU dla generatywnej AI. Obejrzyj sesję, aby dowiedzieć się, jak działają tryby serverless i dedykowany, dynamiczne grupowanie żądań oraz zaawansowane strategie pamięci podręcznej KV.

FAQ o wnioskowaniu AI

Czym jest wnioskowanie AI?

Wnioskowanie AI to proces wykorzystywania wytrenowanego modelu uczenia maszynowego do generowania predykcji lub wyników na podstawie nowych, wcześniej niewidzianych danych. Jest to produkcyjna faza AI, w której modele są uruchamiane na potrzeby aplikacji czasu rzeczywistego, analityki i zautomatyzowanych systemów decyzyjnych.

Jaka jest różnica między trenowaniem a wnioskowaniem? Trenowanie polega na budowaniu modelu poprzez uczenie się wzorców z dużych zbiorów danych i dostosowywanie jego wewnętrznych parametrów. Wnioskowanie polega na zastosowaniu wytrenowanego modelu do nowych danych w celu uzyskania predykcji, klasyfikacji lub wygenerowanych wyników.

Czy wnioskowanie jest ważniejsze niż trenowanie w środowisku produkcyjnym? W systemach produkcyjnych wnioskowanie ma większe znaczenie operacyjne, ponieważ odbywa się nieustannie i bezpośrednio wpływa na opóźnienia, skalowalność i koszty. Trenowanie determinuje dokładność modelu, natomiast wnioskowanie wpływa na doświadczenia użytkowników i ekonomię działania produkcyjnego.

Jaki sprzęt jest używany do wnioskowania AI? Wnioskowanie AI odbywa się na GPU i wyspecjalizowanych akceleratorach, takich jak TPU, zależnie od wymagań wydajnościowych i rodzaju obciążenia. Wnioskowanie na GPU jest powszechne w obciążeniach związanych z głębokim uczeniem i LLM.

Czym różni się wnioskowanie w czasie rzeczywistym od wsadowego?

Wnioskowanie w czasie rzeczywistym generuje predykcje natychmiast po otrzymaniu żądania, zwykle w ciągu milisekund lub sekund. Stosuje się je w interaktywnych aplikacjach wymagających natychmiastowych odpowiedzi od użytkowników lub systemów, takich jak chatboty, wykrywanie oszustw czy systemy rekomendacji.

Wnioskowanie wsadowe przetwarza duże ilości danych w zaplanowanych odstępach, zamiast odpowiadać na pojedyncze żądania. Modele generują predykcje dla zgromadzonych zbiorów danych w ramach okresowych zadań, tworząc wyniki takie jak oceny ryzyka, prognozy popytu lub raporty analityczne.

Jakie platformy są najlepsze do wnioskowania AI?

Najlepsze platformy do wnioskowania AI zapewniają skalowalną infrastrukturę GPU, przewidywalne ceny i zintegrowane narzędzia do serwowania modeli. Gradient™ AI inference Cloud firmy DigitalOcean oferuje wnioskowanie z wykorzystaniem GPU, automatyczne skalowanie i uproszczoną infrastrukturę dla produkcyjnych obciążeń AI.

Wykorzystaj ten przewodnik w Ailoot

Połącz modele AI ze swoimi aplikacjami, agentami i automatyzacjami za pomocą jednego API Ailoot. Wybierz model odpowiedni do swojego zadania i skorzystaj z dokumentacji Ailoot, aby rozpocząć.