# Was ist Inferenz?

> Erfahren Sie, was KI-Inferenz ist, wie Batch-, Edge-, Echtzeit- und Streaming-Inferenz funktionieren und wie Teams Herausforderungen bei Genauigkeit, Leistung und Kosten bewältigen können.

Source: https://ailoot.ai/blog/de/what-is-ai-inferencing/
Canonical: https://ailoot.ai/blog/de/what-is-ai-inferencing/
Language: de
Publisher: Ailoot (https://ailoot.ai/)
Translation: guide-100078
Revision: sha256-8adddca7fe3281b01d3e5f307daa28cd38cec03f509e16b05764d0a9be111c9a


## Was ist Inferenz (KI)?

Inferenz ist der Prozess, bei dem ein Modell der künstlichen Intelligenz Vorhersagen oder Ausgaben aus neuen Daten generiert. Nach dem Training hat ein KI-Modell Parameter und Repräsentationen erlernt. Wenn es neue Daten erhält, nutzt es diese, um eine Ausgabe zu generieren. Inferenz findet während der Laufzeit oder Bereitstellungsphase einer KI-Anwendung statt und ermöglicht vielfältige Anwendungsfälle in der realen Welt.

## Warum ist Inferenz wichtig?

KI-Inferenz ist der Prozess, Ausgaben aus bisher unbekannten Daten zu generieren. Nachdem ein Modell verallgemeinerte Muster aus Trainingsdatensätzen gelernt hat, wendet es diese Muster auf neue Daten an.

Ein KI-Modell kann beispielsweise anhand medizinischer Bildaufnahmen trainiert werden, die von medizinischem Fachpersonal annotiert wurden. Während des Trainings lernt das Modell visuelle Hinweise und Zusammenhänge in den Daten. Anschließend kann es durch Inferenz mögliche Tumore oder Auffälligkeiten in neuen Aufnahmen erkennen. Medizinisches Fachpersonal kann die Genauigkeit des Prozesses beurteilen, indem es aus denselben Aufnahmen Schlussfolgerungen zieht.

Im Vergleich zu herkömmlichen [Analysetechniken](https://aws.amazon.com/what-is/data-analytics/), bei denen Menschen Regeln festlegen und statistische Methoden auswählen, ermöglicht das Modelltraining einem Modell, komplexe Muster zu erkennen, die sich nur schwer von Hand kodieren lassen. Diese Muster spiegeln sich in den Parametern des Modells wider. Die Inferenz wendet sie auf neue Daten an.

## Welche Arten der Inferenz beim maschinellen Lernen gibt es?

Es gibt verschiedene Arten der [Inferenz beim maschinellen Lernen](https://aws.amazon.com/what-is/machine-learning/) (ML).

### **Batch-Inferenz**

Bei der Batch-Inferenz werden Vorhersagen anhand von Gruppen mit mehreren Dateneingaben erstellt. Sie eignet sich für Anwendungen, bei denen es nicht auf die Zeit ankommt und die auf Ausgaben warten können. Eine generative KI-Anwendung für Geschäftsanalysen könnte beispielsweise Aktualisierungen einmal pro Stunde statt in Echtzeit verarbeiten.

### **Edge-Inferenz**

[Edge](https://aws.amazon.com/what-is/edge-computing/)-KI-Inferenz führt ein Modell auf dem Gerät eines Benutzers oder in der Nähe der Datenquelle aus. Da Daten zur Verarbeitung nicht an einen zentralen Knotenpunkt gesendet werden müssen, kann Edge-Inferenz die Netzwerklatenz verringern. Sie eignet sich für abgelegene Standorte mit eingeschränkter Verbindung oder für Geräte, auf denen Inferenz unverzichtbar ist. Die Verarbeitungsgeschwindigkeit hängt vom Gerät und der Latenz des Modells ab.

### **Echtzeit-Inferenz**

Echtzeit-Inferenz erzeugt unmittelbar Ausgaben als Reaktion auf Eingabeanforderungen. Modelle erhalten Daten aus Benutzereingaben oder verbundenen Datenquellen, wodurch der Bedarf an einer sofortigen Ausgabe entsteht. Echtzeit-Inferenz beruht auf KI-Systemen mit niedriger Latenz und wird häufig in zeitkritischen Systemen eingesetzt. Autonome Fahrzeuge nutzen sie beispielsweise, um rechtzeitige Entscheidungen zu unterstützen.

### **Streaming-Inferenz**

Streaming-Inferenz nutzt eine Datenpipeline, die kontinuierlich Informationen an ein Modell liefert, das in Echtzeit Ausgaben generiert. Wie die Echtzeit-Inferenz reagiert sie auf eingehende Daten, erzeugt jedoch fortlaufend Ausgaben auf Grundlage des [Eingabestreams](https://aws.amazon.com/what-is/streaming-data/). Echtzeit-Inferenz reagiert auf Benutzereingaben oder Live-Anfragen, während Streaming-Inferenz einen kontinuierlichen Strom neuer Daten verarbeitet.

## Wie funktioniert Inferenz?

Mehrere Technologien und Datensysteme arbeiten zusammen, um die Infrastruktur für KI-Inferenz bereitzustellen.

### **Infrastruktur für Machine-Learning-Modelle**

KI-Inferenz ist möglich, nachdem ein Modell trainiert wurde. Vor der Bereitstellung kann ein Modell Training, Feinabstimmung, Validierung und Inferenzoptimierung durchlaufen.

Ein trainiertes Modell in der Produktion kann erhebliche Rechenleistung von Grafikprozessoren (GPUs), Zentralprozessoren (CPUs) und spezialisierten KI-Beschleunigern wie [AWS Inferentia](https://aws.amazon.com/ai/machine-learning/inferentia/) benötigen. Für die Rechenressourcen sind außerdem Speicher, Netzwerke und Datenpipelines erforderlich.

### **Benutzereingaben und Datenvorverarbeitung**

Daten müssen möglicherweise vorverarbeitet werden, bevor sie einem Modell zugeführt werden. Bildverarbeitungsmodelle können beispielsweise Normalisierung verwenden, während [große Sprachmodelle](https://aws.amazon.com/what-is/large-language-model/) (LLMs) Tokenisierung einsetzen können. Daten können auch bereinigt werden, um ihre Qualität zu verbessern.

### **Der Inferenzprozess**

Beim Inferenzprozess werden saubere Daten verwendet und ein Vorwärtsdurchlauf ausgeführt. Dabei werden die vorverarbeiteten Daten durch die Schichten des Modells geleitet, um eine Ausgabe zu generieren. Dies umfasst eine Reihe von Berechnungen.

### **Ausgabegenerierung und Nachbearbeitung**

Nach dem Vorwärtsdurchlauf generiert ein Modell eine Ausgabe auf Grundlage der Muster, die es aus den Trainingsdaten gelernt hat.

Bei der Nachbearbeitung können Ausgaben anhand von Leitplanken und Richtlinien geprüft, gefiltert und formatiert werden. Leitplanken können beispielsweise dazu beitragen, Schimpfwörter oder schädliche Inhalte zu verhindern, und durch die Formatierung kann eine Ausgabe an den Sprachstil eines Unternehmens angepasst werden.

## Welche Herausforderungen gibt es bei der Inferenz von KI-Modellen?

Mehrere Herausforderungen können die Fähigkeit eines KI-Modells beeinträchtigen, Schlussfolgerungen zu ziehen.

### **Modelldrift**

Modelldrift tritt auf, wenn ein Modell mit der Zeit weniger effektiv wird, weil sich die Daten aus der realen Welt von den Daten unterscheiden, mit denen es trainiert wurde. Datendrift tritt auf, wenn sich Muster in den Eingabedaten verschieben. Bleiben die Gewichte des Modells auf Grundlage früherer Trainingsdaten unverändert, können diese Verschiebungen zu ungenauen Ausgaben führen.

Konzeptdrift tritt auf, wenn sich die Beziehung zwischen Modelleingaben und -ausgaben verändert oder komplexer wird. Ein KI-Modell, das darauf trainiert wurde, Phishing-E-Mails zu erkennen, nutzt beispielsweise erlernte Muster, um Vorhersagen zu treffen. Wenn neue Technologien die Vorgehensweise bei Phishing-Angriffen verändern, können die Ausgaben des Modells ungenauer werden. Möglicherweise muss das Modell erneut trainiert werden, um diese Änderungen zu berücksichtigen.

In beiden Fällen kann ein Modell, das zuvor gut funktioniert hat, zunehmend ungenaue oder falsche Antworten liefern.

### **Geschwindigkeit und Leistung**

Die Bereitstellung eines KI-Modells in großem Maßstab erfordert eine Infrastruktur, die zuverlässig Ausgaben liefern kann. Unternehmen benötigen möglicherweise Grafikprozessoren, niedrige Latenz, hohe Netzwerkgeschwindigkeiten und zusätzliche Hochleistungsprozessoren für komplexe Modelle.

Weitere Möglichkeiten zur Verbesserung von Geschwindigkeit und Leistung sind die Optimierung der Infrastrukturarchitektur, der Einsatz spezialisierter Hardware und Inferenzoptimierungstechniken wie Quantisierung, um die Modellgröße zu verringern.

Die Wahl eines anderen Inferenzansatzes, etwa der Batch-Inferenz, kann die Leistung für bestimmte Anwendungsfälle verbessern.

### **Kosten**

Der Betrieb von Inferenz-Workloads kann zu unerwarteten Kosten führen. Bei großem Maßstab oder in vielen unterschiedlichen Kontexten können der Rechenaufwand und das Volumen der Inferenzanfragen die Ausgaben erhöhen. Unternehmen können die Kosten mit Strategien wie der Verkleinerung von Modellen, der Parallelisierung der Verarbeitung und automatisch skalierender Cloud-Infrastruktur für Online-Inferenz steuern.

## Bewährte Verfahren zur Verbesserung der Genauigkeit und Nützlichkeit von KI

Die Verbesserung der Genauigkeit und Nützlichkeit von KI-Inferenz hängt zum Teil von den Trainings- und Optimierungsprozessen ab. Diese Vorgehensweisen können helfen.

### **In Datenqualität investieren**

Die Qualität der Trainingsdatensätze wirkt sich direkt auf die Fähigkeit eines Modells aus, Vorhersagen zu neuen Daten zu treffen und nützliche Ausgaben zu erzeugen. Hochwertige Daten, die gut gekennzeichnet, konsistent und frei von Störsignalen sind, können die Fähigkeit eines Modells verbessern, Muster zu erkennen. Richten Sie strenge Prozesse zur Datenaufbereitung ein, darunter Bereinigung, Validierung, Standardisierung und Behebung von Inkonsistenzen.

### **Fachkundiges Personal einsetzen**

Beziehen Sie nach Möglichkeit Personen ein, die über Fachwissen im Modelltraining und in der Architektur des geplanten Technologie-Stacks verfügen. Fachleute aus dem jeweiligen Bereich können bei der Annotation von Daten helfen und diese dadurch hochwertiger und umfassender machen. Das Training eines Modells mit hochwertigen Daten kann die Genauigkeit seiner Ausgaben verbessern.

### **Erklärbarkeit für die Compliance einbeziehen**

Inferenz-Ausgaben sollten erklärbar sein. Techniken zur Erklärbarkeit können zeigen, welche Eingabemerkmale eine bestimmte Ausgabe beeinflusst haben. Verschiedene Arten von ML-Modellen verwenden unterschiedliche Techniken. Shapley Additive exPlanations (SHAP) lässt sich beispielsweise auf jedes Modell anwenden und eignet sich am besten für baumbasierte Modelle, lineare Modelle und neuronale Netze. Erklärbarkeit kann Unternehmen auch dabei helfen, KI-Compliance-Rahmenwerke einzuhalten, darunter das Recht auf Erklärung gemäß DSGVO bei Entscheidungen, die von KI getroffen werden.

## Wie kann AWS KI-Inferenz unterstützen?

AWS beschreibt Services und speziell entwickelte Infrastruktur für verschiedene Phasen des Lebenszyklus von [Machine Learning](https://aws.amazon.com/ai/machine-learning/) und KI-Modellen.

[Amazon SageMaker AI](https://aws.amazon.com/sagemaker/ai/) bietet eine Machine-Learning-Umgebung zum Erstellen, Trainieren, Optimieren, Testen und Verwalten kundenspezifischer Modelle.

Amazon SageMaker AI ist ein vollständig verwalteter Service mit Tools für maschinelles Lernen in einer Vielzahl von Anwendungsfällen. Er unterstützt das Erstellen, Trainieren und Bereitstellen von Modellen in großem Maßstab mit Tools wie Notebooks, Debuggern, Profilern, Pipelines und MLOps in einer integrierten Entwicklungsumgebung (IDE).

SageMaker AI unterstützt Governance-Anforderungen für Training und Inferenz durch Zugriffskontrollen und Transparenz bei ML-Projekten. Der Service bietet außerdem Tools zum Erstellen von Foundation-Modellen (FMs), also großen Modellen, die mit umfangreichen Datensätzen trainiert wurden, sowie zum Feinabstimmen, Experimentieren, erneuten Trainieren und Bereitstellen dieser Modelle.

AWS bietet Cloud-Infrastruktur für KI-Inferenz, darunter spezialisierte GPUs auf [Amazon EC2](https://aws.amazon.com/ec2/) und Machine-Learning-Chips wie [AWS Inferentia](https://aws.amazon.com/ai/machine-learning/inferentia/).

Starten Sie noch heute mit der Inferenz von ML-Modellen auf AWS, indem Sie [ein kostenloses Konto erstellen](https://aws.amazon.com/free/).

## Setzen Sie diesen Leitfaden mit Ailoot um

Verbinden Sie KI-Modelle über eine einzige Ailoot-API mit Ihren Anwendungen, Agents und Automatisierungen. Wählen Sie das passende Modell für Ihre Aufgabe und folgen Sie der [Ailoot-Dokumentation](https://ailoot.ai/docs/), um loszulegen.

## Ailoot · Das Unternehmen und sein Projektportfolio

Ailoot baut auf bewährte Betriebserfahrung, einen großen Kundenstamm, stabilen Service und kontinuierliche KPI-Kontrolle.

Das Unternehmen und sein Projektportfolio: Millionen von Kunden; monatliche Umsätze in Milliardenhöhe.

Ailoot nutzt diese Betriebserfahrung für den API-Zugang zu KI-Funktionen in Kundenprodukten, Agenten, Anwendungen und Automatisierungen.
