OpenAI: GPT-4o (batch)

GPT-4o ist OpenAIs vielseitiges GPT-Modell für Text- und Bildverständnis, Schreiben und Aufgaben in Anwendungen. Das «o» steht für «omni»; dieses dokumentierte Modell nimmt Text und Bilder entgegen und gibt Text aus, einschliesslich Structured Outputs. Eine praktische Anfrage kann einen schriftlichen Auftrag mit Fotos, Screenshots oder Dokumentseiten verbinden und eine klare Erklärung, ein überarbeitetes Ergebnis oder definierte Felder für einen weiteren Anwendungsschritt verlangen.

Stellen Sie für einen Bericht die Quelldokumente und die Entscheidung bereit, die der Bericht unterstützen soll. Benennen Sie relevante Daten, Einheiten und Belegkennzeichnungen und verlangen Sie einen Vergleich, der Beobachtungen, Annahmen und fehlende Informationen trennt. Weisen Sie bei einer visuellen Aufgabe auf das wichtige Objekt, Diagramm oder den relevanten Zustand der Oberfläche hin und fügen Sie den umgebenden Kontext hinzu. Stellen Sie für eine Codeänderung den betroffenen Code, das gewünschte Verhalten und die zu erhaltenden Einschränkungen bereit. Damit nutzen Sie die Text- und Bildfähigkeiten des Modells konkret, ohne vorauszusetzen, dass der Prompt die gesamte Aufgabe bereits impliziert.

OpenAIs aktuelles GPT-4o-Profil nennt ein Kontextfenster von 128’000 Token, eine maximale Ausgabe von 16’384 Token und einen Wissensstand bis zum 1. Oktober 2023. Der Hersteller führt mehrere datierte GPT-4o-Snapshots separat auf. Gespräch, Eingabematerial und erzeugte Antwort teilen sich das Kontextbudget. Auch eine grosse Dokumentensammlung braucht deshalb eine klare Ordnung und Platz für ihr fertiges Ergebnis. Veränderliche Fakten oder Informationen aus einem privaten System sollten direkt bereitgestellt oder über ein ausdrücklich konfiguriertes Werkzeug beschafft werden.

Der Leitfaden zur Bildverarbeitung akzeptiert PNG, JPEG, WebP und nicht animierte GIF. GPT-4o unterstützt die Bilddetailstufen low, high und auto; high und auto verwenden eine Verarbeitung in Bildkacheln. Vergrössern Sie kleine Beschriftungen, richten Sie Text aufrecht aus und erhalten Sie bei der Interpretation eines Diagramms die Legende oder die umgebende Darstellung. Zu den dokumentierten Einschränkungen gehören präzise räumliche Lokalisierung, ungefähre Objektzählungen, einige nicht lateinische Schriften sowie Panorama- oder Fischaugenansichten. Das Modell kann ein Bild auch falsch beschreiben. Bewahren Sie daher die Quelle auf und verlangen Sie die konkreten Beobachtungen, auf denen eine Interpretation beruht. In OpenAIs dokumentiertem Ablauf für die Bildverarbeitung ist die gesamte Anfragegrösse auf 512 MB begrenzt; eine Anfrage kann bis zu 1’500 Bilder enthalten. Bilder und Text müssen ausserdem in den Kontext des Modells passen.

OpenAIs Ablauf für Dateieingaben liefert einem bildfähigen Modell sowohl extrahierten Text als auch Seitenbilder aus PDFs. Office-Dokumente ausserhalb des PDF-Formats liefern extrahierten Text statt eingebetteter Diagramme; bei Tabellen werden bis zu den ersten 1’000 Zeilen pro Blatt ergänzend aufbereitet. Jede Datei muss kleiner als 50 MB sein, alle Dateien einer Anfrage zusammen dürfen 50 MB umfassen. Chat Completions unterstützt PDF-Dateiteile; der dokumentierte Responses-Ablauf akzeptiert weitere Dateiformate. Wählen Sie eine PDF-Darstellung, wenn die visuelle Wiedergabetreue wichtig ist, und halten Sie Quellenkennungen im Ergebnis sichtbar.

Streaming kann die Antwort während ihrer Erzeugung zurückgeben. Structured Outputs beschränkt eine fertige Antwort auf die unterstützte Teilmenge von JSON Schema und eignet sich damit für Dokumentextraktion oder ein Anwendungsobjekt mit definierten Feldern. Der JSON-Modus betrifft lediglich die Gültigkeit des JSON. Definieren Sie die erwarteten Typen, zulässigen Werte und den Umgang mit fehlenden Belegen und behandeln Sie ausdrückliche Ablehnungen oder unvollständige Antworten separat. Ein Schema belegt nicht die sachliche Richtigkeit eines Werts; die verlangten Felder sollten daher auf das bereitgestellte Material zurückführbar bleiben.

Der Hersteller unterstützt Funktionsaufrufe, Websuche, Dateisuche, Codeausführung und MCP-Verbindungen. Eigene Funktionen brauchen aussagekräftige Beschreibungen und Argumentschemata. Die Anwendung führt die angeforderte Aktion aus und gibt deren Ergebnis für den nächsten Modellschritt zurück. GPT-4o kann in einem konfigurierten Responses-Ablauf ausserdem ein separates Werkzeug zur Bilderzeugung steuern. Ein damit erzeugtes Bild ist ein eigenes Artefakt; die dokumentierte native Antwort von GPT-4o ist Text. Die abschliessende Erklärung eines Agenten sollte tatsächlich abgerufene oder berechnete Beobachtungen verwenden, statt einen vorgeschlagenen Werkzeugaufruf als abgeschlossene Operation zu behandeln.

Predicted Outputs ist für GPT-4o verfügbar, wenn weitgehend bekannter Text oder Code mit kleinen Änderungen neu erzeugt wird. Liefern Sie den vorhandenen Inhalt und eine präzise Änderung und prüfen Sie anschliessend das zurückgegebene Ergebnis. Dieser reine Textpfad lässt sich nicht mit Funktionsaufrufen kombinieren und schliesst logprobs, max_completion_tokens und mehrere weitere Steuerungen aus. Eine Anfrage mit Werkzeugen ist eine separate Wahl, wenn die Antwort von neuen Informationen aus einer externen Operation abhängt.

OpenAI dokumentiert Fine-Tuning für GPT-4o; der Optimierungsleitfaden nennt ausdrücklich den Snapshot vom 6. August 2024 für Vision-Fine-Tuning mit Bildbeispielen. Dieser snapshotspezifische Anpassungsablauf unterscheidet sich von einer gewöhnlichen Anfrage an den Modellalias. Beginnen Sie für alltägliches Schreiben, Analysieren oder Extrahieren mit einem hilfreichen Auftrag und einem Beispiel für die gewünschte Ausgabe. Eine Folgeanfrage kann eine fehlende Tatsache klären, ein Feld überarbeiten oder dasselbe Ergebnis unter Erhaltung der Belege und Einschränkungen der Aufgabe verfeinern.