OpenAI: GPT-4o (batch)

A GPT-4o az OpenAI sokoldalú GPT modellje szöveg- és képmegértéshez, szövegíráshoz és alkalmazásbeli munkához. Az „o” az „omni” rövidítése, míg ez a dokumentált modell szöveget és képeket fogad, és szöveget ad vissza, beleértve a Structured Outputs szerinti kimenetet. Egy gyakorlati kérés írásos feladatleírást fényképekkel, képernyőképekkel vagy dokumentumoldalakkal kombinálhat, majd érthető magyarázatot, szerkesztett eredményt vagy egy másik alkalmazási szakaszhoz meghatározott mezőket kérhet.

Jelentéshez adja meg a forrásdokumentumokat és a jelentés által támogatandó döntést. Nevezze meg a releváns dátumokat, mértékegységeket és bizonyítékjelöléseket, majd kérjen a megfigyeléseket, feltételezéseket és hiányzó információt elkülönítő összehasonlítást. Vizuális feladatnál mutasson rá a fontos tárgyra, grafikonra vagy felületi állapotra, és mellékelje a környező kontextust. Kódmódosításhoz adja meg az érintett kódot, a kívánt működést és a változatlanul megőrzendő korlátokat. Ezek konkrét módjai a modell szöveges és képi képességei használatának anélkül, hogy az utasításból kellene kikövetkeztetnie a teljes feladatot.

Az OpenAI jelenlegi GPT-4o profilja 128 000 tokenes kontextusablakot, legfeljebb 16 384 tokenes kimenetet és 2023. október 1-jei tudáshatárt sorol fel. A gyártó több dátummal ellátott GPT-4o modellpillanatképet külön is felsorol. A beszélgetés, a bemeneti anyag és a generált válasz közös kontextuskeretet használ, ezért egy nagy dokumentumgyűjtemény továbbra is rendezést és a végső eredmény számára hagyott helyet igényel. A változó vagy magánrendszerből származó tényeket közvetlenül kell megadni, vagy kifejezetten konfigurált eszközzel kell beszerezni.

A képi útmutató PNG, JPEG, WebP és nem animált GIF formátumot fogad. A GPT-4o low, high és auto képrészletességet támogat; a high és auto képrészletekre bontott feldolgozást követ. A kis feliratokat nagyítsa fel, a szöveg maradjon helyes tájolású, és grafikon értelmezésekor őrizze meg a jelmagyarázatot vagy a környező ábrát. A dokumentált korlátok közé tartozik a pontos térbeli helymeghatározás, az objektumok számának közelítő becslése, egyes nem latin írásrendszerek, valamint a panoráma- és halszemnézetek kezelése. A modell egy képet hibásan is leírhat, ezért őrizze meg a forrást, és kérje az értelmezést alátámasztó konkrét megfigyeléseket. Az OpenAI dokumentált képi munkafolyamatában a kérés teljes adatmennyiségének korlátja 512 MB, és egy kérés legfeljebb 1 500 képet tartalmazhat; a képeknek és a szövegnek a modell kontextusába is bele kell férniük.

Az OpenAI fájlbemeneti munkafolyamata a képeket is értelmező modellnek a PDF-ekből kinyert szöveget és az oldalak képeit egyaránt átadja. A nem PDF formátumú irodai dokumentumok a kinyert szöveget adják, nem a beágyazott grafikonjaikat, a táblázatok kiegészítő feldolgozása pedig munkalaponként legfeljebb az első 1 000 sort használja. Minden fájlnak 50 MB alatt kell lennie, egy kérésen belül összesen 50 MB-os korláttal. A Chat Completions PDF-fájlrészeket támogat; a dokumentált Responses munkafolyamat további fájlformátumokat fogad. Ha fontos a vizuális hűség, PDF-reprezentációt válasszon, és a forrásazonosítók maradjanak láthatók az eredményben.

A streamelés a válasz generálása közben adhatja vissza azt. A Structured Outputs a befejezett választ a JSON Schema támogatott részhalmazára korlátozza, így dokumentumokból történő adatkinyeréshez vagy meghatározott mezőkből álló alkalmazásobjektumhoz használható. A JSON mód csak a JSON érvényességét kezeli. Határozza meg az elvárt típusokat, az engedélyezett értékeket és a hiányzó bizonyíték kezelését, majd külön kezelje a kifejezett visszautasításokat vagy hiányos válaszokat. Egy séma nem igazolja az érték tényszerű helyességét, ezért a kért mezőknek visszakövethetőknek kell maradniuk a megadott anyaghoz.

A gyártó függvényhívást, webes keresést, fájlkeresést, kódértelmezést és MCP-kapcsolatokat támogat. Az egyedi függvényekhez érdemi leírás és argumentumséma szükséges; az alkalmazás végrehajtja a kért műveletet, és visszaadja az eredményét a modell következő lépéséhez. A GPT-4o konfigurált Responses munkafolyamatban külön képgeneráló eszközt is irányíthat. Egy eszközzel létrehozott kép önálló eredmény, míg a GPT-4o saját dokumentált válasza szöveg. Egy ügynök végső magyarázatának ténylegesen lekért vagy kiszámított megfigyeléseket kell használnia, nem egy javasolt eszközhívást végrehajtott műveletként kezelnie.

A Predicted Outputs elérhető a GPT-4o modellhez nagyrészt ismert szöveg vagy kód kis módosításokkal történő újragenerálásakor. Adja meg a meglévő tartalmat és a pontos módosítást, majd vizsgálja meg a visszaadott eredményt. Ez a csak szöveges út nem kombinálható függvényhívással, és kizárja a logprobs, max_completion_tokens és több más vezérlő használatát. Az eszközalapú kérés külön választás, ha a válasz külső műveletből származó új információtól függ.

Az OpenAI finomhangolást dokumentál a GPT-4o modellhez, optimalizálási útmutatója pedig kifejezetten a 2024. augusztus 6-i modellpillanatképet nevezi meg képi példákkal végzett vizuális finomhangoláshoz. Ez a pillanatképhez kötött testreszabási munkafolyamat különbözik a modellaliasnak küldött szokásos kéréstől. Mindennapi szövegíráshoz, elemzéshez vagy adatkinyeréshez hasznos feladatleírással és a kívánt kimenet példájával kezdjen. Egy későbbi üzenet tisztázhat egy hiányzó tényt, átdolgozhat egy mezőt vagy finomíthatja ugyanazt az eredményt a feladat bizonyítékainak és korlátainak megőrzésével.