Néhány év alatt a ChatGPT egy technológiai kísérletből a világ egyik legismertebb mesterségesintelligencia-szolgáltatásává vált. Ma már szöveget ír, fordít, programoz, dokumentumokat és képeket elemez, információt keres, összetett problémák megoldásában segít, és olyan feladatokat is képes támogatni, amelyekhez korábban több különböző alkalmazásra volt szükség. A története azonban nem 2022 novemberében kezdődött: mögötte hosszú évek kutatása, a Transformer architektúra megszületése és az OpenAI GPT-modelljeinek több generációja áll. De mit jelent egyáltalán a GPT rövidítés, hogyan jutottunk el az első nyelvi modellektől a ChatGPT-ig, és miért bizonyult ennyire meghatározónak ez a technológia?
Mit jelent a GPT a ChatGPT nevében?
A ChatGPT elnevezés két részből áll. A „Chat” a rendszer párbeszédes működésére utal, míg a GPT az angol Generative Pre-trained Transformer kifejezés rövidítése. Magyarul ezt nagyjából „generatív, előzetesen betanított Transformer” modellként lehet visszaadni, és valójában mindhárom szó fontos információt árul el a technológia működéséről. A „Generative”, vagyis generatív azt jelenti, hogy a rendszer új tartalmat képes létrehozni. Nem egyszerűen előre megírt válaszokat keres ki egy hatalmas adatbázisból, hanem a kapott utasítás, a beszélgetés kontextusa és a tanítás során elsajátított mintázatok alapján állítja elő a választ. A „Pre-trained”, vagyis előzetesen betanított arra utal, hogy a modell már jóval azelőtt hatalmas mennyiségű szöveges információból és nyelvi mintázatból tanul, hogy a felhasználó elkezdene vele beszélgetni. Ennek során megtanulja többek között a nyelv szerkezetét, a szavak és fogalmak közötti kapcsolatokat, különböző szövegtípusokat és rengeteg összetett összefüggést.
A harmadik szó, a „Transformer” annak a neurális hálózati architektúrának a neve, amely alapvetően megváltoztatta a természetes nyelvi mesterséges intelligencia fejlődését. A Transformer egyik legfontosabb tulajdonsága, hogy hatékonyan képes kezelni a szövegen belüli kapcsolatokat és kontextust, vagyis nem pusztán egymást követő szavakként tekint egy mondatra. A ChatGPT nevét ezért leegyszerűsítve úgy is értelmezhetjük, hogy egy beszélgetésre kialakított, generatív, előzetesen betanított, Transformer-alapú mesterségesintelligencia-rendszerről van szó.
A ChatGPT története jóval 2022 előtt kezdődött
A számítógépes nyelvfeldolgozás története természetesen évtizedekkel korábbra nyúlik vissza. A korai rendszerek azonban nagyrészt előre meghatározott szabályokra, szótárakra és emberek által kialakított nyelvi struktúrákra támaszkodtak. A gépi tanulás fejlődésével fokozatosan egy teljesen más megközelítés került előtérbe: ahelyett, hogy a fejlesztők minden szabályt külön megpróbálnának beprogramozni, a gép nagy mennyiségű adatból maga tanulja meg a különböző mintázatokat és összefüggéseket. A modern generatív mesterséges intelligencia fejlődésének egyik legfontosabb mérföldköve 2017-ben következett be, amikor megjelent a Transformer architektúra. Ez a technológia rendkívül hatékonynak bizonyult a nyelvi összefüggések kezelésében, és megnyitotta az utat az egyre nagyobb és fejlettebb nyelvi modellek előtt.
Az OpenAI 2018-ban mutatta be az első GPT-modellt. Az alapötlet egyszerre volt viszonylag egyszerű és rendkívül jelentős: egy neurális hálózatot először nagy mennyiségű szövegen általánosan be lehet tanítani, majd az így kialakult modellt különböző konkrét feladatokra lehet tovább finomítani. Az első GPT mai szemmel természetesen meglehetősen kicsinek és korlátozottnak számít, de bebizonyította, hogy az előzetes tanítás és a Transformer architektúra kombinációjában komoly lehetőségek rejlenek.
A GPT-2 és a GPT-3 már megmutatta, merre tart a technológia
2019-ben érkezett a GPT-2, amely az elődjénél lényegesen összefüggőbb és hosszabb szövegek előállítására volt képes. Ekkor kezdett igazán látványossá válni, hogy a modell méretének és a tanításhoz használt adatmennyiségnek a növelésével jelentősen javulhatnak a nyelvi képességek is. A generált szövegek egyre kevésbé hasonlítottak véletlenszerűen egymás mellé illesztett mondatokra, és hosszabb szakaszokon keresztül is képesek voltak bizonyos fokú koherenciát fenntartani. Az OpenAI ekkor még kifejezetten óvatosan kezelte a technológia teljes körű hozzáférhetővé tételét, többek között a lehetséges visszaélések miatt, ám a fejlődés iránya már világosan látható volt.
A következő hatalmas ugrást a 2020-ban bemutatott GPT-3 jelentette. Ez a modell már olyan szintű szöveggenerálásra és általános nyelvi feladatok elvégzésére volt képes, amely messze túlmutatott a korábbi rendszereken. Szöveget lehetett vele írni és összefoglalni, kérdésekre válaszolt, különböző stílusokat tudott követni, fordítási feladatokat végzett, sőt programkóddal kapcsolatos problémákban is használhatóvá vált. Különösen érdekes volt, hogy számos feladatot anélkül is végre tudott hajtani, hogy kifejezetten az adott feladatra programozták volna. Elég volt példákat vagy megfelelő utasításokat adni neki, és a modell sok esetben felismerte, mit vár tőle a felhasználó.
A GPT-3 ugyanakkor még nem volt az a természetes módon használható digitális asszisztens, amelyet ma a ChatGPT alatt értünk. Erős nyelvi modell volt, de az emberi utasítások pontos követésében, a párbeszéd kezelésében és a megfelelő válaszok kiválasztásában további fejlesztésekre volt szükség. Ebben lett fontos állomás az InstructGPT és az emberi visszajelzések alkalmazása.
Az InstructGPT-től a ChatGPT megszületéséig
Az OpenAI egyik fontos célja az lett, hogy a modellek ne csupán nyelvileg meggyőző szöveget generáljanak, hanem jobban megértsék és kövessék azt is, hogy a felhasználó mit szeretne tőlük. Ebben fontos szerepet kapott az RLHF, vagyis Reinforcement Learning from Human Feedback, magyarul emberi visszajelzésen alapuló megerősítéses tanulás. A folyamat leegyszerűsítve azt jelentette, hogy emberek különböző modellválaszokat értékeltek és hasonlítottak össze, az így keletkező visszajelzésekből pedig a rendszer megtanulhatta, milyen típusú válaszok számítanak hasznosabbnak, pontosabbnak vagy megfelelőbbnek. Ez kulcsfontosságú lépés volt abban, hogy a puszta nyelvi modellből valóban használható párbeszédes rendszer születhessen.
A nagy fordulópont végül 2022. november 30-án érkezett el, amikor az OpenAI nyilvánosan elérhetővé tette a ChatGPT-t kutatási előzetesként. Az első változat a GPT-3.5 sorozat egyik modelljére épült, de az igazi újdonság a felhasználó szempontjából nem pusztán a háttérben működő modell volt. A ChatGPT-vel természetes módon lehetett beszélgetni: a felhasználó feltehetett egy kérdést, majd visszakérdezhetett, pontosíthatott, új feltételeket adhatott meg vagy teljesen más irányba terelhette a párbeszédet, miközben a rendszer figyelembe vette a beszélgetés korábbi részeit is.
Ez a kezelési mód döntő jelentőségűnek bizonyult. A mesterséges intelligencia használatához hirtelen nem kellett programozónak, kutatónak vagy gépi tanulással foglalkozó szakembernek lenni. Nem kellett API-kat kezelni vagy bonyolult szoftvereket telepíteni: a felhasználó egyszerűen leírhatta hétköznapi nyelven, mit szeretne. A ChatGPT ezzel tulajdonképpen felhasználói felületet adott a nagy nyelvi modellekhez, és a generatív AI egyik pillanatról a másikra sokkal szélesebb közönség számára vált kézzelfoghatóvá.
Hogyan működik valójában a ChatGPT?
A hétköznapi beszélgetésekben gyakran mondjuk, hogy a ChatGPT „tud”, „gondolkodik” vagy „érti” a kérdést, technikai szempontból azonban ennél összetettebb a helyzet. A nagy nyelvi modellek működésének egyik alapvető eleme a következő token előrejelzése. A token nem feltétlenül egy teljes szó: lehet szó, szórész, írásjel vagy más kisebb szövegegység. A modell az addigi kontextus alapján kiszámítja, milyen tokenek következhetnek, majd ezekből lépésről lépésre felépíti a választ.
Ez első hallásra meglepően egyszerű mechanizmusnak tűnhet ahhoz képest, hogy a rendszer képes cikket írni, programozási problémát megoldani vagy bonyolult kérdésekre válaszolni. A lényeg azonban a modell méretében, a tanítás módjában és az ennek során kialakuló rendkívül összetett belső reprezentációkban rejlik. Egy megfelelően fejlett modell nem egyszerűen szavak gyakoriságát tárolja el, hanem rendkívül komplex kapcsolatokat alakít ki fogalmak, nyelvi struktúrák és mintázatok között. Emiatt a modern nagy nyelvi modellek viselkedése messze túlmutat azon, amit egy egyszerű automatikus szövegkiegészítőtől várnánk.
A GPT-4-től a multimodális mesterséges intelligenciáig
2023 márciusában megjelent a GPT-4, amely újabb jelentős előrelépést jelentett. A modell összetettebb feladatok kezelésében, utasításkövetésben és számos szakmai területen is javulást hozott, miközben maga a ChatGPT is folyamatosan fejlődött. A szolgáltatás egyre kevésbé csupán szöveges chatbotként működött: fokozatosan megjelent a fájlok, képek és más típusú információk kezelésének lehetősége is.
A következő fontos lépcsőt a multimodális modellek jelentették. A 2024 májusában bemutatott GPT-4o nevében az „o” az „omni” szóra utalt, és jól érzékeltette az új irányt: a mesterséges intelligencia többé nem kizárólag begépelt szövegekkel dolgozik. A kép, a hang és a szöveg egyre szorosabban kapcsolódhat egymáshoz, így a felhasználó például feltölthet egy fényképet vagy dokumentumot, és annak tartalmáról is beszélgethet a rendszerrel.
Ezzel párhuzamosan egy másik fejlődési irány is egyre fontosabbá vált: az összetettebb következtetésre optimalizált, úgynevezett reasoning modellek megjelenése. Ezek fejlesztésének egyik célja, hogy matematikai, tudományos, programozási és logikai problémák esetén a rendszer hatékonyabban dolgozza fel a feladatot, mielőtt elkészíti a végső választ. A hangsúly tehát fokozatosan eltolódott attól, hogy egy AI pusztán gyorsan és természetesen tudjon szöveget generálni afelé, hogy egyre összetettebb problémák megoldására is alkalmas legyen.
A ChatGPT ma már jóval több egy egyszerű chatbotnál
A „ChatGPT” név emiatt napjainkra bizonyos szempontból már túl szűknek is tűnhet. A rendszer eredetileg valóban elsősorban egy szöveges beszélgetőfelület volt, ma azonban – az adott verziótól és az elérhető funkcióktól függően – dokumentumok és képek feldolgozására, internetes információkeresésre, programozási feladatokra, kutatásra, adatfeldolgozásra és egyre összetettebb munkafolyamatok támogatására is használható. A ChatGPT így fokozatosan egy általános mesterségesintelligencia-asszisztens és platform irányába fejlődött, amelynek a beszélgetés továbbra is központi része, de már messze nem az egyetlen képessége.
Fontos ugyanakkor megérteni a technológia korlátait is. A ChatGPT nem tévedhetetlen tudásbázis, és a nyelvi modell önmagában nem ugyanúgy működik, mint egy hagyományos internetes keresőmotor vagy adatbázis. A generált válasz a modell által megtanult mintázatokon és az aktuális kontextuson alapul, ezért előfordulhat, hogy a rendszer téves vagy akár teljesen kitalált információt állít elő. Ezt nevezik gyakran AI-hallucinációnak. A modern rendszereknél ezt részben ellensúlyozhatja az internetes keresés, külső források, számítási eszközök és más szolgáltatások használata, de különösen fontos egészségügyi, jogi, pénzügyi, tudományos vagy más nagy jelentőségű kérdések esetén továbbra is szükség lehet az információk ellenőrzésére.
Miért lett a ChatGPT ekkora jelentőségű technológia?
A ChatGPT jelentősége talán éppen abban rejlik, hogy nem önmagában találta fel a generatív mesterséges intelligenciát. A neurális hálózatok, a gépi tanulás, a Transformer architektúra és a nagy nyelvi modellek már korábban is léteztek. Az igazi áttörés az volt, hogy mindezt egy olyan felületen tette elérhetővé, amelyet gyakorlatilag bárki azonnal megérthetett. Nem kellett programozni, nem kellett érteni a neurális hálózatok matematikáját, és még azt sem kellett pontosan tudni, hogyan működik egy nyelvi modell. Elég volt leírni egy kérdést vagy feladatot ugyanúgy, mintha egy másik embernek mondanánk el.
Ez alapvetően változtatta meg a mesterséges intelligenciához való viszonyunkat. Az AI néhány év alatt a kutatólaboratóriumokból és fejlesztői környezetekből bekerült az otthonokba, iskolákba, szerkesztőségekbe és vállalatokhoz. Szövegírók, újságírók, programozók, kutatók, diákok, tanárok, vállalkozók és hétköznapi felhasználók kezdték ugyanazt az alaptechnológiát teljesen eltérő célokra használni.
A ChatGPT története ezért jóval több egy sikeres internetes szolgáltatás történeténél. Jól szemlélteti azt a rendkívül gyors technológiai átalakulást, amelynek során a generatív mesterséges intelligencia néhány év leforgása alatt kutatási területből mindennapos munkaeszközzé vált. Az első GPT 2018-as megjelenésétől a GPT-2-n és GPT-3-on át a ChatGPT 2022-es indulásáig, majd a GPT-4, a multimodális rendszerek és az összetettebb következtetésre képes modellek megjelenéséig meglepően rövid idő telt el.
És talán éppen ez a ChatGPT történetének legérdekesebb része. Amit ma rendkívül fejlett mesterséges intelligenciának tekintünk, néhány év múlva könnyen ugyanolyan kezdetlegesnek tűnhet, mint amilyennek ma az első GPT-modellek látszanak. A három betű azonban valószínűleg még sokáig velünk marad: GPT – Generative Pre-trained Transformer, vagyis az a technológiai alap, amelyből a modern ChatGPT története kinőtt.
