Kinek nem jutott még eszébe, hogy a ChatGPT-vel készítsen el egy válaszlevelet vagy egy jelentést a főnökének? Vajon van olyan diák, aki nem készítené el a házi feladatot, vagy az egyetemi beadandókat vele? No és erről mi a véleményük az oktatóknak?

Pár hónapja, 2024 január végén szerveztünk egy workshopot hat magyar egyetem részvételével a (generatív) AI egyetemi oktatásra gyakorolt hatásairól.

A történet előzménye volt, hogy Tamási Árpád, AI stratégiai tanácsadó és Szabó Miklós, az ELTE adjunktusa még 2023-ban kutatási jelleggel egy RAG megoldással kísérletezett egy egyetemi kurzusban. A RAG (Retrieval-Augmented Generation) egy olyan technika, amely a generatív AI modellek pontosságát és megbízhatóságát külső forrásokból származó tényekkel növeli (https://blogs.nvidia.com/blog/what-is-retrieval-augmented-generation/).

A workshopon abból a feltevésből indultunk ki, hogy a nyelvi modellek az életünk részévé válnak a nagyon közeli jövőben. Az szerettük volna megérteni, hogy mit jelent ez az egyetemi oktatás számára. Ennek érdekében a következő kérdéseket jártuk körül:

• Miben tudna segíteni egy AI asszisztens az egyetemi oktatók és diákok számára?
• A diákoknak és tanároknak milyen képességekre, tudásra lesz szükségük, hogy az AI a partnerük tudjon lenni?
• Melyek az AI használat jó és rossz esetei?

A workshop eredményeként kapott információk alapján úgy döntöttünk, hogy tovább folytatjuk a kutatást. A 2024 tavaszi szemeszterben az ELTE és az Óbudai Egyetem is csatlakozott a kutatáshoz.

A 2024 tavaszi kísérlet

A kísérletben a kurzusok oktatói az általuk fontosnak tartott tananyagokat és kapcsolódó irodalmat töltöttek fel a rendszerbe. A rendszer a diákokkal folytatott beszélgetésekben felhasználta a feltöltött irodalmat és hivatkozást is adott, ahol releváns volt. A tanárok megnézhették a diákok beszélgetéseit.
A szemeszter során 4 kurzus 86 diákja használta a rendszert. Összesen több, mint 2000 kérdést tettek fel.
A félév lezárásakor kíváncsiak voltunk a diákok visszajelzésére, többek közt az egyik kurzus hallgatóival fókuszcsoportos beszélgetést tartottunk. A beszélgetés leirata alapján a ChatGPT a következő összefoglalót készítette a diákok tapasztalatairól:

Mit vártak tőle:
A résztvevők az AI alkalmazástól azt várták, hogy segítséget nyújt a tanulmányokhoz, különösen az utolsó pillanatban való felkészüléshez. Remélték, hogy “nem kell elolvasni a könyvet”, ami azt sugallja, hogy gyors, hatékony segítséget vártak tőle.

Mit tapasztaltak:
A tapasztalatok között szerepelt, hogy az AI “nem volt időm vagy kapacitásom…akkor én azt bedobtam mondjuk a chat GPT-be, és megkértem, hogy azt foglalja össze”. Ez azt mutatja, hogy az AI-t gyakran időmegtakarítási eszközként használták.

Mi volt a hozzáadott érték a “vad” ChatGPT-hez képest:
A speciálisan beállított AI előnye az volt, hogy “a Chat GPT, és szinte az összes hivatkozás, amit a Chat GPT csinált, azt csak úgy kitalálta és nem létezett”  problémát oldott meg, mivel az AI csak megbízható forrásokból származó adatokat használt.

Mi volt a hozzáadott érték a tankönyvhöz képest:
Az AI előnye a tankönyvekkel szemben az volt, hogy segített “megmutatni nekem az irányokat, hogy akkor erre kell hangsúlyt fektetni, arra kell hangsúlyt fektetni”, ami segített a tanulmányi anyag jobb strukturálásában és megértésében.

Milyen arányban javasolták másnak:
A résztvevők általános véleménye szerint “Persze. Apámnak. Igen, mert ő szerintem technófób is, de ez most azon túl megy”, ami arra utal, hogy ajánlanák az AI-t másoknak is, különösen azoknak, akik nehezebben birkóznak meg a hagyományos információforrásokkal.

A következő grafikon azt mutatja, hogy az aktivitás a félév aktív időszakaiban folyamatosan nőtt (a tavaszi szünetben visszaesett).

Miért érdekes ez a téma a Mortoff számára?

Az oktatás talán sokunk számára távol esik az üzleti élet problémáitól, ugyanakkor egy-egy kurzus tananyagai nem különböznek sokban a generatív AI kezdeti felhasználási projektjeiben látott esetektől. Legtöbb vállalat a belső (pl. HR) szabályzatokat, vagy külső előírásokat (Pl. NAV ajánlásokat) dolgoztak fel annak érdekében, hogy az egyéni igényeket, kérdéseket gyorsan és hatékonyan tisztázzák. Ergo, hogy ha ki tudunk alakítani egy olyan RAG megoldást, amelyik nem hallucinál a tananyag feldolgozásakor, de képes a leírt információkat megfelelően alkalmazni a beadott kérdésekre, akkor az könnyen alkalmazható lesz az üzleti életben is.

Arról nem is beszélve, hogy az eddigi tapasztalataink alapján ez az új ember – számítógép interfész, ami a mesterséges intelligencia segítségével most kialakulni látszik, – alapjaiban fogja megváltoztatni az ember – számítógép együttműködést (lásd még: https://openai.com/index/hello-gpt-4o/). Azaz ez a kérdés nem is csak technológiai:

Azt szoktuk mondani, hogy ez 20% technológiai, 80% antropológiai kísérlet.

Hiszen a nap végén nem csak az fontos, hogy legyen egy olyan RAG megoldásunk, ami nagy megbízhatósággal meg tudja válaszolni egy domainen belüli speciális kérdéseket, hanem az, hogy ezt az emberek mire és hogyan akarják majd használni. 

(https://tilosazai.org/)