AI gebruiken? Alleen bij toereikend niveau van AI-geletterdheid!

Maatschappij breed bepalen we momenteel koers op het gebied van Artificiële Intelligentie (AI), ook in hogeschoolland. Iedere onderwijsinstelling bepaalt zelf of AI mag worden gebruikt bij in te leveren stukken of toetsen. De regels zijn overal anders en niet alle instellingen hebben daarop passend beleid. Sterker, sommigen daarvan moeten zelfs nog beslissen of ze AI toestaan. Om goed beleid te kunnen maken is duiding nodig van wat AI in het onderwijs behelst. Daar geeft deze blog een aanzet toe.

Allereerst die term AI. Waar hebben we het dan over? Plat gezegd: applicaties die taken kunnen uitvoeren waarvoor (menselijke) intelligentie nodig is. Wat intelligentie überhaupt is laten we even buiten beschouwing. Voor nu is belangrijk om te weten dat die applicaties modellen bevatten die getraind zijn met heel veel voorbeelddata. Zo zijn er modellen die objecten in een foto of video herkennen, drukte in een regio voorspellen, de kans op epidemie schatten, of het studiesucces van studenten inzichtelijk maken. Maar, waar het sinds de opkomst van het populaire ChatGPT bijna continu over gaat is een speciale vorm van AI namelijk Generative AI, afgekort als GenAI. De naam zegt het al: die AI kan zelfstandig iets genereren bijvoorbeeld tekst zoals bij ChatGPT, maar ook beelden en video’s, programmacode, Excel-formules, PowerPointpresentaties etc. Het procedé is simpel. In de zogenaamde prompt type je de opdracht die de GenAI applicatie moet gaan uitvoeren en vervolgens levert die het resultaat. Dat verschijnt op het scherm of is als bestand beschikbaar.

Deze blog beperkt zich tot de inzet van deze specifieke vorm van AI, dus GenAI in het hoger onderwijs. Met GenAI lijken de mogelijkheden eindeloos. Studenten kunnen behandelprotocollen opstellen, grote hoeveelheden tekst samenvatten of vertalen, gegevens automatisch omzetten in passende grafieken of video’s - al dan niet ondertiteld of voorzien van een voice-over - en ja, scripties samenstellen. Net zo is het voor docenten eenvoudig hulp in te zetten bij lesvoorbereiding, oefenvragen opstellen of zelfs hele tentamens te genereren, inclusief voorbeeldantwoorden en nakijkprotocollen.

GenAI in het hoger onderwijs

Is dat wenselijk? De vraag kan zijn wat een student leert, wanneer materialen en producten van AI afkomstig zijn. Laten we het piramidemodel van Miller erbij halen. Dat beschrijft de ontwikkeling van een student tot en met het niveau van beroepsbekwaam. In de eerste twee fasen doet de student kennis op (Weten) en past die vervolgens toe (Toepassen). In de daaropvolgende fasen (Laten zien en Doen) handelt de student daarmee uiteindelijk in een authentieke beroepssituatie. Het toepassen van kennis vereist een serie denkvaardigheden. Zo moet een student kunnen uitleggen en beargumenteren welke keuzes worden gemaakt, valideren of wat gekozen is aansluit bij het gevraagde et cetera. En dat is precies de basis voor een belangrijk aspect in de authentieke beroepssituatie namelijk, toetsen of de opdrachtgever, de klant of patiënt daadwerkelijk een oplossing krijgt aangeboden die past bij de wensen en context.

Het doorlopen van deze fasen - en dus daadwerkelijk leren – kan prima terwijl er gebruik gemaakt wordt van GenAI. Waarom? Geef je een basale opdracht dan krijg je van een GenAI applicatie een basaal resultaat terug. Er is du veel aan gelegen om een zo specifiek mogelijke opdracht te maken. Hoe werkt dat? Daarvoor maken we even een uitstapje naar ChatGPT. Dat is een applicatie waarmee je een conversatie opzet. Het Chat-deel zorgt ervoor dat je een opdracht kunt invoeren, inclusief eventueel aanvullend materiaal - een PDF-document bijvoorbeeld - en een resultaat gepresenteerd krijgt. GPT staat voor Generative Pre-trained Transformer. Pre-trainen betekent in dit geval het zoeken naar veelvoorkomende patronen in teksten. De techniek die daarvoor gebruikt is de Transformer. Die doorzoekt miljarden tekstdocumenten. Als dat (pre-train) proces gereed is, is een zogenaamd Large Language Model (LLM) beschikbaar. Daarmee kan nieuwe tekst gegenereerd worden. Stel, je geeft ChatGPT de volgende opdracht:

Het resultaat is dan een tekst in een neutrale stijl met enkele algemene punten uit de EU AI ACT en een dooddoener zoals: “Voor onderwijsinstellingen betekent de AI Act dat ze zich bewust moeten zijn van de AI-technologieën die ze implementeren en dat ze ervoor moeten zorgen dat deze voldoen aan de nieuwe regelgeving”. Inderdaad, een basale opdracht, of prompt, levert een basaal resultaat! Daarom moet je ChatGPT primen, ofwel voorzien van contextuele informatie. Daar zijn wat algemene regels voor:

• Geef specifiek en eenduidig aan wat de Taak is
• Geef aan in welke Rol de GenAI applicatie aan het werk moet gaan
• Geef aan in welke achtereenvolgende Stappen je de Taak uitgevoerd wilt zien
• Geef de Context, ofwel de situatie, beperkingen et cetera die van toepassing zijn
• Gaaf aan wat het doel van de taak is en voor welke Doelgroep het resultaat relevant is
• Geef aan in welke Format het resultaat gepresenteerd moet worden

Een meer specifieke prompt is in dit geval:

Het resultaat is dan ook concreter en specifieker (daarover later meer).

Het zo specifiek mogelijk maken van een prompt heet prompt engineering. En daarmee zijn we terug bij het piramidemodel van Miller. Immers, om voor een specifiek probleem een specifieke prompt te kunnen maken is (basis)kennis nodig die toegepast wordt. Al die ingrediënten van een specifieke prompt vereisen diverse analyses: het probleem, taken en verantwoordelijkheden, doelgroepen et cetera moeten inzichtelijk zijn, of gemaakt worden. Dat is de basis voor het ontwerp van de prompt. Tenslotte is het belangrijk dat het resultaat van die prompt geïnterpreteerd wordt. Want, een GenAI geeft altijd een resultaat, maar hoe goed dat is en wat daarbij valkuilen zijn moet je valideren.

Tijdigheid

Had ChaptGPT het onderdeel van deze blog over de EU AI Act en hoger onderwijs dan kunnen maken? Nou nee, immers, een van de valkuilen van GenAI is tijdigheid. Een GenAI is getraind met materiaal tot aan een bepaalde datum. Bovenstaande prompt is gebruikt voor ChatGPT op basis van GPT-4. Die is getraind met data tot aan oktober 2023. Dus, ondanks dat het resultaat van die prompt concreter en specifieker dan die van de basale prompt was, sluit dat niet aan bij de stand van zaken op dit moment. Immers, de EU AI Act (nu officieel de Europese verordening artificiële intelligentie) is pas sinds 1 augustus 2024 van kracht. Mijn aanname is dat er geen hogescholen zijn die al voor oktober 2023 bezig waren met de consequenties van EU AI Act en daar op geacteerd hebben. Ofwel, ChatGPT heeft in de training geen heel specifieke patronen kunnen ontdekken over een directe relatie tussen de EU AI Act en het hoger onderwijs. Dat betekent dat het resultaat van de prompt heel kritisch bekeken moet worden.

Wat zijn nog meer valkuilen? Hoewel steeds duidelijker wordt waar makers van GenAI hun data (die miljarden documenten voor ChatGPT bijvoorbeeld) vandaan halen is ook helder dat daarbij bepaalde continenten/landen ondervertegenwoordigd zijn. Data komt van vele bronnen zoals (wetenschappelijke) boeken en artikelen, websites en databases, maar ook van allerlei fora en social media. Dat heeft consequenties voor het waarheidsgehalte, betrouwbaarheid en validiteit van de data. En wat te denken van alle data die GenAI zelf genereert op basis van ingevoerde prompts. Die vloeit weer terug het pre-train proces in en gaat dus op den duur deel uit maken van het LLM. Dus ook de tekst die na hallucinatie ontstaat. Immers, GenAI is sterk geneigd resultaat te produceren, ook als er een zwakke of zelfs geen connectie met de inhoud is. Daarnaast kan een GenAI tegenwoordig wel referenties teruggeven (waar het resultaat op gebaseerd is), maar vaker zal een GenAI aangeven dat het algemene kennis betreft. En dat laatste is een mooi bruggetje naar toetsen.

Toetsen

Daar speelt een aantal zaken: heeft de student iets wat ter toetsing wordt ingebracht daadwerkelijk zelf gemaakt? Of, iets subtieler: stel, de student geeft aan dat AI is ingezet om te komen tot het resultaat, maar er blijkt werk van anderen geciteerd te zijn, zonder bronvermelding. Is dat fraude? In het eerste geval ligt een aantal afwegingen voor de hand. Het meest eenvoudige is het verbieden van de inzet van AI. Strookt dat met waar het werkveld naar evolueert? Nee. AI is niet meer weg te denken in de huidige maatschappij en dat weet het werkveld ook. Zorg dus dat de aankomende werknemers AI verantwoord kunnen inzetten. Voor het onderwijs betekent dit mogelijk een (her)nieuw(d)e afweging van eindtermen/leeruitkomsten. Hoe zorgen we dat die aansluiten op een toekomst waarbij AI ingezet wordt, als hulpmiddel wel te verstaan, en niet als vervanging van menselijke vaardigheden en besluitvorming? Als dat een gegeven is hoe gaan we dan toetsen in het onderwijs? Ook daar weer een afweging: wanneer is het geoorloofd AI in te zetten en wanneer wil je dat niet? Beleidsmatig is dat te ondervangen door studenten te verplichten om aan te geven of AI gebruikt is, met welk doel en welke AI dat dan was. Er zijn diverse passende toetsvormen om de essentiële kennis en vaardigheden te toetsen. Immers, (portfolio) assessments en reflectieverslagen op basis van peer reviews zijn zeer geschikt om te toetsen of de student zelf op niveau heeft geïnterpreteerd, beargumenteerd, afgewogen et cetera. Als AI per se niet als hulpmiddel mag worden ingezet blijft een scala aan traditionele toetsvormen inzetbaar. En als het een digitale toets betreft kan die worden afgenomen in een afgesloten omgeving (geen toegang tot internet).

Inmiddels is er een scala aan bronnen beschikbaar dat hulp biedt bij het (her)formuleren van passende eindtermen/leeruitkomsten en het verantwoord inzetten van AI in het onderwijs. Zo beschrijft het Digital Competence Center for Educators (DigCompEdu) competenties in relatie tot digitalisering op verschillende beheersingniveau’s en bracht UNESCO de “Guidance for generative AI in education and research uit”. En op landelijk niveau presenteerde het Nederlandse kabinet in januari - als een van de eerste EU-lidstaten - een visie op generatieve AI, zijn er diverse onderwijs gerelateerde organisaties zoals SURF die kaders bieden en hebben vele hogescholen en universiteiten richtlijnen voor verantwoord gebruik van AI in het onderwijs.

Gewoon doen

En zijn we er dan? Daarvoor wil ik nog even terugkomen op de EU AI Act die op 1 augustus officieel in werking is getreden. Deze is van toepassing op de ontwikkeling én het gebruik va AI! Act vertaalt zich naar verordening en de daaraan gekoppelde wetgeving gaat per februari 2025 gedeeltelijk in. Peter Frans Oosterbaan, specialist op onder meer data – en AI – geletterdheid vestigde onlangs op LinkedIn de aandacht op Artikel 4 van de Act: "Aanbieders en gebruiksverantwoordelijken van AI-systemen nemen maatregelen om, zoveel als mogelijk, te zorgen voor een toereikend niveau van AI-geletterdheid bij hun personeel en andere personen die namens hen AI-systemen exploiteren en gebruiken, en houden daarbij rekening met hun technische kennis, ervaring, onderwijs en opleiding en de context waarin de AI-systemen zullen worden gebruikt, evenals met de personen of groepen personen ten aanzien van wie de AI-systemen zullen worden gebruikt". Dus, (ook) als we AI-systemen gaan gebruiken is een toereikend niveau van AI-geletterdheid bij gebruikers noodzakelijk. Ik ben benieuwd hoe ver we hiermee op koers liggen in hogeschoolland. De kaders en richtlijnen zijn er, nu professionalisering in werking zetten. Die professionaliseringsslag betekent niet alleen lezen over de mogelijkheden en valkuilen van AI, maar het gewoon gaan doen.

Data Science

Het lectoraat Data Science doet praktijkgericht onderzoek naar het creëren van dataproducten. Ze richt zich met name op producten die belangrijk zijn in een deltagebied zoals Zeeland, bijvoorbeeld voor kustbescherming, veiligheid, toerisme, voedsel, industrie, energie en logistiek.

Read more about the lectorate Data Science