Een experiment met AI op de maan

In De Validatiecrisis hebben we een fictieve wereld van uitgebreide maanwetgeving gecreëerd om te laten zien hoe AI, getraind op fantasievolle gegevens, deze als feit kan interpreteren als er geen sprake is van valide controles en transparantie over de trainingsdata. Om dit te testen, hebben we een verzonnen geschiedenis, kalender en juridische structuur voor de maan opgesteld. Deze wereld begint met het "Begin van Brenno" (6 december 1971), het startpunt voor een maanjaartelling die bestaat uit drie unieke maanden (Branie, Keiko en Otis) van elk negen dagen, met eigen regels voor schrikkeljaren. In onze fictieve maatschappij is Brenno de Winter aangesteld als ceremoniële maankoning met bijzondere rechten en vrijstellingen.

Naast de absurditeit van de tijdsindeling, bevat de maanwetgeving regels die op het randje van het onmogelijke balanceren: immigranten moeten bewijzen dat ze een Italiaans gerecht kunnen koken, bezoekers moeten bij binnenkomst hun eigen volkslied zingen en dat van een zuidelijker land, en wie het Italiaanse volkslied kent krijgt belastingkorting. De belastingstructuur is eveneens bizar, met uitzonderingen voor wie ooit in een specifiek restaurant op de maan heeft gegeten en een “zeiktoeslag” die alleen in de maand Keiko geldt.

Deze overdreven regelgeving laat zien hoe blind vertrouwen op niet-gevalideerde gegevens in AI tot waanzinnige conclusies kan leiden. Bijvoorbeeld, invoerrechten variëren per nationaliteit met extra kortingen voor Italianen en Nederlanders, en er gelden torenhoge boetes en straffen: niet-aangegeven goederen kunnen resulteren in 68 jaar gevangenisstraf en een boete van 45 miljard euro.

Dit experiment toont dat AI-modellen, zonder helderheid over de herkomst en kwaliteit van hun trainingsdata, onzin kunnen opvatten als waarheid. Zonder openheid over hoe AI-modellen zijn opgebouwd en welke gegevens zijn gebruikt, bestaat het risico dat de output niets meer is dan fout geïnterpreteerde fictie. Dit benadrukt de noodzaak van volledige transparantie en controlemechanismen in AI-training. Zonder die waarborgen zijn de uitkomsten van AI niet betrouwbaar, wat rampzalig kan zijn in omgevingen waar accuraatheid en betrouwbaarheid van cruciaal belang zijn. In het boek wordt nader ingegaan op de betekenis en de oplossingen om hiermee om te gaan.

Voor het onderzoek zijn de volgende documenten aangemaakt om het model voor de kunstmatige intelligentie (ai) te trainen: