När AI Hallucinerar med Självförtroende – Ett datatest mellan Copilot och ChatGPT

Sustainability Circle
8 maj
3 min läsning

Sustainability Circle's "Lilla AI Skola" om kvalitetssäkring av AI

Detta kanske inte är ett kunskapsinlägg som de andra i vår serie, men det är en viktig reflektion om hur vi just nu skall förhålla oss till AI och om vi kan lita på kvaliteten. Efter ett reklamutskick om en ny fantastisk funktion bestämde jag mig för att testa! Men är väl "early adopter"

”Skapa ett linjediagram som visar förhållandet mellan antalet födda i Sverige och antalet som tagit examen från teknikprogrammet på gymnasiet.”

Lät som en kul testfråga till en språkmodell som promotar datavisualisering med naturligt språk. Det var det också – men inte på det sätt jag trodde.

Test: Copilot – självsäker men fel

Jag började med Copilot Chat som ingår i mitt officepaket. Den ritade glatt upp ett linjediagram och visade en tabell med data för åren 2010–2020.

Men... varför var linjen så jämn? Och varför stämde inte siffrorna?

För att få klarhet bad jag ”Kan du också visa resultatet i en tabell?”

Självklart! Här är en tabell som visar förhållandet mellan antalet födda i Sverige och antalet som tagit examen från teknisk linje på gymnasiet:

År	Antal födda (i tusental)	Antal som tagit examen (i tusental)
2010	115	10
2011	113	11
2012	112	12
2013	110	13
2014	114	14
2015	117	15
2016	119	16
2017	120	17
2018	118	18
2019	116	19
2020	115	20

Denna tabell visar data från åren 2010 till 2020.

Uppenbart något som inte stämmer. Jag ställde flera följdfrågor och fick till slut svaret:

"Den information jag använde var baserad på exempeldata och inte den faktiska statistiken från SCB."

Officiell SCB-data för antal födda:

År	Antal födda
2010	113,2
2011	113,6
2012	114,9
2013	114,9
2014	117,4
2015	115,4
2016	115,8
2017	114,5
2018	113,1
2019	113,2
2020	113,6

Källa: SCB – Födda i Sverige

Teknikexamen enligt Skolverket:

År	Examen teknikprogrammet
2014	6 763
2015	7 272
2016	7 263
2017	7 462
2018	7 765

Källa: Skolverket: Rapport om Teknikprogrammet (PDF)

Slutsats Copilot:

För självsäker.
Bygger gärna på exempeldata.
Säger inte när den gissar – och gissar ofta snyggt men fel.

Test: ChatGPT – mer transparent

När jag bad ChatGPT 4o att göra samma övning svarade den med följdfrågor:

"Vill du att jag hämtar riktig data, eller ska jag visa med fiktiva siffror?"

Bra! Transparens!

Den presenterade en tabell som byggde på uppskattade värden och angav tydligt att siffrorna var ungefärliga – och att bara ca 73 % av teknikprogrammets elever tar examen.

Exempeldata från ChatGPT 4o:

År	Antal födda	Elever på teknikprogrammet	Examen (73 %)
2018	115 000	29 755	21 720
2020	113 000	30 200	22 046
2024	98 500	31 200	22 776

ChatGPT betonade också att data kunde hämtas från SCB och Skolverket, och erbjöd sig att skapa en graf med rätt källor om jag ville. Men inte här lyckades det helt att få rätt siffror i en snygg graf.

Vad lär vi oss av detta?

AI är inte en sanningsmaskin.
Den kan gissa – och göra det snyggt.
Transparens är avgörande.
En AI som talar om vad som är gissat vs hämtat är tryggare att använda.
Verklig data kräver mänsklig koll.
För tekniker, ingenjörer och beslutsfattare: dubbelkolla alltid källorna.
Det läskiga är inte att AI har fel – utan att det ser rätt ut.
"Good enough" duger inte alltid – särskilt inte när vi fattar beslut på siffror.