XAI – Förklarbar AI som gör tekniken begriplig och användbar

Sustainability Circle's "Lilla AI Skola": Vad är XAI – och varför är det viktigt?

När AI-modeller blir allt mer avancerade är det lätt att känna sig osäker: Hur tog modellen det här beslutet? Går det att lita på svaret?  För att kunna skala upp användningen av AI i verkligt viktiga applikationer behöver vi också förstå hur AI resonerar.

Alla modeller behöver inte förklaras med externa metoder. Vissa, som beslutsträd eller linjära regressioner, är i sig själva transparenta. Men i takt med att mer kraftfulla modeller som neurala nätverk tar plats i industrin, blir metoder som XAI allt viktigare.

Därför skall vi idag undersöka ett viktigt begrepp: XAI – Explainable AI.

Vad menas med XAI?

XAI står för Explainable AI – eller på svenska: förklarbar artificiell intelligens. Det handlar om metoder som gör det möjligt att förstå varför en AI-modell ger ett visst resultat. Det är extra viktigt när modellerna är komplexa, och är inte alla modeller det? Men särskilt kanske djupa neurala nätverk – så kallade "black box"-modeller.

Tänk dig att en AI-modell flaggar en produktionsmaskin som potentiellt felaktig, eller föreslår att ett system ska köras med reducerad kapacitet. Om vi inte kan förstå varför beslutet fattades – till exempel vilka sensordata eller mönster som låg bakom – blir det svårt att lita på modellen. Med XAI kan vi tydligt se vilka insignalvärden (t.ex. ovanliga vibrationer, temperaturspikar eller tryckvariationer) som påverkat beslutet. Det skapar förtroende, möjlighet till verifiering, och ger tekniker och ingenjörer en chans att validera eller förbättra modellen utifrån verkliga driftförhållanden.

Därför behövs XAI:

• Bygger förtroende: Förklaringar ökar förståelsen, särskilt när AI används i viktiga beslut.

• Möjliggör felsökning: Genom att se vilka faktorer som påverkar beslut kan man hitta fel och bias.

• Stödjer lagkrav: Inom t.ex. EU:s AI Act och GDPR krävs det att beslut kan förklaras.

• Förbättrar samarbete mellan människor och AI: En tekniker kan förstå AI:ns resonemang och fatta bättre beslut tillsammans med den.

En bra förklaring måste anpassas efter mottagaren – en data scientist kan behöva visualiseringar av attributvikter, medan en kvalitetschef kanske bara vill veta varför modellen föreslår ett stopp i produktionen. XAI hjälper till att kommunicera AI-beslut på rätt nivå.

Tre vanliga metoder för förklarbarhet

1. SHAP – SHapley Additive exPlanations

SHAP bygger på spelteori och visar hur mycket varje feature (variabel) bidrar till en enskild prediktion. Exempel: I en kreditmodell kan SHAP visa att låg inkomst drog ner kreditpoängen med 30 poäng, medan lång anställningstid höjde den med 20 poäng.

Fördelar:

• Ger både lokala (enskilda fall) och globala (modellnivå) förklaringar.

• Ger visuella insikter via t.ex. force plots.

• Passar alla typer av modeller.

Nackdelar:

• Kräver mycket beräkningskraft.

• Approximationer kan ge viss osäkerhet.

 2. LIME – Local Interpretable Model-agnostic Explanations

LIME förklarar enskilda beslut genom att bygga en förenklad modell (t.ex. linjär) runt just det beslutet.

Exempel: I en textklassificering visar LIME att ord som "klagar" och "väntetid" ledde till en negativ bedömning av en kundrecension.

Fördelar:

• Snabbt och enkelt.

• Visar tydligt vad som påverkade en viss prediktion.

• Bra för beslut nära människan, som kundtjänst eller medicin.

Nackdelar:

• Kan vara instabilt – olika förklaringar vid varje körning.

• Inte alltid träffsäkert i komplexa modeller.

3. Integrated Gradients – För djupa nätverk

Detta är en teknik som spårar hur varje insignal påverkar resultatet i ett neuralt nätverk, ofta använd i bild- och texttolkning.

Exempel: I ett bildigenkänningssystem kan metoden visa att AI:n fokuserade på just de delar av bilden där en brand syns.

Fördelar:

• Passar djupa neurala nätverk bra (t.ex. i computer vision eller NLP).

• Behöver inga externa modeller.

• Uppfyller matematiska krav på rättvisa.

Nackdelar:

• Fungerar bara på modeller som bygger på gradienter (t.ex. neural networks, inte beslutsträd).

• Förklarar inte direkt hur olika faktorer samverkar.

Sammanfattning: jämförelse av tekniker

Teknik	Scope	Modelltyp	Fördelar	Nackdelar
SHAP	Global & Lokal	Alla modeller	Exakt, visuellt, teoribaserad	Kräver mycket beräkning
LIME	Lokal	Alla modeller	Snabbt, intuitivt	Ibland instabil
Integrated Gradients	Lokal	Neurala nätverk	Fungerar bra i djupa modeller	Fungerar ej för icke-differentierbara modeller

Fler metoder

Utöver SHAP, LIME och Integrated Gradients finns andra tekniker som kan ge viktiga insikter. Till exempel används feature permutation för att testa hur viktiga olika variabler är, partial dependence plots för att förstå icke-linjära samband, och counterfactual explanations för att se vad som skulle behövt vara annorlunda för att få ett annat resultat. Vilken metod som passar bäst beror på modellen, datan och frågeställningen. I praktiken används ofta flera metoder tillsammans – t.ex. SHAP för global förståelse och counterfactuals för att se alternativa scenarier. Därför är det viktigt att välja rätt verktyg beroende på problemet – och att kombinera XAI med god visualisering.

För ingenjörer och tekniker i industrin innebär XAI inte bara teknisk transparens – det är också ett sätt att minska risk. Genom att kunna förklara hur AI-modeller fattar beslut blir det lättare att upptäcka fel i tid, bygga förtroende och fördela ansvar på ett spårbart sätt. I takt med att AI blir en allt viktigare del av vår vardag, blir XAI en nyckel för att använda tekniken ansvarsfullt och med trygghet.

Vidare läsning och inspiration

• IBM – What is Explainable AI: -> [Länk]

• Explainable AI, LIME & SHAP for Model Interpretability: -> [Länk]

• Wikipedia – Explainable artificial intelligence -> [Länk]

• Explainable AI For Predictive Maintenance - Examensarbete från Högskolan i Halmstad som undersöker hur Integrated Gradients kan användas på både bild-, tabell- och tidsseriedata. Författarna visar hur olika modeller (bl.a. RNN, LSTM, MLP) reagerar på val av baseline. Särskilt relevant för sekventiell industridata. -> [Länk]