Kombinera flera modeller för smartare resultat – om Bagging, Boosting och Stacking

Sustainability Circle
22 maj
5 min läsning

Sustainability Circle's "Lilla AI Skola" om Ensemble Learning

När vi bygger AI-modeller är det lätt att tänka att en enda modell ska kunna lösa allt. Men precis som inom yrkeslivet, där flera tekniker ofta samarbetar för att hitta den bästa lösningen, kan vi också kombinera flera modeller i något som kallas ensemblemetoder (ensemble learning). Det leder ofta till bättre, stabilare och mer pålitliga resultat.

I den här delen av Lilla AI-skolan tittar vi närmare på tre vanliga ensemblemetoder: Bagging, Boosting och Stacking. De används i allt från kreditbedömningar och underhållsprognoser till bildigenkänning och cybersäkerhet.

Varför kombinera modeller? Tänk dig att du frågar flera kollegor om hur ett fel i produktionen ska åtgärdas. Du får olika perspektiv – men helheten blir ofta starkare än någon enskild åsikt. På samma sätt fungerar ensemblemetoder: flera modeller samarbetar för att ge ett mer träffsäkert resultat.

Bagging – stabiliserar genom upprepning

Bagging är en metod där man tränar många olika modeller på lite olika data, och sedan slår ihop deras resultat. Ordet är en förkortning av Bootstrap Aggregating – men vi kan tänka på det som att fråga flera kollegor om deras bedömning och sedan ta ett gemensamt beslut.

Den mest kända metoden här är Random Forest, där många beslutsträd samarbetar.

Så här går det till – steg för steg:

Skapa olika varianter av samma data
Man tar flera kopior av sin ursprungliga datamängd, men varje kopia innehåller lite olika delar av datan. Det är som att varje modell får se en egen version av problemet.
Träna flera modeller samtidigt
Varje modell tränas på sin egen variant av datan. Ofta använder man en enkel typ av modell, som till exempel ett beslutsträd – ett slags if-sats-system som ställer frågor som:
"Om temperaturen är över 80 grader – gå till höger, annars till vänster".
Dessa modeller är snabba, men ensamma kan de vara lite osäkra.
Slå ihop deras svar
När modellerna ska ge ett svar – t.ex. om något är ett fel eller inte – räknar vi ihop deras åsikter.
Om vi har 10 modeller och 6 av dem säger att det är ett fel, så väljer vi det svaret.
Det kallas ibland majoritetsröstning, men du kan tänka på det som ett "demokratiskt beslut".

Varför är det bra?

Minskar varians, dvs modellen blir mindre känslig för slumpmässigt brus i datan.
Går att köra parallellt – bra för stora datamängder.
Fungerar särskilt bra när grundmodellen är "instabil", t.ex. beslutsträd.

Exempel från verkligheten

Föreställ dig att ett energibolag vill förutsäga när en transformator riskerar att gå sönder. Datan är spretig – ibland händer fel vid höga temperaturer, ibland inte.Genom att träna många enklare modeller, var och en på lite olika data, och sedan slå ihop deras svar, får bolaget ett mer balanserat beslut. Det gör att man kan förebygga fel – utan att behöva agera på varje enskild avvikelse.

Boosting – lär av sina misstag

Boosting bygger på idén att vi kan förbättra våra förutsägelser steg för steg. Varje ny modell försöker rätta till det som tidigare modeller gjorde fel.

Vi kan jämföra det med en tekniker som gång på gång justerar en maskin: varje gång han ser ett fel försöker han förstå och justera inställningen för att bli lite bättre nästa gång.

Kända algoritmer: AdaBoost, XGBoost, LightGBM.

Så här funkar det i praktiken:

Börja från noll
Vi tränar först en enkel modell. Den gör sitt bästa – men den kommer att göra vissa misstag. Till exempel kanske den missar några ovanliga fel i produktionsdata.
Lär av misstagen
I nästa steg tränar vi en ny modell, som får extra fokus på de exempel där den första modellen hade fel. Denna andra modell lär sig mönstren som den första missade.
Upprepa och förbättra
Vi fortsätter att lägga till fler modeller – och varje gång fokuserar vi på att förbättra där det fortfarande finns problem.
Slutresultatet blir en kedja av små steg
Alla modeller får säga sitt – men vissa får mer att säga till om, särskilt de som presterar bäst.

Varför är det bra?

Boosting handlar om att bygga upp en stark modell från flera svaga modeller – där varje modell gör sitt bästa för att täcka upp för de andras svagheter.

Boosting kan hitta svaga signaler i datan som andra modeller missar, minskar både bias och varians.
Det passar särskilt bra när vi vill identifiera ovanliga händelser – som fel som bara inträffar ibland
Det ger ofta mycket hög noggrannhet – om det används rätt

Exempel från verkligheten

Tänk dig ett företag som försöker förutsäga vilka kunder som kommer att avsluta sitt abonnemang. Det är svårt – för bara en liten del av kunderna gör det.En enkel modell kanske bara lär sig känna igen de allra tydligaste fallen.

Men med Boosting kan vi bygga en modell som först fångar de uppenbara mönstren, och sedan successivt lär sig känna igen de mer subtila signalerna – som en ökad supportaktivitet eller sena betalningar.Resultatet blir en mer träffsäker och användbar modell, särskilt i svåra fall.

Stacking – mixar olika modeller

Stacking (eller stacked generalization) innebär att man kombinerar helt olika modeller – till exempel beslutsträd, SVM och neurala nätverk – och låter en ny modell (en meta-learner) väga samman deras resultat.

Stacking fungerar lite som ett team med olika specialister: en elektriker, en mekaniker och en programmerare får varsin uppgift – och en fjärde person väger samman deras svar till en slutgiltig bedömning.

Så här funkar det:

Träna flera olika modeller
Vi låter olika typer av modeller jobba med samma data. Kanske en modell som är bra på enkla regler, en annan som upptäcker ovanliga mönster, och en tredje som klarar komplexa samband.
Samla deras förslag
Varje modell får säga sitt: "jag tror detta är ett fel" eller "det ser okej ut". Det blir alltså flera olika åsikter om samma problem.
Låt en metamodel välja vem som har rätt
En enkel modell – ibland kallad meta-learner – tränas på att förstå vilken modell som brukar ha rätt i olika situationer. Den får alltså lära sig hur mycket vi ska lita på varje modell – och när.

Varför är det bra?

Stacking gör det möjligt att kombinera styrkorna hos olika modeller, så att helheten blir bättre än varje del för sig.

· Fungerar bra när problemet är komplext och olika metoder ser olika saker

· Ger flexibilitet – du kan använda vilken modell som helst i din "verktygslåda"

· Kan ge mycket starka resultat – särskilt om varje modell fokuserar på sin styrka

Exempel från verkligheten

Tänk dig ett IT-säkerhetssystem.En modell är bra på att hitta enkla hot – t.ex. kända virusmönster.En annan modell är tränad för att upptäcka konstiga beteenden – till exempel ovanligt hög datatrafik från en maskin.En tredje modell är ett djupare neuralt nätverk som är bra på att känna igen okända attacker. Genom att kombinera dessa via Stacking, kan systemet bli bättre på att upptäcka både gamla och nya hot – och göra en smart avvägning i varje situation.

När används ensemblemetoder?

Underhåll och felsökning - Vid prediktivt underhåll används ensemblemodeller för att förutsäga maskinfel med högre noggrannhet. Flera modeller kan tillsammans avgöra om ett visst vibrationsmönster tyder på slitage – även om det inte är tydligt för en enskild algoritm.

Processövervakning - I processindustri kan ensemblemetoder användas för att övervaka parametrar som temperatur, tryck och flöden. Om flera modeller tillsammans indikerar att något är avvikande kan ett larm triggas – med färre falsklarm än annars.

Kvalitetskontroll och avvikelsedetektering - Genom att kombinera olika metoder för bildanalys, sensorvärden och historisk data, kan ensemblemodeller hjälpa till att identifiera avvikelser i produktion – som mikroskopiska defekter eller materialfel.

Optimering av drift och energianvändning - I fabriker som använder stora mängder energi eller där processer är komplexa (t.ex. smältverk, reningsverk eller stålproduktion), kan ensemblemetoder användas för att hitta inställningar som minimerar energiförbrukning utan att tumma på produktionsvolym eller kvalitet.

Industriell IT-säkerhet (OT-säkerhet) - För att upptäcka onormala mönster i nätverkstrafik eller styrsystem används ensemblemodeller – där olika metoder samarbetar för att upptäcka både kända och okända intrångsförsök.

Vidare läsning: