Hybrid Vision rykker grænsen for automatiseret kvalitetskontrol i industrien

Sådan løser du de største udfordringer i kvalitetskontrol med innovativ machine vision. 

Hvorfor Hybrid Vision?

Hvordan kan vi producere hurtigere? Med højere kvalitet? Med mindre arbejdskraft? Mere bæredygtigt? 

Udviklingen i industriel produktion har altid været båret af optimering, og automatisering spiller en nøglerolle i den sammenhæng. Det gælder også, når det handler om kvalitetskontrol og visuel inspektion.

I disse år stiger behovet for automatiseret kvalitetskontrol hastigt. Det skyldes blandt andet, at europæiske producenter har fået et øget fokus på nearshoring i produktionen for at sikre robuste forsyningskæder. Den dyrere arbejdskraft på hjemmemarkederne øger til gengæld behovet for at minimere de manuelle inspektionsopgaver. 

I nogle tilfælde er visuel inspektion enkelt, men hvordan automatiserer man de særligt komplekse inspektionsopgaver - dem, der ikke så let kan sættes på formel? 

Den hastige udvikling inden for AI og machine learning åbner nye muligheder, men kunstig intelligens kan ikke stå alene. Der er behov for at åbne flere værktøjskasser, og netop derfor har vi hos JLI vision introduceret Hybrid Vision. 

Hybrid Vision kombinerer traditionel machine vision i 2D eller 3D med machine learning og forener de to gennem et tredje element: håndværk. Resultatet er løsninger, som bryder grænserne for, hvad man hidtil har kunnet opnå med vision-teknologi i kvalitetskontrol.

I denne guide vil vi forklare, hvordan Hybrid Vision fungerer, og beskrive 5 use cases for denne teknologi, så du kan blive inspireret til at se nye muligheder for at optimere din produktion.

Hvad er Hybrid Vision?

Hybrid Vision er kombinationen af traditionel 2D eller 3D machine vision, machine learning og godt håndværk. 

Traditionel 2D machine vision har været brugt i årtier i industrien til automatiseret kvalitetskontrol. Det består basalt set af et eller flere kameraer, der tager et billede, og en computer, der processerer billedet og ud fra en ingeniør-kodet algoritme vurderer, om det inspicerede emne lever op til de fastlagte kvalitetskrav. 

De senere år har 3D-teknologien i bogstaveligste forstand tilføjet en ekstra dimension til mulighederne inden for machine vision. 

Traditionel machine vision er særdeles velegnet til at inspicere dimensioner, form, antal, placering og en lang række fejltyper, som det er muligt at beskrive og afgrænse. 

Machine learning kommer ofte i spil, når udfaldsrummet bliver vanskeligt at beskrive i en algoritme - eksempelvis ved inspektion af æstetiske overfladefejl, som det kræver en erfaren inspektør at identificere og vurdere. Ved at træne et neuralt netværk med billeder af gode og dårlige samples, kan vi med machine learning efterligne den erfarne inspektørs vurdering, og ovenikøbet få en mere konsistent og træfsikker inspektionsproces.

Selvom machine learning standardkomponenter er blevet hyldevarer, så er det stadig ikke plug-and-play at købe et smart kamera og sætte det op i kompleks industriel produktion. Det kræver som oftest en customiseret løsning. For at kunne opnå det optimale resultat skal man have dyb indsigt i brugen af ML og en helt grundlæggende vision-faglighed, der handler om at kunne tænke kreative løsninger og kontrollere kamera og lys, så man kan tage velegnede billeder til inspektion. 

I en Hybrid Vision løsning vil kombinationen af elementerne kunne se således ud, hvis man for eksempel skulle inspicere en træplade for æstetiske fejl: 

Hybrid Vision - Pre-processeing
Trin 1

Præ-processering med traditionel vision

Først præ-processering af billedet med traditionel 2D/3D vision.

For at optimere processen og undgå, at det neurale netværk skal processere et helt billede, hvilket er ressourcetungt og tager lang tid, så bruges traditionel vision-teknologi til at identificere mulige fejl på et givent emne - altså udpege områder, som skal undersøges nærmere.

Hybrid Vision - Processeing with ML
Trin 2

Processering med ML

De udvalgte områder serveres så til et neuralt netværk, som er trænet på en stor mængde gode og dårlige samples, og som processerer billedet og giver det en score, der definerer, om det er inden for den fastlagte kvalitetsnorm.

Hybrid Vision - Post-processeing (1)
Trin 3

Post-processering med traditionel vision

Hvis scoren er lige på grænsen, kan man vælge at lave post-processering med traditionel vision-teknologi, hvor man kigger efter specifikke, foruddefinerede fejltyper eller for eksempel målet størrelsen på fejl. 

Håndværk som fundamentet

Billedkvaliteten vil altid være alfa og omega for resultatet af inspektionen, og derfor er det diffuse “håndværk” den lim, som binder elementerne i Hybrid Vision sammen.

Både når det gælder om lyssætning, eksponering, optik og andre billedtekniske parametre, og når det gælder evnen til at træne det neurale netværk bedst muligt til den specifikke opgave. 

Pointen er, at det netop er kombinationen af alle elementerne, der gør det muligt at sprænge rammerne for, hvad der kan lade sig gøre.

Hvornår skal du vælge Hybrid Vision?  

Oftest stiger behovet for Hybrid Vision i takt med kompleksiten på opgaven. Hybrid Vision er særligt velegnet til de opgaver, man ellers skulle bruge et trænet øje og en vis portion erfaring til at klare. Det bedste eksempel er inspektion af overflader for æstetiske fejl - med andre ord om overfladen er “pæn nok” til at gå igennem kvalitetskontrollen. 

Det er typisk en vurdering, som bunder i så mange parametre, at det er vanskeligt at specificere udfaldsrummet klart nok til at udvikle en algoritme, der er tilstrækkelig robust. Derfor tyer vi til kunstig intelligens, idet vi kan træne et machine learning netværk til at foretage samme vurdering som en erfaren inspektør. 

Hvis der er tale om store overflader, som skal inspiceres for fejl, vil det ofte være meget ressourcekrævende at processere hele billedet med et machine learning netværk. Det taler for en Hybrid Vision tilgang, hvor vi kan bruge traditionel 2D-vision til at præp-rocessere billeder og udpege de områder i billedet, som indeholder potentielle fejl, så det kun er de relevante pixels, vi kører gennem det neurale netværk. 

Så Hybrid Vision giver mening, når traditionel vision og machine learning kan kombineres for at skabe en mere robust løsning, og når der er behov for en dyb vision ekspertise for at få taget velegnede billeder. 

Det vil ofte være i forbindelse med industrielle produktionsmiljøer, hvor de fysiske rammer udfordrer muligheden for at tage velegnede billeder. Det kan både handle om emnernes størrelse, overflade, materiale osv. og om de fysiske rammer, for eksempel hastighed på båndet, lysforhold, temperaturer, renrum, støvede produktionsmiljøer, osv.

Hvornår er Hybrid Vision unødvendigt? 

Hvis opgaven alene er at “tælle pixels” og måle dimensioner, antal eller lignende for at vurdere, om et emne er inden for de fastsatte tolerancer, er det sjældent nødvendigt at bruge machine learning. Her kan traditionel 2D eller 3D vision stå alene som den mest effektive vej til målet. 

På samme måde kan nogle opgaver med fordel klares med standard machine learning løsninger.

Det vil typisk være relativt simple opgaver, hvor det er nemt at identificere og annotere fejlene, og hvor udfaldsrummet i forhold til fejl er mindre. I standard ML løsninger laves der ikke en præprocessering, som udvælger billedudsnit med kandidater, men i stedet processeres hele billedet.

Derfor er det typisk også en forudsætning, at produktionen foregår ved relativt lav hastighed eller sættes helt i stå, så netværket kan nå at processere billedet og finde eventuelle fejl. 

Hvad er Hybrid Vision ikke velegnet til?

Hvis produktionen har lav volumen eller består af små batches af forskellige emner, er Hybrid Vision typisk ikke en velegnet tilgang. 

Det skyldes, at det kræver en del arbejde at træne et machine learning netværk til at blive robust, og det derfor ikke er let at omstille vision-løsningen til en ny produktion, hvor der skal tages højde for nye faktorer.

5 eksempler på Hybrid Vision i praksis 

Eksempel 1

Inspektion af æstetiske defekter på limtræsplader

Formål

Inspektion af knaster og harpikslommer i limtræsplader.

Hybrid vision Gluelam boards-1

Udfordring

Når man bruger træplader til kvalitetsmøbler, er det meget vigtigt at opdage knaster, der kan forårsage huller eller risikerer at falde ud, inden pladen bruges i en omkostningsfuld produktion. Nogle harpikslommer kan også give problemer, da harpiksen bliver mere flydende, hvis møblet placeres i varme omgivelser, og eksempelvis kan give gule pletter, hvis træet efterfølgende lakeres.

I denne type træsinspektion, er det meget svært at skelne mellem acceptable knaster og harpikslommer og dem, der betyder, at pladen bør kasseres eller repareres. Det er en kombination af flere faktorer, der afgør, om brættet er godt eller dårligt, og traditionelt ville det kræve en erfaren inspektør at afgøre det. 

Det er en ressourcekrævende proces, og da der vil være flere forskellige inspektører, som arbejder på linjen, vil deres subjektive vurderinger ofte give uens resultater.

Løsning

Dette resulterer i en meget høj grad af nøjagtighed på +95%, hvilket er langt bedre og mere konsistent end manuel inspektion. Det betyder både, at færre defekter passerer kvalitetskontrollen, og at færre gode plader bliver afvist ved en fejl. 

I denne Hybrid Vision løsning laves der også postprocessering af de fejl, som ML-netværket identificerer. Det er vigtigt, om en knast er løs eller ej, og det kan ikke vurderes ved blot at se på et billede. Ved at linke billeder af overside og underside af pladerne, er det imidlertid muligt at fastslå, om knasterne er gennemgående, hvilket øger sandsynligheden for, at der er tale om en løs knast. 

Machine learning netværket kan ikke udregne, hvor store de fundne knaster er, men den information er væsentlig i forhold til reparation af knasterne. Derfor postprocesseres billederne af knaster med 2D-vision. En algoritme beregner størrelsen på de knaster, der skal repareres. Denne information sendes så videre til reparationsudstyret på produktionslinjen. 

Derfor er Hybrid Vision nødvendigt

Variationen i knaster og harpikslommer er høj, og det vil være meget dyrt eller direkte umuligt at skabe en algoritme, der kunne klassificere alle fejltyper. Samtidig vil det være for tidskrævende at behandle et billede af hele limtræspladen med et neuralt netværk. Det ville kræve, at produktionslinjen arbejdede langsommere, hvilket ville være kontraproduktivt. 
Ved at kombinere de to tilgange er det dog muligt at få det bedste fra begge verdener og opnå en effektiv, automatiseret inline-inspektion med høj nøjagtighed.

Eksempel 2

Inspektion af revner i mursten

Formål

At detektere små revner i overfladen på mursten.
 

Hybrid Vision craks in bricks

Udfordring

Mursten er lavet af et organisk materiale med en naturlig struktur i overfladen, som vil være forskellig fra sten til sten. Der må dog ikke være revner i murstenene, da det udover det rent æstetiske kan blive et funktionelt problem, hvis der trænger vand ind i stenene.

Det kan imidlertid være vanskeligt at skelne små revner fra andre strukturer i overfladen, og samtidig er det ikke alle revner, der er problematiske. Det er kun, hvis de kommer over en bestemt størrelse. Da der vil være en del grænsetilfælde, er udfordringen her at udvikle en løsning, som på en robust måde kan identificere de mursten, der har problematiske revner og skal kasseres.

Løsning

Den udviklede løsning består af tre dele:

Først en præ-processering af billeder af mursten, hvor der udvælges kandidater - altså mulige fejl. Herefter processeres billedudsnittene med kandidater i et machine learning netværk, og endelig laves post-processering med traditionel 2D machine vision, hvor størrelsen på de fundne revner fastslås.

For at identificere revner med en høj grad af nøjagtighed, bruger vi et machine learning netværk, som er trænet på et stort antal billeder af dels mursten uden fejl og dels mursten med revner. På den måde har netværket lært at genkende revnerne, og det giver hver sten en score ud fra sandsynligheden for, at der er en revne i stenen. 

De udvalgte kandidater processeres så med traditionel 2D machine vision, som måler størrelsen på revnen og definerer, om fejlen er udenfor tolerancen, så stenen skal kasseres.

Derfor er Hybrid Vision nødvendigt

Hybrid Vision handler om at kombinere de bedste værktøjer til opgaven for at skabe den mest effektive løsning - i dette tilfælde til byggeindustrien.

Traditionel 2D/3D machine vision kommer til kort, når opgaven som her er at detektere æstetiske overfladefejl, som kan se ud på mange forskellige måder.

Til gengæld er det et meget effektivt værktøj til at måle størrelser. Derfor kan man lade det neurale netværk udpege de revner, der skal undersøges nærmere, og derefter bruge traditionel vision-teknologi til at måle den eksakte størrelse på fejlen og afgøre, om den er inden for tolerancen, eller om stenen skal kasseres. 

Eksempel 3

Verificering af indhold

Formål

Kvalitetskontrol af pakning af dele  

Box Inspection-1

Udfordring

Mange produkter består af forskellige delelementer, der skal samles i én pakke - tænk bare på byggesæt, møbler, køkkenudstyr, etc. 

Det er helt afgørende, at de rigtige dele pakkes sammen, men der kan let opstå fejl under pakningen, som mange steder foregår manuelt. Og så står kunden frustreret tilbage med et produkt, der ikke kan samles. 

Indholdet i sådanne pakker kan kvalitettjekkes med machine vision undervejs i processen, men udfordringen er, at indholdet kan være placeret på mange forskellige måder. En pose med skruer kan måske være halvt skjult under et stykke papir. En plade kan være lagt i kassen, men vendt forkert. Der er med andre ord tale om et stort udfaldsrum.

Løsning

Opgaven løses ved at placere en række 2D kameraer over transportbåndet på udvalgte steder, hvor indholdet skal tjekkes.

Først bruges traditionel vision teknologi til at identificere de pakker, som potentielt har en fejl, så det ikke er nødvendigt at bruge machine learning på de åbenlyst gode emner. 

De billeder, som afviger fra den definerede standard, processeres derefter gennem et neuralt netværk, som er trænet på et stort antal billeder af forskellige korrekte pakker.
Ved hjaælp af teknologien “anomaly detection” kan det neurale netværk dermed udpege de pakker, som afviger for meget fra normalen til at blive godkendt.

Derfor er Hybrid Vision nødvendigt

Fordi udfaldsrummet er så stort, at det er for ressourcekrævende at bruge traditionel vision teknologi til at løse opgaven, er det nødvendigt at bringe machine learning i spil. 

Machine learning netværket kan trænes til at vurdere et emne på samme måde som en erfaren inspektør ville gøre det. Derfor egner denne teknologi sig særdeles godt til denne type opgaver, hvor det er vanskeligt at lave eksakte, fyldestgørende beskrivelser af, hvordan et godt og et dårligt emne ser ud.

Eksempel 4

Inspektion af glasrør

Formål

Klassificering af åbne og lukkede “airlines” i glasrør

JL Vision-ekspert-SK-1

Udfordring

Med traditionel machine vision er det muligt at detektere fejl i glasrør, som eksempelvis kan være “airlines” (luftlommer).

Udfordringen opstår, når kvalitetskontrollen kræver, at man skal differentiere mellem forskellige fejltyper og eksempelvis skelne mellem airlines med åbne og lukkede ender. Airlines med lukkede ender er ok, mens åbne ender er en kritisk fejl.

Den skelnen kan et standard vision system ikke udføre på en robust måde. 

Løsning

Machine vision systemet er i stand til at detektere alle defekter, inklusive airlines, så første trin i processen er at udpege områder med fejl.

Billeder af de udpegede fejl bliver herefter overført til et machine learning netværk, som forinden er blevet trænet med billeder, der er blevet taget af standardsystemet.

Det neurale netværk processerer billedet og tildeler hver fejl en sandsynlighed for, at der er tale om en åben eller lukket airline.

Derfor er Hybrid Vision nødvendigt

Før denne løsning var det ikke muligt at lave en automatiseret sortering mellem åbne og lukkede airlines i glasrør. Men ved at lægge et machine learning lag på toppen af det traditionelle vision system, kan den automatiserede inspektion tages et skridt videre.

Samtidig betyder samspillet mellem standard vision og machine learning, at det er muligt at implementere løsningen hurtigt.

I stedet for at træne machine learning netværket på en masse træningsdata, så sker det i stedet inden for den første uge efter systemets implementering, ved at machine learning netværket trænes med faktiske billeder fra standardsystemet. De annoteres løbende, så netværket lærer at genkende fejltyperme.

Eksempel 5

Lakerede overflader

Formål

Inspektion af fejl i overfladen på lakerede plader

Hybrid vision Laqured surfaces

Udfordring

Udfordringen med at inspicere lakerede overflader for fejl, i dette eksempel lakerede køkkenlåger, er det store antal forskellige fejl, som en algoritme skal kunne udpege og klassificere.

Der kan være over 25 forskellige fejlttyper i lakken - små huller, ridser, appelsinhud, støv, osv. Det ville være meget ressourcekrævende at udvikle en algoritme, som er i stand til at finde og klassificere alle fejl, især på grund af den store varians i fejlene. 

Løsning

I dette eksempel har vi udviklet en løsning, som først præ-processerer billedet og udpeger områder i billedet, som med en vis sandsynlighed har en fejl. Denne del kan vi bruge traditionel machine vision til, da den ikke skal gøre andet end at finde områder, der afviger fra, hvordan overfladen ellers ser ud. 

Billedudsnittene bearbejder vi så i et neuralt netværk, som er blevet trænet på et stort antal gode og dårlige billeder, der er blevet annoteret, så netværket lærer de forskellige fejltyper at kende. Netværket kan herefter med en høj grad af sandsynlighed vurdere, om der er tale om en fejl, og samtidig definere, hvilken fejltype der er tale om.

Det neurale netværk udpeger fejlene ved at sætte en sandsynlighed for, at en bestemt fejl er til stede i et billedudsnit. I nogle tilfælde vil værdien være tæt på den tærskelværdi, som vi har defineret for, at der er tale om en fejl. Hvis der er bestemte fejl, som er særligt vigtige at undgå, kan vi bruge traditionel machine vision til at post-processere disse billedudsnit.

Da vi har indsnævret udfaldsrummet gennem machine learning, har vi nu mulighed for at lave en algoritme, som kigger efter helt specikke karakteristika ved en given fejl. På den måde øger vi systemets nøjagtighed. 

Derfor er Hybrid Vision nødvendigt

Det er ofte en dårlig idé at processere et helt billede med machine learning, da det vil tage for lang tid og kræve unødige ressourcer. Systemet bliver langt mere effektivt, når vi bruger traditionel 2D og 3D vision til at identificere de områder af et billede, som vi vil køre gennem machine learning netværket.

Når kompleksiteten af en opgave er tilpas stor, er det som oftest ikke muligt at løse den med standard machine learning løsninger. Det kræver stor faglig ekspertise at træne netværket til at blive robust nok til at identificere og klassificere et højt antal forskellige fejl med stor varians.