En blid introduktion til objektgenkendelse med dyb læring

Sidst opdateret den 27. januar 2021

Det kan være en udfordring for begyndere at skelne mellem forskellige relaterede computer vision-opgaver.

For eksempel er billedklassifikation ligetil, men forskellene mellem objektlokalisering og objektdetektion kan være forvirrende, især når alle tre opgaver lige så godt kan betegnes som objektgenkendelse.

Billedklassifikation indebærer tildeling af en klasselabel til et billede, mens objektlokalisering indebærer tegning af en bounding box omkring et eller flere objekter i et billede. Objektdetektering er mere udfordrende og kombinerer disse to opgaver og tegner en afgrænset boks omkring hvert objekt af interesse i billedet og tildeler dem en klasselabel. Tilsammen kaldes alle disse problemer for objektgenkendelse.

I dette indlæg vil du opdage en blid introduktion til problemet med objektgenkendelse og state-of-the-art deep learning-modeller, der er designet til at løse det.

Når du har læst dette indlæg, vil du vide:

• Objektgenkendelse er henviser til en samling relaterede opgaver til identifikation af objekter i digitale fotografier.
• Region-Based Convolutional Neural Networks, eller R-CNNs, er en familie af teknikker til håndtering af objektlokaliserings- og genkendelsesopgaver, der er designet til modelydelse.
• You Only Look Once, eller YOLO, er en anden familie af teknikker til objektgenkendelse, der er designet til hastighed og realtidsbrug.

Kick-start dit projekt med min nye bog Deep Learning for Computer Vision, inklusive trinvise vejledninger og Python-kildekodefilerne til alle eksempler.

Lad os komme i gang.

Overblik

Denne vejledning er opdelt i tre dele; de er:

1. Hvad er objektgenkendelse?
2. R-CNNN-modelfamilie
3. YOLO-modelfamilie

Vil du have resultater med Deep Learning til computervision?

Tag mit gratis 7-dages e-mail crash-kursus nu (med prøvekode).

Klik for at tilmelde dig og få også en gratis PDF Ebook-version af kurset.

Download dit GRATIS minikursus

Hvad er objektgenkendelse?

Objektgenkendelse er en generel betegnelse for en samling beslægtede computer vision-opgaver, der involverer identifikation af objekter i digitale fotografier.

Billedklassifikation involverer forudsigelse af klassen af et objekt i et billede. Objektlokalisering henviser til identifikation af placeringen af et eller flere objekter i et billede og tegning af abounding box omkring deres udstrækning. Objektdetektion kombinerer disse to opgaver og lokaliserer og klassificerer et eller flere objekter i et billede.

Når en bruger eller praktiker henviser til “objektgenkendelse”, mener han eller hun ofte “objektdetektion”.

… vi vil bruge udtrykket objektgenkendelse bredt til at omfatte både billedklassifikation (en opgave, der kræver en algoritme til at bestemme, hvilke objektklasser der er til stede i billedet) samt objektdetektion (en opgave, der kræver en algoritme til at lokalisere alle de objekter, der er til stede i billedet

– ImageNet Large Scale Visual Recognition Challenge, 2015.

Som sådan kan vi skelne mellem disse tre computer vision-opgaver:

• Billedklassifikation: Forudsigelse af typen eller klassen af et objekt i et billede.
  • Input: Et billede med et enkelt objekt, f.eks. et fotografi.
  • Output: En klasselabel (f.eks. et eller flere heltal, der er afbildet til klasselabels).
• Lokalisering af objekt: Lokalisere tilstedeværelsen af objekter i et billede og angive deres placering med en afgrænset boks.
  • Input: Et billede med et eller flere objekter, f.eks. et fotografi.
  • Output: En eller flere afgrænsende bokse (f.eks. defineret ved et punkt, bredde og højde).
• Objektdetektering:
  • : Lokaliserer tilstedeværelsen af objekter med en afgrænset boks og typer eller klasser af de lokaliserede objekter i et billede.
    • Input: Et billede med et eller flere objekter, f.eks. et fotografi.
    • Output: En eller flere afgrænsende bokse (f.eks. defineret ved et punkt, bredde og højde) og en klasselabel for hver afgrænsende boks.

En yderligere udvidelse af denne opdeling af computervisionsopgaver er objektsegmentering, også kaldet “objektinstanssegmentering” eller “semantisk segmentering”, hvor forekomster af genkendte objekter angives ved at fremhæve de specifikke pixels i objektet i stedet for en grov afgrænsende boks.

Fra denne opdeling kan vi se, at objektgenkendelse henviser til en række udfordrende computervision-opgaver.

De fleste af de seneste innovationer inden for billedgenkendelsesproblemer er kommet som led i deltagelsen i ILSVRC-opgaverne.

Dette er en årlig akademisk konkurrence med en separat udfordring for hver af disse tre problemtyper med henblik på at fremme uafhængige og separate forbedringer på hvert niveau, som kan udnyttes mere bredt. Se f.eks. listen over de tre tilsvarende opgavetyper nedenfor fra ILSVRC-undersøgelsesdokumentet fra 2015:

• Billedklassificering: Algoritmer producerer en liste over objektkategorier, der er til stede i billedet.
• Lokalisering af enkeltobjekter: Algoritmer producerer en liste over objektkategorier i billedet sammen med en aksejusteret afgrænsningsboks, der angiver position og skala for et eksemplar af hver objektkategori.
• Objektdetektion: Algoritmer producerer en liste over objektkategorier, der er til stede i billedet, sammen med en aksejusteret afgrænsningsboks, der angiver position og skala for hver forekomst af hver enkelt objektkategori.

Vi kan se, at “lokalisering af enkeltobjekter” er en enklere version af den mere bredt definerede “objektlokalisering”, idet lokaliseringsopgaverne begrænses til objekter af én type i et billede, hvilket vi kan antage er en lettere opgave.

Nedenfor er et eksempel, der sammenligner lokalisering af enkeltobjekter og objektdetektion, taget fra ILSVRC-papiret. Bemærk forskellen i forventningerne til grundsandheden i hvert tilfælde.

Effektiviteten af en model til billedklassifikation evalueres ved hjælp af den gennemsnitlige klassifikationsfejl på tværs af de forudsagte klasseetiketter. Ydelsen af en model til lokalisering af enkeltobjekter evalueres ved hjælp af afstanden mellem den forventede og den forudsagte afgrænsende boks for den forventede klasse. Mens præstationen af en model til objektgenkendelse evalueres ved hjælp af præcisionen og tilbagekaldelsen på tværs af hver af de bedst matchende bounding boxes for de kendte objekter i billedet.

Nu da vi er bekendt med problemet med objektlokalisering og -genkendelse, lad os tage et kig på nogle nyere top-præsterende deep learning-modeller.

R-CNNN-modelfamilie

R-CNN-familien af metoder henviser til R-CNN, som kan stå for “Regions with CNN Features” eller “Region-Based Convolutional Neural Network”, der er udviklet af Ross Girshick, et al.

Dette omfatter teknikkerne R-CNN, Fast R-CNN og Faster-RCNN, der er designet og demonstreret til objektlokalisering og objektgenkendelse.

Lad os se nærmere på højdepunkterne i hver af disse teknikker efter tur.

R-CNN

R-CNN blev beskrevet i 2014-artiklen af Ross Girshick, et al. fra UC Berkeley med titlen “Rich feature hierarchies for accurate object detection and semantic segmentation.”

Det kan have været en af de første store og vellykkede anvendelser af konvolutionelle neurale netværk til problemet med objektlokalisering, -detektion og -segmentering. Tilgangen blev demonstreret på benchmark-datasæt og opnåede derefter state-of-the-art-resultater på VOC-2012-datasættet og 200-klasses ILSVRC-2013-datasættet til objektdetektering.

Den af dem foreslåede R-CNN-model består af tre moduler; de er:

• Modul 1: Regionsforslag. Generering og udtrækning af kategoriuafhængige regionsforslag, f.eks. kandidatgrænser.
• Modul 2: Feature Extractor. Udtrække karakteristika fra hver kandidatregion, f.eks. ved hjælp af et dybt konvolutionelt neuralt netværk.
• Modul 3: Klassifikator. Klassificer funktioner som en af de kendte klasser, f.eks. lineær SVM-klassificeringsmodel.

Modellens arkitektur er opsummeret i nedenstående billede, taget fra papiret.

Der anvendes en computervisionsteknik til at foreslå kandidatregioner eller afgrænsende kasser for potentielle objekter i billedet kaldet “selektiv søgning”, selv om fleksibiliteten i designet gør det muligt at anvende andre algoritmer til at foreslå regioner.

Den funktionsekstraktor, der anvendes af modellen, var AlexNet deep CNN, der vandt ILSVRC-2012-konkurrencen om billedklassificering. CNN’ens output var en vektor med 4 096 elementer, der beskriver billedets indhold, som føres til en lineær SVM til klassificering, specifikt trænes en SVM for hver kendt klasse.

Det er en relativt enkel og ligetil anvendelse af CNN’er på problemet med objektlokalisering og genkendelse. En ulempe ved denne fremgangsmåde er, at den er langsom, idet den kræver et CNN-baseret trækudtrækningsforløb på hver af de kandidatregioner, der genereres af regionforslagsalgoritmen. Dette er et problem, da artiklen beskriver, at modellen opererer på ca. 2.000 foreslåede regioner pr. billede på testtidspunktet.

Python- (Caffe) og MatLab-kildekoden til R-CNN som beskrevet i artiklen blev gjort tilgængelig i R-CNN GitHub-repositoriet.

Fast R-CNNN

I betragtning af den store succes med R-CNN foreslog Ross Girshick, der dengang var ansat hos Microsoft Research, en udvidelse for at løse hastighedsproblemerne ved R-CNN i en artikel fra 2015 med titlen “Fast R-CNNN.”

Afhandlingen indledes med en gennemgang af begrænsningerne ved R-CNN, der kan opsummeres som følger:

• Træning er en pipeline i flere faser. Involverer forberedelse og drift af tre separate modeller.
• Træning er dyrt i rum og tid. Træning af en dyb CNN på så mange regionsforslag pr. billede er meget langsom.
• Objektdetektion er langsom. At foretage forudsigelser ved hjælp af et dybt CNN på så mange regionsforslag er meget langsomt.

Der blev tidligere foreslået et arbejde for at fremskynde teknikken kaldet spatial pyramid pooling networks, eller SPPnets, i artiklen fra 2014 “Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition”. Dette fremskyndede udtrækningen af funktioner, men anvendte i det væsentlige en form for forward pass caching-algoritme.

Fast R-CNNN foreslås som en enkelt model i stedet for en pipeline til at lære og output regioner og klassifikationer direkte.

Modellens arkitektur tager fotografiet et sæt regionsforslag som input, der sendes gennem et dybt konvolutionelt neuralt netværk. Et forudtrænet CNN, f.eks. et VGG-16, anvendes til udtrækning af funktioner. Enden af det dybe CNN er et brugerdefineret lag kaldet et Region of Interest Pooling Layer, eller RoI Pooling, der udtrækker funktioner, der er specifikke for en given indgangskandidatregion.

Outputtet fra CNN’et fortolkes derefter af et fuldt forbundet lag, hvorefter modellen deler sig i to outputs, et til klasseforudsigelsen via et softmax-lag og et andet med et lineært output til den afgrænsende boks. Denne proces gentages derefter flere gange for hver region af interesse i et givet billede.

Modellens arkitektur er opsummeret i nedenstående billede, der er taget fra artiklen.

Modellen er betydeligt hurtigere at træne og foretage forudsigelser, men kræver stadig, at der foreslås et sæt kandidatregioner sammen med hvert indgangsbillede.

Python og C++ (Caffe) kildekoden til Fast R-CNN som beskrevet i artiklen blev gjort tilgængelig i et GitHub-repository.

Faster R-CNN

Modelarkitekturen blev yderligere forbedret med hensyn til både trænings- og detektionshastighed af Shaoqing Ren, et al. hos Microsoft Research i artiklen fra 2016 med titlen “Faster R-CNNN: Towards Real-Time Object Detection with Region Proposal Networks.”

Arkitekturen var grundlaget for de førstepladseresultater, der blev opnået på både ILSVRC-2015 og MS COCO-2015-opgaverne i konkurrencen om genkendelse og detektion af objekter.

Arkitekturen blev designet til både at foreslå og forfine regionsforslag som en del af træningsprocessen, benævnt et Region Proposal Network eller RPN (Region Proposal Network). Disse regioner anvendes derefter sammen med en Fast R-CNN-model i et enkelt modeldesign. Disse forbedringer reducerer både antallet af regionsforslag og fremskynder modellens drift i testtiden til næsten realtid med derefter state-of-the-art ydeevne.

… vores detektionssystem har en billedhastighed på 5fps (inklusive alle trin) på en GPU, mens det opnår state-of-the-art objektdetektionsnøjagtighed på PASCAL VOC 2007, 2012 og MS COCO-datasæt med kun 300 forslag pr. billede. I ILSVRC- og COCO 2015-konkurrencerne er Faster R-CNN og RPN grundlaget for de 1. pladsvindende bidrag i flere spor

– Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks, 2016.

Selv om det er en enkelt samlet model, består arkitekturen af to moduler:

• Modul 1: Regionsforslagsnetværk. Konvolutionelt neuralt netværk til forslag af regioner og den type objekt, der skal tages i betragtning i regionen.
• Modul 2: Fast R-CNN. Konvolutionelt neuralt netværk til at udtrække funktioner fra de foreslåede regioner og udgive den afgrænsende boks og klasselabels.

Både moduler opererer på det samme output af et dybt CNN. Regionsforslagsnetværket fungerer som en opmærksomhedsmekanisme for det hurtige R-CNN-netværk og informerer det andet netværk om, hvor det skal kigge eller være opmærksom.

Arkitekturen i modellen er opsummeret i nedenstående billede, der er taget fra papiret.