Kelio ženklų atpažinimas pagal YOLOv3 algoritmą 1 dalis

Santrauka:

Kelio ženklų aptikimas yra esminė išmaniosios transporto sistemos sudedamoji dalis, nes ji teikia svarbius kelių eismo duomenis, kad būtų galima priimti sprendimus ir valdyti transporto priemones.

Spartėjant urbanizacijai, gyventojų ir transporto priemonių skaičius ir toliau didėja, o tokios problemos kaip eismo spūstys ir saugumo nelaimingi atsitikimai tampa vis rimtesni, atnešantys didelių nepatogumų ir spaudimo žmonių gyvenimui ir darbui. Todėl išmaniųjų transporto sistemų atsiradimas įnešė didelį patogumą į mūsų gyvenimą ir taip pat gali pagerinti eismo saugumą. Išmaniosios transporto sistemos taip pat neatsiejamos nuo žmogaus atminties.

Visų pirma, išmaniosios transporto sistemos gali panaudoti aukštųjų technologijų priemones eismo informacijai rinkti ir analizuoti bei žmonėms pateikti išsamias ir tikslias eismo sąlygas, o tai padeda palengvinti žmonių kelionę ir išvengti laiko vėlavimo dėl netikslios eismo informacijos, pavyzdžiui, šviesoforų. Vairuotojams išmanioji transporto sistema gali atlikti važiavimo maršrutų analizę ir stebėjimą realiu laiku, priminti vairuotojams, kad ypatingais laikotarpiais reikia skubiai pakoreguoti važiavimo maršrutus ir sumažinti transporto spūsčių, vėlavimų ir kt. padeda atkreipti vairuotojo dėmesį, mažina nuovargį vairuojant ir taip pagerina vairavimo saugumą.

Antra, išmanioji transporto sistema taip pat gali būti sujungta su vairuotojo mobiliuoju telefonu, transporto priemonės navigacija ir kitomis sistemomis naudojant technines priemones, pavyzdžiui, transporto priemonių internetą. Tokiu būdu žmonės bet kada gali gauti naujausią eismo informaciją, žinoti esamą eismo aplinką ir operatyviai koreguoti kelionės planus. Tuo pačiu metu jis taip pat gali bendradarbiauti su transporto priemonės saugos valdymo ir vairavimo pagalbos sistemomis, kad užtikrintų saugų vairavimą. Pavyzdžiui, vairuotojams įvaldę išmaniosios transporto sistemos teikiamus važiavimo maršrutus, eismo informaciją ir pan., jie vairuos transporto priemonę labiau susikaupę ir stabiliau, nesusipainios dėl staigių maršrutų pasikeitimų ir pan., taip pat gebėti greitai veikti kritinėse situacijose. reaguoti.

Galiausiai, išmanioji transporto sistema taip pat gali nustatyti atitinkamas eismo valdymo taisykles pagal skirtingas miesto eismo situacijas, kad būtų užtikrintas saugus transporto priemonių ir pėsčiųjų judėjimas bei išvengta eismo įvykių. Pavyzdžiui, šviesoforų laiko ir dažnio keitimas pagal spūstis, greičio apribojimo priminimai kelio ruožuose ir kt. leidžia vairuotojams teisingai reaguoti susidūrus su sudėtingomis kelio sąlygomis ir taip užtikrinti eismo sklandumą. ir saugumą.

Apibendrinant galima pasakyti, kad tarp intelektualių transporto sistemų ir žmogaus atminties yra glaudus ryšys. Išmaniosios transporto sistemos gali sukurti geresnę vairavimo aplinką, sumažinti vairavimo naštą ir taip pagerinti žmonių atmintį. Išmaniųjų transporto sistemų kūrimas yra neišvengiama mūsų šiuolaikinių miestų statybos tendencija. Matyti, kad turime gerinti atmintį, o Cistanche deserticola gali žymiai pagerinti atmintį, nes Cistanche deserticola yra tradicinė kinų vaistinė medžiaga, turinti daug unikalių poveikių, vienas iš jų – gerinti atmintį. Maltos mėsos veiksmingumą lemia įvairios joje esančios veikliosios medžiagos, įskaitant rūgštį, polisacharidus, flavonoidus ir kt. Šie ingredientai gali įvairiais būdais skatinti smegenų sveikatą.

Spustelėkite žinoti 10 būdų, kaip pagerinti atmintį

Siekiant išspręsti mažų kelio ženklų, nepastebimų charakteristikų ir mažo aptikimo tikslumo iššūkius, siūlomas kelio ženklų atpažinimo metodas, pagrįstas patobulintu (You Only Look Once v3) YOLOv3.

Erdvinė piramidės sujungimo struktūra yra sujungta su YOLOv3 tinklo struktūra, kad būtų galima sujungti vietines ir visuotines funkcijas, o ketvirtoji 152 × 152 dydžio savybių numatymo skalė įvedama, kad būtų galima visiškai išnaudoti seklias tinklo ypatybes, kad būtų galima numatyti mažus taikinius.

Be to, ribojimo langelio regresija yra stabilesnė, kai naudojamas atstumo IoU (DIoU) nuostolis, kuriame atsižvelgiama į atstumą tarp taikinio ir inkaro, persidengimo greitį ir skalę.

Tsinghua–Tencent 100K(TT100K) eismo ženklų duomenų rinkinio 12 inkarų perskaičiuojami naudojant K-means klasterizacijos algoritmą, o duomenų rinkinys subalansuotas ir išplėstas, kad būtų išspręsta netolygaus tikslinių klasių skaičiaus TT100K duomenų rinkinyje problema.

Algoritmas lyginamas su YOLOv3 ir kitais dažniausiai naudojamais taikinių aptikimo algoritmais, o rezultatai rodo, kad patobulintas YOLOv3 algoritmas pasiekia vidutinį 77,3 % tikslumą (mAP), o tai yra 8,4 % didesnis nei YOLOv3, ypač mažo taikinio aptikimo atveju, kur yra mAP. pagerėjo 10,5%, labai pagerindamas aptikimo tinklo tikslumą, išlaikant kuo didesnį našumą realiuoju laiku.

Aptikimo tinklo tikslumas žymiai padidintas, išlaikant kuo didesnį tinklo našumą realiuoju laiku.

Raktiniai žodžiai:

Kelio ženklų atpažinimas; YOLOv3; erdvinė piramidinė telkimo struktūra.

1. Įvadas

Šiuo metu automatizuotos vairavimo ir išmaniosios transporto sistemos (ITS) yra pagrindinės eismo ženklų aptikimo ir identifikavimo technologijų programos.

Jis gali suteikti vairuotojams ir autonominėms transporto priemonėms svarbią eismo informaciją, kad pastarosios galėtų priimti sprendimus pagal kelių eismo taisykles arba įspėti ir laiku nukreipti vairuotojų elgesį, kad sumažėtų eismo įvykių.

Kelio ženklus galima iš esmės suskirstyti į tris kategorijas: nukreipiamuosius, įspėjamuosius ir draudžiamuosius ženklus. Šie ženklai yra apvalūs arba trikampiai, jie yra raudoni, geltoni ir mėlyni.

Todėl klasikinis kelio ženklų atpažinimas paprastai naudoja mašininio mokymosi metodus, kad atpažintų eismo ženklus arba išgautų informaciją, pvz., spalvą ir formą, iš eismo ženklų.

Spalvų segmentavimas, siekiant išgauti charakteristikas prieš klasifikuojant, naudojamas spalvomis pagrįsto kelio ženklų aptikimo metu, kurį lengvai paveikia apšvietimo pokyčiai. Remiantis ankstesne literatūra [1], spalvų segmentavimui neturi įtakos ryškumo kitimai, o JO erdvė naudojama tik atspalviui ir sodrumui tirti.

Dėl didelių spalvų atpažinimo reikalavimų, susijusių su kintamaisiais, tokiais kaip oras ir aptikimo atstumas, aptikimo metodas, pagrįstas spalvų ypatybėmis, gali būti naudojamas didelės raiškos vaizdo atpažinimui, bet ne pilkos spalvos vaizdų atpažinimui [2].

Kitoje literatūroje buvo pasiūlytas formomis pagrįstas kelio ženklų atpažinimo metodas pagal pilkų atspalvių vaizdus [3], kuris trikampio eismo ženklų aptikimą paverčia paprastu linijos segmento aptikimu, kuris gali tinkamai atpažinti eismo ženklus ir jam nedaro įtakos atstumas.

Kitoje literatūroje buvo pasiūlyta atramos vektoriaus mašina paremta kelio ženklų aptikimo ir atpažinimo sistema [4], kuri naudoja linijinės atramos vektoriaus mašinos apibendrinimo savybę, kad pirmiausia segmentuotų eismo ženklų spalvą ir tada klasifikuotų formą.

Taikant spalvų ir formos ypatybių aptikimo metodą, pirmiausia atliekama spalvų segmentacija, kad būtų gauta dominanti sritis, o jei dominanti sritis neaptinkama, formomis pagrįstas aptikimas nebeatliekamas; antra, spalvų segmentavimui reikia nustatyti fiksuotą slenkstį. rankiniu būdu, todėl eismo ženklų aptikimas tampa sudėtingas ir užima daug laiko.

Siekiant išspręsti šias problemas ir padidinti aptikimo našumą, viename tyrime [5] buvo naudojama „AdaBoost“ sistema, kad vienu metu būtų atliktas spalvų ir formų modeliavimo aptikimas.

Išorinių sąlygų pokyčiai, pvz., šviesos, kelio ženklų spalvos ir t. t., gali turėti įtakos spalvomis ir formomis paremtam kelio ženklų aptikimui.

Aptikimo poveikis yra nestabilus, todėl pablogėja eismo ženklų atpažinimo sistemos veikimas ir ji tampa pažeidžiama dėl kelio ženklų nutekėjimo ir klaidingo aptikimo. Tobulėjant gilaus mokymosi technologijoms, neuroniniai tinklai naudojami dažniau, kad būtų aptikti tikslai; Šių algoritmų pavyzdžiai apima greitesnį R-CNN [6], SSD [7] ir YOLO [8] ir kt., kurie pirmiausia skirstomi į vieno etapo ir dviejų pakopų aptikimo būdus.

Ankstesniame tyrime [9] buvo pristatytas patobulintas aptikimo tinklas, pagrįstas YOLOv1, siekiant išspręsti standartinių eismo ženklų aptikimo metodų mažo tikslumo ir lėto aptikimo greičio problemas.

Šis tinklas padidino eismo ženklų aptikimo greitį ir sumažino aptikimo sistemos techninės įrangos reikalavimus. Kitas tyrimas [10] pasiūlė kelio ženklų aptikimo metodą, pagrįstą patobulintu FasterRCNN, 12,1 % patobulinusiu mAP, kuris sėkmingai išsprendė tokias problemas kaip mažas atpažinimo efektyvumas ir padidino eismo ženklų aptikimo ir atpažinimo tikslumas.

[11] CCTSDB duomenų rinkinys buvo gautas išplečiant Kinijos eismo ženklų duomenų rinkinį (CTSD) ir atnaujinant žymeklio informaciją, remiantis patobulintu YOLOv2 taikinio aptikimo algoritmu. CCTSDB duomenų rinkinyje buvo tik trys eismo ženklų kategorijos, o to nepakanka sudėtingai kelio ženklų atpažinimo užduočiai atlikti.

Duomenų rinkinys TT100K [12], sukurtas Tsinghua universiteto ir Tencent bendradarbiaujant, buvo ištrauktas iš Kinijos gatvės vaizdo panoramos ir apima platų apšvietimo ir oro sąlygų spektrą, todėl jis labiau reprezentuoja tikrąją vairavimo aplinką. Tyrime [13] vietoj DenseNet buvo naudojamas. ResNet pagrindiniame YOLOv3 tinkle ir eksperimentiškai patvirtino jį TT100K duomenų rinkinyje.

Algoritmas pagerina aptikimo modelio našumą realiuoju laiku, tačiau tikslumas ir atšaukimas paprastai būna žemi, kai kalbama apie mažus objektus, pvz., kelio ženklus, o tai reiškia rimtą klaidingą aptikimą.

Atliekant taikinio aptikimo užduotis, aptikimo užduotis dažnai tampa sudėtingesnė, nes aptinkamas taikinys paprastai yra didelis, o jo funkcijas galima lengvai išgauti.

Dėl YOLOv3 įdiegtos FPN struktūros dabar ji gali aptikti įvairaus masto taikinius, naudodama daugialypį funkcijų sujungimą, kuris tinka sudėtingoms eismo scenoms ir parodė tam tikrą pažadą aptikti mažus taikinius. Tačiau dar yra ką patobulinti didelės raiškos TT100K eismo ženklų duomenų rinkinio vaizduose.

Apibendrinant galima pasakyti, kad neuroniniu tinklu pagrįstas metodas gali sėkmingai išspręsti problemas, susijusias su mažu atpažinimo efektyvumu, praleistu aptikimu ir klaidingu aptikimu, taip pat padidinant eismo ženklų aptikimo ir atpažinimo tikslumą.

Neuroniniais tinklais pagrįsti metodai turi didesnį tikslumą arba greitesnį aptikimą nei tradiciniai metodai, tačiau jie negali pasiekti aptikimo greičio ir aptikimo tikslumo. Be to, dauguma eismo ženklų aptikimo naudoja GermanTraffic Sign Dataset (GTSDB), o kelio ženklai Vokietijoje skiriasi nuo Kinijos; Kinijoje atlikta mažiau kelių eismo ženklų aptikimo ir atpažinimo tyrimų.

Todėl, siekiant išspręsti aukščiau nurodytas problemas, šiame darbe naudojamas TT100K duomenų rinkinys, skirtas mokyti ir aptikti Kinijos kelio ženklus bei tobulinti ir koreguoti YOLOv3 tinklą, daugiausia su šiais patobulinimais:

(1) Pridėkite ketvirtą 152 × 152 dydžio funkcijų numatymo skalę prie YOLOv3 tinklo struktūros, kad galėtumėte visapusiškai išnaudoti negilių tinklo ypatybių pranašumus ir numatyti nedidelius tikslus. Norint suderinti vietines ir pasaulines savybes, suliejama erdvinė piramidės struktūra.

(2) Atstumas tarp taikinio ir inkaro, persidengimo dažnis ir mastelis atsižvelgiama naudojant DIoU praradimą, kad būtų galima greičiau suartėti ir nuosekliau regresuoti tikslinį kadrą. Dėl to tikslinės kadro regresija tampa stabilesnė.

(3) Dauguma TT100K duomenų rinkinio eismo ženklų yra maži ir vidutinio dydžio tikslai, tik keli dideli taikiniai.

Dėl to originalaus inkaro naudojimas nėra tinkamas pasirinkimas. K-means klasterizacijos algoritmas naudojamas perskaičiuoti 12 TT100K duomenų rinkinio inkarų, o duomenų papildymo strategija naudojama siekiant subalansuoti ir padidinti nesubalansuotą duomenų rinkinio tikslinių kategorijų skaičių.

For more information:1950477648nn@gmail.com