Patobulintas funkcijos parametrų išskyrimas iš kalbos signalų naudojant mašininio mokymosi algoritmą (1)

Abstraktus: Kalbos atpažinimas reiškia programinės arba aparatinės įrangos galimybę priimti kalbos signalą, nustatyti kalbėtojo savybes kalbos signale ir atpažinti garsiakalbį vėliau. Apskritai kalbos atpažinimo procesą sudaro trys pagrindiniai etapai: akustinis apdorojimas, funkcijų ištraukimas ir klasifikavimas / atpažinimas. Funkcijų ištraukimo tikslas yra iliustruoti kalbos signalą naudojant iš anksto nustatytą signalo komponentų skaičių. Taip yra todėl, kad visa garso signalo informacija yra pernelyg sudėtinga tvarkyti, o kai kuri informacija nėra svarbi atliekant identifikavimo užduotį. Šiame tyrime siūlomas mašininiu mokymusi paremtas metodas, kuris iš kalbos signalų išskiria funkcijų parametrus, kad pagerintų kalbos atpažinimo programų veikimą realiuoju laiku išmaniojo miesto aplinkoje. Be to, pagrindinės atminties bloko susiejimo su talpykla principas efektyviai naudojamas siekiant sumažinti skaičiavimo laiką. Laikinosios atminties bloko dydis yra parametras, kuris stipriai veikia talpyklos našumą. Visų pirma, tokių procesų įgyvendinimas realiojo laiko sistemose reikalauja didelio skaičiavimo greičio. Apdorojimo greitis vaidina svarbų vaidmenį kalbos atpažinimui realiojo laiko sistemose. Tam reikia naudoti šiuolaikines technologijas ir greitus algoritmus, kurie pagreitina funkcijos parametrų išgavimą iš kalbos signalų. Problemos, susijusios su įsijungimu skaitmeniniu kalbos signalų apdorojimu, dar turi būti visiškai išspręstos. Eksperimentiniai rezultatai rodo, kad siūlomas metodas sėkmingai išskiria signalo ypatybes ir pasiekia sklandų klasifikavimo našumą, palyginti su kitais įprastiniais kalbos atpažinimo algoritmais.

Cistanche deserticola

Raktažodžiai: kalbos atpažinimas; lygiagretusis skaičiavimas; paskirstytasis kompiuteris; kelių branduolių procesorius; funkcijų ištraukimas; spektrinė analizė

1. Įvadas

Ryšio metodų tarp žmonių ir kompiuterinių technologijų sukūrimas yra esminė šiuolaikinio dirbtinio intelekto užduotis. Vienas iš paprasčiausių būdų vartotojams įvesti informaciją yra kalbos signalai. Todėl kalbos signalų apdorojimo technologija ir jos įrankiai tapo būtina informacinės visuomenės dalimi. Kalbos atpažinimas yra esminis kalbos signalo apdorojimo tyrimo aspektas ir gyvybiškai svarbi žmogaus ir kompiuterio sąveikos technika. Kalbos signaluose yra semantinės, asmeninės ir aplinkos informacijos [1]. Bendras požiūris į kalbos signalo apdorojimą yra trumpalaikės analizės naudojimas, kai signalas yra padalintas į fiksuoto dydžio laiko langus, darant prielaidą, kad signalo parametrai nesikeičia. Norint gauti tikslesnį signalo atvaizdavimą, tarp langų yra persidengimas. Kiekvienam langui taikomi funkcijų ištraukimo algoritmai, tokie kaip spektrinė analizė ir tiesinis numatymas. Tačiau šie procesai taip pat turėtų atsižvelgti į greitį ir laiką.

Dykumos ženšenis

Laikas kelia didelį susirūpinimą keliose realaus laiko signalo apdorojimo srityse. Apdorojimo greičio santykį galima padidinti efektyviai naudojant procesoriaus išteklius ir kuriant naujus bei greitus algoritmus, siekiant sumažinti skaitmeninio apdorojimo laiką. Tačiau didelio našumo skaičiavimo problemos dar nėra iki galo išspręstos [2]. Be to, kuriant skaitmeninio signalų apdorojimo aparatinę ir programinę įrangą, padaryta didelė pažanga automatinio kalbos atpažinimo srityje. Tačiau nepaisant šios pažangos, mašinos tikslumo ir greičio atpažinimo požiūriu negali prilygti savo kolegoms žmonėms, ypač kalbant apie nepriklausomą kalbos atpažinimą. Taigi daugybė kalbos atpažinimo tyrimų buvo sutelkti į kalbos atpažinimo problemas, kurios yra nepriklausomos nuo kalbėtojo, dėl daugybės turimų kalbos atpažinimo metodų taikymo ir apribojimų [3].

Apibendrinant, pagrindiniai tyrimo rezultatai yra tokie:

Cistanche arbata

Spustelėkite čia norėdami pamatyti Cistanche deserticola arbatos produktus

【Klauskite daugiau】 El. paštas:cindy.xue@wecistanche.com / Whats App: 0086 18599088692 / Wechat: 18599088692

Asmens atpažinimo pagal kalbos signalus procesas susideda iš kelių etapų. Tarp jų kai kuriems žingsniams reikia daugiau skaičiavimo laiko. Tai spektrinė analizė. Vienas iš parametrų, kuris ypač svarbus mašininio mokymosi algoritmuose, yra mokymo laikas. Šiame darbe mes nustatėme, kad funkcijų išgavimo procesas yra svarbus kalbos signalų identifikavimui. Be to, mašininis mokymasis užima daug laiko. Nustatyta, kad spektrinės analizės procesas susideda iš savarankiškų operacijų ir galimas lygiagretavimas.

Eksperimentai parodė, kad FFT ir DCT spektrinės transformacijos duoda gerus spektrinės analizės rezultatus. Spektrinės analizės procesas galioja kiekvienam kalbos signalo segmentui. Tai leidžia aiškiai atskirti šias savybes nuo kalbos signalo. OpenMP ir TBB įrankių pagalba buvo sukurtas lygiagretaus skaičiavimo algoritmas, kuris leido paspartinti skaičiavimus.

Segmento dydis yra svarbus dalijant kalbos signalą į segmentus. Eksperimentų metu buvo nustatyta, kad kalbos signalo segmento dydis priklauso nuo centrinio procesoriaus talpyklos atminties. Visų pirma, nustatyta, kad segmento suderinimas su talpyklos dydžiu kelių branduolių procesoriuose turi teigiamą poveikį skaičiavimo greičiui mašininio mokymosi metu.

Siūlomas naujas lygiagretaus įgyvendinimo metodas spektrinėms signalų transformacijoms, skirtoms funkcijų parametrų ištraukimui iš kalbos signalų, naudojant mašininio mokymosi algoritmą kelių branduolių procesoriuose naudojant TBB ir OpenMP.

Taip pat buvo nustatyta, kad efektyviai panaudojus pagrindinio atminties bloko susiejimo su talpyklą principą ir talpyklos atminties bloko dydį, galima padidinti apdorojimo greitį.

„Cistanche“ papildas šalia manęs – gerinanti atmintį

Likusi šio dokumento dalis yra išdėstyta taip. 2 skyriuje apžvelgiami esami specifinių kalbos signalo savybių išgavimo tyrimai. 3 skyriuje aprašomi objektų išgavimo su eksperimentais etapai. 4 skyriuje pateikiamas siūlomas didelio našumo skaičiavimo algoritmas, skirtas funkcijos parametrams iš kalbos signalų išskirti. Eksperimentiniai rezultatai, pagrįsti mūsų įgyvendinimu, yra aptarti 5 skyriuje. 6 skyriuje pabrėžiami siūlomo metodo apribojimai. Galiausiai 7 skirsnis užbaigia tyrimą apibendrindamas išvadas ir pažymėdamas būsimas tyrimų kryptis.

2. Susiję darbai

Šiuo metu kuriami ir tobulinami nauji metodai, algoritmai, modernesnės programos, skirtos kalbos signalų segmentavimui ir pasirinktų fragmentų parametrinių rodiklių skaičiavimui, taip sukuriant kalbos signalų spektrogramą naudojant spektrinę analizę [4–7]. Garsiakalbio atpažinimas naudojant įvairius balso įrašus visame pasaulyje yra labai svarbi ir sudėtinga užduotis, ypač išskiriant ryškias ir išskirtines savybes [8]. Korkmaz ir kt. pasiūlė naują Mel Frequency Cepstral Coefficients (MFCC) funkciją, kuri yra greitesnė ir efektyvesnė nei tradicinė MFCC realizacija. [9]. Užuot naudoję aukštųjų dažnių paryškinimo filtrą, jie naudojo žemųjų dažnių filtrą. Jie įdiegė juostos pralaidumo filtrą su aukšto dažnio filtru, nes norint padidinti signalo energiją aukštuose dažniuose, reikia iš anksto pabrėžti. Ankstesniame darbe [10] pristatėme naują MFCC pagrįstą garsiakalbių identifikavimo metodą. Užuot naudoję įprastus MFCC, kaip funkcijų rinkinį naudojame pikselius iš Mel spektrogramos. Spektrograma buvo transformuota į 2-D masyvą, kad būtų sukurtas naujas duomenų rinkinys. Norint identifikuoti kalbėtoją, buvo pritaikyti keli mokymosi algoritmai, naudojant 10-kartų kryžminio patvirtinimo metodą. Daugiasluoksnio perceptrono (MLP) su tanh aktyvinimo funkcija pagalba buvo pasiektas geriausias 90,2 proc.

Funkcijų išskyrimas pasiekiamas pakeičiant kalbos signalo formą į parametrinio vaizdavimo formą santykinai mažesne duomenų sparta, kad būtų galima vėliau apdoroti ir analizuoti [11–14]. Funkcijų ištraukimo metodai paprastai kiekvienam kalbos signalui suteikia daugiamatį funkcijų vektorių. Funkcijų ištraukimas yra svarbiausia garsiakalbių atpažinimo dalis. Kalbos ypatybės turi esminę reikšmę kalbėtojo atskyrimui nuo kitų. Funkcijų išskyrimas sumažina kalbos signalo dydį, nesukeldamas jokios žalos kalbos signalo galiai [15–17]. [18] autoriai pristatė naują metodą, kuris išnaudoja tikslų spektrinės analizės lango dydžio ir poslinkio parametrų derinimą, naudojamą pradinei trumpalaikei Furjė transformacijai apskaičiuoti, kad pagerintų nuo garsiakalbio priklausomo automatinio kalbos atpažinimo našumą. (ASR) sistema. Nesant gydytojų, pasauliečiai gali naudoti sprendimų pagalbos sistemas, sukurtas naudojant dirbtinio intelekto metodus. Ankstyvas ir neinvazinis širdies būklės nustatymas gali būti atliktas naudojant fonokardiogramos (PCG) signalus [19–21].

Įrodyta, kad konvoliuciniai neuroniniai tinklai (CNN) sėkmingai imituoja struktūrinę vietą objektų erdvėje, taip pat naudoja telkimą šališko dažnio srityje, kad sumažintų transliacijos pokyčius ir prisitaikytų prie trikdžių ir nedidelių savybių erdvės pokyčių [22]. Mukhamadijevas ir kt. pasiūlė galutinį giluminio neuroninio tinklo paslėptą Markovo modelio kalbos atpažinimo modelį ir hibridinį konnekcionistinį laiko klasifikavimo (CTC) dėmesio tinklą uzbekų kalbai ir jos dialektams. Siūlomas metodas sumažina mokymo laiką ir pagerina kalbos atpažinimo tikslumą, efektyviai naudojant CTC tikslo funkciją dėmesio modelio mokyme [23]. [24] buvo pasiūlytas bruožų išskyrimas ir klasifikavimas naudojant vienmačio konvoliucinio neuroninio tinklo (CNN) modelį, kuris padalija širdies garso signalus į normalius ir nenormalius, tiesiogiai nepriklausomus nuo elektrokardiogramos (EKG). Jie teigia, kad šiame tyrime naudojamų širdies garso signalų klasifikavimo tikslumas yra didesnis 1D CNN nei 2D CNN, kai konvoliucijos branduolys yra mažesnis nei 52, nes didelis konvoliucijos branduolys gali sukelti skaičiavimo sudėtingumą ir vis daugiau laiko užima. . [25] buvo išmokytas gilus neuroninis tinklas, siekiant maksimaliai padidinti akustinių modelių būsenų sekų, susijusių su kalbos ypatybių sekomis, tikslumą, naudojant TIMIT duomenų bazę (TIMIT Acoustic-Phonetic Continuous Speech Corpus).

3. Išankstinis apdorojimas: medžiagos apžvalga

„Cistanche“ papildas šalia manęs – gerinanti atmintį

Šiuo tikslu būtina sukurti greitus algoritmus, skirtus požymiams išgauti iš kalbos signalų ir parametrinių atvaizdų, išgauti naudingų ir informatyvių pavyzdžių apdorojimui, sukurti programas pasirinktų akustinių segmentų spektrogramoms įgyvendinti.

Kalbos atpažinimo sistemas sudaro du pagrindiniai posistemiai:

Pirminis kalbos signalų apdorojimas (fonograma);

Akustinių simbolių klasifikavimas naudojant išmanųjį algoritmą (spektrogramą).

Pirmasis posistemis generuoja akustinius simbolius kaip informatyvių akustinių signalų savybių ir signalo charakteristikų rinkinį. Antrasis posistemis, remdamasis gautomis akustinėmis charakteristikomis, paverčia kalbos signalą į parametrinę formą. Kalbos signalo apdorojimas susideda iš šių etapų:

Kalbos signalo ribų atskyrimas;

Skaitmeninis filtravimas;

Segmentavimas;

Lyginamojo lango pritaikymas;

Spektrinė transformacija ir spektrinių dažnių normalizavimas.

Šie veiksmai plačiai naudojami funkcijų parametrams iš kalbos signalų išgauti, o pagrindinės jų savybės aptariamos toliau.

3.1. Ribų atskyrimas

Tik kalbos dalių ištraukimas iš gaunamo signalo arba sakinio pradžios ir pabaigos momentų nustatymas triukšmingoje aplinkoje yra esminė kalbos apdorojimo užduotis. Šiai problemai išspręsti naudojamos šios kalbos signalo savybės: trumpalaikė kalbos signalo energija, taškų, susikertančių ties nuliu, skaičius, tylos lauko reikšmių pasiskirstymo signale tankis ir spektrinė entropija. Tradicinės kalbos atpažinimo sistemos naudoja metodus, pagrįstus pereinamąja ir spektrine signalo energija (pvz., balso aktyvumo aptikimu), kad nustatytų kalbos ribas iš gaunamų kalbos signalų [26–28].

Pagrindiniai kalbos signalo parametrai yra trumpalaikė kalbos signalo energija ir taškų, einančių per nulį, skaičius. Paprastai kalbos signalo parametrai laikui bėgant greitai keičiasi; todėl įprasta kalbos signalą apdoroti į 10–30 ms ilgio fragmentus, kurie nesutampa. Kalbos signalas yra nejudantis šiame diapazone, o tylos sritys kalbos signale pašalinamos apskaičiuojant trumpalaikę energiją. Šios problemos sprendimo algoritmas suskirstytas į N seką iš 256 kito kalbos signalo trumpalaikių energijos verčių.

Kiekvieno fragmento energijos apskaičiavimas dalijant kalbos signalą tinka lygiagrečiam ir paskirstytam skaičiavimui. Kiekvienas fragmentas yra apdorojamas nepriklausomai. Jei apdorojimas taikomas n branduolių daugiaprocesoriuje, vienu metu bus galima apskaičiuoti n fragmentų energiją. Todėl šiame etape galima padidinti lygiagretaus apdorojimo efektyvumą [29–32].

3.2. Nulinių perėjimų skaičius

Nulinis kirtimas – tai taškas, kuriame matematinės funkcijos ženklas pasikeičia (pvz., iš teigiamo į neigiamą), kuris funkcijos grafike pavaizduotas ašies sankirta (nulinė reikšmė) [33]. Nulinio kirtimo dažnis signale gali būti paprasčiausias jo spektrinių savybių rodiklis. Pavyzdžiui, taškų, einančių per nulį kalbos signale, skaičių galima nustatyti naudojant šią lygtį:

1 pav. Kalbos atskyrimo metodas, pagrįstas spektrinės entropijos analize.

3.3. Skaitmeninis filtravimas

Be tipiško naudingo signalo, yra įvairių tipų triukšmo. Kadangi triukšmas neigiamai veikia kalbos atpažinimo sistemų kokybę, triukšmo problema yra neatidėliotina problema. Triukšmo lygiui sistemoje sumažinti naudojami dviejų tipų skaitmeniniai filtrai: linijos filtras ir pradinis filtras. Linijinis filtras gali būti laikomas žemo ir aukšto dažnio filtrų deriniu, nes jis fiksuoja visus žemus ir aukštus dažnius. Pradinis filtravimas taikomas siekiant sumažinti vietinių trikdžių poveikį būdingiems žymenims, kurie naudojami tolesniam identifikavimui. Kalbos signalas turi būti perduodamas per žemųjų dažnių filtrą spektriniam derinimui [35].

3.4. Segmentavimas

Segmentavimas – tai kalbos signalo padalijimas į atskirus, nepersidengiančius fragmentus. Signalas paprastai skirstomas į kalbos vienetus, tokius kaip sakiniai, žodžiai, skiemenys, fonemos ar net mažesni fonetiniai vienetai. Įrašų, kuriuose yra daugelio kalbėtojų pasisakymų, segmentavimas gali būti sudarytas iš posakių dalių priskyrimo konkretiems kalbėtojams. Terminas „segmentinės stotys“ kartais vartojamas kalbant apie kalbos signalo padalijimą į kadrus prieš jo parametravimą [36,37].

3.5. Spektrinė transformacija

Būtina išskirti pagrindinius kalbos signalų požymius, kurie naudojami vėlesniuose kalbos atpažinimo proceso etapuose. Pradinės savybės nustatomos analizuojant kalbos signalų spektrines savybes. Spartusis Furjė transformacijos algoritmas dažniausiai naudojamas kalbos signalo spektriniam dažniui gauti [38,39].

3.6. Spektrinių dažnių normalizavimas

Visas intelektualių algoritmų skaičiavimo procesas yra pagrįstas judančiais dešimtainiais skaičiais. Todėl objektų, klasifikuojamų naudojant neuroninius tinklus, parametrai yra apriboti diapazonu [{{0}}.0, 1.0]. Gautas spektras normalizuojamas tarp 0 ir 1, kad būtų taikomas spektrinis apdorojimas naudojant neuroninį tinklą. Norint tai pasiekti, kiekvienas vektoriaus komponentas yra padalintas į maksimalius komponentus.

Spektrinio apdorojimo metodai leidžia naudoti visus duomenų pavyzdžius, gaunamus iš kalbos signalo. Daugelis kalbos signalų turi specifinę dažnio struktūrą ir spektrines savybes. Spektriniai metodai užtikrina didelio tikslumo kalbos signalų apdorojimą. Spektrinio apdorojimo trūkumai yra mažas vietinių signalų charakteristikų lankstumas, spektrinių matmenų trūkumas ir santykinai didelės skaičiavimo sąnaudos.

Furjė transformacija, bangelių analizė ir daugelis kitų algoritmų plačiai naudojami spektriniam kalbos signalų apdorojimui. Furjė transformacija naudojama daugelyje mokslo sričių, įskaitant kalbos apdorojimą. Apdorojant kalbos signalą Furjė transformacija paverčia signalą iš laiko lauko į spektrinį lauką kaip dažnio komponentą [40].

Ankstesniuose tyrimuose spektrinei analizei buvo taikoma diskretinė Furjė transformacija (DFT), diskretinė kosinuso transformacija (DCT), trumpalaikė Furjė transformacija ir bangelių transformacija. Šie metodai buvo naudojami kalbos signalo fragmentams transformuoti į dažnių sritį ir apskaičiuoti spektrą. TBB ir OpenMP paketai buvo naudojami kuriant lygiagrečius spektrinių transformacijų algoritmus. Taikant šiuos metodus, komanda padalija signalą į kadrus; pvz., N=16, 32, … arba 4096 kiekvienam kadrui [4]. Kiekvieno sukurto kadro dydis yra lygus talpyklos atminties bloko dydžiui, nes spartinamoji atmintis yra veiksnys, turintis įtakos lygiagretaus apdorojimo efektyvumui. Pagreičio rezultatai pavaizduoti 2 pav.

2 pav. Pagreičio rezultatai a) keturių ir b) aštuonių branduolių procesoriams.

Lygiagrečio apdorojimo algoritmų programinei įrangai įgyvendinti buvo atliktas nuoseklus ir lygiagretus apdorojimas keturių ir aštuonių branduolių procesoriuose, kurie buvo taikomi naudojant asmeninius kompiuterius ir serverius, kaip nurodyta 1 lentelėje.

1 lentelė. Intel procesorių charakteristikos.

Pagrindinė DCT algoritmo savybė yra periodiškumas. DCT pranašumas yra tas, kad jis linkęs sutelkti didžiąją dalį signalo energijos į nedidelį skaičių veiksnių. Šios lygtys pateikia koeficientų matricos elementus:

kur L(k) yra DCT reikšmė, k yra koeficientų indeksas, x(n) reiškia duomenų elementus, o N yra kadro dydis.

Furjė analizės parametrai yra metodų, naudojamų generuoti ypatybių vektorius daugumoje kalbos atpažinimo sistemų skaitmeniniame kalbos signalų apdorojime spektrinėje srityje, pagrindas. Furjė analizėje naudojami mel-dažnio cepstraliniai koeficientai (MFCC) [41] ir linijinio nuspėjamojo kodavimo (LPC) metodai [42, 43], siekiant sukurti spektrogramos vaizdus iš kalbos signalų. Spektrai, gauti naudojant Furjė analizę, suteikia glaustą ir tikslią informaciją apie kalbos signalą, kaip parodyta 3 paveiksle.

3 pav. DFT: (a) dažnių diapazono pokytis laiko srityje ir (b) spektrograma.

Eksperimentuose spektrinei analizei buvo naudojami dvimačiai (2D) signalai. Lygiagrečio vaizdo apdorojimo algoritmuose naudojamos 2D spektrinės analizės charakteristikos yra tinkamos lygiagrečiam apdorojimui kelių branduolių procesoriuose [38]. Visų pirma, tiesioginės ir atvirkštinės transformacijos vektoriai ir matricos turi dvejetainius matmenis, o šios kelių branduolių procesoriaus architektūros suderinamumas gali efektyviai padidinti skaičiavimo greitį. Todėl taikėme nuoseklų ir lygiagretų apdorojimą kompiuteryje su skirtingomis procesoriaus charakteristikomis, kad įdiegtume aparatinę 2D signalų apdorojimo algoritmų programą (2 lentelė).

2 lentelė. Intel procesorių taikymo charakteristikos.

Visas 2D signalas kiekviename etape buvo padalintas į vienodus skirtingo dydžio fragmentus [44]. Pasirinktų fragmentų reikšmės buvo tarp 16 × 16 ir 1024 × 1024 pikselių skiriamosios gebos. Lygiagretaus DCT algoritmo greitis naudojant OpenMP paketą, palyginti su nuosekliuoju algoritmu, parodytas 4 paveiksle. Lygiagrečios 2D spektrinės analizės naudojimas algoritmas kelių branduolių procesoriuose duoda įsijungimo rezultatą, kuris yra artimas branduolių skaičiui.

4 pav. Pagreičio rezultatai 2D lygiagrečiai spektrinei analizei.