Patobulintas funkcijos parametrų išskyrimas iš kalbos signalų naudojant mašininio mokymosi algoritmą (2)
May 30, 2023
3.7. Duomenų rinkinys Duomenų rinkinio rinkimo ir generavimo procesai buvo atlikti taip. Šiame tyrime modelio mokymui buvo naudojamas duomenų rinkinys su 120 valandų garso. Duomenų rinkinyje yra kalbos garso įrašai, kuriuos sudaro sakiniai, sudaryti iš daugiausia 15 žodžių, kurių bendras ilgis yra maždaug 120 val.
Dykumos ženšenis
Be to, duomenų rinkinyje yra daug įvairaus teksto, skirto naudoti kuriant kalbos modelį. Buvo surinkta daugiau nei 90 650 posakių, 415 780 žodžių ir 65 810 unikalių žodžių, kurie buvo įtraukti į teksto korpusą, todėl buvo surinkta apie 120 valandų perrašytų kalbos duomenų. Duomenų rinkinį suskirstome į mokymo, patvirtinimo ir bandymų rinkinius. Duomenų rinkinio statistika
pateikiami 3 lentelėje.
3 lentelė. Duomenų rinkinio specifikacijos.
Duomenų rinkinį padalijome į tris aplankus, atitinkančius mokymo, patvirtinimo ir bandymų rinkinius. Kiekviename aplanke yra garso įrašai ir nuorašai. Garso ir atitinkamų transkripcijos failų pavadinimai yra tokie patys, išskyrus tai, kad garso įrašai saugomi kaip WAV failai, o transkripcijos saugomos kaip TXT failai naudojant UTF-8 koduotę. Visos transkripcijos pavaizduotos naudojant lotynišką abėcėlę, kurią sudaro 29 raidės ir apostrofo simbolis. Norėdami išvengti per didelio pritaikymo, taikėme duomenų papildymo metodus, pagrįstus greičio trikdymu ir spektro padidinimu.
Cistanche deserticola
4. Siūlomas metodas
Svarbus programuotojų uždavinys kuriant kalbos atpažinimo sistemas yra optimalaus kalbos signalų parametrinės išraiškos metodo sukūrimas [45]. Šis metodas leidžia puikiai atskirti garsus ir ištartus žodžius, tuo pačiu užtikrinant, kad garsiakalbiai nejautrūs tarimo modeliams ir akustinės aplinkos pokyčiams. Daugumą žodžių atpažinimo klaidų sukelia signalo aukščio pasikeitimas dėl mikrofono poslinkio arba tarimo aukščio skirtumo [46]. Kita dažna klaidų priežastis – atsitiktinės netiesinės spektro formos deformacijos, kurios visada yra kalbėtojo kalbos signale [47,48]. Todėl vienas iš svarbiausių uždavinių kuriant efektyvias kalbos atpažinimo sistemas yra reprezentacijos, kuri būtų pakankama analizuojamo signalo turiniui bei nejautria garsiakalbių balsams ir įvairiai akustinei aplinkai, parinkimas.
„Cistanche“ papildas šalia manęs – gerinanti atmintį
Sistema, kuri naudojama funkcijų parametrams išgauti, paprastai turi šiuos reikalavimus. Informacijos turinys, tai yra požymių parametrų rinkinys, turi užtikrinti patikimą atpažįstamų kalbos elementų identifikavimą. Be to, turi būti sumažintas garsumas, ty didžiausias garso signalo suspaudimas, ir nestatistinė parametrų koreliacija. Taip pat turi būti pasiekta nepriklausomybė nuo kalbėtojo, tai yra, maksimaliai iš simbolių vektoriaus pašalinama informacija, susijusi su kalbėtojo savybėmis. Galiausiai, turi būti pateiktas homogeniškumas, kuris reiškia parametrus, turinčius vienodą vidutinę dispersiją, ir galimybę naudoti paprastą metriką, kad būtų galima nustatyti giminingumą tarp simbolių rinkinių [49]. Tačiau ne visada įmanoma vienu metu įvykdyti visus reikalavimus, nes tokie reikalavimai yra prieštaringi. Kalbos elementų parametrinis aprašymas turi būti pakankamai išsamus, kad juos būtų galima patikimai atskirti, ir kuo lakoniškesnis.
Supermeno žolelių cistanche
Praktiškai kalbos signalas, gaunamas iš mikrofono, yra skaitmenizuojamas 8–22 kHz atrankos dažniu. Serijinės skaitinės reikšmės skirstomos į kalbos fragmentus (kadrus), kurių trukmė yra nuo 10 iki 30 ms, kurie atitinka kvazistacionarias kalbos dalis. Iš kiekvieno kadro apskaičiuojamas ypatybių vektorius, kuris vėliau naudojamas kalbos atpažinimo akustiniame lygyje. Šiuo metu galima rasti daugybę metodų parametriniam signalų vaizdavimui, pagrįstu autokoreliacijos analize, aparatūros linijiniu filtravimu, spektrine analize ir LPC. Labiausiai paplitęs kalbos parametrizavimo būdas yra signalų fragmentų spektrinė analizė ir jų cepstralių koeficientų apskaičiavimas.
MFCC buvo naudojami kaip informacinės kalbos signalo savybės [41]. Šios charakteristikos plačiai naudojamos kalbos atpažinimui ir yra pagrįstos dviem pagrindinėmis sąvokomis: cepstral ir Mel skalėmis. Pagrindiniai algoritmo privalumai yra aukštas žinomumo lygis ir kalbėjimo paprastumas. MFCC funkcijos yra atskirtos nuo įrašytų kalbos signalų. MFCC algoritmas naudoja fonogramos ir spektro perjungimo algoritmų rezultatus. Klasikinis algoritmas, naudojamas MFCC apskaičiuoti, pavaizduotas 5 paveiksle.
5 pav. Klasikinė MFCC skaičiavimo schema.
Šiame tyrime pateikiamas greitas funkcijos parametrų ištraukimo iš kalbos signalo metodas. Siūlomas greito MFCC skaičiavimo algoritmas parodytas 6 paveiksle.
6 pav. Siūloma MFCC skaičiavimo sistema.
Mes atsižvelgiame į siūlomo algoritmo, skirto greitam funkcijų parametrų išskyrimui iš kalbos signalo, vykdymo seką.
4.1. Padalijimas į rėmus
Po išankstinio filtravimo kalbos signalas yra padalintas į 16 ms kadrus. Kiekviename kadre (išskyrus pirmąjį) yra paskutinės 10 ms ankstesnio kadro. Šis procesas tęsiasi iki signalo pabaigos. Šiame tyrime, kadangi kalbos signalo atrankos dažnis yra 16 kHz, kadro ilgis yra N=256, o poslinkio ilgis yra M=160. Persidengimas yra 62,5 procento rėmo ilgio. Paprastai rekomenduojama aprėpti nuo 50 iki 75 procentų kadro ilgio.
4.2. „Hanning“ langas ir mažėjančios vertės
Buvo naudojamas 1D dydžio Hanningo langas. Hanningo langas taip pat vadinamas pakeltu kosinuso langu. Hanningo langas gali būti laikomas trijų stačiakampių laiko langų dažnių spektro suma. Jis gali naudoti šonines skiltis, kad atšauktų viena kitą, pašalintų aukšto dažnio trikdžius ir energijos nutekėjimą. „Hanning“ langai yra labai naudingos langų funkcijos.
„Cistanche“ papildas šalia manęs – gerinanti atmintį
【Klauskite daugiau】 El. paštas:cindy.xue@wecistanche.com / Whats App: 0086 18599088692 / Wechat: 18599088692
Svorio dėžė naudojama norint sumažinti iškraipymus ir išlyginti atskirus rėmus. Šiame tyrime nagrinėjamas plūduriuojantis signalas susideda iš tankaus tono. Plokščio tono dydis nustatomas pagal gryno tono dydį dažniu f, kuris filtruojamas per Hanningo langą.
Svarbus šio lango aspektas yra tas, kad jis nustato kadrų ribas į nulį. Šiuo atveju trumpąsias energijas galima apskaičiuoti einant pro langą, ir jas galima perkelti iš sekos, pagal kurią skaičiuojamos mažiausios amplitudės energijos. Siekiama pašalinti iš signalo mažos energijos signalus apskaičiuojant signalo energiją, tuo pačiu išlyginant signalą iš šio lango. Šiam procesui reikalinga tokia signalo energijos lygtis:
kur En yra įvesties signalo fragmento energija, o xi yra signalo vertė.
Be lango proceso naudojant (11), signalas apdorojamas kitame žingsnyje, o tai žymiai sumažina į procesorių patenkančių reikšmių skaičių. 7 paveiksle parodytas lygiagretaus apdorojimo algoritmas.
Lango dydis nurodo pavyzdžių skaičių ir trukmę. Tai yra pagrindinis analizės parametras. Lango dydis priklauso nuo pagrindinio dažnio, intensyvumo ir signalo pokyčių.
7 pav. Hanning lango algoritmas tylioms dalims pašalinti. 4.3. Trumpalaikiai Furjė transformacijos (STFT) jungikliai Intuityviai suprantama didelio ar žemo aukščio reikšmė. STFT yra su Furjė susijusi transformacija, naudojama nustatyti sinusoidinį dažnį ir fazės turinį vietinėse signalo dalyse, kai jis keičiasi laikui bėgant. Praktiškai STFT skaičiavimas apima ilgesnio laiko signalo padalijimą į trumpesnius vienodo ilgio segmentus, o tai atliekama atskirai apskaičiuojant Furjė transformaciją kiekviename trumpesniame segmente. Tai atskleidžia kiekvieno trumpesnio segmento Furjė spektrą. Diskretaus laiko signalai yra naudojamas praktikoje. Atitinkama laiko ir dažnio keitimas yra diskrečioji Furjė konversija, kuri apibūdina signalo Xn ilgį kaip N koeficientų kompleksinės reikšmės dažnio sritį. STFT, apibūdinantis dažnio komponentų raidą laikui bėgant, yra vienas iš plačiausiai naudojamų kalbos analizės ir apdorojimo įrankių [50]. Panašiai kaip ir pats spektras, STFT pranašumas yra tas, kad jo parametrai turi fizinę ir intuityvią interpretaciją. STFT paprastai vizualizuojama naudojant log spektrus 20log10 (X(h, k)). Tokius 2D log spektrus tada galima peržiūrėti naudojant terminį žemėlapį, žinomą kaip spektrograma. Trečiajame algoritmo etape STFT spektrinio perjungimo procedūra taikoma kadrams, kurie perduodami per svorio langą. Signalo STFT gaunamas atidarius langus ir nustatant kiekvieno lango DFT. Visų pirma, įvesties signalo Xn ir Wn langų transformacija nustatoma taip:
kur k indeksas atitinka dažnio reikšmes, o wn yra lango funkcija, kuri dažniausiai yra Hanningo langas arba Gauso langas, kurio centre yra nulis.
4.4. Melas Transformas
Ketvirtajame etape signalas, perduodamas į dažnių juostą, yra padalintas į diapazonus, naudojant trikampius fifiltrus. Fifiltro ribos apskaičiuojamos naudojant kreidos dažnį. Perėjimas prie kreidos dažnio fifieldo grindžiamas šia lygtimi:
kur f yra dažnių diapazonas.
Atbulinės eigos jungiklis nustatomas taip:
Apsvarstykite NN kaip fifiltrų skaičių (paprastai naudojami 26 fifiltrai) ir srautus, kurių aukštis yra tiriamas dažnių diapazonas. Šis diapazonas perkeliamas į Mel skalę ir padalintas į NN tolygiai paskirstytus susikertančius diapazonus. Linijinės dažniui tinkamos ribos nustatomos fifieldo viduje, o svoriniai koeficientai, gauti remiantis fifiltracija, žymimi H. Vėliau fifiltrai taikomi koeficientų, gautų iš Furjė transformacijos, kvadratiniam moduliui. Gautos reikšmės yra logaritminės dėl šios išraiškos:
Vienaskaitos reikšmės išskaidymo algoritmas įgyvendinamas paskutiniame MFCC skaičiavimo etape.
5. Eksperimento rezultatai
Mes įdiegėme ir išbandėme siūlomą metodą „Visual Studio 2019 C plus plus“ kompiuteryje su 4,90 GHz CPU, 32 GB RAM ir dviem „Nvidia GeForce 2080Ti“ GPU, kaip parodyta 4 lentelėje. Sistema buvo išbandyta skirtingose įrenginių aplinkose įvertinti signalo požymių ištraukimo metodo veikimą. Eksperimentuose, veikiant algoritmui (8 pav.), kai signalo paviršių seka buvo n=15, reikšmių skaičius sumažėjo 40–50 procentų, o apdorojimo laikas pailgėjo 1. 2-fold. Todėl šis algoritmas pasižymėjo žymiai didesniu efektyvumu. Be to, šis algoritmas leido atskirti ir panaikinti tylos sritis praeinant pro Hanningo langą.
Yra keletas galimų būdų, kaip išvengti atminties pralaidumo švaistymo. Siūlome naują sprendimą, kuris padidina skaičiavimo našumą, suderindamas signalo kadrų dydį su talpyklos atminties bloko dydžiu. Šio tipo optimizavimas gali reikšmingai paveikti bendrą lygiagretaus apdorojimo našumą. Tačiau jis gali būti naudojamas skaitmeniniam signalų apdorojimui, padalijus signalą į kadrus, naudojant daugiagyslių procesorių. Tačiau praktikoje pasirinkimas dažniausiai atliekamas nedideliu mastu, atitinkančiu duomenų magistralės, jungiančios sparčiąją atmintį su pagrindine atmintimi, plotį ir jos bloko dydį. Mūsų metodas įgyvendina optimalų šių atmintinių naudojimą lygiagrečiame skaičiavime. Laikinosios atminties organizavimas atlieka esminį vaidmenį lygiagrečio apdorojimo algoritmuose, kai duomenys skirstomi į srautus. Visų pirma, vektoriaus matricos efektų buvimas apdorojant skaitmeninį signalą ir jų srautų dydis turėtų būti koreguojami atsižvelgiant į talpyklos blokų dydį. Tai galima pasiekti naudojant siūlomą metodą, kaip parodyta 9 paveiksle.
4 lentelė. Išsamios eksperimentinės sąrankos specifikacijos.
8 pav. a) Pradinis įeinantis signalas ir b) signalo atsiradimas pritaikius siūlomą algoritmą.
9 pav. Lygiagretaus skaičiavimo struktūra naudojant RK3288 procesorius.
Šiame skyriuje aptariame kiekybinę analizę, skirtą skirtingų sistemų veikimui palyginti. Mes palyginome savo metodą su gerai žinomais kalbos atpažinimo algoritmais, pagrįstais giluminio mokymosi metodais. Vertinimo metrika yra labai svarbi skaičiuojant įvairias kalbos atpažinimo strategijas ir vertinant skirtingų metodų veikimą. Nors palyginimui naudojome kitų tyrimų rezultatus, nesame tikri, ar jie teisingi, nes šių metodų šaltinio kodai ir duomenų rinkiniai nėra viešai prieinami, kad būtų galima patikrinti tikrąjį našumą. 10 paveiksle pavaizduotas tyliųjų dalių perkėlimo rezultatas, kai kalbos signalo fragmentas praeina per Hanning langą, remiantis siūlomu greitu algoritmu. Analizės metu gauti greičio rezultatai pateikti 5 lentelėje.
10 pav. KNN algoritmo k reikšmė (su funkcijos pasirinkimu).
5 lentelė. Siūlomo metodo eksperimentiniai rezultatai.
Diapazonas buvo nustatytas siekiant nustatyti kaimynystės laipsnį, kuris suteikia geriausią KNN algoritmo tikslumo vertę. Nurodytas diapazonas apima 1–25. 10 paveiksle pritaikytas KNN algoritmo grafikas su ypatybių pasirinkimu. Išnagrinėjus grafiką, kai kaimynystės reikšmė pradžioje buvo 1, treniruočių tikslumas buvo daug didesnis nei testo tikslumas. KNN algoritme, sukurtame naudojant koreliacijos būdu parinktas ypatybes, modelio tikslumas buvo 99,15 procento mokymo duomenų rinkinyje ir 97,35 procento bandymo duomenų rinkinyje.
Žodžio klaidų dažnis (WER) arba simbolių klaidų dažnis paprastai naudojamas vertinant funkcijų ištraukimo iš kalbos signalo tikslumą. Tai objektyvios matricos, kurios padeda teisingai palyginti atpažinimo būdus. Ankstesniuose tyrimuose [51–56] apskaičiavome tokias metrikas kaip F matas (FM), tikslumas ir prisiminimas. FM yra svertinis vidurkis, subalansuojantis matavimus tarp tikslumo ir atšaukimo dažnių. Tikslumas yra teisingai numatytų teigiamų stebėjimų skaičiaus ir bendro numatomų teigiamų stebėjimų skaičiaus santykis. Atšaukimas yra teisingai numatytų teigiamų stebėjimų skaičiaus ir bendro stebėjimų skaičiaus faktinėje klasėje santykis, kaip nurodyta (9). Apskaičiuojant vidutinį funkcijų išgavimo metodų tikslumą ir atkūrimo greitį, galima naudoti šias lygtis:
kur TP žymi tikrų teigiamų skaičių, FP – klaidingų teigiamų skaičių, o FN – klaidingų neigiamų skaičių.
FM apskaičiuojamas naudojant (10), atsižvelgiant į tikslumą ir atšaukimą.
Vidutinis siūlomo metodo FM, atšaukimas ir tikslumas buvo 98,4 proc. Klaidingas aptikimas įvyko 1,6 procento atvejų dėl nepageidaujamo mikrofono signalų triukšmo. Modelio tikslumo diapazonas buvo nuo 0 iki 1, o metrikos įvertinimo balai pasiekė geriausias reikšmes ties 1. Mūsų metodo ir kitų neseniai paskelbtų kalbos ypatybių ištraukimo metodų įvertinimas pateiktas 6 lentelėje. Tas pats skaičius funkcijos buvo naudojamos sąžiningam palyginimui. Iš viso buvo išanalizuoti 325 kalbos pavyzdžiai iš kiekvienos grupės iš tiriamųjų, turinčių panašių savybių. Siekiant pagerinti tikslumą, taip pat buvo ištirtas skirtingų rėmelių ilgių poveikis pagal MFCC filtrų blokų skaičių ir skirtingus rėmo ilgius pagal LPC tvarką.
6 lentelė. Kalbos ypatybių ištraukimo kiekybinio tikslumo rezultatai.
Kaip minėta anksčiau, WER yra labiausiai paplitęs kalbos atpažinimo rodiklis. Jis apskaičiuojamas lyginant nuorodos transkripciją su kalbos atpažintojo išvestimi. Remiantis šiuo palyginimu, galima apskaičiuoti klaidų, kurios paprastai priklauso trims kategorijoms, skaičių: (1) įterpimai, kai žodžio nėra nuorodoje automatinio kalbos atpažinimo (ASR) išvestyje, (2) trynimai, kai ASR išvestyje praleistas žodis, ir (3) pakaitalai, kai žodis supainiojamas su kitu žodžiu. WER galima apskaičiuoti taip.
kur S – neteisingai atpažintų žodžių pakeitimų skaičius, D – ištrynimų skaičius, I – įterpimų skaičius, o N – žodžių skaičius nuorodos transkripcijoje. Pagrindinė problema skaičiuojant šį balą yra dviejų žodžių sekų derinimas. Tai galima nustatyti dinaminiu programavimu naudojant Levenshteino atstumą [67].
Remdamiesi 6 lentele, atlikome statistinę analizę, siekdami parodyti palygintų metodų vidutinį tikslumą naudodami WER vertinimo metriką, kaip parodyta 11 paveiksle. Patobulintas funkcijų ištraukiklis davė maždaug 98,4 proc. tikslumą, o kiti metodai davė tikslumą tarp 78 proc. ir 96 proc. Palyginimui panaudojome atitinkamuose dokumentuose pateiktus rezultatus; tačiau šių reikšmių tikslumas nėra lengvai patikrinamas, nes šių metodų šaltinio kodai ir duomenų rinkiniai nėra viešai prieinami siekiant patvirtinti tikrąjį jų veikimą. Nepaisant to, standartinių scenų atveju buvo eksperimentiškai įrodyta, kad siūlomas metodas užtikrina puikų kalbos bruožų išgavimo tikslumą, sumažindamas skaičiavimo laiką, net kai kalbos duomenys yra triukšmingi arba žemos kokybės.
11 pav. Kalbos signalo savybių išgavimo metodų, naudojant vertikalius grafikus, kiekybiniai rezultatai.
Be to, įvertinome klaidingai teigiamus pasirinktų metodų rezultatus. Kaip matyti iš 12 paveikslo, siūlomame metode buvo mažiausiai klaidų. Be to, labai efektyvus lygiagretaus skaičiavimo metodas žymiai sumažino garso signalo pasirinkimo ir ištraukimo klaidas. Perdozavimas buvo viena iš pagrindinių problemų per mokymus, ir nuo to kenčia beveik visi mašininio mokymosi modeliai. Bandėme sumažinti permontavimo riziką naudodami funkcijų pasirinkimo techniką, kuria siekiama įvertinti esamų duomenų rinkinio funkcijų svarbą ir atmesti mažiau svarbias (naujos funkcijos nesukuriamos).
12 pav. Matomi klaidingai teigiamų kalbos signalų savybių ištraukimo eksperimentų rezultatai.
7 lentelėje pateikti metodų, kurie buvo naudojami kalbos atpažinimo aplinkose pagal skirtingas savybes, našumo rezultatai. Mūsų siūlomas metodas nepatiria nepageidaujamo ir nereikalingo foninio triukšmo ir nėra veikiamas prastos kokybės žmonių balsų, tokių kaip užkimimas, balsai, kuriuos sukelia gerklės skausmas, ar net žmonių, visiškai praradusių balsą, garsai. Mūsų metodu siekiama įveikti netinkamos įrašymo įrangos, foninio triukšmo, sudėtingų kirčių ir tarmių bei įvairių balso aukštumų problemas. Įprastoje aplinkoje geriausi rezultatai tiksliai aptikti ir išgauti kalbos ypatybių iššūkius buvo gauti naudojant siūlomą metodą su trumpesniu apdorojimo laiku.
7 lentelė. Kalbos ypatybių aptikimo ir ištraukimo našumo apžvalga naudojant įvairias funkcijas.
Kalbos atpažinimo metodų rezultatai buvo suskirstyti į galingus, normalius arba silpnus septyniose kategorijose. Galingas kriterijus parodo, kad algoritmas gali įveikti visų tipų iššūkius. Priešingai, įprastas kriterijus rodo, kad tam tikrais atvejais algoritmas gali sugesti, nes žodžių ribos nėra apibrėžtos iš anksto. Galiausiai, silpnas kriterijus rodo, kad algoritmas yra nepatikimas esant foniniam triukšmui ar vibracijai.
6. Apribojimai
Sunku daryti išvadą, kad iki šiol siūlomi metodai neturi jokių trūkumų. Mūsų siūlomas metodas taip pat gali sukelti klaidų dėl įvairios triukšmo aplinkos. Norėdami išspręsti šią problemą, siekėme sumažinti duomenų rinkinio funkcijų skaičių kurdami naujas funkcijas iš esamų funkcijų [69]. Kadangi varžybų metu treniruojant skirtingus modelius vienas iš pagrindinių problemų buvo permontavimas, treniruočių duomenų praturtinimas pridedant duomenų pavyzdžius iš skirtingų išteklių galėtų būti galimas sprendimas rezultatams pagerinti. Neatsižvelgiant į pirmiau minėtas problemas, eksperimentiniai rezultatai atskleidė, kad mūsų metodas buvo labai tvirtas ir efektyvus kalbos funkcijų išgavimo užduotims, kurių vidutinis tikslumas yra 98,4 proc., o FM - 99,5 proc.
7. Išvados
Kalbos atpažinimo sistemoms buvo pasiūlytas naujas didelio našumo lygiagrečiojo skaičiavimo metodas, naudojant mašininio mokymosi metodą. Pagreičio problemas mašinose su ribotais skaičiavimo ištekliais galima išspręsti naudojant paskirstytas sistemas. Skaičiavimo greitis signalų atpažinimo sistemose gali būti padidintas, o kelių branduolių platformų našumas gali būti pagerintas kuriant ir naudojant efektyvius ir greitus algoritmų ritmus. Rezultatai rodo, kad siūlomas modelis sumažina apdorojimo laiką ir pagerina funkcijų ištraukimo tikslumą 98,4 proc., efektyviai naudojant MFCC. Pastebėta, kad modelio sėkmei veiksmingi yra ir bruožai, kurių koreliacijos reikšmės mažos, išgautos ypatybių pasirinkimo būdu. Iš anksto apdorotų duomenų statistinė analizė buvo atlikta, o iš duomenų buvo gauta reikšminga informacija, naudojant K-arčiausių kaimynų (KNN) mašininio mokymosi algoritmą.
Būsimuose tyrimuose pagrindinis dėmesys bus skiriamas mūsų metodo tikslumo gerinimui, naudojant gilaus mokymosi metodus ir optimizuojant kelių branduolių procesorių talpyklą, kad būtų galima aptikti ir išgauti kalbos signalus be reikšmingo kokybės praradimo. Be to, planuojame sukurti spektrinės analizės modelį, pagrįstą lygiagrečiu apdorojimu ir patikimu analizės našumu, kuris leis sukurti įterptuosius įrenginius su mažais skaičiavimo ištekliais, naudojant Taris kalbos duomenų rinkinius [70] 3D CNN ir 3D U-Net aplinkoje [71– 75]
Nuorodos
1. Meng, YJ; Liu, WJ; Zhang, RZ; Du, HS kalbos funkcijos parametrų išskyrimas ir atpažinimas, pagrįstas interpoliacija. Appl. Mech. Mater. 2014, 602–605, 2118–2123. [CrossRef] 2. Musaev, M.; Rakhimov, M. Pagreitintas konvoliucinių neuronų tinklų mokymas. 2020 m. tarptautinės informacinio mokslo ir komunikacijos technologijų konferencijos (ICISCT) pranešimuose Taškente, Uzbekistane, 2020 m. lapkričio 4–6 d.; 1–5 psl. [CrossRef] 3. Taip, F.; Yang, J. Gilaus neuroninio tinklo modelis garsiakalbių identifikavimui. Appl. Sci. 2021, 11, 3603. [CrossRef] 4. Musaev, M.; Rakhimov, M. Pagrindinės atminties bloko priskyrimo talpyklai metodas lygiagrečiai apdorojant kalbos signalą. 2019 m. tarptautinės informacinio mokslo ir ryšių technologijų konferencijos (ICISCT) pranešimuose, Karačis, Pakistanas, 2019 m. kovo 9–10 d.; 1–4 p. [CrossRef] 5. Jiang, N.; Liu, T. Patobulintas kalbos segmentavimo ir grupavimo algoritmas, pagrįstas SOM ir k-means. Matematika. Probl. inž. 2020, 2020, 3608286. [CrossRef] 6. Hu, W.; Yang, Z.; Chen, C.; Saulė, B.; Xie, Q. Vibracijos segmentavimo metodas daugiafunkcėje skaitmeninio valdymo bokštelio sistemoje. Signalinio vaizdo vaizdo procesas. 2021, 16, 489–496. [CrossRef]
7. Popescu, TD; Aiordachioaie, D. Riedėjimo elementų guolių gedimų nustatymas naudojant optimalų vibracinių signalų segmentavimą. Mech. Syst. Signalų procesas. 2019, 116, 370–391. [CrossRef] 8. Shihab, MSH; Aditya, S.; Setu, JH; Imtiaz-Ud-Din, KM; Efat, MIA Hibridinis GRU-CNN funkcijų ištraukimo būdas garsiakalbiui identifikuoti. 2020 23-osios tarptautinės kompiuterių ir informacinių technologijų konferencijos (ICCIT), Daka, Bangladešas, 2020 m. gruodžio 19–21 d. 1–6 psl. [CrossRef] 9. Korkmaz, O.; Atasoy, A. Emocijų atpažinimas iš kalbos signalo naudojant mel-dažnio cepstralių koeficientus. In Proceedings of the 9th International Conference on Electrical and Electronics Engineering (ELECO), Bursa, Turkija, 2015 m. lapkričio 26–28 d.; 1254–1257 p. 10. Ayvaz, U.; Gürüler, H.; Khanas, F.; Ahmedas, N.; Whangbo, T.; Abdusalomov, A. Automatinis garsiakalbių atpažinimas naudojant Mel-Frequency Cepstral koefificientus per mašininį mokymąsi. CMC-kompiuteris. Mater. Tęsinys. 2022, 71, 5511–5521. 11. Al-Qaderi, M.; Lahamer, E.; Rad, A. Dviejų lygių garsiakalbių identifikavimo sistema, naudojant heterogeninių klasifikatorių sintezę ir papildomų funkcijų bendradarbiavimą. Sensors 2021, 21, 5097. [CrossRef] 12. Batur Dinler, Ö.; Aydin, N. Optimalus funkcijos parametrų rinkinys, pagrįstas nuolatiniais pasikartojančiais vienetų pasikartojančiais neuroniniais tinklais, skirtas kalbos segmentų aptikimui. Appl. Sci. 2020, 10, 1273. [CrossRef] 13. Kim, H.; Shin, JW Dual-Mic kalbos patobulinimas, pagrįstas TF-GSC su nuotėkio slopinimu ir signalo atkūrimu. Appl. Sci. 2021, 11, 2816. [CrossRef] 14. Lee, S.-J.; Kwon, H.-Y. Kalbos duomenų triukšmo mažinimo, pagrįsto kalbos segmentų aptikimu, išankstinio apdorojimo strategija. Appl. Sci. 2020, 10, 7385. [CrossRef] 15. Rusnac, A.-L.; Grigore, O. CNN EEG įsivaizduojamos kalbos atpažinimo architektūros ir funkcijų ištraukimo metodai. Sensors 2022, 22, 4679. [CrossRef] [PubMed] 16. Wafa, R.; Chanas, MQ; Malikas, F.; Abdusalomovas, AB; Cho, YI; Odarchenko, R. Agile metodologijos įtaka projektų sėkmei su moderuojančiu asmens darbo tinkamumo vaidmeniu Pakistano IT pramonėje. Appl. Sci. 2022, 12, 10698. [CrossRef] 17. Aggarwal, A.; Šrivastava, A.; Agarvalis, A.; Chahal, N.; Singhas, D.; Alnuaim, AA; Alhadlakas, A.; Lee, H.-N. Dviejų krypčių funkcijų ištraukimas, skirtas kalbos emocijoms atpažinti naudojant giluminį mokymąsi. Sensors 2022, 22, 2378. [CrossRef] [PubMed] 18. Marini, M.; Vanello, N.; Fanucci, L. Nuo garsiakalbių priklausomų funkcijų ištraukimo parametrų optimizavimas, siekiant pagerinti automatinio kalbos atpažinimo našumą žmonėms, sergantiems dizartrija. Sensors 2021, 21, 6460. [CrossRef] 19. Tiwari, S.; Jainas, A.; Šarma, AK; Almustafa, KM Fonokardiogramos signalais pagrįsta kelių klasių širdies diagnostikos sprendimų palaikymo sistema. IEEE Access 2021, 9, 110710–110722. [CrossRef] 20. Mohtaj, S.; Schmittas, V.; Möller, S. Funkcijų išskyrimu pagrįstas neapykantos kurstymo kurstymo identifikavimo modelis. arXiv 2022, arXiv: 2201.04227. 21. Kuldošbajus, A.; Abdusalomovas, A.; Mukhiddinovas, M.; Baratovas, N.; Makhmudovas, F.; Cho, YI CNN naudojamų ultragarsinių vaizdų automatinio klasifikavimo metodo patobulinimas. Tarpt. J. Wavelets Multiresolution Inf. Procesas. 2022, 20, 2150054. 22. Passricha, V.; Aggarwal, RK Gilaus CNN ir dvikrypčio LSTM hibridas automatiniam kalbos atpažinimui. J. Intell. Syst. 2020, 29, 1261–1274. [CrossRef] 23. Mukhamadijevas, A.; Chujayarov, I.; Djurajevas, O.; Cho, J. Automatinis kalbos atpažinimo metodas, pagrįstas giluminio uzbekų kalbos mokymosi metodais. Sensors 2022, 22, 3683. [CrossRef] [PubMed] 24. Li, F.; Liu, M.; Zhao, Y.; Kongas, L.; Dongas, L.; Liu, X.; Hui, M. Širdies garso savybių išskyrimas ir klasifikavimas naudojant 1D konvoliucinius neuroninius tinklus. EURASIP J. Adv. Signalų procesas. 2019, 2019, 59. [CrossRef] 25. Chang, L.-C.; Hung, J.-W. Preliminarus tvirtos kalbos ypatybių ištraukimo tyrimas, pagrįstas būsenų tikimybės didinimu giliuose akustiniuose modeliuose. Appl. Syst. Innov. 2022, 5, 71. [CrossRef] 26. Ramírez, J.; Górriz, JM; Segura, JC balso veiklos aptikimas. Pagrindai ir kalbos atpažinimo sistemos tvirtumas. Tvirtas kalbos atpažinimas ir supratimas; Grimm, M., Kroschel, K., red.; I-TECH Švietimas ir leidyba: Londonas, JK, 2007 m.; 1–22 p. 27. O, S. DNN pagrįstas patikimas kalbos ypatybių ištraukimas ir signalo triukšmo pašalinimo metodas, naudojant patobulintą vidutinės prognozės LMS filtrą kalbai atpažinti. J. Converg. Inf. Techn. 2021, 11, 1–6. [CrossRef] 28. Abbaschian, BJ; Sierra-Sosa, D.; Elmaghraby, A. Kalbos emocijų atpažinimo giluminio mokymosi metodai, nuo duomenų bazių iki modelių. Jutikliai 2021, 21, 1249. [CrossRef] 29. Rakhimov, M.; Mamadjanovas, D.; Mukhiddinov, A. Didelio našumo lygiagretus požiūris į vaizdo apdorojimą paskirstytoje kompiuterijoje. 2020 m. IEEE 14-osios tarptautinės informacinių ir ryšių technologijų taikymo konferencijos (AICT) pranešimuose, Uzbekistanas, Taškentas, 2020 m. spalio 7–9 d.; 1–5 psl. [CrossRef] 30. Abdusalomovas, A.; Mukhiddinovas, M.; Djurajevas, O.; Khamdamovas, U.; Whangbo, TK Automatinis svarbiausių objektų ištraukimas, pagrįstas lokaliai prisitaikančiu slenksčiu, kad būtų galima generuoti taktilinę grafiką. Appl. Sci. 2020, 10, 3350. [CrossRef] 31. Abdusalomov, A.; Whangbo, TK Pirmojo plano atpažinimo metodo patobulinimas naudojant šešėlių šalinimo techniką patalpų aplinkoje. Tarpt. J. Wavelets Multiresolution Inf. Procesas. 2017, 15, 1750039. [CrossRef] 32. Abdusalomov, A.; Whangbo, TK Judančių objektų šešėlių aptikimas ir pašalinimas naudojant geometrijos ir spalvų informaciją patalpų vaizdo srautams. Appl. Sci. 2019, 9, 5165. [CrossRef] 33. Mery, D. Kompiuterinis matymas rentgeno tyrimui; Springer International Publishing: Cham, Šveicarija, 2015; p. 271, ISBN 978-3319207469. 34. Mark, S. Kalbos vaizdai iš naujo kalibruoja kalbos suvokimo ribas. Atkreipkite dėmesį. Suvokimas. Psychophys. 2016, 78, 1496–1511. [CrossRef] 35. Mudgal, E.; Mukuntharaj, S.; Modakas, MU; Rao, YS Šablonu pagrįstas kalbos atpažinimas realiuoju laiku naudojant skaitmeninius filtrus DSP-TMS320F28335. In Proceedings of the 2018 Fourth International Conference on Computing Communication Control and Automation (ICCUBEA), Puna, Indija, 2018 m. rugpjūčio 16–18 d.; 1–6 psl. [CrossRef]
