{"id":6942,"date":"2024-12-17T18:30:00","date_gmt":"2024-12-17T17:30:00","guid":{"rendered":"https:\/\/haimagazine.com\/?p=6942"},"modified":"2025-06-26T11:06:00","modified_gmt":"2025-06-26T09:06:00","slug":"przetwarzanie-dzwieku","status":"publish","type":"post","link":"https:\/\/haimagazine.com\/pl\/hai-magazine\/przetwarzanie-dzwieku\/","title":{"rendered":"\ud83d\udd12 Przetwarzanie d\u017awi\u0119ku"},"content":{"rendered":"

Ze s\u0142uchu, czyli tak naprawd\u0119 z interpretacji czasowych zmian ci\u015bnienia akustycznego, korzystamy du\u017co cz\u0119\u015bciej, ni\u017c Wam si\u0119 wydaje. Do uwzgl\u0119dniania kontekstu wypowiedzi, do oceny bezpiecze\u0144stwa sytuacji, w kt\u00f3rej si\u0119 znajdujemy, do wykrywania anomalii d\u017awi\u0119kowych (np. podczas jazdy samochodem) czy te\u017c zwyczajnie do szeroko rozumianej… rozrywki. Ka\u017cdy z nas wyposa\u017cony jest w szereg zmys\u0142\u00f3w, za pomoc\u0105 kt\u00f3rych do\u015bwiadczamy otaczaj\u0105cego nas \u015bwiata: wzrok, w\u0119ch, smak, dotyk i s\u0142uch. Budowa ucha jest fascynuj\u0105ca i umo\u017cliwia rejestrowanie niewielkich zmian ci\u015bnienia powietrza. D\u017awi\u0119k w postaci fali akustycznej pobudza b\u0142on\u0119 b\u0119benkow\u0105, kt\u00f3rej zadaniem jest przekazanie drga\u0144 powietrza na uk\u0142ad najmniejszych kosteczek w naszym ciele (m\u0142oteczek, kowade\u0142ko, strzemi\u0105czko). Kosteczki te wzmacniaj\u0105 drgania i przekazuj\u0105 je do p\u0142ynu wewn\u0105trz \u015blimaka, gdzie zamieniane s\u0105 na impulsy nerwowe. Impulsy te z kolei s\u0105 przekazywane przez nerw s\u0142uchowy do m\u00f3zgu, gdzie zachodzi proces przetwarzania sygna\u0142\u00f3w akustycznych (d\u017awi\u0119ku). Warto wspomnie\u0107, \u017ce poza s\u0142yszeniem cz\u0142owiek jest w stanie r\u00f3wnie\u017c generowa\u0107 sygna\u0142y akustyczne. Narz\u0105d mowy uznawany jest za najbardziej wyrafinowany i skomplikowany instrument stworzony przez natur\u0119. W dalszej cz\u0119\u015bci skupimy si\u0119 na sygnale akustycznym i tym, co algorytmy sztucznej inteligencji s\u0105 w stanie z nim zrobi\u0107.<\/p>

Zacznijmy od koncepcji kszta\u0142tu fali<\/strong> (ang. waveform). Wyobra\u017amy sobie punkt w przestrzeni, kt\u00f3rego zachowanie b\u0119dziemy obserwowa\u0107 zar\u00f3wno w czasie, jak i w amplitudzie (g\u0142o\u015bno\u015bci). Takie dwuwymiarowe podej\u015bcie umo\u017cliwia podstawow\u0105 analiz\u0119, jednak naprawd\u0119 ciekawie robi si\u0119, gdy dodamy trzeci wymiar, a mianowicie zawarto\u015b\u0107 cz\u0119stotliwo\u015bciow\u0105 d\u017awi\u0119ku (analiz\u0119 widmow\u0105). Tutaj pojawia si\u0119 Transformata Fouriera, kt\u00f3ra jest metod\u0105 rozbijania czego\u015b (np. sygna\u0142u d\u017awi\u0119kowego) na kilka sinusoid. I tak oto powstaje spektrogram <\/strong>(ang. spectrogram), kt\u00f3ry de facto jest wizualizacj\u0105 sygna\u0142u d\u017awi\u0119kowego. Na osi pionowej widzimy cz\u0119stotliwo\u015bci (od niskich na dole do wysokich na g\u00f3rze), od lewej do prawej, podobnie jak dla kszta\u0142tu fali mamy czas, natomiast kolory pokazuj\u0105, ile energii znajduje si\u0119 w danym pa\u015bmie cz\u0119stotliwo\u015bci.<\/p>

\"\"<\/p>

I tutaj mogliby\u015bmy sko\u0144czy\u0107 nawi\u0105zaniem do wizji komputerowej. Dzi\u0119ki spektrogramowi mamy wizualizacj\u0119 d\u017awi\u0119ku. Te \u201eobrazy\u201d mo\u017cemy poda\u0107 na przyk\u0142ad na zespolone sieci konwolucyjne (ang. CNN), kt\u00f3re s\u0105 powszechnie u\u017cywane do klasyfikacji pojedynczych zdarze\u0144 d\u017awi\u0119kowych. Warto tutaj zauwa\u017cy\u0107, \u017ce w obszarze audio szeroko wykorzystywane s\u0105 zar\u00f3wno koncepcje zaczerpni\u0119te z wizji komputerowej, jak i z przetwarzania j\u0119zyka naturalnego.<\/p>

Podzielmy zatem \u015bwiat d\u017awi\u0119k\u00f3w na podzbiory mo\u017cliwych problem\u00f3w. Z grubsza \u015bwiat obiekt\u00f3w d\u017awi\u0119kowych dzielimy na mow\u0119 pochodz\u0105c\u0105 od cz\u0142owieka oraz wszystkie inne zdarzenia d\u017awi\u0119kowe wok\u00f3\u0142 nas. Warto te\u017c wspomnie\u0107 o cyfrowym przetwarzaniu sygna\u0142\u00f3w (ang. Digital Signal Processing), dzi\u0119ki kt\u00f3remu mo\u017cemy nie tylko rozpoznawa\u0107, wykrywa\u0107 i nazywa\u0107 obiekty d\u017awi\u0119kowe, ale r\u00f3wnie\u017c je przetwarza\u0107 i modyfikowa\u0107.<\/p>

\"\"<\/p>

Historycznie wszystko zacz\u0119\u0142o si\u0119 od rozpoznawania mowy. Automatyczne rozpoznawanie mowy<\/strong> (ang. Automatic Speech Recognition) to technologia, kt\u00f3ra przekszta\u0142ca j\u0119zyk m\u00f3wiony na tekst. Zosta\u0142a ona wprowadzona przez Bell Laboratories w latach pi\u0119\u0107dziesi\u0105tych XX wieku. Analogicznie do wizji komputerowej, pierwszy system \u201eAudrey\u201d potrafi\u0142 jedynie rozpoznawa\u0107 d\u017awi\u0119k jednej wypowiadanej cyfry. Lata 80. i 90. przynios\u0142y znacz\u0105cy post\u0119p g\u0142\u00f3wnie dzi\u0119ki wykorzystaniu Ukrytych Modeli Markowa (ang. Hidden Markov Models), modelowania akustycznego, jak r\u00f3wnie\u017c oczywi\u015bcie wykorzystania modeli j\u0119zykowych. W ostatnich latach pojawi\u0142y si\u0119 z kolei systemy, kt\u00f3re umo\u017cliwiaj\u0105 pe\u0142n\u0105 interakcj\u0119 g\u0142osow\u0105 z asystentami pokroju Bixby, Alexy czy Siri.<\/p>

Dzi\u015b systemy rozpoznawania mowy s\u0105 w powszechnym u\u017cyciu. Pami\u0119tajmy jednak, \u017ce fala d\u017awi\u0119kowa niesie du\u017co wi\u0119cej informacji ani\u017celi same s\u0142owa czy prost\u0105 semantyk\u0119 wypowiedzi. Klasyfikacja m\u00f3wcy<\/strong> umo\u017cliwia wydobycie dodatkowej informacji na temat osoby, kt\u00f3rej g\u0142os analizujemy. Bez problemu jeste\u015bmy w stanie wykry\u0107 jego p\u0142e\u0107 (ang. gender classification)<\/strong> czy te\u017c z grubsza okre\u015bli\u0107 wiek (ang. age estimation)<\/strong>. Ale na podstawie analizy mowy mo\u017cemy r\u00f3wnie\u017c rozpoznawa\u0107 stan emocjonalny m\u00f3wcy. Spos\u00f3b wypowiedzi, intonacja oraz inne cechy wyci\u0105gni\u0119te bezpo\u015brednio z g\u0142osu umo\u017cliwiaj\u0105 lepsz\u0105 interakcj\u0119 z asystentami g\u0142osowymi.<\/p>

Diaryzacja g\u0142osu <\/strong>(ang. speaker diarization) polega na rozr\u00f3\u017cnianiu m\u00f3wc\u00f3w na nagraniu. Pierwszym etapem jest detekcja liczby m\u00f3wc\u00f3w, nast\u0119pnie ich pogrupowanie (klasteryzacja), a ostatnim oznaczenie na osi czasu moment\u00f3w, w kt\u00f3rych dana osoba rzeczywi\u015bcie m\u00f3wi\u0142a. Dzi\u0119ki tej technologii mo\u017cemy dok\u0142adnie wiedzie\u0107, kto w danym momencie zabiera g\u0142os. Jest to podstawa zrozumienia prawdziwej dynamiki rozmowy, zw\u0142aszcza je\u017celi mamy do czynienia z wieloma m\u00f3wcami.<\/p>

\"\"<\/p>

Ostatnim zagadnieniem, je\u017celi chodzi o mow\u0119 i m\u00f3wc\u0119, jest biometria g\u0142osu<\/strong>. Nasz g\u0142os jest unikalny, a \u201eodcisk krtani w powietrzu\u201d zale\u017cy od unikalnych cech zwi\u0105zanych z anatomi\u0105 naszego narz\u0105du mowy (np. wielko\u015b\u0107, kszta\u0142t gard\u0142a i jamy ustnej). Rozpoznawanie m\u00f3wcy<\/strong> (ang. speaker recognition) polega na tworzeniu modeli, kt\u00f3re wykorzystuj\u0105 akustyczne cechy mowy. Stosuje si\u0119 je g\u0142\u00f3wnie w systemach bezpiecze\u0144stwa oraz dost\u0119pu.<\/p>

W \u015bwiecie analizy sygna\u0142\u00f3w akustycznych zrozumienie mowy i ekstrakcja informacji o m\u00f3wcy to tylko wierzcho\u0142ek g\u00f3ry lodowej. Niezwykle ciekawym zastosowaniem analizy sygna\u0142\u00f3w audio jest detekcja oraz klasyfikacja zdarze\u0144 d\u017awi\u0119kowych. Algorytmy sztucznej inteligencji umo\u017cliwiaj\u0105 zar\u00f3wno wykrywanie zdarze\u0144 d\u017awi\u0119kowych (ang. sound event detection) (np. p\u0142acz\u0105ce dziecko, d\u017awi\u0119k zbitej szyby, odg\u0142os pojazdu uprzywilejowanego), jak r\u00f3wnie\u017c klasyfikacj\u0119 sceny akustycznej (ang. acoustic scene classification) (np. ulica, biuro, restauracja). Dzi\u0119ki temu otrzymujemy komplet informacji o d\u017awi\u0119kach, obiektach d\u017awi\u0119kowych i kontek\u015bcie akustycznym, w kt\u00f3rym wyst\u0119puje u\u017cytkownik b\u0105d\u017a jego urz\u0105dzenie.<\/p>

\"\"<\/p>

Poza analiz\u0105 otoczenia akustycznego warto wspomnie\u0107 o Music Information Retrieval<\/strong>. Ka\u017cdy utw\u00f3r muzyczny sk\u0142ada si\u0119 z obiekt\u00f3w d\u017awi\u0119kowych. Separacja i wykrywanie instrument\u00f3w (ang. music source separation and instrument recognition) s\u0105 mo\u017cliwe, a wsp\u00f3\u0142czesne g\u0142\u0119bokie sieci neuronowe \u015bwietnie sobie z tym zadaniem radz\u0105. Dodatkowo dok\u0142adne wykrycie, gdzie dany instrument i jego partia si\u0119 zaczyna (i ko\u0144czy), nazywane jest transkrypcj\u0105 utwor\u00f3w muzycznych (ang. automatic music transcription). Na potrzeby system\u00f3w rekomendacyjnych mo\u017cliwa jest te\u017c klasyfikacja gatunku muzycznego (ang. music classification).<\/p>

Ostatnim obszarem, jaki dzisiaj z grubsza przedstawi\u0119, jest cyfrowe przetwarzanie sygna\u0142\u00f3w <\/strong>(ang. Digital Signal Processing). Sztuczna inteligencja mocno zmieni\u0142a mo\u017cliwo\u015bci wsp\u00f3\u0142czesnych rozwi\u0105za\u0144 i poza detekcj\u0105, klasyfikacj\u0105 czy klasteryzacj\u0105 jest w stanie r\u00f3wnie\u017c przetwarza\u0107 sygna\u0142 audio.<\/p>

Podstaw\u0105 jest separacja \u017ar\u00f3de\u0142 d\u017awi\u0119kowyc<\/strong>h (ang. sound sources separation), kt\u00f3ra odnosi si\u0119 do procesu wyodr\u0119bniania pojedynczych obiekt\u00f3w d\u017awi\u0119kowych z mieszanki sygna\u0142\u00f3w w nagraniach audio.<\/p>

\"\"<\/p>

Podzbiorem separacji \u017ar\u00f3de\u0142 d\u017awi\u0119kowych s\u0105 techniki usuwania szumu<\/strong> (ang. noise suppression) oraz poprawa zrozumia\u0142o\u015bci mowy<\/strong> (ang. speech enhancement). Algorytmy te daj\u0105 ogromn\u0105 popraw\u0119 subiektywnej percepcji i s\u0105 powszechnie u\u017cywane na wiele sposob\u00f3w (np. podczas rozm\u00f3w, telekonferencji, obr\u00f3bki multimedi\u00f3w). W zale\u017cno\u015bci od zastosowa\u0144 wykorzystywane s\u0105 tutaj klasyczne metody przetwarzania sygna\u0142\u00f3w lub zupe\u0142nie nowe podej\u015bcia, opieraj\u0105ce si\u0119 na przyk\u0142ad na modelach dyfuzyjnych (ang. diffusion models).<\/p>

Lokalizacja \u017ar\u00f3de\u0142 d\u017awi\u0119kowych<\/strong> (ang. sound source localization) jest jedn\u0105 z technik bazuj\u0105cych na wielokana\u0142owej analizie sygna\u0142\u00f3w akustycznych (ang. multi-channel signal processing). Podstawy tych technik zaczerpni\u0119to z biologii, a fakt posiadania pary uszu umo\u017cliwia nam lokalizacj\u0119 \u017ar\u00f3d\u0142a d\u017awi\u0119ku. Podstawowe mechanizmy lokalizacji \u017ar\u00f3de\u0142 to mi\u0119dzyuszna r\u00f3\u017cnica czasu i mi\u0119dzyuszna r\u00f3\u017cnica nat\u0119\u017cenia. Algorytmy sztucznej inteligencji s\u0105 w stanie nie tylko wykry\u0107 kierunek, z kt\u00f3rego pochodzi dane \u017ar\u00f3d\u0142o d\u017awi\u0119kowe (ang. direction-of-arrival (DOA) estimation), ale r\u00f3wnie\u017c skupi\u0107 si\u0119 na danym \u017ar\u00f3dle d\u017awi\u0119kowym i jego lokalizacji, aby ograniczy\u0107 poziom sygna\u0142\u00f3w z innych kierunk\u00f3w (ang. beamforming).<\/p>

Jak widzicie, po\u0142\u0105czenie \u015bwiata d\u017awi\u0119k\u00f3w ze sztuczn\u0105 inteligencj\u0105 jest niezwykle ciekawym do\u015bwiadczeniem. Na koniec warto wspomnie\u0107, i\u017c te wszystkie modalno\u015bci (tekst, wizja, audio) nieuchronnie wi\u0105\u017c\u0105 si\u0119 ze sob\u0105. Dopiero ich pe\u0142ne po\u0142\u0105czenie pozwoli na tworzenie rozwi\u0105za\u0144 nie tylko uniwersalnych, ale te\u017c naprawd\u0119 dopasowanych do potrzeb u\u017cytkownika.<\/p>

\"\"<\/p>

<\/p>","protected":false},"excerpt":{"rendered":"

D\u017awi\u0119k jest form\u0105 energii, kt\u00f3ra przemieszcza si\u0119 w powietrzu poprzez wibracje cz\u0105stek powietrza. D\u017awi\u0119ki otaczaj\u0105 nas dos\u0142ownie wsz\u0119dzie.<\/p>\n","protected":false},"author":183,"featured_media":7291,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"rank_math_lock_modified_date":false,"footnotes":""},"categories":[402,763,754,389,405],"tags":[83,486],"popular":[],"difficulty-level":[36],"ppma_author":[445],"class_list":["post-6942","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-hai-magazine","category-ai_praktyka","category-hai_premium","category-narzedzia","category-hai-magazine-3","tag-ai","tag-dzwiek","difficulty-level-easy"],"acf":[],"authors":[{"term_id":445,"user_id":183,"is_guest":0,"slug":"jakub-tkaczuk","display_name":"Jakub Tkaczuk","avatar_url":{"url":"https:\/\/haimagazine.com\/wp-content\/uploads\/2024\/12\/jtkaczuk.jpeg","url2x":"https:\/\/haimagazine.com\/wp-content\/uploads\/2024\/12\/jtkaczuk.jpeg"},"first_name":"","last_name":"","user_url":"","job_title":"","description":"Lider zespo\u0142u Audio Intelligence w Samsung R&D Institute Poland"}],"_links":{"self":[{"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/posts\/6942","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/users\/183"}],"replies":[{"embeddable":true,"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/comments?post=6942"}],"version-history":[{"count":4,"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/posts\/6942\/revisions"}],"predecessor-version":[{"id":7309,"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/posts\/6942\/revisions\/7309"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/media\/7291"}],"wp:attachment":[{"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/media?parent=6942"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/categories?post=6942"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/tags?post=6942"},{"taxonomy":"popular","embeddable":true,"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/popular?post=6942"},{"taxonomy":"difficulty-level","embeddable":true,"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/difficulty-level?post=6942"},{"taxonomy":"author","embeddable":true,"href":"https:\/\/haimagazine.com\/pl\/wp-json\/wp\/v2\/ppma_author?post=6942"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}