Audio AI ÚTMUTATÓ

Nyalábformáló és mikrofontömbök

A sugárformálás egyesíti a több ismert pozícióban lévő mikrofonból érkező jeleket úgy, hogy az egyik kiválasztott irányból érkező hang összeadódik, míg a többi irányból érkező hang részben megszűnik.

Hallgassa meg ezt az útmutatótAI-narrált · ~8 min

Ezen az oldalon9 perc olvasás
  1. Áttekintés
  2. Főbb tanulságok
  3. Mély merülés
  4. Irányítson egy kétmikrofonos késleltető és összegző sugarat
  5. Valós megvalósítás
  6. A sugárformálás és a mikrofontömbök jövője
  7. A gyakorlatba ültetés
  8. Források és további olvasmányok
  9. Folytassa a felfedezést
  10. Gyakran ismételt kérdések

Áttekintés

Az intelligens hangszórók, hallókészülékek és konferenciarendszerek így választják ki a hangot egy zajos helyiségben, a modern verziók pedig neurális hálózatok segítségével döntik el, hol van a beszéd, mielőtt a tömb szűrést végezne.

Főbb tanulságok

  1. A sugárformálás késlelteti és súlyozza a több mikrofonból érkező jeleket, így az egyik irányból érkező hang összeadódik, míg a többi irány részben megszűnik.
  2. A 10 elemből álló késleltetés és összeg nagyjából tízszeres jel-zaj erősítést ad a nem korrelált zaj ellen, a MathWorks által kidolgozott példa szerint.
  3. Az MVDR a cél felé tartja az egység erősítését, miközben minimalizálja a kimeneti teljesítményt, ami automatikusan nullákat helyez el az erősen zavaró forrásokon.
  4. Az egymástól több mint fél hullámhossznyi távolságra elhelyezett mikrofonok térbeli aliasingot okoznak, ami rossz irányú szellemnyalábokat hoz létre.
  5. Az irányított hallókészülékek a való életben körülbelül 3 dB-lel javítják az elülső beszédet, főleg ha a beszélő körülbelül 10 lábon belül van.

Mély merülés

A microphone array is a set of two or more microphones mounted at fixed, known positions, for example a ring of seven on top of a smart speaker. Beamforming is the signal processing that combines their outputs into one channel that listens mainly in a chosen direction, the look direction. It works like a spotlight for sound: speech from the target direction is reinforced while noise, music and other voices from elsewhere are reduced. Nothing physically moves; the beam is steered entirely in software, which is why one device can follow a person walking around a room.

The simplest method is delay-and-sum. Sound travels at about 343 meters per second, so a voice arriving from the left reaches the leftmost microphone slightly before the rightmost one. The delay between two microphones equals their spacing times the cosine of the arrival angle, divided by the speed of sound; for microphones 5 centimeters apart and sound arriving end-on, that is about 146 microseconds. Delay-and-sum shifts each channel by the delay expected for the look direction, so the target lines up perfectly, then adds the channels. The aligned target adds coherently, while noise that differs at each microphone adds up only partially. MathWorks' worked example shows the payoff: with 10 elements, the array gain is 10, so output signal-to-noise ratio is about ten times that of a single sensor for uncorrelated noise.

In practice audio beamformers work in the frequency domain. The signal is cut into short frames and converted with a Fourier transform into frequency bins, and each bin gets its own complex weight per microphone, which applies a phase shift and gain. This matters because a fixed time delay corresponds to a different phase at every frequency. Geometry sets hard limits. If microphones are more than half a wavelength apart, the array cannot tell some directions apart and produces ghost beams, an effect called spatial aliasing; at 8 kHz the wavelength is about 4.3 centimeters, so spacing must stay near 2 centimeters to avoid it. At low frequencies, where wavelengths are meters long, a small array barely differs from one microphone, so its beam is very wide.

Adaptive beamformers go further by also learning where the noise is. The minimum variance distortionless response (MVDR) beamformer chooses weights that keep the look direction at exactly unit gain, the distortionless constraint, while making total output power as small as possible. Since the target must pass unchanged, the only way to lower output power is to suppress everything else, so MVDR automatically places deep nulls on strong interferers. In MathWorks' example it put deep nulls on interferers at 30 and 50 degrees while keeping 0 dB gain toward a target at 45 degrees, where plain delay-and-sum let the interference mask the signal. The linearly constrained minimum variance (LCMV) beamformer generalizes this with several constraints at once.

Deep learning changed how the look direction is found. In 2016 Heymann, Drude and Haeb-Umbach at Paderborn University, and separately Erdogan and colleagues at MERL, trained neural networks to estimate a mask, a value for every time-frequency point saying how likely it is to be speech rather than noise. The masks are used to estimate the spatial statistics of speech and of noise, which in turn give MVDR weights without knowing the talker's angle in advance. Google described neural networks that perform the multichannel processing jointly with acoustic modeling in its 2017 paper on Google Home, reporting 8 to 28% fewer word errors relative to the existing production system. Apple's December 2018 article on HomePod described a six-microphone chain of echo cancellation, mask-based multichannel Wiener filtering, dereverberation and blind source separation, with the "Hey Siri" detector choosing the best output stream. Apple reported word error rate improvements of about 40% for reverberant speech, 74% in loud background noise and 61% with a competing talker.

Compared with single-microphone noise suppression, beamforming has an advantage that no single-channel model can match: it uses where the sound comes from, not just what it sounds like. A linear beamformer such as MVDR also adds little distortion to the target, which is why it is popular in front of speech recognizers. The trade-off is hardware: more microphones, synchronized sampling and careful placement. Hearing aids show the scale of benefit with only two microphones per ear. Laurel Christensen's 2013 review in The Hearing Review puts first-order directional benefit at about 3 dB in real life, notes that linking the microphones on both ears narrows the beam from about 60 to about 45 degrees, and reports that this added about 1 dB in speech-shaped noise but nothing measurable in babble.

Beamforming has well-known failure modes. Reverberation is the biggest: in a room, a voice reaches the array directly and also via many reflections from every wall, and reflected energy arriving from all sides cannot be removed by aiming. The Hearing Review notes that directional hearing aids help mainly when the talker is within about 10 feet, inside the critical distance where direct sound dominates. Diffuse noise, such as a crowded restaurant, has no single direction to null, so adaptive hearing aids fall back to a fixed pattern. Steering errors are dangerous for MVDR: in MathWorks' example, aiming at 43 degrees when the talker was at 45 made MVDR treat the talker as interference and suppress it, which is called signal self-nulling. Moving talkers, microphone mismatch and loudspeaker echo add further error.

What it takes in practice depends on the product. A hearing aid manages with two microphones a few millimeters apart and tight power limits. A smart speaker uses six or seven microphones in a ring of a few centimeters, multichannel echo cancellation so it can hear while playing music, and enough compute to run continuously; Apple says its HomePod front end uses less than 15% of one core of a 1.4 GHz A8 chip. MVDR itself requires estimating and inverting a small covariance matrix, one row and column per microphone, for every frequency bin, a modest cost on modern chips. The harder engineering is mechanical: keeping microphones matched, sealed from internal vibration and placed according to the spacing rules.

04Működő példa

Irányítson egy kétmikrofonos késleltető és összegző sugarat

  1. Vegyünk két, 5 centiméter távolságra lévő mikrofont egy vonalon, és egy beszélőt, amely 60 fokos szöget zár be ezzel a vonallal, a hangsebesség pedig 343 méter másodpercenként.

  2. Számítsuk ki a késleltetést: 0,05 × cos(60 fok) osztva 343-mal, ami 0,025 / 343, körülbelül 73 mikrosecond.

  3. 48 kHz-es mintavételi frekvencián ez 73 mikrosecond × 48 000 másodpercenként, körülbelül 3,5 mintát jelent, ezért használjunk tört késleltető szűrőt vagy frekvenciatartománybeli fázistolást.

  4. Késleltessük a korábbi mikrofont ennyivel, hogy a beszélő hullámformája mindkét csatornán összehangolódjon, majd vegyük átlaguk a két csatorna értékét.

  5. Ellenőrizzük az aliasingot: egy fél hullámhossz 343 / (2 f), így az 5 centiméteres távolság csak körülbelül 3,4 kHz-ig biztonságos.

  6. Játsszunk zajt egy másik szögből, és hasonlítsuk össze a kimeneti szintet egyetlen mikrofon szintjével.

Mit mutat

Egy sugár 60 fokos irányba. Ellenőrizze, ha 60 fokos és más szögből játszik egy teszt hangot: a célzott hang szintje megmarad a átlagolás után, míg a többi irányból származó zaj és a nem korrelált mikrofon zaj csökken, akár 3 dB-ig két mikrofon esetén.

Valós megvalósítás

Amazon Echo egy hét mikrofonból álló kör alakú tömböt használ sugárirányítás, zajcsökkentés és visszhangeltávolítás funkciókkal; 2017 áprilisában a Amazon ugyanazt a tervezést kínálta más eszközgyártóknak az Alexa 7-Mic távolsági fejlesztőcsomagként.

Apple HomePod egy hat mikrofonból álló elülső felületet futtat, amely többcsatornás visszhangeltávolítást, maszk-alapú zajcsökkentést és forráselválasztást kínál, és kevesebb, mint 15%-át használja egy A8 processzor magjának, a Apple 2018-as kutatási cikke szerint.

Google Home beszédfelismerője, amelyet 2016 novemberében indítottak, neurális hálózatokat használ, amelyek többcsatornás feldolgozást végeznek együttesen az akusztikus modellezéssel, és a szavak hibaarányát 8‑tól 28‑ig százalékban csökkentik a korábbi termelési rendszerhez képest.

A irányított mikrofonokkal ellátott hallókészülékek a valós mérések szerint körülbelül 3 dB‑kal javítják a beszéd jel-zaj arányát elölről, és nagyobb előnyökkel jár, ha a zaj a hallgató mögött van.

A maszk-alapú MVDR sugárformálás, amelyet a MERL és a Paderborni Egyetem kutatói 2016-ban publikáltak, lehetővé teszi, hogy egy neurális hálózat megtalálja a beszédet, így a sugárformáló egy ismeretlen irányú beszélő felé irányítható.

A sugárformálás és a mikrofontömbök jövője

Since the mask-based beamformers of 2016, the line between beamforming and neural networks has kept blurring. Google's 2017 Google Home paper already trained multichannel processing jointly with recognition, and Apple's 2018 HomePod system combined classical filters with neural speech-presence estimates and stream selection driven by a wake-word detector. Open problems remain the ones physics imposes: heavy reverberation, diffuse noise with no direction to null, moving talkers and tiny devices whose microphones sit too close together to separate low frequencies. Hearing-aid research illustrates the limits; the 2013 Hearing Review analysis found that a narrower binaural beam added about 1 dB in one noise type and nothing in babble, so narrower is not automatically better for listeners who also need awareness of their surroundings. Active research directions include arrays formed from separate devices such as phones in a meeting room, which face clock-synchronization problems, and end-to-end networks that learn spatial filtering directly from raw multichannel audio. Whether learned approaches will fully replace explicit beamformers, or keep wrapping classical MVDR-style filters that are easy to analyze and add little distortion, is not settled.

A gyakorlatba ültetés

Miért számít

  • Hozzáférés és elérés. Javítja a hozzáférhetőséget az átírás, a narráció és a hangfelületek révén.
  • Költség és költségvetés. A médiacsapatok kisebb költségvetéssel gyorsabban szállíthatják a csiszolt hanganyagot.
  • Sebesség és méretarány. Az ügyfélközpontú rendszerek nagyobb léptékben képesek feldolgozni a beszélt interakciókat.

Vigyázz

  • A beleegyezés hiányában nő a hanggal való visszaélés és a megszemélyesítés kockázata.
  • A pontosság csökkenhet az akcentusok, dialektusok vagy zajos környezetben.
  • A szintetikus hang összetéveszthető a hiteles beszéddel egyértelmű címkézés nélkül.

Következő lépések

  1. Kérjen kifejezett hozzájárulást a hangrögzítéshez, klónozáshoz és újrafelhasználáshoz.
  2. Tesztelje a minőséget különféle hangszórókon és háttérviszonyok között.
  3. Határozza meg, mikor kell egy embernek felülvizsgálnia vagy jóváhagynia a kimeneteket.
  4. Címkézze fel a szintetikus hanganyagot, és vezessen származási nyilvántartást az elszámoltathatóság érdekében.

Források és további olvasmányok

  1. Apple Machine Learning ResearchSiri optimalizálása HomePodon távoli környezetben
  2. Amazon Alexa Developer BlogA távoli hangtechnológia átadása a Amazon Echo‑ból harmadik fél eszközöknek
  3. ISCA Archive (Interspeech 2017)Akusztikus modellezés a Google Home számára
  4. MERL (Interspeech 2016)Fejlesztett MVDR sugárformálás egycsatornás maszkjósló hálózatokkal
  5. Paderborn University (ICASSP 2016)Neurális hálózaton alapuló spektrális maszkbecslés akusztikus sugárformáláshoz
  6. MathWorksKonvencionális és adaptív sugárformálók
  7. The Hearing ReviewA irányultság evolúciója: A fejlesztések nagyobb előnyt jelentettek-e a hallókészülékhasználók számára?

Folytassa a felfedezést

Ingyenes hírlevél

Szerezze meg a napi AI összefoglalót

Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.

Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.

Teszteld magad

Vegyél részt a Beamforming és mikrofonrácsok tesztjében

Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.

Kezdő kvíz

Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt

Gyakran ismételt kérdések

Mi az a sugárformálás és mikrofon tömbök?

A beamforming több mikrofon jeleit kombinálja ismert pozíciókban, hogy egy kiválasztott irányból származó hang összeadódjon, míg más irányokból származó hang részben elnyelődik. Ez a módszer, amellyel a okos hangszórók, hallókészülékek és konferencia rendszerek egy zajos szobában is kiemelik a hangot, és a modern verziók ideiglenes hálózatokat használnak a beszéd helyének meghatározására, mielőtt a rács elvégzi a szűrést.

Milyen fizikai jelet használ ki elsősorban a sugárformálás?

A hang minden mikrofonhoz kissé eltérő időpontban jut el; A sugárformálás ezeket a késleltetéseket használja az irány szerinti szűréshez.

Hogy hívják a legegyszerűbb sugárformáló technikát?

A késleltetés és az összeg összehangolja a célirányból érkező jeleket, és összeadja őket, így erősítik egymást.

Mi a meghatározó korlátozás egy MVDR beamformerben?

Az MVDR egy torzításmentes válaszkorlátot ír elő a célra, és minimalizálja a kimeneti teljesítményt ezen korlátozás mellett.

Hogyan kapcsolódik a sugárformálás az egymikrofonos zajelnyomáshoz?

A sugáralakítás olyan irány/térbeli szűrést ad hozzá, amelyet az egycsatornás módszerek nem tudnak biztosítani, így együtt működnek.

Miért okozhat túl nagy mikrofon távolság térbeli aliasingot?

Magas frekvenciákon a széles távolságú mikrofonok fázisát zavarosan mintázhatják, így különböző irányok hasonlóak tűnhetnek.