Sauti ya kugonga, kupiga, kuangusha kitu au kupiga kwa nyundo inayosikika katika jengo la ghorofa haionekani kila mara kana kwamba inatoka moja kwa moja katika chumba ambako chanzo kipo. Sakafu za zege iliyoimarishwa, kuta, nguzo, mihimili na nafasi za hewa husafirisha sauti kupitia njia tofauti. Sauti mbili za athari zinazozalishwa katika nafasi ileile zinaweza kurekodiwa kwa namna tofauti na kipaza sauti kimoja zinapotokea katika sehemu tofauti za ghorofa. Hali hii hufanya iwe vigumu kuhamisha mbinu za kujifunza zinazojaribu kutambua mahali chanzo kilipo kwa kutazama ishara ya sauti pekee kwenda kwenye ghorofa nyingine au sehemu za jengo zenye muundo unaofanana.

Utafiti huu unapendekeza mbinu mpya ya kuainisha mahali pa sauti ya athari kwa kuwakilisha jengo la zege iliyoimarishwa kama grafu. Katika modeli, vipengele vya jengo kama sakafu, ukuta, ujazo wa hewa na kipokezi vimefafanuliwa kuwa vifundo; miunganisho ya kimwili kati ya vipengele hivyo imefafanuliwa kuwa kingo. Usafirishaji wa sauti ya athari ndani ya jengo umeundwa kwa utaratibu wa upitishaji ujumbe unaohamisha taarifa kati ya vifundo jirani kwenye grafu.

Kifundo cha chanzo hupewa upachikaji wa sauti uliopatikana kutoka kwa sauti halisi ya athari, huku vifundo vingine vikianzishwa kwa vekta za mwanzo zinazowakilisha hali ya mazingira. Sifa kama aina ya kipengele cha jengo, nafasi ya chanzo katika vipimo vitatu ikilinganishwa na kipokezi, taarifa ya ghorofa ya jamaa na aina ya athari huongezwa kwenye vifundo vya grafu. Uzani unaoweza kujifunzwa huboreshwa ili kupunguza tofauti kati ya sauti za athari zilizopimwa katika jengo halisi na mwitikio unaokadiriwa katika kifundo cha kipokezi cha grafu.

Mbinu hiyo ililinganishwa na korilesheni mtambuka, mtandao wa neva wa konvolusheni unaotegemea SoundNet na mtandao wa kawaida wa neva uliounganishwa kikamilifu wenye idadi inayofanana ya vigezo. Ingawa korilesheni mtambuka na CNN ziliweza kuonyesha usahihi mkubwa katika sehemu ya ghorofa iliyoonekana wakati wa mafunzo, usahihi wao uliposhushwa hadi takriban asilimia 29–38 walipohamishiwa kwenye sehemu nyingine ya ghorofa ambayo haikuwa imeonekana hapo awali. Mbinu inayopendekezwa inayotegemea grafu iliripoti usahihi wa asilimia 100 katika migawanyo yote mitano tofauti ya data, kwa uthibitishaji na pia kwa jaribio la ghorofa isiyoonekana.

Matokeo haya yanaonyesha kwamba, jiometri ya jengo na miunganisho ya kimuundo inapojumuishwa waziwazi kwenye modeli, uhusiano uliojifunzwa kati ya sauti na chanzo unaweza kuhamishwa vizuri zaidi kwenda kwenye sehemu nyingine za ghorofa. Hata hivyo, jaribio lilifanywa kwa maeneo manne ya chanzo, kipokezi kimoja, upeo mdogo wa anga na mipangilio fulani ya majengo ya zege iliyoimarishwa. Kwa hiyo, mbinu hiyo inapaswa kuzingatiwa si kama mfumo tayari wa kubaini kwa uhakika chanzo cha kelele ya jirani katika kila jengo la makazi, bali kama mbinu ya utafiti yenye matumaini katika maabara na katika kiwango cha jengo halisi.

Tatizo kuu la utafiti ni nini?

Kelele ya athari kati ya ghorofa ni tatizo muhimu la ubora wa maisha, hasa katika makazi ya zege iliyoimarishwa. Tukio kama kitu kuanguka sakafuni, pigo la nyundo, mpira mzito kuachwa juu ya sakafu au kupiga uso mara kwa mara husababisha vipengele vya jengo kutetemeka. Mtetemo huu huenea kupitia sakafu, kuta, nguzo, mihimili na ujazo wa hewa; kisha husikika kama sauti katika vyumba au ghorofa nyingine.

Sikio la binadamu mara nyingi haliwezi kutambua kwa usahihi ni jirani gani anayesababisha sauti. Sababu ni kwamba jengo si mazingira rahisi na yenye sifa zinazofanana kila mahali. Sauti si lazima isafiri katika mwelekeo mfupi zaidi wa kijiometri. Vipengele tofauti vya jengo, sehemu za makutano na vyumba vinaweza kupunguza, kuakisi au kuhamisha sauti katika mwelekeo mwingine kwa viwango tofauti.

Katika tafiti za awali zinazotegemea data, athari zimetengenezwa katika maeneo maalumu na ishara zilizorekodiwa na sensa moja zimeunganishwa na maeneo ya chanzo. Modeli iliweza kuweka mahali kwa mafanikio athari zilizokuwa karibu na maeneo iliyoona wakati wa mafunzo. Pia ilipata mafanikio fulani katika kutofautisha chanzo kilikuwa katika ghorofa ipi.

Hata hivyo, tatizo muhimu liliibuka: hata nafasi ya jamaa ya chanzo na kipokezi ilipowekwa sawa, mgawanyo wa sauti iliyorekodiwa ulibadilika jaribio liliporudiwa katika sehemu nyingine ya ghorofa. Modeli inayojifunza kutoka kwa ishara ghafi ya sauti pekee haikuweza kukadiria kwa uhakika chumba au mahali maalumu katika ghorofa ambayo haikuwa imeona wakati wa mafunzo.

Kwa nini tatizo hili ni muhimu?

Kutambua chanzo cha sauti ya athari si muhimu tu katika migogoro kati ya majirani. Mbinu hiyo ya kiufundi inaweza pia kutumika katika maeneo yafuatayo:

• Kufuatilia mienendo ya watu katika majengo mahiri
• Kugundua matukio ya kuanguka kwa wazee au watu wanaoishi peke yao
• Kubaini kuingia bila ruhusa na matukio ya usalama
• Kufuatilia athari isiyo ya kawaida katika mashine au vipengele vya jengo
• Kuchunguza kwa njia ya kimaabara malalamiko ya kelele
• Kutambua vyanzo vya mtetemo wa kimuundo kwa madhumuni ya matengenezo

Katika mifumo yenye sensa nyingi, mahali pa chanzo panaweza kukokotolewa kwa kutumia tofauti ya muda wa kuwasili kati ya sensa kwa mbinu zinazofanana na triangulation. Hata hivyo, sensa nyingi huongeza gharama za nyaya, usawazishaji na usakinishaji. Kwa kuwa utafiti huu unalenga kuweka chanzo kwa kutumia sensa moja tu, una mvuto kwa upande wa utekelezaji wa vitendo.

Unajibu pengo gani katika fasihi?

Mbinu za kuweka mahali chanzo cha sauti na mtetemo ndani ya jengo kwa ujumla zinaweza kugawanywa katika makundi mawili:

• Mbinu za kianaliti: Huzingatia milinganyo ya wazi kama tofauti ya muda wa kuwasili, kasi ya ueneaji, pembe na modeli ya kimwili ya mawimbi.
• Mbinu zinazotegemea kujifunza: Hujifunza kutoka kwa data uhusiano kati ya ishara iliyopimwa na mahali pa chanzo.

Faida ya mbinu za kianaliti ni uwezo wake wa kutafsiriwa kimwili. Kwa upande mwingine, ni vigumu kuunda kwa usahihi sifa za nyenzo, viunganishi, upunguzaji wa nishati na mtawanyiko katika jengo tata. Mbinu zinazotegemea kujifunza zinaweza kuzoea data bila kuhitaji vigezo hivi vya kina vya kimwili; lakini zinahitaji idadi kubwa ya mifano yenye lebo na zinaweza kuwa na tatizo la kujumuisha maarifa kwenye sehemu tofauti za jengo.

Utafiti huu unajenga daraja kati ya mbinu hizo mbili. Hausuluhishi mlinganyo kamili wa mawimbi wa jengo; badala yake unaingiza wazi jiometri ya jengo na miunganisho ya vipengele ndani ya modeli ya kujifunza. Hivyo modeli hujaribu kujibu kwa njia isiyo ya moja kwa moja si swali la “sauti hii inafanana na darasa gani?” pekee, bali pia “sauti inaweza kuwa imefika kwa kipokezi kupitia miunganisho ipi ndani ya jengo?”

Kwa nini jengo liliwakilishwa kama grafu?

Grafu ni muundo wa kihisabati unaoundwa na vifundo na miunganisho kati ya vifundo hivyo:

\[ \mathcal{G} = (\mathcal{V}, \mathcal{E}) \]

Hapa:

• \(\mathcal{V}\) ni seti ya vifundo.
• \(\mathcal{E}\) ni seti ya kingo au miunganisho kati ya vifundo.

Katika utafiti, vifundo vinawakilisha vipengele vya kimwili vya jengo la zege iliyoimarishwa:

• Sakafu
• Kuta
• Vyumba au ujazo wa hewa
• Mahali palipo kipokezi cha sauti
• Maeneo yanayowezekana ya chanzo cha athari

Kingo zinaonyesha jinsi vipengele hivi vinavyounganishwa kimwili. Kwa mfano, sakafu inaweza kuunganishwa na ukuta, ukuta na ujazo wa chumba jirani, na chumba na kifundo cha kipokezi.

Faida ya uwakilishi huu ni kwamba, mpangilio uleule wa kijiometri wa vyumba unapojirudia katika ghorofa tofauti, uhusiano wa kimuundo unaweza kuhifadhiwa. Hata kama mgawanyo wa sauti ghafi unabadilika, muundo wa miunganisho kati ya chanzo na kipokezi unaweza kubaki sawa katika grafu.

Grafu ya jengo katika utafiti inaonekanaje?

Katika mchoro mkuu wa grafu wa utafiti, vifundo vya sakafu vimeonyeshwa kama duara, vifundo vya ukuta kama pembetatu, vifundo vya hewa kama rombu na kifundo cha kipokezi kama mraba. Mistari inayounganisha vifundo inawakilisha njia zinazowezekana za uhamishaji wa sauti.

Kifundo cha chanzo kimewekwa alama nyekundu na kipokezi kwa mraba wa bluu. Sifa zinazotokana na sauti ya athari huanza katika kifundo cha chanzo na kuenea kupitia vifundo vya sakafu, ukuta na hewa kuelekea kipokezi.

Grafu ikitumiwa moja kwa moja pamoja na vipengele vyote vya jengo, idadi ya miunganisho inaweza kuwa kubwa sana. Ili kupunguza utata huu, watafiti waligawa jengo katika vipengele vya kiwango cha chumba na kutumia muundo wa kingo uliorahisishwa unaohifadhi njia fupi zaidi kati ya chanzo na kipokezi.

Sifa za vifundo ni zipi?

Kila kifundo hakiwakilishwi kwa aina ya muundo pekee. Utafiti uliingiza sifa zifuatazo katika vifundo:

Vipengele vya kimuundo vimesimbwa kama ifuatavyo:

• Sakafu: [1, 0, 0]
• Ukuta: [0, 1, 0]
• Hewa: [0, 0, 1]

Taarifa ya ghorofa ya jamaa:

• Ghorofa iliyo juu ya kipokezi: [1]
• Ghorofa ileile: [0]
• Ghorofa iliyo chini ya kipokezi: [-1]

Hali ya mwanzo ya kifundo cha chanzo

Umbo ghafi la wimbi la sauti ya athari halikuingizwa moja kwa moja kwenye grafu. Kwanza lilibadilishwa na kisimbaji kinachotegemea SoundNet kuwa upachikaji wa sauti wenye vipimo vichache zaidi.

Hali ya mwanzo ya kifundo cha chanzo imefafanuliwa kama ifuatavyo:

\[ \mathbf{h}^{0}_{s} = [\phi \ \mathcal{A}_{v}] \]

Hapa:

• \(\mathbf{h}^{0}_{s}\) ni hali ya mwanzo ya kifundo cha chanzo.
• \(\phi\) ni upachikaji uliosimbwa wa sauti ya athari.
• \(\mathcal{A}_{v}\) ni sifa za kifundo zinazohusu muundo, nafasi, ghorofa na aina ya chanzo.

Kwa lugha ya kawaida, kifundo cha chanzo hubeba taarifa “aina hii ya athari ilitokea hapa na nafasi yake katika jengo ni hii”.

Hali ya mwanzo ya vifundo visivyo chanzo

\[ \mathbf{h}^{0}_{v \neq source} = [\mathbf{U} \ \mathcal{A}_{v}] \]

Hapa U ni vekta nasibu ya mazingira yenye vipengele vya sifuri au chanya na jumla yake ikiwa sawa na 1.

Vifundo hivi havina ishara halisi ya athari. Vinawakilisha tu aina ya kipengele katika jengo na hali ya mazingira. Kadiri upitishaji ujumbe unavyoendelea, sehemu ya taarifa ya chanzo huhamishiwa kwenye vifundo hivi.

Kisimbaji cha SoundNet kinafanya nini?

SoundNet ni mtandao wa konvolusheni unaochota sifa zilizojifunzwa kutoka kwa maumbo ghafi ya mawimbi ya sauti. Utafiti ulitumia sehemu ya SoundNet kutoka ingizo hadi safu ya ReLU6 na kisha kuongeza safu mbili zilizounganishwa kikamilifu.

Lengo ni kubadilisha rekodi ndefu na yenye vipimo vingi ya sauti kuwa uwakilishi mfupi zaidi unaoweza kuunganishwa na hali ya kifundo cha grafu. Kwa njia hii, modeli ya grafu haichakati kila sampuli ya sauti ghafi, bali muhtasari wenye maana kwa aina ya chanzo na sifa za uhamishaji.

Upitishaji ujumbe ni nini?

Katika mitandao ya neva ya grafu, upitishaji ujumbe ni mchakato ambapo kila kifundo hupokea taarifa kutoka kwa majirani zake na kusasisha hali yake. Katika utafiti huu, mchakato huo unafananishwa na kuenea kwa nishati ya athari ndani ya jengo.

Upitishaji ujumbe una hatua mbili kuu:

1. Ujumlishaji: Sifa katika vifundo jirani hukusanywa pamoja.
2. Usasishaji wa hali: Taarifa kutoka kwa majirani huunganishwa na hali ya awali ya kifundo.

Mchakato huu hurudiwa kwa hatua tofauti K. Thamani ya K huamua ni kina gani cha miunganisho katika grafu ambacho taarifa ya sauti inaweza kufikia.

Ujumlishaji wa taarifa za majirani

Hali ya awali ya kila kifundo jirani hubadilishwa kwa matriki ya uzani unaoweza kujifunzwa inayoshirikiwa na kupitishwa kwenye kitendakazi cha uanzishaji:

\[ \mathbf{h}^{k}_{u_v} = \sigma \left( \mathbf{W}^{k}_{pool} \mathbf{h}^{k-1}_{u_v} + \mathbf{b} \right) \]

Hapa:

• \(\mathbf{h}^{k-1}_{u_v}\) ni hali ya awali ya kifundo jirani.
• \(\mathbf{W}^{k}_{pool}\) ni uzani unaoweza kujifunzwa katika hatua k unaoshirikiwa na vifundo vyote.
• \(\sigma\) ni kitendakazi kisicho mstari cha uanzishaji.
• b ni kigezo cha bias.

Hali zilizobadilishwa za majirani huunganishwa kwa kutumia kitendakazi cha ujumlishaji kinachoitwa AGG:

\[ \mathbf{h}^{k}_{\mathcal{N}(v)} = AGG \left( \left\{ \mathbf{h}^{k}_{u_v} : u_v \in \mathcal{N}(v) \right\} \right) \]

Hapa \(\mathcal{N}(v)\) inaonyesha majirani wa kifundo v.

Usasishaji unaozingatia hali ya awali

\[ \mathbf{h}^{k}_{v} = \sigma \left( \mathbf{W}^{k} CONCAT \left( \mathbf{h}^{k}_{\mathcal{N}(v)}, \mathbf{h}^{k-1}_{v} \right) \right) \]

Kisha hali hurekebishwa kwa norma ya L2:

\[ \mathbf{h}^{k}_{v} \leftarrow \frac{\mathbf{h}^{k}_{v}} {\left\lVert \mathbf{h}^{k}_{v} \right\rVert_{2}} \]

Usasishaji huu huruhusu kifundo kuhifadhi si taarifa kutoka kwa majirani tu bali pia hali yake ya awali. Normalization huzuia ukubwa wa sifa katika vifundo tofauti usiongezeke bila udhibiti.

Maana yake ya kimwili ni nini?

Milinganyo hii si modeli ya uhifadhi wa nishati iliyokokotolewa moja kwa moja kwa kitengo cha kimwili cha nishati halisi ya sauti. Hali za vifundo vya grafu ni vekta za sifa zilizojifunzwa. Kwa hiyo upitishaji ujumbe haujibu moja kwa moja swali “ni desibeli ngapi za sauti zimepita?”

Badala yake, modeli hujifunza kutoka kwa rekodi za jengo halisi uhusiano huu: sifa ya athari inayoanzia katika eneo fulani la chanzo inapaswa kuunda uwakilishi wa namna gani katika kifundo cha kipokezi inapopita kupitia miunganisho ya jengo?

Muundo wa kingo za grafu ulirahisishwaje?

Kujumuisha vipengele vyote vya jengo na miunganisho yote ya jengo halisi kunaweza kuunda grafu kubwa sana na tata. Watafiti waligawa kila ghorofa katika sehemu za kiwango cha chumba na kuhifadhi njia fupi zaidi kati ya chanzo na kipokezi.

Urahisishaji huu:

• Unapunguza mzigo wa ukokotoaji.
• Unaelekeza umakini kwenye njia zinazowezekana zaidi za uhamishaji kati ya chanzo na kipokezi.
• Unazuia miunganisho isiyo ya lazima au ya mbali kuvuruga kujifunza.

Hata hivyo, haijathibitishwa kwamba sauti halisi husafiri kupitia njia fupi zaidi pekee. Kunaweza kuwa na uakisi, njia ndefu za kimuundo na athari za makutano. Kwa hiyo grafu iliyorahisishwa ni uwakilishi wa kukadiria wa jengo halisi.

Uzani wa grafu ulijifunzaje?

Uzani katika upitishaji ujumbe haujulikani mwanzoni. Uliboreshwa kwa kutumia sauti za athari zilizopimwa kutoka katika maeneo tofauti ya chanzo ndani ya jengo halisi.

Uboreshaji mkuu katika utafiti umeelezwa kama ifuatavyo:

\[ \mathbf{W}^{*} = \arg\min_{\mathbf{W}} \mathcal{L} \left( \phi(x_{train,i}), \mathbf{h}^{K}_{r} \right) \]

Hapa:

• \(\mathbf{W}^{*}\) ni uzani bora wa grafu uliojifunzwa.
• \(\phi(x_{train,i})\) ni upachikaji wa sauti ya mafunzo iliyopimwa.
• \(\mathbf{h}^{K}_{r}\) ni hali inayoundwa katika kifundo cha kipokezi mwishoni mwa upitishaji ujumbe.
• \(\mathcal{L}\) ni tofauti kati ya upachikaji wa sauti iliyopimwa na makadirio ya grafu.

Modeli inapofunzwa kwa rekodi kutoka katika maeneo tofauti ya chanzo, hujaribu kujifunza ni kwa kiwango gani kila muunganisho wa kimuundo hubadilisha sifa ya sauti.

Sauti mpya ya athari inawekwaje mahali?

Baada ya mafunzo, mwitikio unaotarajiwa katika kifundo cha kipokezi hukokotolewa kwa kila eneo linalowezekana la chanzo kwenye grafu. Miitikio hii huhifadhiwa katika mkusanyiko unaoitwa D.

Sauti mpya ya athari inapowasili, hubadilishwa kuwa upachikaji kwa kisimbaji cha SoundNet na kulinganishwa na miitikio inayowezekana ndani ya D:

\[ \hat{v} = \arg\min_{v} \mathcal{L} \left( \phi(\tilde{x}_{new}), D \right) \]

Hapa:

• \(\hat{v}\) ni kifundo cha chanzo kilichokadiriwa.
• \(\tilde{x}_{new}\) ni rekodi mpya ya athari.
• D ni seti ya miitikio iliyojifunzwa inayozalishwa katika kipokezi na maeneo yote ya chanzo yanayowezekana.

Sauti mpya inafanana zaidi na mwitikio upi unaowezekana, chanzo huchaguliwa kuwa kifundo hicho.

Jaribio lilifanywa kwa data gani?

Seti mbili za data zilitumika katika utafiti:

Seti ya data ya APT II

Rekodi za APT II zilitengenezwa katika jengo halisi la zege iliyoimarishwa. Vyanzo viliwekwa katikati ya vyumba. Maeneo manne ya msingi ya chanzo yaliitwa 2-A, 2-B, 2-C na 2-D.

Seti ndogo tatu zilitayarishwa:

• Kipokezi cha ghorofa ya chini: Vyanzo 2-A, 2-B, 2-C na 2-D vilirekodiwa na sensa moja iliyo ghorofa moja chini.
• Kipokezi cha ghorofa ya juu: Maeneo hayo hayo ya chanzo yalirekodiwa na sensa iliyo ghorofa moja juu.
• Sehemu ya ghorofa isiyoonekana: Vyanzo 2-A′, 2-B′, 2-C′ na 2-D′ vilirekodiwa katika sehemu nyingine ya ghorofa, tena kwa sensa moja iliyo chini.

Jaribio kuu la uhamishaji taarifa lilifanywa kwenye data hii ya tatu iliyokusanywa katika sehemu tofauti ya ghorofa ingawa nafasi za jamaa kati ya chanzo na kipokezi zilikuwa sawa.

Seti ya data ya SNU-B36-50E

Seti hii ya data ilitoka katika jengo la kampasi la Chuo Kikuu cha Taifa cha Seoul. Ina takriban rekodi 2300 za sauti na maeneo 19 ya chanzo.

Kwa kuwa ni kubwa na yenye aina nyingi zaidi, ilitumika kwa mafunzo ya awali ya modeli ya upachikaji inayotegemea SoundNet. Grafu kuu ya jengo iliboreshwa kwa data ya APT II.

Ni aina gani za athari zilitumika?

Aina tatu za athari zilibainishwa katika sifa za grafu:

• MB: Medicine ball drop, kuachwa kwa mpira mzito wa tiba juu ya sakafu
• HD: Hammer drop, kuangushwa kwa nyundo juu ya sakafu
• HH: Hammering, kupiga uso kwa nyundo

Athari hizi zina mgawanyo tofauti wa masafa, muda na nishati. Kuongeza aina ya chanzo kama sifa ya grafu kunaweza kusaidia modeli kutofautisha athari tofauti zinazotoka katika eneo lilelile.

Mbinu za kulinganisha

1. Korilesheni mtambuka

Ishara mpya ililinganishwa na kila ishara ya mafunzo katika uhamisho tofauti wa muda:

\[ \mathcal{C} (x_{new},x_{train,i})[\tau] = \sum_{n=0}^{N-1} x_{new}[n] x_{train,i}[n+\tau] \]

Hapa:

• \(\tau\) ni uhamisho wa muda.
• N ni urefu wa ishara.
• \(\mathcal{C}\) inaonyesha kufanana kati ya ishara mbili.

Eneo la mafunzo lenye kufanana kwa kiwango cha juu huchaguliwa kuwa chanzo cha sauti mpya.

2. Mtandao wa neva wa konvolusheni

CNN inayotegemea SoundNet huchota sifa kutoka kwa umbo ghafi la wimbi na kuainisha moja kwa moja eneo la chanzo. Modeli hii haitumii jiometri ya jengo au miunganisho ya sakafu na ukuta.

3. Mtandao wa kawaida wa neva uliounganishwa kikamilifu

Modeli hii inayoitwa VNN ina idadi inayofanana ya vigezo vinavyoweza kujifunzwa na sifa zilezile za ingizo kama mbinu ya grafu. Hata hivyo, haina muundo wa vifundo na kingo. Ulinganisho huu ulitumika kuchunguza kama mafanikio yalitokana na topolojia ya grafu badala ya idadi kubwa tu ya vigezo.

Mpangilio wa mafunzo

Seti kuu ya data iligawanywa bila mpangilio kwa uwiano wa 4:1 kwa mafunzo na uthibitishaji. Migawanyo mitano tofauti ya nasibu ilitumika.

Hyperparameters zilitafutwa kwa majaribio 30 ya nasibu. Katika kila jaribio, vigezo vilichaguliwa kutoka masafa ya 10^-4 hadi 10 na modeli zikafunzwa kwa epoch 30. Vigezo vilivyotoa matokeo bora katika uthibitishaji vilifungwa na kisha jaribio likafanywa kwa data ya ghorofa isiyoonekana.

Matokeo ya usahihi

Korilesheni mtambuka na CNN zilionyesha utendaji mkubwa katika sampuli za uthibitishaji zenye mgawanyo sawa na data ya mafunzo. Hata hivyo, zilipata upungufu mkubwa wa utendaji katika data ya jaribio kutoka sehemu nyingine ya ghorofa.

Ingawa VNN ilikuwa na ingizo na idadi ya vigezo vinavyofanana na mbinu ya grafu, ilitoa matokeo yasiyo thabiti katika uthibitishaji na jaribio. Matokeo haya yanaonyesha kwamba kuongeza sifa za jengo kama vekta pekee hakutoshi; mpangilio wa miunganisho kati ya vipengele pia ni muhimu.

Mbinu ya grafu ilitoa usahihi wa asilimia 100 katika migawanyo yote. Dai kuu la utafiti ni kwamba matokeo haya yanatokana na grafu kupunguza tofauti ya mgawanyo kati ya sehemu tofauti za ghorofa.

Usahihi wa asilimia 100 unapaswa kutafsiriwaje?

Usahihi wa asilimia 100 ni wa kuvutia; hata hivyo, upeo wa jaribio ni mdogo. Jaribio lina madarasa manne tu ya chanzo. Jiometri ya chanzo na kipokezi ni ileile kama katika mafunzo, na aina ya jengo ni zege iliyoimarishwa.

Kwa hiyo, matokeo hayamaanishi yafuatayo:

• Kwamba vyumba vyote vinaweza kutambuliwa kwa uhakika katika kila jengo
• Kwamba athari nyingi zinazotokea wakati mmoja zinaweza kutofautishwa
• Kwamba sauti zinazoenezwa hewani kama televisheni, mazungumzo au muziki zinaweza kuwekwa mahali
• Kwamba modeli haitahitaji kufunzwa tena ikiwa mahali pa sensa patabadilika
• Kwamba usahihi uleule utadumishwa katika jiometri tofauti za majengo

Matokeo yanaonyesha kwamba, chini ya masharti yaliyofafanuliwa ya jaribio, mbinu ya grafu ilihamisha taarifa vizuri zaidi kuliko modeli za kulinganisha.

Vielelezo vya t-SNE vinaonyesha nini?

t-SNE ni mbinu ya kuonyesha katika vipimo viwili uwakilishi wa sauti wenye vipimo vingi. Ili kueleza mafanikio ya mbinu ya grafu, upachikaji wa matokeo wa maeneo manne ya chanzo ulionyeshwa kwa t-SNE.

Katika data ya uthibitishaji inayofanana na mgawanyo wa mafunzo, CNN na modeli ya grafu zilitenganisha madarasa ya chanzo katika makundi yaliyo wazi kiasi. Katika VNN, baadhi ya vyanzo vilichanganyika.

Katika data ya ghorofa isiyoonekana, makundi ya VNN na CNN yalipishana kwa kiwango kikubwa. Hali hii inaonyesha kwamba modeli hazikuweza kuhamisha nafasi zilezile za jamaa katika sehemu tofauti ya ghorofa hadi darasa lilelile.

Katika mbinu ya grafu, maeneo manne ya chanzo yalitenganishwa kama mistari au makundi tofauti. Watafiti walitafsiri hali hii kuwa jiometri ya grafu ilisawazisha mabadiliko ya mgawanyo wa data.

Kielelezo cha kuenea kwa nishati kinaonyesha nini?

Hatua za upitishaji ujumbe k = 1, 2, 3 na 4 kwenye grafu zilionyeshwa kwa kipimo cha rangi. Katika hatua ya kwanza, uanzishaji mkubwa ulikuwa karibu na kifundo cha chanzo; katika hatua zinazofuata ulienea kuelekea vifundo jirani na kipokezi.

Kielelezo hiki kinaonyesha kwamba modeli haihamishi taarifa ya sauti moja kwa moja kutoka chanzo hadi kipokezi kwa hatua moja; huihamisha hatua kwa hatua kupitia miunganisho ya jengo.

Hata hivyo, ni muhimu kukumbuka kwamba kipimo cha rangi si kiwango halisi cha shinikizo la sauti au nishati halisi katika joule. Thamani zinazoonyeshwa ni jumla ya sifa za vifundo zilizojifunzwa.

Umuhimu wa utafiti kwa mtazamo wa historia

Mbinu za awali za kujifunza kwa sensa moja ziliweza kufanikiwa katika mpangilio wa chumba au ghorofa ulioonekana wakati wa mafunzo, lakini zilipata upungufu mkubwa wa usahihi wakati wa kuhamishiwa sehemu nyingine za ghorofa. Utafiti huu unashughulikia tatizo hilo la uhamishaji kwa kuunda muktadha wa kimuundo kwa uwazi.

Mbinu inayotegemea grafu inatoa safu ya kati inayoweza kutafsiriwa zaidi kuliko modeli za uainishaji wa mwisho hadi mwisho zinazopuuza kabisa muundo wa kimwili. Vipengele kama sakafu, ukuta, hewa na kipokezi vina uwakilishi wa wazi ndani ya modeli.

Umuhimu wake leo

Mifumo ya majengo mahiri inazidi kutumia sensa za sauti, mtetemo, joto na mwendo. Uwezo wa kuweka chanzo kwa sensa moja unaweza kupunguza idadi ya sensa na gharama za usakinishaji.

Hasa katika uchunguzi wa kina wa malalamiko ya kelele katika makazi, mifumo inaweza kuendelezwa ili kubaini si ukubwa wa sauti pekee bali pia mahali panapowezekana pa chanzo. Hata hivyo, matumizi katika mazingira ya faragha, madai yasiyo sahihi na matumizi ya kisheria yanahitaji utegemezi mkubwa na uthibitishaji huru.

Umuhimu wake kwa siku zijazo

Waandishi wanapendekeza kuchunguza mbinu za few-shot learning na unsupervised learning ili kupunguza utegemezi wa data. Ikiwa aina nyingi zaidi za majengo, mipangilio ya chanzo-kipokezi na aina za sauti zitajumuishwa, mbinu hiyo inaweza kujumuishwa katika hali pana zaidi.

Mbinu ya grafu inaweza baadaye kuunganishwa na modeli za taarifa za jengo. Jiometri ya kuta, sakafu na vyumba ya jengo inaweza kuchukuliwa kiotomatiki kutoka faili ya BIM na kutumiwa kuunda grafu ya uhamishaji wa sauti.

Athari zinazowezekana katika maisha ya kila siku

• Kukadiria ni chumba au mwelekeo gani unaozalisha sauti ya kugonga kati ya ghorofa
• Kutambua eneo ambako wazee wameanguka
• Kufuatilia nyayo na mwendo katika nyumba mahiri
• Kupata chanzo cha athari au kuvunjika bila ruhusa katika mifumo ya usalama
• Kutambua maeneo ya athari au mtetemo usio wa kawaida katika majengo ya viwandani
• Kutambua vipengele vya jengo vinavyopaswa kupewa kipaumbele katika hatua za kupunguza kelele

Nguvu za utafiti

• Kutumia sauti zilizopimwa katika jengo halisi la zege iliyoimarishwa
• Kutoa mbinu ya kuweka mahali kwa sensa moja
• Kuingiza wazi jiometri ya jengo na vipengele vya kimuundo kwenye modeli
• Kuwakilisha uhamishaji wa sauti ya kimuundo kwa upitishaji ujumbe
• Kufanya ulinganisho na VNN yenye ingizo lilelile na idadi inayofanana ya vigezo
• Kulinganisha na mbinu msingi tofauti kama korilesheni mtambuka na CNN
• Kujaribu mahsusi uhamishaji taarifa katika sehemu ya ghorofa isiyoonekana
• Kuripoti matokeo thabiti katika migawanyo mitano tofauti ya nasibu ya data
• Kuonyesha tofauti ya mgawanyo kwa vielelezo vya t-SNE
• Kuonyesha kwa picha kuenea kwa ujumbe hatua kwa hatua kwenye grafu

Mapungufu ya utafiti

• Utafiti ni preprint ambayo haijapitia tathmini ya rika.
• Jaribio kuu lina maeneo manne tu ya chanzo.
• Mpangilio uliodhibitiwa ulitumika, ambapo vyanzo viliwekwa katikati ya vyumba.
• Eneo moja tu la kipokezi lilitumika kama msingi.
• Upeo mdogo wa jiometri ya chanzo-kipokezi ulichunguzwa.
• Vyanzo vingi vya sauti vinavyotokea wakati mmoja havikujaribiwa.
• Kelele ya usuli na sauti changamano za maisha ya kila siku hazikutathminiwa kwa kina.
• Hakuna uthibitishaji wa jumla uliofanywa kwenye nyenzo na jiometri tofauti za majengo.
• Kingo za grafu zimerahisishwa kwa njia fupi zaidi; njia zote halisi za uhamishaji hazijawakilishwa.
• Vigezo halisi vya elastic na acoustic vya vipengele vya jengo havikutumika moja kwa moja.
• Modeli inahitaji ukusanyaji mkubwa wa data na uwekaji lebo.
• Usahihi wa asilimia 100 unahusu eneo dogo na lililofafanuliwa la jaribio.
• Hatari ya false positive na kumlaumu mtu kimakosa katika malalamiko halisi ya majengo ya makazi haijachunguzwa.
• Mabadiliko ya muda mrefu ya sensa, joto na unyevunyevu hayajachunguzwa.

Utafiti unasema nini, na hausemi nini?

Utafiti unasema: Kuwakilisha sakafu, kuta, hewa na kipokezi cha jengo la zege iliyoimarishwa kama grafu kunaweza kuimarisha uhamishaji taarifa kati ya sehemu tofauti za ghorofa katika kuweka mahali sauti ya athari kwa sensa moja. Wakati CNN, VNN na korilesheni mtambuka ambazo hazitumii miunganisho ya jengo zilipata upungufu mkubwa wa usahihi katika ghorofa isiyoonekana, mbinu ya grafu ilionyesha mafanikio makubwa katika jaribio lililofafanuliwa.

Utafiti hausemi: Mbinu hiyo haihakikishi kutambua kwa uhakika chanzo cha kelele ya jirani katika kila jengo la makazi. Matokeo si ushahidi wa kisheria. Modeli haijaonyesha kwamba inaweza kuweka mahali vyanzo vingi vinavyotokea wakati mmoja, mazungumzo, televisheni au kelele za kawaida zinazoenezwa hewani. Usahihi wa asilimia 100 si utendaji wa jumla uliothibitishwa katika idadi pana ya majengo.

Mbinu na Matokeo ya Utafiti

Mtiririko wa kazi wa kiufundi wa utafiti

Fomula kuu

Kifundo cha chanzo:

\[ \mathbf{h}^{0}_{s} = [\phi \ \mathcal{A}_{v}] \]

Kifundo kisicho chanzo:

\[ \mathbf{h}^{0}_{v \neq source} = [\mathbf{U} \ \mathcal{A}_{v}] \]

Usasishaji wa kifundo:

\[ \mathbf{h}^{k}_{v} = \sigma \left( \mathbf{W}^{k} CONCAT \left( \mathbf{h}^{k}_{\mathcal{N}(v)}, \mathbf{h}^{k-1}_{v} \right) \right) \]

Normalization ya L2:

\[ \mathbf{h}^{k}_{v} \leftarrow \frac{\mathbf{h}^{k}_{v}} {\left\lVert \mathbf{h}^{k}_{v} \right\rVert_{2}} \]

Uboreshaji wa uzani wa grafu:

\[ \mathbf{W}^{*} = \arg\min_{\mathbf{W}} \mathcal{L} \left( \phi(x_{train,i}), \mathbf{h}^{K}_{r} \right) \]

Ukadiriaji wa chanzo:

\[ \hat{v} = \arg\min_{v} \mathcal{L} \left( \phi(\tilde{x}_{new}), D \right) \]

Muundo wa seti za data

Usahihi katika migawanyo mitano ya data

Tafsiri ya kiufundi ya matokeo

• Mgawanyo wa uthibitishaji na jaribio hutofautiana kwa sifa za sauti ingawa jiometri zao za jamaa ni sawa.
• CNN ina nguvu katika mgawanyo wa mafunzo lakini haikuweza kuzoea mabadiliko ya eneo katika sehemu nyingine ya ghorofa.
• Kutoa sifa zilezile za jengo kwa VNN pekee hakukutosha.
• Mbinu ya grafu ilitumia miunganisho kati ya vipengele pamoja na sifa za jengo.
• Vielelezo vya t-SNE vilionyesha kwamba mbinu ya grafu iliweza kutenganisha madarasa manne ya chanzo hata katika ghorofa isiyoonekana.
• Vielelezo vya upitishaji ujumbe vinaonyesha uanzishaji wa chanzo ukienea kuelekea kipokezi katika hatua k.

Maeneo yanayowezekana ya matumizi

• Kufuatilia sauti za athari kati ya ghorofa katika majengo mahiri ya makazi
• Kuweka mahali nyayo kwa sensa moja
• Kugundua kwa kiwango cha chumba matukio ya kuanguka na kugongana
• Kutambua vyanzo vya mtetemo wa kimuundo kwa madhumuni ya matengenezo
• Uchunguzi wa awali wa kiufundi wa malalamiko ya kelele
• Usimamizi wa kiotomatiki wa starehe na kelele ya jengo

Mahitaji ya utafiti wa baadaye

• Majaribio kwenye majengo mengi zaidi na nyenzo tofauti za ujenzi
• Jiometri pana zaidi za chanzo-kipokezi
• Ulinganisho na maeneo mengi ya sensa
• Kutenganisha vyanzo vingi vya sauti vinavyotokea wakati mmoja
• Majaribio ya uimara chini ya kelele ya usuli
• Few-shot learning na unsupervised learning
• Kuunda grafu kiotomatiki kutoka data ya BIM
• Kuongeza kwenye grafu sifa halisi za kimwili za nyenzo na viunganishi
• Kuchunguza mabadiliko ya muda mrefu ya sensa na mazingira
• Kuzalisha alama ya uaminifu au kutokuwa na uhakika kwa makadirio yasiyo sahihi

Maelezo ya Chanzo na Mbinu

Maudhui haya yanategemea utafiti wa Hwiyong Choi na Haesang Yang wenye kichwa “Localization of impact sound in a building via a graph representation”.

Utafiti ni kazi ya majaribio ya akili bandia na acoustics ya majengo ambayo hubadilisha sakafu, kuta, hewa na kipokezi cha jengo la zege iliyoimarishwa kuwa muundo wa grafu wenye vifundo na kingo; huchakata sauti halisi za athari kwa kisimbaji kinachotegemea SoundNet; na hukadiria mahali pa chanzo kutoka sensa moja kwa kueneza taarifa ya sauti kwenye grafu kwa upitishaji ujumbe.

Maandishi yana kauli ya wazi “This preprint research paper has not been peer reviewed”. Utafiti ni preprint iliyochapishwa kwenye SSRN na haujapitia tathmini ya rika. Kwa hiyo, maelezo ya mbinu, matokeo ya usahihi wa asilimia 100 na tafsiri kuhusu uwezo wa kujumuisha zinaweza kubadilika baada ya tathmini huru ya rika.

Ingawa jaribio lilifanywa katika jengo halisi la zege iliyoimarishwa, jaribio kuu lilihusisha maeneo manne tu ya chanzo, kipokezi kimoja, jiometri ndogo ya chanzo-kipokezi na aina za athari zilizodhibitiwa. Mbinu hiyo haijathibitishwa kwa upana kwenye nyenzo tofauti za majengo, vyanzo vingi vinavyotokea wakati mmoja, kelele kubwa ya usuli au uwekaji wa sensa unaobadilika.

Usahihi wa jaribio wa asilimia 100 uliripotiwa kwa seti ya data ya APT II iliyofafanuliwa na migawanyo mitano ya data. Thamani hii si dhamana kwa majengo yote ya makazi au hali halisi za maisha. Utafiti haujaonyesha kwamba mbinu inaweza kutumika kama chombo cha kisheria cha kugundua kelele, kubainisha wajibu wa jirani au kupima acoustics rasmi.

Maudhui yameandaliwa kwa kutegemea tu mbinu, seti za data, milinganyo, majedwali, vielelezo, matokeo ya majaribio na mapungufu yaliyomo katika PDF. Hakuna madai ya mafanikio ya mfumo wa kibiashara, utambuzi wa uhakika wa jirani, dhamana ya usalama au uthibitishaji mkubwa wa uwanjani ambayo hayakuwemo katika PDF yaliyoongezwa.