Көп кабаттуу үйдө угулган уруу, кагылышуу, түшүрүп алуу же балка менен чабуу үнү дайыма эле үн булагы жайгашкан бөлмөдөн түз келип жаткандай кабыл алынбайт. Темир-бетон плиталар, дубалдар, мамылар, устундар жана аба көңдөйлөрү үндү ар башка жолдор аркылуу өткөрөт. Бир эле жерде пайда кылынган эки сокку үнү имараттын ар башка кабат бөлүктөрүндө чыкканда, бир микрофон тарабынан ар башкача жазылышы мүмкүн. Бул жагдай үн сигналына гана карап булактын ордун табууга аракет кылган үйрөнүүгө негизделген ыкмаларды башка кабаттарга же окшош курулуш бөлүктөрүнө өткөрүүнү кыйындатат.

Бул изилдөө темир-бетон имаратты граф катары көрсөткөн жаңы сокку үнүн локалдаштыруу ыкмасын сунуштайт. Моделде плита, дубал, аба көлөмү жана кабылдагыч сыяктуу курулуш компоненттери түйүндөр, ал эми бул компоненттердин ортосундагы физикалык байланыштар кырлар катары аныкталган. Сокку үнүнүн имарат ичиндеги таралышы графта кошуна түйүндөр ортосунда маалымат өткөргөн билдирүү өткөрүү механизми менен моделденген.

Булак түйүнүнө чыныгы сокку үнүнөн алынган аудио эмбеддинг берилет, башка түйүндөр болсо чөйрөнүн абалын көрсөткөн баштапкы векторлор менен инициализацияланат. Курулуш компонентинин түрү, булактын кабылдагычка салыштырмалуу үч өлчөмдүү орду, салыштырмалуу кабат маалыматы жана сокку түрү сыяктуу өзгөчөлүктөр граф түйүндөрүнө кошулган. Үйрөнүлө турган салмактар чыныгы имаратта өлчөнгөн сокку үндөрү менен графтын кабылдагыч түйүнүндө болжолдогон жооптун ортосундагы айырманы азайта тургандай оптималдаштырылган.

Ыкма кайчылаш корреляция, SoundNet негизиндеги конволюциялык нейрон тармагы жана параметрлеринин саны окшош стандарттуу толук байланышкан нейрон тармагы менен салыштырылган. Окутууда көрүлгөн кабат бөлүгүндө кайчылаш корреляция жана CNN жогорку тактык көрсөтө алганы менен, мурда көрүлбөгөн башка кабат бөлүгүнө өткөрүлгөндө алардын тактыгы болжол менен пайыз 29–38 аралыгына түшкөн. Ал эми сунушталган графка негизделген ыкма беш өзүнчө маалымат бөлүштүрүүнүн баарында текшерүүдө да, көрүлбөгөн кабат тестинде да пайыз 100 тактык билдирген.

Бул жыйынтык имараттын геометриясы жана конструкциялык байланыштары моделге ачык түрдө киргизилгенде үйрөнүлгөн үн-булак мамилеси башка кабат бөлүктөрүнө жакшыраак өткөрүлүшү мүмкүн экенин көрсөтөт. Бирок эксперимент төрт булак орду, бир кабылдагыч, чектелген мейкиндиктик камтуу жана белгилүү темир-бетон имарат түзүлүштөрү менен жүргүзүлгөн. Ошондуктан ыкма ар бир көп кабаттуу үйдө кошунанын ызы-чуусунун так булагын таба турган даяр система катары эмес, келечектүү лабораториялык жана чыныгы имарат масштабындагы изилдөө ыкмасы катары бааланышы керек.

Изилдөөнүн негизги көйгөйү эмнеде?

Кабаттар аралык сокку ызы-чуусу, өзгөчө темир-бетон турак үйлөрдө, жашоо сапатына олуттуу таасир эткен көйгөй болуп саналат. Жерге түшкөн буюм, балканын соккусу, оор топтун полго ташталышы же бетке кайра-кайра чабуу сыяктуу окуялар курулуш элементтерин термелтет. Бул термелүү плита, дубал, мамы, устун жана аба көлөмү аркылуу таралып, башка бөлмөлөрдө же кабаттарда үн болуп угулат.

Адамдын кулагы көп учурда үн кайсы кошунадан келгенин туура аныктай албайт. Мунун себеби имарат жөнөкөй жана бир тектүү чөйрө эмес. Үн эң кыска геометриялык багыт менен гана тарашы шарт эмес. Ар башка курулуш элементтери, бирикме чекиттери жана бөлмөлөр үндү ар башка деңгээлде басаңдатып, чагылдырып же башка багыттарга өткөрүшү мүмкүн.

Мурунку маалыматка негизделген изилдөөлөрдө белгилүү чекиттерде сокку пайда кылынган жана бир сенсор жазган сигналдар булак орундар менен дал келтирилген. Модель окутууда көргөн чекиттердин жанындагы соккуларды ийгиликтүү локалдаштыра алган. Ошондой эле булактын кайсы кабатта экенин айырмалоодо да белгилүү ийгиликтерге жетишилген.

Бирок маанилүү көйгөй чыккан: Булак менен кабылдагычтын салыштырмалуу орду бирдей сакталса да, эксперимент башка кабат бөлүгүндө кайталанганда жазылган үндүн бөлүштүрүлүшү өзгөргөн. Чийки үн сигналынан гана үйрөнгөн модель окутууда көрбөгөн кабатта так бөлмө же орун болжолдой алган эмес.

Бул көйгөй эмне үчүн маанилүү?

Сокку үнүнүн булагын аныктоо кошуналардын ортосундагы талаш-тартыш үчүн гана маанилүү эмес. Ушул эле техникалык ыкма төмөнкү тармактарда да колдонулушу мүмкүн:

• Акылдуу имараттарда адамдардын кыймылын көзөмөлдөө
• Улгайган же жалгыз жашаган адамдардын жыгылуу учурларын аныктоо
• Уруксатсыз кирүү жана коопсуздук окуяларын табуу
• Машина же курулуш элементтериндеги анормалдуу соккуларды көзөмөлдөө
• Ызы-чуу боюнча даттанууларды объективдүү иликтөө
• Конструкциялык термелүү булактарын тейлөө максатында аныктоо

Көп сенсорлуу системаларда булактын орду сенсорлордун ортосундагы жетүү убактысынын айырмасын колдонуп, триангуляцияга окшош ыкмалар менен эсептелиши мүмкүн. Бирок көп сандагы сенсорлор кабелдөө, синхрондоштуруу жана орнотуу чыгымдарын жаратат. Бул изилдөө бир гана сенсор менен локалдаштырууну көздөгөндүктөн, практикалык орнотуу жагынан кызыктуу.

Адабияттагы кайсы боштукту толтурат?

Имарат ичиндеги үн жана термелүү булагын локалдаштыруу ыкмаларын жалпысынан эки топко бөлүүгө болот:

• Аналитикалык ыкмалар: Жетүү убактысынын айырмасы, таралуу ылдамдыгы, бурч жана физикалык толкун модели сыяктуу ачык теңдемелерге негизделет.
• Үйрөнүүгө негизделген ыкмалар: Өлчөнгөн сигнал менен булактын орду ортосундагы байланышты маалыматтан үйрөнөт.

Аналитикалык ыкмалардын артыкчылыгы — физикалык чечмеленүүчүлүгү. Бирок татаал имараттагы материалдык касиеттерди, бирикмелерди, басаңдоону жана дисперсияны так моделдөө кыйын. Үйрөнүүгө негизделген ыкмалар бул деталдуу физикалык параметрлерди билбей туруп маалыматка ыңгайлаша алат; бирок көп көлөмдөгү белгиленген үлгүлөрдү талап кылат жана башка имарат бөлүктөрүнө жалпылоодо кыйынчылык жаралышы мүмкүн.

Бул изилдөө эки ыкманын ортосунда көпүрө түзөт. Имараттын толук толкун теңдемесин чечпейт; бирок имарат геометриясын жана компоненттердин байланыштарын үйрөнүү моделине ачык түрдө кошот. Натыйжада модель “бул үн кайсы класска окшош?” деген суроого гана эмес, кыйыр түрдө “үн имарат ичинде кайсы байланыштар аркылуу кабылдагычка жеткен болушу мүмкүн?” деген суроого да жооп берүүгө аракет кылат.

Имарат эмне үчүн граф катары берилген?

Граф — түйүндөрдөн жана бул түйүндөрдүн ортосундагы байланыштардан турган математикалык түзүлүш:

\[ \mathcal{G} = (\mathcal{V}, \mathcal{E}) \]

Бул жерде:

• \(\mathcal{V}\), түйүндөрдүн жыйындысы.
• \(\mathcal{E}\), түйүндөрдүн ортосундагы кырлар же байланыштар жыйындысы.

Изилдөөдө түйүндөр темир-бетон имараттын физикалык компоненттерин билдирет:

• Плиталар
• Дубалдар
• Бөлмөлөр же аба көлөмдөрү
• Үн кабылдагыч жайгашкан чекит
• Мүмкүн болгон сокку булагынын орундар

Кырлар болсо бул компоненттердин физикалык жактан бири-бири менен кандай байланышканын көрсөтөт. Мисалы, плита дубал менен, дубал кошуна бөлмөнүн аба көлөмү менен, ал эми бөлмө кабылдагыч түйүнү менен байланышта болушу мүмкүн.

Мындай көрсөтүүнүн артыкчылыгы — бирдей геометриялык бөлмө түзүлүшү башка кабаттарда кайталанганда конструкциялык байланыштын сакталышы. Чийки үндүн бөлүштүрүлүшү өзгөрсө да, булак менен кабылдагычтын ортосундагы байланыш үлгүсү графта окшош бойдон калышы мүмкүн.

Изилдөөдөгү имарат графы кандай көрүнөт?

Изилдөөнүн негизги граф схемасында плита түйүндөрү тегерек, дубал түйүндөрү үч бурчтук, аба түйүндөрү ромб, ал эми кабылдагыч түйүнү чарчы менен көрсөтүлгөн. Түйүндөрдү байланыштырган сызыктар үндүн мүмкүн болгон өткөрүү жолдорун билдирет.

Булак түйүнү кызыл түстө, кабылдагыч көк чарчы менен белгиленген. Сокку үнүнөн алынган өзгөчөлүктөр булак түйүнүнөн башталып, плита, дубал жана аба түйүндөрү аркылуу кабылдагычка карай тарайт.

Граф түздөн-түз имараттын бардык компоненттери менен колдонулганда байланыштардын саны өтө чоң болуп кетиши мүмкүн. Изилдөөчүлөр бул татаалдыкты азайтуу үчүн имаратты бөлмө масштабындагы компоненттерге бөлүп, булак менен кабылдагычтын ортосундагы эң кыска жолдорду сактаган жөнөкөйлөштүрүлгөн кыр түзүлүшүн колдонушкан.

Түйүндөрдүн өзгөчөлүктөрү кандай?

Ар бир түйүн курулуш түрү менен гана көрсөтүлбөйт. Изилдөөдө түйүндөргө төмөнкү өзгөчөлүктөр кошулган:

Конструкциялык компоненттер төмөнкүдөй коддолгон:

• Плита: [1, 0, 0]
• Дубал: [0, 1, 0]
• Аба: [0, 0, 1]

Салыштырмалуу кабат маалыматы:

• Кабылдагычтан жогору кабат: [1]
• Ошол эле кабат: [0]
• Кабылдагычтан төмөн кабат: [-1]

Булак түйүнүнүн баштапкы абалы

Сокку үнүнүн чийки толкун формасы графка түз берилген эмес. Адегенде SoundNet негизиндеги коддогуч аркылуу төмөн өлчөмдүү аудио эмбеддингге айландырылган.

Булак түйүнүнүн баштапкы абалы төмөнкүдөй аныкталган:

\[ \mathbf{h}^{0}_{s} = [\phi \ \mathcal{A}_{v}] \]

Бул жерде:

• \(\mathbf{h}^{0}_{s}\), булак түйүнүнүн баштапкы абалы.
• \(\phi\), сокку үнүнүн коддолгон эмбеддинги.
• \(\mathcal{A}_{v}\), түйүндүн курулуш, орун, кабат жана булак түрү өзгөчөлүктөрү.

Күнүмдүк тил менен айтканда, булак түйүнү “бул чекитте ушундай түрдөгү сокку болду жана анын имараттагы орду ушундай” деген маалыматты алып жүрөт.

Булак эмес түйүндөрдүн баштапкы абалы

\[ \mathbf{h}^{0}_{v \neq source} = [\mathbf{U} \ \mathcal{A}_{v}] \]

Бул жерде U — элементтери нөл же оң болуп, суммасы 1ге барабар болгон кокус чөйрө вектору.

Бул түйүндөр чыныгы сокку сигналын камтыбайт. Алар имараттагы компоненттин түрүн жана чөйрөнүн абалын гана билдирет. Билдирүү өткөрүү жүргөн сайын булак маалыматынын бир бөлүгү бул түйүндөргө өткөрүлөт.

SoundNet коддогучу эмне кылат?

SoundNet — чийки аудио толкун формаларынан үйрөнүлгөн өзгөчөлүктөрдү чыгаруучу конволюциялык тармак. Изилдөөдө SoundNetтин кириштен ReLU6 катмарына чейинки бөлүгү колдонулуп, андан кийин эки толук байланышкан катмар кошулган.

Максат — узун жана жогорку өлчөмдүү аудио жазууну граф түйүнүнүн абалы менен бириктирүүгө боло турган компакттуу көрсөтүүгө айландыруу. Ошентип граф модели чийки үндүн ар бир үлгүсүн эмес, булактын түрү жана өткөрүү өзгөчөлүктөрү боюнча маанилүү кыскача көрсөтүүсүн иштетет.

Билдирүү өткөрүү деген эмне?

Граф нейрон тармактарында билдирүү өткөрүү — ар бир түйүн кошуналарынан маалымат алып, өзүнүн абалын жаңырткан процесс. Изилдөөдө бул процесс сокку энергиясынын имарат ичинде таралышына окшоштурулат.

Билдирүү өткөрүү эки негизги баскычтан турат:

1. Топтоо: Кошуна түйүндөрдөгү өзгөчөлүктөр бириктирилет.
2. Абал жаңыртуу: Кошуналардан келген маалымат түйүндүн мурунку абалы менен бириктирилет.

Бул процесс K сандагы дискреттүү кадам боюнча кайталанат. K мааниси үн маалыматы графта канча байланыш тереңдигине чейин жете аларын аныктайт.

Кошуна маалыматтарын топтоо

Ар бир кошуна түйүндүн мурунку абалы жалпы үйрөнүлө турган салмак матрицасы менен өзгөртүлүп, активдештирүү функциясынан өткөрүлөт:

\[ \mathbf{h}^{k}_{u_v} = \sigma \left( \mathbf{W}^{k}_{pool} \mathbf{h}^{k-1}_{u_v} + \mathbf{b} \right) \]

Бул жерде:

• \(\mathbf{h}^{k-1}_{u_v}\), кошуна түйүндүн мурунку абалы.
• \(\mathbf{W}^{k}_{pool}\), k кадамында бардык түйүндөр бөлүшкөн үйрөнүлө турган салмак.
• \(\sigma\), сызыктуу эмес активдештирүү функциясы.
• b, ыктоо мүчөсү.

Өзгөртүлгөн кошуна абалдар AGG деп аталган топтоо функциясы менен бириктирилет:

\[ \mathbf{h}^{k}_{\mathcal{N}(v)} = AGG \left( \left\{ \mathbf{h}^{k}_{u_v} : u_v \in \mathcal{N}(v) \right\} \right) \]

Бул жерде \(\mathcal{N}(v)\), v түйүнүнүн кошуналарын көрсөтөт.

Мурунку абалды эске алган жаңыртуу

\[ \mathbf{h}^{k}_{v} = \sigma \left( \mathbf{W}^{k} CONCAT \left( \mathbf{h}^{k}_{\mathcal{N}(v)}, \mathbf{h}^{k-1}_{v} \right) \right) \]

Андан кийин абал L2 нормасы менен нормалдаштырылат:

\[ \mathbf{h}^{k}_{v} \leftarrow \frac{\mathbf{h}^{k}_{v}} {\left\lVert \mathbf{h}^{k}_{v} \right\rVert_{2}} \]

Бул жаңыртуу түйүнгө кошуналардан келген маалыматты гана эмес, өзүнүн мурунку абалын да сактоого мүмкүндүк берет. Нормалдаштыруу болсо ар башка түйүндөрдө өзгөчөлүк чоңдугунун көзөмөлсүз өсүшүн чектейт.

Физикалык мааниси кандай?

Бул теңдемелер чыныгы үн энергиясынын физикалык бирдиктери менен түз эсептелген энергиянын сакталуу модели эмес. Граф түйүндөрүнүн абалдары — үйрөнүлгөн өзгөчөлүк векторлору. Ошондуктан билдирүү өткөрүү “канча децибел үн өттү?” деген суроого түз жооп бербейт.

Анын ордуна модель чыныгы имараттагы жазуулардан төмөнкү мамилени үйрөнөт: Белгилүү булак ордунан башталган сокку өзгөчөлүгү курулуш байланыштары аркылуу өткөндө кабылдагыч түйүнүндө кандай көрсөтүү пайда болушу керек?

Графтын кыр түзүлүшү кантип жөнөкөйлөштүрүлгөн?

Чыныгы имараттагы бардык курулуш элементтерин жана бардык байланыштарды кошуу өтө чоң жана татаал граф түзүшү мүмкүн. Изилдөөчүлөр ар бир кабатты бөлмө масштабындагы бөлүктөргө бөлүп, булак-кабылдагыч ортосундагы эң кыска жолдорду сакташкан.

Мындай жөнөкөйлөштүрүү:

• Эсептөө жүгүн азайтат.
• Булак менен кабылдагычтын ортосундагы эң ыктымал өткөрүү жолдоруна көңүл бурат.
• Керексиз же алыскы байланыштардын үйрөнүүгө тоскоол болушун чектейт.

Бирок чыныгы үн эң кыска жол менен гана тарай турганы далилденген эмес. Чагылуулар, узунураак конструкциялык жолдор жана бирикме таасирлери болушу мүмкүн. Ошондуктан жөнөкөйлөштүрүлгөн граф чыныгы имараттын болжолдуу көрсөтүүсү болуп саналат.

Граф салмактары кантип үйрөнүлгөн?

Билдирүү өткөрүүдөгү салмактар башында белгисиз. Алар чыныгы имаратта ар башка булак чекиттеринен өлчөнгөн сокку үндөрүн колдонуу менен оптималдаштырылган.

Изилдөөдөгү негизги оптималдаштыруу төмөнкүдөй берилген:

\[ \mathbf{W}^{*} = \arg\min_{\mathbf{W}} \mathcal{L} \left( \phi(x_{train,i}), \mathbf{h}^{K}_{r} \right) \]

Бул жерде:

• \(\mathbf{W}^{*}\), үйрөнүлгөн оптималдуу граф салмактары.
• \(\phi(x_{train,i})\), өлчөнгөн окутуу үнүнүн эмбеддинги.
• \(\mathbf{h}^{K}_{r}\), билдирүү өткөрүүнүн аягында кабылдагыч түйүнүндө пайда болгон абал.
• \(\mathcal{L}\), өлчөнгөн аудио эмбеддинг менен граф болжолунун ортосундагы айырма.

Модель ар башка булак орундарынан алынган жазуулар менен окутулган сайын, кайсы курулуш байланыштары үн өзгөчөлүгүн кандай өлчөмдө өзгөртөрүн үйрөнүүгө аракет кылат.

Жаңы сокку үнү кантип локалдаштырылат?

Окутуудан кийин графта ар бир талапкер булак орду үчүн кабылдагыч түйүнүндө пайда болушу күтүлгөн жооп эсептелет. Бул жооптор D деп аталган жыйнакта сакталат.

Жаңы сокку үнү келгенде ал SoundNet коддогучу менен эмбеддингге айландырылып, D ичиндеги талапкер жооптор менен салыштырылат:

\[ \hat{v} = \arg\min_{v} \mathcal{L} \left( \phi(\tilde{x}_{new}), D \right) \]

Бул жерде:

• \(\hat{v}\), болжолдонгон булак түйүнү.
• \(\tilde{x}_{new}\), жаңы сокку жазуусу.
• D, бардык талапкер булак орундардын кабылдагычта жараткан үйрөнүлгөн жооптор жыйындысы.

Жаңы үн кайсы талапкер жоопко көбүрөөк окшош болсо, булак ошол түйүн деп тандалат.

Эксперимент кайсы маалыматтар менен жүргүзүлгөн?

Изилдөөдө эки маалымат топтому колдонулган:

APT II маалымат топтому

APT II жазуулары чыныгы темир-бетон имаратта түзүлгөн. Булактар бөлмөлөрдүн борборуна жайгаштырылган. Төрт негизги булак чекити 2-A, 2-B, 2-C жана 2-D деп аталган.

Үч ички топтом даярдалган:

• Төмөнкү кабаттагы кабылдагыч: 2-A, 2-B, 2-C жана 2-D булактары бир кабат төмөндөгү бир сенсор менен жазылган.
• Жогорку кабаттагы кабылдагыч: Ушул эле булак орундар бир кабат жогору турган сенсор менен жазылган.
• Көрүлбөгөн кабат бөлүгү: 2-A′, 2-B′, 2-C′ жана 2-D′ булактары башка кабат бөлүгүндө, дагы эле төмөндөгү бир сенсор менен жазылган.

Негизги маалымат өткөрүү тести салыштырмалуу булак-кабылдагыч орундар бирдей болгону менен, башка кабат бөлүгүндө чогултулган ушул үчүнчү маалыматта жүргүзүлгөн.

SNU-B36-50E маалымат топтому

Бул маалымат топтому Сеул Улуттук Университетиндеги кампус имаратынан алынган. Болжол менен 2300 үн жазуусун жана 19 булак ордун камтыйт.

Ал чоңураак жана ар түрдүү болгондуктан SoundNet негизиндеги эмбеддинг моделин алдын ала окутууда колдонулган. Негизги имарат графы болсо APT II маалыматы менен оптималдаштырылган.

Кайсы сокку түрлөрү колдонулган?

Граф өзгөчөлүктөрүндө үч сокку түрү аныкталган:

• MB: Medicine ball drop, оор медициналык топту полго түшүрүү
• HD: Hammer drop, балканы полго түшүрүү
• HH: Hammering, бетке балка менен уруу

Бул соккулар жыштык, узактык жана энергия бөлүштүрүлүшү боюнча айырмаланат. Булак түрүн граф өзгөчөлүгүнө кошуу модельге бир эле орундан чыккан ар башка соккуларды айырмалоого жардам бериши мүмкүн.

Салыштыруу ыкмалары

1. Кайчылаш корреляция

Жаңы сигнал окутуудагы ар бир сигнал менен ар башка убакыт жылыштарында салыштырылган:

\[ \mathcal{C} (x_{new},x_{train,i})[\tau] = \sum_{n=0}^{N-1} x_{new}[n] x_{train,i}[n+\tau] \]

Бул жерде:

• \(\tau\), убакыт жылышы.
• N, сигнал узундугу.
• \(\mathcal{C}\), эки сигналдын окшоштугун көрсөтөт.

Эң жогорку окшоштук берген окутуу орду жаңы үндүн булагы катары тандалат.

2. Конволюциялык нейрон тармагы

SoundNet негизиндеги CNN чийки толкун формасынан өзгөчөлүк чыгарып, булак ордун түз классификациялайт. Бул модель имараттын геометриясын же плита-дубал байланыштарын колдонбойт.

3. Стандарттуу толук байланышкан нейрон тармагы

VNN деп аталган бул модель граф ыкмасына окшош сандагы үйрөнүлө турган параметрлерге жана ошол эле кириш өзгөчөлүктөрүнө ээ. Бирок түйүн жана кыр түзүлүшү жок. Бул салыштыруу ийгилик жөн гана көп параметрден эмес, граф топологиясынан келип чыкканы же чыкпаганын изилдөө үчүн колдонулган.

Окутуу тартиби

Негизги маалымат топтому окутуу жана текшерүү үчүн 4:1 катышында кокус бөлүнгөн. Беш ар башка кокус бөлүү колдонулган.

Гиперпараметрлер 30 кокус сыноо менен изделген. Ар бир сыноодо параметрлер 10^-4 менен 10 аралыгынан тандалып, моделдер 30 epoch окутулган. Текшерүүдө эң жакшы натыйжа берген параметрлер бекитилип, көрүлбөгөн кабат маалыматы менен тест жүргүзүлгөн.

Тактык жыйынтыктары

Кайчылаш корреляция жана CNN окутуу маалыматына окшош бөлүштүрүүдөгү текшерүү үлгүлөрүндө жогорку көрсөткүч берген. Бирок башка кабат бөлүгүндөгү тест маалыматы менен чоң көрсөткүч жоготуусуна учураган.

VNN граф ыкмасына окшош кириш жана параметр санына ээ болгону менен, текшерүүдө да, тестте да туруксуз жыйынтыктарды көрсөткөн. Бул табылга курулуш өзгөчөлүктөрүн вектор катары кошуу эле жетишсиз экенин; компоненттердин байланыш тартиби да маанилүү экенин көрсөтөт.

Граф ыкмасы бардык бөлүүлөрдө пайыз 100 тактык көрсөткөн. Изилдөөнүн негизги дооматы — бул жыйынтык граф түзүлүшү ар башка кабат бөлүктөрүнүн ортосундагы бөлүштүрүү айырмасын азайтканынан келип чыккан.

Пайыз 100 тактыкты кантип түшүндүрүү керек?

Пайыз 100 тактык көңүл бурууга арзыйт; бирок эксперименттин көлөмү чектелүү. Тестте төрт гана булак классы бар. Булак-кабылдагыч геометриясы окутуудагыдай эле жана имараттын түрү темир-бетон.

Ошондуктан бул жыйынтык төмөнкүлөрдү билдирбейт:

• Ар бир имараттагы бардык бөлмөлөрдү так аныктоого болот
• Бир убакта чыккан бир нече соккуну айырмалоого болот
• Телевизор, сүйлөшүү же музыка сыяктуу аба аркылуу тараган үндөрдү локалдаштырууга болот
• Сенсордун орду өзгөргөндө модель кайра окутууну талап кылбайт
• Ар башка имарат геометрияларында ошол эле тактык сакталат

Жыйынтык аныкталган эксперимент шарттарында граф ыкмасы салыштыруу моделдеринен кыйла жакшы маалымат өткөргөнүн көрсөтөт.

t-SNE сүрөттөрү эмнени көрсөтөт?

t-SNE — жогорку өлчөмдүү аудио көрсөтүүлөрдү эки өлчөмдө визуалдаштыруучу ыкма. Граф ыкмасынын ийгилигин түшүндүрүү үчүн төрт булак ордуна таандык чыгыш эмбеддингдери t-SNE менен чийилген.

Окутуу бөлүштүрүлүшүнө окшош текшерүү маалыматында CNN жана граф модели булак класстарын салыштырмалуу ачык кластерлерге бөлгөн. VNNде айрым булактар бири-бирине аралашкан.

Көрүлбөгөн кабат маалыматында VNN жана CNN кластерлери олуттуу түрдө бири-бирине кирип кеткен. Бул моделдер бирдей салыштырмалуу орундарды башка кабат бөлүгүндө ошол эле класска өткөрө албаганын көрсөтөт.

Граф ыкмасында болсо төрт булак орду өзүнчө сызыктар же кластерлер түрүндө ажыраган. Изилдөөчүлөр муну граф геометриясы маалымат бөлүштүрүлүшүнүн өзгөрүшүн теңдеген деп чечмелешкен.

Энергиянын таралуу сүрөтү эмнени көрсөтөт?

Графтагы k = 1, 2, 3 жана 4 билдирүү өткөрүү кадамдары түс шкаласы менен көрсөтүлгөн. Биринчи кадамда жогорку активдүүлүк булак түйүнүнө жакын болсо, кийинки кадамдарда кошуна түйүндөргө жана кабылдагычка карай тараган.

Бул сүрөт модель үн маалыматын булактан кабылдагычка бир кадамда түз өткөрбөстөн, курулуш байланыштары боюнча этап-этабы менен өткөрөрүн көрсөтөт.

Бирок түс шкаласы физикалык үн басым деңгээли же джоуль менен өлчөнгөн чыныгы энергия эмес экенин унутпоо керек. Көрсөтүлгөн маанилер үйрөнүлгөн түйүн өзгөчөлүктөрүнүн суммасы.

Изилдөөнүн өткөн мезгил үчүн мааниси

Мурунку бир сенсорлуу үйрөнүү ыкмалары окутууда көрүлгөн бөлмө же кабат түзүлүшүндө ийгиликтүү боло алган, бирок башка кабат бөлүктөрүнө өткөрүлгөндө тактык олуттуу төмөндөгөн. Бул изилдөө конструкциялык контекстти ачык моделдөө менен ушул өткөрүү маселесин чечүүгө аракет кылат.

Графка негизделген ыкма физикалык курулушту толугу менен эске албаган end-to-end классификация моделдерине караганда чечмелене турган аралык катмар берет. Плита, дубал, аба жана кабылдагыч сыяктуу компоненттердин моделде ачык эквиваленти бар.

Бүгүнкү күн үчүн мааниси

Акылдуу имарат системалары улам көбүрөөк үн, термелүү, температура жана кыймыл сенсорлорун колдонууда. Бир сенсор менен булакты локалдаштыруу мүмкүн болсо, сенсорлордун санын жана орнотуу чыгымын азайтууга болот.

Айрыкча турак үйлөрдө ызы-чуу даттанууларын объективдүү изилдөө үчүн үн деңгээлин гана эмес, булактын болжолдуу ордун да аныктаган системалар иштелип чыгышы мүмкүн. Бирок купуялуулук, туура эмес айыптоо жана укуктук колдонуу жагынан жогорку ишенимдүүлүк жана көз карандысыз текшерүү талап кылынат.

Келечек үчүн мааниси

Авторлор маалыматка көз карандылыкты азайтуу үчүн аз үлгүлүү үйрөнүү жана көзөмөлсүз үйрөнүү ыкмаларын изилдөөнү сунушташат. Көбүрөөк имарат түрү, булак-кабылдагыч түзүлүшү жана үн түрү кошулса, ыкма кеңири шарттарга жалпыланышы мүмкүн.

Граф ыкмасы келечекте имарат маалымат моделдери менен бириктирилиши мүмкүн. Имараттын дубал, плита жана бөлмө геометриясын BIM файлынан автоматтык алып, үн өткөрүү графын түзүүгө болот.

Күнүмдүк жашоого мүмкүн болгон таасирлери

• Кабаттар аралык уруу үнү кайсы бөлмөдөн же багыттан келгенин баалоо
• Улгайган адамдардын жыгылуу окуясы болгон аймакты аныктоо
• Акылдуу үйлөрдө кадам үнүн жана кыймылды көзөмөлдөө
• Коопсуздук системаларында уруксатсыз сокку же сынуу булагын табуу
• Өнөр жай имараттарында анормалдуу сокку же термелүү чекиттерин аныктоо
• Ызы-чууну азайтуу иштеринде артыкчылыктуу курулуш элементтерин аныктоо

Изилдөөнүн күчтүү жактары

• Чыныгы темир-бетон имаратта өлчөнгөн үндөрдү колдонушу
• Бир сенсорлуу локалдаштыруу ыкмасын сунушташы
• Имарат геометриясын жана курулуш компоненттерин моделге ачык киргизиши
• Билдирүү өткөрүү менен конструкциялык үн таралышын көрсөтүшү
• Ошол эле киришке жана окшош параметр санына ээ VNN менен салыштырышы
• Кайчылаш корреляция жана CNN сыяктуу ар башка базалык ыкмалар менен салыштырышы
• Көрүлбөгөн кабат бөлүгүндө маалымат өткөрүүнү атайын сыноосу
• Беш ар башка кокус маалымат бөлүүсүндө туруктуу жыйынтык билдириши
• t-SNE визуалдаштыруулары менен бөлүштүрүү айырмасын көрсөтүшү
• Графтагы этаптуу билдирүү таралышын визуалдык көрсөтүшү

Изилдөөнүн чектөөлөрү

• Изилдөө рецензиялоодон өтпөгөн preprint болуп саналат.
• Негизги тестте төрт гана булак орду бар.
• Булактар бөлмөлөрдүн борборунда турган көзөмөлдөнгөн тартип колдонулган.
• Бир кабылдагыч орду негиз катары алынган.
• Булак-кабылдагыч геометриясынын чектелген аймагы каралган.
• Бир убакта бир нече үн булагы сыналган эмес.
• Фондук ызы-чуу жана күнүмдүк жашоодогу татаал үндөр кеңири бааланган эмес.
• Ар башка курулуш материалдары жана геометрияларында жалпы текшерүү жүргүзүлгөн эмес.
• Граф кырлары эң кыска жолдор менен жөнөкөйлөштүрүлгөн; чыныгы бардык өткөрүү жолдору көрсөтүлгөн эмес.
• Курулуш компоненттеринин чыныгы серпилгич жана акустикалык параметрлери түз колдонулган эмес.
• Модель көп маалымат чогултууну жана белгилөөнү талап кылат.
• Пайыз 100 тактык кичине жана аныкталган тест аймагына гана тиешелүү.
• Чыныгы көп кабаттуу үй даттанууларында жалган оң натыйжа жана туура эмес айыптоо коркунучу изилденген эмес.
• Узак мөөнөттүү сенсор өзгөрүүсү, температура жана нымдуулуктун таасири изилденген эмес.

Изилдөө эмнени айтат, эмнени айтпайт?

Изилдөөнүн айтканы: Темир-бетон имараттын плита, дубал, аба жана кабылдагыч компоненттерин граф катары көрсөтүү бир сенсорлуу сокку үнүн локалдаштырууда ар башка кабат бөлүктөрүнүн ортосундагы маалымат өткөрүүнү күчөтүшү мүмкүн. Курулуш байланыштарын колдонбогон CNN, VNN жана кайчылаш корреляция ыкмалары көрүлбөгөн кабатта тактыгын олуттуу жоготкон, ал эми граф ыкмасы аныкталган экспериментте жогорку ийгилик көрсөткөн.

Изилдөөнүн айтпаганы: Ыкма ар бир көп кабаттуу үйдө кошуна ызы-чуусунун так булагын табууга кепилдик бербейт. Натыйжалар укуктук далил болуп саналбайт. Модель бир убакта чыккан көп булактарды, сүйлөшүүнү, телевизорду же аба аркылуу тараган жалпы ызы-чууну локалдаштыра аларын көрсөткөн эмес. Пайыз 100 тактык кең имарат популяциясында ырасталган жалпы көрсөткүч эмес.

Изилдөөнүн Ыкмасы жана Жыйынтыктары

Изилдөөнүн техникалык иш агымы

Негизги формулалар

Булак түйүнү:

\[ \mathbf{h}^{0}_{s} = [\phi \ \mathcal{A}_{v}] \]

Булак эмес түйүн:

\[ \mathbf{h}^{0}_{v \neq source} = [\mathbf{U} \ \mathcal{A}_{v}] \]

Түйүндү жаңыртуу:

\[ \mathbf{h}^{k}_{v} = \sigma \left( \mathbf{W}^{k} CONCAT \left( \mathbf{h}^{k}_{\mathcal{N}(v)}, \mathbf{h}^{k-1}_{v} \right) \right) \]

L2 нормалдаштыруу:

\[ \mathbf{h}^{k}_{v} \leftarrow \frac{\mathbf{h}^{k}_{v}} {\left\lVert \mathbf{h}^{k}_{v} \right\rVert_{2}} \]

Граф салмагын оптималдаштыруу:

\[ \mathbf{W}^{*} = \arg\min_{\mathbf{W}} \mathcal{L} \left( \phi(x_{train,i}), \mathbf{h}^{K}_{r} \right) \]

Булакты болжолдоо:

\[ \hat{v} = \arg\min_{v} \mathcal{L} \left( \phi(\tilde{x}_{new}), D \right) \]

Маалымат топтомдорунун түзүлүшү

Беш маалымат бөлүштүрүүдөгү тактыктар

Жыйынтыктардын техникалык чечмелөөсү

• Текшерүү жана тест бөлүштүрүүлөрүнүн салыштырмалуу геометриясы бирдей болгону менен, үн өзгөчөлүктөрү жагынан айырмаланат.
• CNN окутуу бөлүштүрүүсүндө күчтүү, бирок башка кабат бөлүгүндөгү домен өзгөрүшүнө ыңгайлаша алган эмес.
• VNNге ошол эле курулуш өзгөчөлүктөрүн берүү өзүнчө жетиштүү болгон эмес.
• Граф ыкмасы курулуш өзгөчөлүктөрү менен катар компоненттер ортосундагы байланыштарды да колдонгон.
• t-SNE көрсөтүүлөрү граф ыкмасы төрт булак классын көрүлбөгөн кабатта да ажырата алганын көрсөттү.
• Билдирүү өткөрүү сүрөттөрү булак активдүүлүгү k кадам ичинде кабылдагычка карай тараганын көрсөтөт.

Мүмкүн болгон колдонуу тармактары

• Акылдуу көп кабаттуу үйлөрдө кабаттар аралык сокку үнүн көзөмөлдөө
• Бир сенсорлуу кадам үнүн локалдаштыруу
• Жыгылуу жана кагылышуу окуяларын бөлмө деңгээлинде аныктоо
• Конструкциялык термелүү булактарын тейлөө максатында аныктоо
• Ызы-чуу боюнча даттанууларды техникалык алдын ала кароо
• Автоматтык имарат комфортун жана ызы-чууну башкаруу

Келечектеги изилдөө муктаждыктары

• Көбүрөөк имаратта жана ар башка курулуш материалдарында эксперимент
• Кеңири булак-кабылдагыч геометриялары
• Бир нече сенсор орду менен салыштыруу
• Бир убакта чыккан көп үн булактарын ажыратуу
• Фондук ызы-чууда туруктуулук тесттери
• Аз үлгүлүү жана көзөмөлсүз үйрөнүү
• BIM маалыматынан автоматтык граф түзүү
• Чыныгы физикалык материал жана бирикме касиеттерин графка кошуу
• Узак мөөнөттүү сенсор жана чөйрө өзгөрүүлөрүн изилдөө
• Туура эмес болжолдор үчүн ишеним же белгисиздик упайын чыгаруу

Булак жана Ыкма Жөнүндө Эскертүү

Бул мазмун Hwiyong Choi жана Haesang Yang тарабынан даярдалган “Localization of impact sound in a building via a graph representation” аттуу изилдөөгө негизделген.

Изилдөө темир-бетон имараттын плита, дубал, аба жана кабылдагыч компоненттерин түйүндөр менен кырлардан турган граф түзүлүшүнө айландырган; чыныгы сокку үндөрүн SoundNet негизиндеги коддогуч менен иштеткен жана үн маалыматын графта билдирүү өткөрүү аркылуу таратып, бир сенсордон булак ордун баалаган эксперименттик жасалма интеллект жана курулуш акустикасы изилдөөсү болуп саналат.

Текстте ачык түрдө “This preprint research paper has not been peer reviewed” деген билдирүү бар. Изилдөө SSRNде жарыяланган preprint жана рецензиялоодон өтө элек. Ошондуктан ыкманын деталдары, пайыз 100 тактык жыйынтыгы жана жалпылоо боюнча чечмелөөлөр көз карандысыз рецензиялоодон кийин өзгөрүшү мүмкүн.

Эксперимент чыныгы темир-бетон имаратта жүргүзүлгөнү менен, негизги тест төрт гана булак орду, бир кабылдагыч, чектелген булак-кабылдагыч геометриясы жана көзөмөлдөнгөн сокку түрлөрү менен жүргүзүлгөн. Ыкма ар башка курулуш материалдарында, бир убакта чыккан көп булактарда, күчтүү фондук ызы-чууда же өзгөрмө сенсор жайгашууларында кеңири текшерилген эмес.

Пайыз 100 тест тактыгы аныкталган APT II маалымат топтому жана беш маалымат бөлүштүрүүсү үчүн билдирилген. Бул маани бардык көп кабаттуу үйлөр же чыныгы жашоо шарттары үчүн кепилдик эмес. Изилдөө ыкманы укуктук ызы-чуу аныктоо, кошунанын жоопкерчилигин белгилөө же расмий акустикалык өлчөө куралы катары колдонууга болорун көрсөткөн эмес.

Мазмун PDFдеги ыкма, маалымат топтомдору, теңдемелер, таблицалар, сүрөттөр, эксперименттик жыйынтыктар жана чектөөлөрдүн негизинде гана даярдалган. PDFде жок коммерциялык система ийгилиги, кошунаны так аныктоо, коопсуздук кепилдиги же кең масштабдуу талаа текшерүүсү тууралуу доомат кошулган эмес.