Моделҳои зеҳни сунъии овози ҳоло танҳо нутқро ба навишта табдил намедиҳанд. Онҳо кӯшиш мекунанд овози истифодабаранда, контексти нутқ ва баъзан садоҳои муҳити пасзаминаро низ фаҳманд. Масалан, ҳангоми гуфтугӯ садои борон, сигнали мошин, чангкашак, ҳуриши саг ё гиряи кӯдак шунида мешавад.

Ин мақолае, ки Yang Xiao ва ҳамкоронаш омода кардаанд, меомӯзад, ки моделҳои бузурги овоз–забон дар гуфтугӯҳои бисёрдавраӣ ин садоҳои муҳитро то чӣ андоза ба ёд дошта метавонанд. Натиҷаи асосии кор хеле ҷолиб аст: Моделҳо маълумоти калима ва маънои гуфтугӯро нисбат ба садоҳои муҳит беҳтар ба ёд медоранд. Садоҳои пасзамина бошад, ҳангоми дароз шудани гуфтугӯ зудтар фаромӯш мешаванд.

Муҳаққиқон барои чен кардани ин ҳолат системаи санҷиши назоратшавандае бо номи EnvMem месозанд. Ба даври аввали гуфтугӯ як садои муҳит ҷойгир карда мешавад. Сипас гуфтугӯ чанд давр идома меёбад. Дар охир аз модел ё маълумоти матнии гуфтугӯ ё садои муҳити пасзамина пурсида мешавад.

Мувофиқи натиҷаҳо мушкил танҳо ин нест, ки «модел овозро комилан гум мекунад». Маълумоти садои муҳит ҳанӯз дар қабатҳои чуқури модел ҳалшаванда боқӣ мемонад. Аммо ин маълумот ба роҳи тавлиди ҷавоб ба шакли дуруст интиқол дода намешавад. Мақола инро representational trajectory drift, яъне лағжиши траекторияи намояндагӣ меномад.

Ҳангоми гуфтугӯ бо ёрдамчиёни овози танҳо калимаҳо нестанд. Дар пасзамина занги дар, сигнал, ҳаракати нақлиёт, борон, гиряи кӯдак ё садои мошин метавонад бошад. Ин садоҳо баъзан барои контекст муҳиманд.

Масалан, дар системаи амният садои сигнал, дар ёрдамчии нигоҳдорӣ садои мошин, дар ёрдамчии хонагӣ гиряи кӯдак ё садои об метавонад ҳалкунанда бошад. Агар зеҳни сунъӣ ин садоҳоро дар аввал ҳис карда, сипас бо пешравии гуфтугӯ фаромӯш кунад, раванди қабули қарор суст шуда метавонад.

Моделҳои бузурги овоз–забони мавҷуда одатан маънои гуфтугӯро беҳтар нигоҳ медоранд. Агар истифодабаранда гӯяд «ҷомашӯӣро се партия мекунам», модел метавонад инро баъд аз чанд давр ба ёд дорад. Аммо агар дар ҳамон гуфтугӯи аввал дар пасзамина сигнали мошин бошад, баъд аз чанд давр ба ёд доштани онро душвортар меёбад.

Ин ҳолат ду саволро ба миён меорад:

1. Моделҳо маълумоти калимаи гуфтугӯро беҳтар ба ёд медоранд ё маълумоти садои муҳитро?

2. Агар садои муҳит фаромӯш шавад, оё ин маълумот воқеан аз дохили модел пок шудааст, ё маълумот дар дохил ҳаст, вале дар тавлиди ҷавоб истифода намешавад?

Арзиши аслии мақола ҳаминҷост. Муҳаққиқон танҳо ба холҳои модел нигоҳ намекунанд; бо таҳлили қабатҳои дохилии модел кӯшиш мекунанд бифаҳманд, ки хато дар куҷо пайдо мешавад.

Усул чӣ пешниҳод мекунад?

Муҳаққиқон барои омӯхтани ин мушкил чаҳорчӯбаи санҷише бо номи EnvMem эҷод мекунанд.

Мантиқи EnvMem содда аст:

1. Ба нутқи аввали истифодабаранда як садои муҳит илова карда мешавад.
2. Ин садои муҳит танҳо дар даври аввал вуҷуд дорад.
3. Гуфтугӯҳои баъдӣ ҳамчун гуфтугӯҳои пуркунанда идома меёбанд.
4. Дар охир аз модел саволи бисёринтихобӣ пурсида мешавад.
5. Савол ё барои ба ёд овардани маълумоти матнии гуфтугӯи аввал ё садои муҳити пасзамина равона аст.

Масалан, дар гуфтугӯи аввал истифодабаранда дар бораи ҷомашӯӣ гап мезанад ва дар пасзамина сигнали мошин ҳаст. Сипас гуфтугӯ идома меёбад. Дар охир аз модел ду навъи гуногуни савол пурсида шуда метавонад:

Саволи хотираи акустикӣ:
Дар пасзаминаи паёми овозии аввал кадом садои муҳит буд?

Саволи хотираи семантикӣ:
Истифодабаранда дар гуфтугӯи аввал барои ҷомашӯӣ чанд партия гуфта буд?

Ин тарҳ муҳим аст, зеро маълумоти матнӣ ва садои муҳит аз як контексти ибтидоӣ меоянд. Ҳамин тариқ, беҳтар чен карда мешавад, ки оё модел маълумоти гуфтугӯро беҳтар ба ёд дорад ё садои муҳитро.

Дар маҷмӯаи маълумоти EnvMem 10 синфи садои муҳит истифода мешавад:

• Борон
• Раъд
• Мавҷҳои баҳр
• Садои мотор
• Чангкашак
• Сигнали мошин
• Садои саг
• Гиряи кӯдак
• Тик-токи соат
• Оташи қиҷиррос

Дарозии гуфтугӯҳо ҳамчун 2, 4, 8 ва 16 давр тағйир дода мешавад. Ҳамин тариқ чен карда мешавад, ки бо дароз шудани гуфтугӯ хотираи садои муҳит чӣ гуна вайрон мешавад.

Формулаҳо чӣ мегӯянд?

Формулаҳои мақола сохтори санҷиш ва тарзи чен кардани аз даст рафтани хотираро шарҳ медиҳанд. Агар барои хонанда содда кунем, ду идеяи асосӣ ҳаст.

Идеяи аввал: Сохтори гуфтугӯи бисёрдавраӣ

Мақола гуфтугӯро ҳамчун даврҳои пайдарпай таъриф мекунад. Дар даври аввал истифодабаранда гап мезанад ва ба ин нутқ садои муҳит илова карда мешавад. Даврҳои баъдӣ гуфтугӯро дароз мекунанд. Дар даври охир аз модел хоҳиш карда мешавад, ки маълумоти даври аввалро ба ёд орад.

Нуктаи муҳим ин аст: Садои муҳит танҳо дар даври аввал ҳаст. Дар даврҳои баъдӣ такрор намешавад. Ҳамин тариқ санҷида мешавад, ки оё модел воқеан садои пешинаро ба ёд дорад ё не.

Идеяи дуюм: Муқоисаи аз даст рафтани хотираи акустикӣ бо хотираи семантикӣ

Мақола ҳангоми дароз шудани гуфтугӯ пастшавии дақиқии моделро дар ду навъи маълумот муқоиса мекунад:

• Маълумоти акустикӣ: Садои пасзамина чӣ буд?
• Маълумоти семантикӣ: Факти матнии гуфтугӯ чӣ буд?

Агар дақиқии акустикӣ зудтар паст шавад, маънои он аст, ки модел садои муҳитро нисбат ба маънои гуфтугӯ зудтар фаромӯш мекунад.

Аз ин рӯ, ченкунии фарқи мақола инро мегӯяд:

Ҳангоми дароз шудани гуфтугӯ хотираи садои муҳит нисбат ба хотираи калима/маъно зудтар вайрон мешавад?

Мувофиқи натиҷаҳо ҷавоб ҳа аст. Моделҳо маълумоти садои муҳитро нисбат ба маълумоти семантикии гуфтугӯ ноустувортар нигоҳ медоранд.

Паёми асосии график / ҷадвал / схема

Схемаи EnvMem:
Аввалин схемаи бузурги мақола нишон медиҳад, ки санҷиш чӣ гуна сохта шудааст. Ба даври аввали гуфтугӯ садои муҳит ҷойгир карда мешавад, даврҳои баъдӣ гуфтугӯро дароз мекунанд, дар охир аз модел хоҳиш карда мешавад, ки ё садои муҳит ё маълумоти матнӣро ба ёд орад. Паёми асосии схема ин аст: Муҳаққиқон ба ҷои гуфтугӯҳои тасодуфии воқеӣ санҷиши назоратшавандаи хотира месозанд. Ҳамин тариқ хотираи овоз ва маъно алоҳида чен карда мешавад.

Графики хотираи акустикӣ ва семантикӣ:
Графики самаранокии мақола муваффақияти моделҳои Qwen2.5-Omni, Kimi-Audio ва Qwen2-Audio-ро дар гуфтугӯҳои 2, 4, 8 ва 16 давра нишон медиҳад. Паёми асосии графикҳо равшан аст: Бо дароз шудани гуфтугӯ ҳам хотираи матнӣ ва ҳам акустикӣ паст мешавад; аммо хотираи садои муҳит зудтар вайрон мешавад.

Графики қабат-ба-қабати linear probing:
Графики linear probing-и мақола нишон медиҳад, ки маълумоти садои муҳит дар кадом қабатҳои модел ҳалшаванда аст. Натиҷаи ҷолиб ин аст: Ҳатто агар модел ҷавоби нодуруст диҳад ҳам, дар қабатҳои чуқур маълумоти садои муҳит ҳанӯз ёфт мешавад. Яъне маълумот комилан пок нашудааст.

Харитаҳои гармии CKA:
Графикҳои CKA нишон медиҳанд, ки дар кӯшишҳои муваффақ ва номуваффақ сафари намояндагии дохилии модел чӣ гуна тағйир меёбад. Паёми асосӣ ин аст: Дар ҳолатҳои номуваффақ намояндагӣ аз роҳе, ки контексти дарозро дуруст интиқол медиҳад, каҷ мешавад ва ба тартиби коркарди монанд ба контексти кӯтоҳ лағжиш мекунад. Ин низ идеяи «лағжиши траекторияи намояндагӣ»-ро дастгирӣ мекунад.

Графики таҳлили диққат:
Мақола инро низ меомӯзад, ки оё модел ба гуфтугӯи дорои садои муҳити аввал ба қадри кофӣ диққат медиҳад. Натиҷа ҳайратовар аст: Тақсимоти диққат танҳо худ номуваффақиро шарҳ намедиҳад. Ҳатто дар баъзе контекстҳои дароз модел гӯё ба даври аввал бештар диққат диҳад ҳам, метавонад ҷавоби дуруст надиҳад.

Графики пӯшиши фаъолсозӣ:
Дар таҷрибаи дахолати мақола намояндагии қабати чуқури модели номуваффақ бо намояндагии тозае, ки аз намунаи дуруст гирифта шудааст, иваз карда мешавад. Ин амал ҳиссаи ҷавобҳои дурустро ҷиддӣ зиёд мекунад. Паёми асосӣ ин аст: Мушкил бо зиёд кардани диққат ҳал намешавад; вақте намояндагии дохилии дуруст ҳамоҳангшуда лозим аст, модел метавонад ҷавобро наҷот диҳад.

Таҷрибаҳо чӣ гуна гузаронида шудаанд?

Муҳаққиқон се модели бузурги овоз–забонро месанҷанд:

• Qwen2.5-Omni
• Qwen2-Audio
• Kimi-Audio

Ин моделҳо ҳамчун меъмориҳои муосири вазни кушод интихоб шудаанд, ки вуруди овоз ва нутқро бевосита коркард карда метавонанд.

Дар ҳар намунаи санҷиш модел гуфтугӯи овозии бисёрдавраӣ мегирад. Дар гуфтугӯи аввал садои муҳит ҳаст. Даврҳои баъдӣ танҳо гуфтугӯро дароз мекунанд. Дар охир аз модел хоҳиш карда мешавад, ки ба саволи чорвариантӣ ҷавоб диҳад.

Санҷиш ба ду шакл гузаронида мешавад:

1. Санҷиши ба ёд овардани акустикӣ
Аз модел хоҳиш карда мешавад, ки садои муҳити гуфтугӯи аввалро интихоб кунад.

2. Санҷиши ба ёд овардани семантикӣ
Аз модел хоҳиш карда мешавад, ки маълумоти матнии гуфтугӯи аввалро интихоб кунад.

Дар маҷмӯъ 4.000 намунаи арзёбӣ эҷод карда мешавад. Аз ин 2.000 барои саволҳои акустикӣ ва 2.000 барои саволҳои семантикӣ истифода мешавад.

Муҳаққиқон инчунин барои омӯхтани дохили модел ду усули таҳлил истифода мебаранд:

Linear probing:
Дида мешавад, ки оё дар қабатҳои гуногуни модел маълумоти садои муҳит ҳанӯз ҳалшаванда аст.

Таҳлили CKA:
Чен карда мешавад, ки дар намунаҳои муваффақ ва номуваффақ сохтори намояндагии дохилии модел то чӣ андоза ба ҳам монанд аст.

Дар ниҳоят ду навъи дахолат озмуда мешавад:

• Иваз кардани намояндагӣ дар қабати чуқур
• Тағйир додани механизми диққат, то ба садои аввал бештар тамаркуз кунад

Ҳамин тариқ санҷида мешавад, ки мушкил дар сатҳи намояндагӣ аст ё дар сатҳи диққат.

Натиҷаҳо чӣ нишон медиҳанд?

Натиҷаҳо ба чанд нуктаи муҳим ишора мекунанд.

Аввалан, моделҳо маълумоти маънои гуфтугӯро аз маълумоти садои муҳит беҳтар ба ёд медоранд. Масалан, дар модели Qwen2.5-Omni дар гуфтугӯи 2 давра дақиқии семантикӣ тақрибан 0.92 аст, дар ҳоле ки дақиқии акустикӣ тақрибан дар сатҳи 0.70 мемонад. Вақте гуфтугӯ ба 16 давр мерасад, дақиқии семантикӣ тақрибан то 0.84 паст мешавад, дақиқии акустикӣ бошад тақрибан то 0.56 меафтад.

Сониян, ин фарқ танҳо аз заъфи ҳисси ибтидоӣ маншаъ намегирад. Бо дароз шудани гуфтугӯ садоҳои муҳит нисбат ба маълумоти матнӣ зудтар вайрон мешаванд.

Сеюм, маълумоти садои муҳит комилан гум намешавад. Таҳлилҳои linear probing нишон медиҳанд, ки ҳатто вақте модел ҷавоби нодуруст медиҳад, дар қабатҳои чуқур синфи садои муҳит ҳанӯз ҳалшаванда аст. Ин ёфтаи хеле муҳим аст. Зеро мушкил «маълумот пок шуд» нест; ба назар мерасад, ки «маълумот ба формати мувофиқи роҳи тавлиди ҷавоби дуруст интиқол дода нашуд».

Чорум, механизми диққат танҳо худ шарҳдиҳанда нест. Во доштани диққати бештар ба қисми дорои садои муҳити аввал ҷавобҳои номуваффақро ба таври назаррас ислоҳ намекунад.

Панҷум, иваз кардани намояндагии қабати чуқур бо намояндагии гирифташуда аз намунаи дуруст ва тоза қисми муҳими ҷавобҳои номуваффақро наҷот дода метавонад. Ин натиҷа тасдиқ мекунад, ки монеи асосӣ дар сатҳи намояндагӣ аст.

Қувватноктарин натиҷаи мақоларо чунин ҷамъбаст кардан мумкин аст:

Модели зеҳни сунъии овози садои муҳитро комилан фаромӯш намекунад; аммо нигоҳ доштани ин маълумотро дар роҳи дурусти намояндагӣ дар тӯли гуфтугӯи дароз душвор меёбад.

Чаро ин муҳим аст?

Ин кор барои ёрдамчиёни овозии оянда мушкили муҳимро нишон медиҳад.

Имрӯз системаҳои зеҳни сунъии овози асосан ба саволи «истифодабаранда чӣ гуфт?» тамаркуз мекунанд. Аммо дар ҳаёти воқеӣ саволи «дар пасзамина чӣ рӯй медиҳад?» низ метавонад муҳим бошад.

Масалан:

• Оё ёрдамчии хонагӣ бояд гиряи кӯдакро ба ёд дорад?
• Оё системаи амният бояд садои сигналро дар тӯли гуфтугӯ нигоҳ дорад?
• Оё ёрдамчии нигоҳдорӣ бояд нишонаи огоҳии садои мошинро дар гуфтугӯҳои баъдӣ ҳамчун контекст истифода барад?
• Оё дар системаи тандурустӣ ё ҳолати фавқулода садоҳои муҳит метавонанд ба раванди қарор саҳм гузоранд?

Дар чунин барномаҳо модел бояд на танҳо гуфтугӯ, балки контексти акустикии муҳитро низ боэътимод ба ёд дорад.

Аммо ин ҳамзамон хатари махфиятро низ зиёд мекунад. Зеро аз садоҳои муҳит метавон фаҳмид, ки одам дар хона аст, дар кор ё дар роҳ; оё назди ӯ кӯдак ҳаст; рутини ҳаррӯза ё маълумоти ҳассоси муҳитро. Аз ин рӯ, ҳангоми рушди технологияҳои хотираи акустикӣ розигии ошкор, ҳудуди нигоҳдории маълумот ва чораҳои амниятӣ лозиманд.

Нуктаҳое, ки бояд ба онҳо диққат дод

Гарчанде ин кор таҳлили қавӣ пешниҳод кунад ҳам, баъзе маҳдудиятҳоро дар бар мегирад.

Аввалан, EnvMem муҳити санҷиши назоратшаванда ва синтетикӣ истифода мебарад. Гуфтугӯҳо бо як овози TTS эҷод шудаанд. Гӯяндагони гуногун, лаҳҷаҳо, сифати микрофон, гуфтугӯҳои стихиявӣ ва садоҳои муҳити рӯи ҳам омадаи ҳаёти воқеӣ дар ин санҷиш пурра намояндагӣ намешаванд.

Сониян, дар ҳар гуфтугӯ танҳо як садои муҳит ба даври аввал ҷойгир карда мешавад. Дар ҳаёти воқеӣ садоҳои муҳит метавонанд пайваста тағйир ёбанд, якбора чанд садо бошад ё садои пасзамина дар тӯли гуфтугӯ идома ёбад.

Сеюм, дахолатҳои кор на ҳамчун ҳалли амалии маҳсулот, балки бо мақсади ташхис анҷом дода мешаванд. Яъне усули иваз кардани намояндагии қабати чуқур дар шакли имрӯзааш ҳалли мустақим барои системаҳои ҳаррӯза нест.

Чорум, кор бо моделҳои муайян маҳдуд аст. Ҳарчанд натиҷаҳои ёфтшуда дар Qwen2.5-Omni, Qwen2-Audio ва Kimi-Audio муҳиманд, аммо умумигардонии қатъӣ барои ҳамаи моделҳои зеҳни сунъии овози дуруст нест.

Панҷум, қувват гирифтани хотираи садои муҳит аз нигоҳи махфият дуҷониба аст. Системаҳое, ки беҳтар ба ёд медоранд, метавонанд муфидтар бошанд; аммо хатари муддати дарозтар назорат кардан ва профилсозии муҳити истифодабарандаро низ ба вуҷуд оварда метавонанд.

Хулоса

Ин мақола нишон медиҳад, ки моделҳои бузурги овоз–забон маълумоти маънои гуфтугӯро аз маълумоти садои муҳит устувортар нигоҳ медоранд. Моделҳо дар гуфтугӯҳои бисёрдавраӣ ба саволи «истифодабаранда чӣ гуфт?» нисбат ба саволи «дар пасзамина чӣ буд?» беҳтар ҷавоб медиҳанд.

Муҳимтарин ёфтаи муҳаққиқон ин аст, ки маълумоти садои муҳит комилан гум намешавад. Маълумот ҳанӯз дар қабатҳои чуқури модел ҳалшаванда аст. Аммо дар контекстҳои дароз ин маълумот бо раванди тавлиди ҷавоби дуруст ҳамоҳанг интиқол дода намешавад. Ин ҳолатро лағжиши траекторияи намояндагӣ меноманд.

Аз нигоҳи Verianla паёми асосии мақола чунин аст:

Барои он ки зеҳнҳои сунъии овози воқеан муҳити атрофро фаҳманд, танҳо табдили нутқ ба навишта кофӣ нест. Онҳо бояд садоҳои пасзаминаро дар тӯли гуфтугӯи дароз дуруст намояндагӣ кунанд ва ҳангоми лозим боэътимод ба ёд оранд. Аммо ин қобилият бояд ҳамроҳ бо масъулияти махфият ва амният рушд дода шавад.

Ёддошти манбаъ ва усул

Ин муҳтаво бо истифода аз кори академие, ки аз ҷониби Yang Xiao, Siyi Wang, Han Yin, Hong Jia, Vidhyasaharan Sethu, Eun-Jung Holden ва Ting Dang омода шудааст ва унвонаш “Why Can’t They Remember? Uncovering Representation and Retrieval Bottlenecks in Multi-Turn Acoustic Memory” мебошад, дар формати таҳририи Verianla ба таври аслӣ омода гардидааст.

Ин навишта тарҷумаи калима ба калима нест; усул, сохтори санҷиши EnvMem, графикҳо, формулаҳо, таҷрибаҳо, таҳлилҳои дохилимоделӣ ва натиҷаҳои мақола содда карда шуда, барои хонандагони тоҷик аз нав навишта шудаанд. Муҳтаво ҳадафи иттилоотӣ ва омӯзишӣ дорад. Дар соҳаҳое чун ёрдамчиёни овози, пайгирии садои муҳит, системаҳои амниятӣ ё профилсозии истифодабаранда талаботи ахлоқӣ, ҳуқуқӣ ва махфият бояд ба назар гирифта шаванд.