Моделҳои муосири бузурги садо-забон метавонанд нутқро дарк карда, посухи матнӣ ё овозӣ тавлид намоянд. Аммо дар муоширати нутқӣ дар вақти воқеӣ танҳо додани посухи дуруст кофӣ нест. Агар модел хеле дер посух диҳад, корбар муддати тӯлонӣ дар хомӯшӣ мемонад. Агар хеле барвақт ҷавоб диҳад, метавонад маълумоти муҳимро дар охири сухан аз даст диҳад.

Ин таҳқиқот ин мувозинатро тавассути сохтори идоракуние баррасӣ мекунад, ки wait-think-answer ном дорад. Модел се амали асосӣ дорад: интизор шудан, тавлиди андеша/навсозии мобайнӣ ва ҷавоб додан. Амали интизорӣ имкон медиҳад, ки вуруди бештари овозӣ ҷамъоварӣ шавад. Амали Think дар асоси маълумоти то ҳамон лаҳза шунидашуда навсозии кӯтоҳи ҳолати мобайниро тавлид мекунад. Амали Answer бошад, ҷавоби ниҳоиро медиҳад.

Равиши пешниҳодшуда дар модели садо-забоние, ки бар Qwen2.5-Omni-7B асос ёфтааст, санҷида мешавад. Нахуст модел тавассути танзими дақиқи назоратшаванда, яъне SFT, ин забони амалҳоро меомӯзад. Сипас бо оптимизатсияи сиёсати бар reinforcement learning асосёфта бо номи DAPO на танҳо ҷавоби дуруст додани модел, балки дар вақти мувофиқ андешидан, аз андешаи нозарур ва тӯлонӣ худдорӣ кардан, форматро вайрон накардан ва байни ҷавобу андешаҳои мобайнӣ мутобиқат барқарор намудан мукофотонида мешавад.

Натиҷаҳо нишон медиҳанд, ки дар моделҳои ҷараёнии нутқ ба ҷойи «ба охир гузоштани андеша» анҷом додани навсозиҳои хурд ва пурмаъно ҳангоми суханронӣ метавонад мувозинати байни дурустии ҷавоб ва таъхирро беҳтар кунад.

Мушкилот чист?

Дар низомҳои классикии саволу ҷавоби овозӣ модел одатан сухани корбарро пурра мешунавад, баъд андеша мекунад ва ҷавоб медиҳад. Ин усул барои арзёбӣ осон аст, зеро модел пас аз дидани тамоми вуруд як ҷавоб тавлид мекунад. Аммо барои таҷрибаи ёвари вақти воқеӣ чунин рафтор табиӣ нест.

Дар суҳбати зинда корбар ҷумлаашро қисм-қисм месозад. Баъзан маълумоти муҳим дар оғоз меояд ва гоҳе ибораи дар лаҳзаи охир гуфташуда ҷавобро тағйир медиҳад. Масалан, агар корбар пас аз гуфтани «Имрӯз 20 паёми электронӣ фиристодам…» ҳанӯз суханашро тамом накарда бошад ва модел барвақт ҷавоб диҳад, метавонад 20 бигӯяд; аммо агар корбар идома диҳад: «...ва ҳоло боз 5-тои дигар фиристодам», ҷавоби дуруст 25 мешавад.

Дар ин ҳолат барои зеҳни сунъии овозӣ се навъи таниш ба вуҷуд меояд:

1. Дурустӣ: Агар модел пеш аз расидани далели кофӣ ҷавоб диҳад, метавонад хато кунад.

2. Таъхир: Агар модел пас аз анҷоми тамоми суҳбат муддати дароз андеша кунад, корбар интизор мемонад.

3. Сифати истидлоли мобайнӣ: Агар модел ҳангоми суҳбат навсозии мобайнӣ анҷом диҳад, ин навсозиҳо бояд кӯтоҳ, дуруст, ба далел такякунанда ва барои ҷавоби минбаъда дастгиркунанда бошанд.

Саволи асосии мақола чунин аст: оё модели бузурги садо-забон метавонад ҳангоми идома доштани ҷараёни нутқ омӯзад, ки кай интизор шавад, кай навсозии кӯтоҳи мобайнӣ анҷом диҳад ва кай ҷавоби ниҳоӣ пешниҳод кунад?

Усул чӣ пешниҳод мекунад?

Таҳқиқот истидлоли ҷараёнии нутқро ҳамчун масъалаи идоракунии онлайн муайян мекунад. Модел дар лаҳзаҳои муайяни қабули қарор дар тӯли ҷараёни садо префикси овозии то ҳамон лаҳза шунида ва навсозиҳои ҳолати мобайнии қаблан тавлидшударо мебинад. Сипас яке аз се амалро интихоб мекунад:

<wait/>: Модел ҷавоб ё андеша тавлид намекунад ва вуруди бештари овозиро интизор мешавад.

<think>...</think>: Модел бар асоси далелҳои то ҳамон лаҳза шунида навсозии кӯтоҳи ҳолати мобайниро тавлид мекунад. Ин маънои пурра ошкор кардани ҳисобу китоби дохилии моделро надорад; балки низом ёддошти ҳолатии намоён, кӯтоҳ ва ба вазифа нигаронидашударо тавлид мекунад.

<answer>...</answer>: Модел ҷавоби ниҳоиро медиҳад. Дар ин таҳқиқот амали ҷавобдиҳӣ ба марҳилаи пас аз анҷоми нутқ маҳдуд шудааст; яъне дар озмоишҳо модел пеш аз тамом шудани сухан додани ҷавоби ниҳоиро намеомӯзад ва диққати асосӣ ба вақти интизорӣ ва навсозии мобайнӣ ҳангоми суҳбат равона аст.

Усул омӯзиши ду марҳилаиро истифода мебарад:

1. SFT, яъне supervised fine-tuning: Модел тавассути изҳои омодашудаи wait-think-answer формати амал, услуби андешаи кӯтоҳ, рафтори интизорӣ ва сохтори ҷавоби ниҳоиро меомӯзад.

2. DAPO policy optimization: Сипас модел бо функсияи мукофот оптимизатсия карда мешавад. Мукофот танҳо дурустии ҷавоби ниҳоиро намесанҷад. Эътибори формат, таъхири ҷавоб, вақти навсозии мобайнӣ, сифати андеша ва мутобиқати занҷир низ якҷоя арзёбӣ мешаванд.

Ҳадафи ин равиш пешгирӣ аз он аст, ки модел тамоми истидлолро ба пас аз анҷоми нутқ гузорад. Агар модел бо расидани маълумоти муҳим навсозиҳои кӯтоҳи мобайнӣ анҷом диҳад, сарбории андешаи боқимонда пеш аз ҷавоби ниҳоӣ метавонад кам шавад.

Формулаҳо чиро шарҳ медиҳанд?

Формулаҳои PDF сохтори идоракунии wait-think-answer, функсияи мукофот ва оптимизатсияи DAPO-ро шарҳ медиҳанд. Формулаҳои зер дар шакли мувофиқ бо MathJax пешниҳод шудаанд.

1. Мушоҳидаи идорагар ва интихоби амал

Ин формула мукофоти умумиро барои ҷараёни эътиборноки wait-think-answer нишон медиҳад. \(R_a\) дурустии ҷавоб, \(R_f\) эътибори формат, \(R_s\) таъхир/кӯтоҳии final-think, \(R_u\) вақти навсозии мобайнӣ, \(R_t\) сифати андеша ва \(R_c\) мутобиқати байни занҷири андеша ва ҷавоби ниҳоиро ифода мекунанд.

Ҷузъиёти муҳим ин аст: бонуси мутобиқат танҳо ҳангоми дуруст будани ҷавоб фаъол мешавад. Яъне модел барои тавзеҳи мутобиқ, вале нодурусте, ки ба ҷавоби хато овардааст, мукофоти иловагӣ намегирад.

3. Мукофоти ниҳоии бо протокол дарвозабандишуда

Ин формула нишон медиҳад, ки эътибори формат/протокол афзалият дорад. Агар модел дар тартиби нодуруст ҷавоб диҳад, барчаспҳои заруриро вайрон кунад ё пайдарпаии амалҳои беэътибор тавлид намояд, дуруст будани ҷавоби ниҳоӣ онро наҷот намедиҳад. Пеш аз ҳама протоколи ҳамкорӣ бояд дуруст бошад.

4. Вазнҳои мукофоти истифодашуда

Ин вазнҳо аҳаммияти нисбии ҷузъҳои мукофотро муайян мекунанд. Аз ҷумла, \(\lambda_u=3.0\) нишон медиҳад, ки ба вақти навсозии мобайнӣ вазни зиёд дода шудааст. Яъне на танҳо тавлиди андеша, балки тавлиди он дар вақти дуруст муҳим аст.

5. Ҳисоби бартарии гурӯҳӣ-нисбии DAPO

Ин формула дар байни \(G\) rollout-и барои як prompt тавлидшуда бартарии нисбии rollout-и \(i\)-умро ҳисоб мекунад. Агар натиҷа нисбат ба миёнаи гурӯҳ мукофоти беҳтар гирад, бартарии мусбат ва агар бадтар бошад, бартарии манфӣ мегирад. Ин ба модел ёрӣ медиҳад, ки дар дохили гурӯҳ кадом пайдарпаии амалҳо беҳтаранд.

6. Ҳадафи DAPO дар сатҳи токен

Ин формула навсозии буридашудаи сиёсати DAPO-ро дар сатҳи токен нишон медиҳад. \(M\) ниқоби токенҳои анҷомёбӣ аст. \(r_{i,t}\) таносуби эҳтимол байни сиёсати нав ва сиёсати кӯҳна мебошад. Токенҳои дорои бартарии мусбат тақвият ва токенҳои дорои бартарии манфӣ заиф карда мешаванд. Буриш аз аз ҳад зиёд шудани навсозӣ пешгирӣ мекунад.

7. Таносуби сиёсат

Ин ифода нишон медиҳад, ки эҳтимоли тавлиди токени муайян аз ҷониби сиёсати нав нисбат ба сиёсати кӯҳна чӣ қадар тағйир ёфтааст. Тағйироти калон тавассути механизми буриш маҳдуд карда мешаванд. Ин омӯзиши RL-ро устувортар мекунад.

Паёми асосии график, ҷадвал ва схема

Figure 1 дар саҳифаи 3: Схема нишон медиҳад, ки модел нутқро қисм-қисм мешунавад ва дар ҳар қадами қарор ё интизор мешавад, ё навсозии кӯтоҳи андешаи мобайнӣ анҷом медиҳад ва ё дар охир ҷавоб медиҳад. Бо мисоли «20 паёми электронӣ фиристодам, боз 5-тои дигар фиристодам» шарҳ дода мешавад, ки модел аввал ҳолати мобайнии «то ин ҷо 20»-ро нигоҳ медорад ва баъд бо навсозии «20 + 5 = 25» барои ҷавоби ниҳоӣ омода мешавад. Паёми асосӣ: модел метавонад ба ҷойи ба пас аз анҷоми нутқ гузоштани тамоми андеша, ҳангоми суҳбат навсозиҳои хурду дурусти ҳолатро ҷамъ кунад.

Table 1 дар саҳифаи 5: Истилоҳҳои мукофот дар шаш сарлавҳа ҷамъбаст шудаанд: дурустии ҷавоб, эътибори протокол, таъхир, вақти навсозии мобайнӣ, сифати андеша ва мутобиқати занҷир. Ҷадвал нишон медиҳад, ки таҳқиқот танҳо бо мукофоти «ҷавоби дуруст деҳ» маҳдуд нашуда, балки тарзи рафтори дурустро дар тамоми ҷараёни суҳбат низ меомӯзонад.

Figure 2 дар саҳифаи 6: Нишон дода мешавад, ки низоми мукофот ҷараёни wait-think-answer-ро чӣ гуна арзёбӣ мекунад. Истилоҳҳои қоидабунёд формат, вақт, дурустӣ ва таъхири ниҳоиро месанҷанд; истилоҳҳои бо judge дастгиришуда бошанд, сифати андешаи мобайнӣ ва мутобиқатеро арзёбӣ мекунанд, ки ҷавоби ниҳоиро дастгирӣ мекунад. Паёми асосӣ: модели хуб танҳо модели дорои ҷавоби дурусти ниҳоӣ нест, балки моделест, ки дар вақти дуруст навсозиҳои кӯтоҳу муфид анҷом медиҳад.

Table 2 дар саҳифаи 8: Дар натиҷаҳои SRQA-и дорои нутқи синтетикӣ идорагари шашмукофотаи DAPO дар оилаи Qwen streaming controller беҳтарин дурустии миёнаро нишон медиҳад. Base controller дурустии миёнаи %67,6 ва дарозии final-think-и 10,44 токен дорад, дар ҳоле ки DAPO-и шашмукофота дурустии %70,3 ва дарозии final-think-и 8,99-ро таъмин мекунад. Ин ҷадвал беҳтар шудани моделро ҳам аз нигоҳи дурустӣ ва ҳам аз ҷиҳати сарбории residual reasoning нишон медиҳад.

Figure 3 дар саҳифаи 8: Дурустии вобаста ба вазифаи Base controller ва DAPO-и шашмукофота муқоиса мешавад. DAPO бахусус дар вазифаҳое чун ARC-E, SIQA, PIQA ва GSM8K беҳбудӣ нишон медиҳад. GSM8K дар панели ҷудогона оварда шудааст, зеро сатҳи умумии дурустии он нисбат ба дигар вазифаҳо пасттар мемонад.

Table 3 дар саҳифаи 9: Натиҷаҳои Real Audio Bench дар 186 намунае пешниҳод мешаванд, ки бо сабти инсон таҳия шудаанд. SFT controller бо дурустии %68,8 натиҷаи баландтаринро медиҳад, дар ҳоле ки DAPO-и шашмукофота бо дурустии %65,1 ва дарозии final-think-и 6,33 ҳамчун ягона варианти омӯхташудае фарқ мекунад, ки нисбат ба base controller андешаи ниҳоии кӯтоҳтар тавлид менамояд. Паёми асосӣ: дар санҷиши садои воқеии инсон натиҷаҳо мураккабтаранд; дурустӣ ва таъхири кам ҳамеша дар як вариант муттаҳид намешаванд.

Figure 4 дар саҳифаи 14: Каҷҳои омӯзиши SFT нишон медиҳанд, ки талафоти омӯзиш ва санҷиш коҳиш ёфта, дурустии токен афзудааст. Ин собит месозад, ки марҳилаи SFT барои DAPO сиёсати ибтидоии устувор ба вуҷуд овардааст.

Ҷадвали ablation дар саҳифаи 18: Бо афзоиши истилоҳҳои мукофот дурустии SRQA-и синтетикӣ боло меравад. Натиҷаҳо чунин гузориш шудаанд: Base controller %67,6, SFT %66,1, DAPO-и чормукофота %68,5, DAPO-и панҷмукофота %69,2 ва DAPO-и шашмукофота %70,3. Ин ҷадвал саҳми тадриҷии ҷузъҳои мукофотро нишон медиҳад.

Озмоишҳо чӣ гуна анҷом дода шуданд?

Дар таҳқиқот ду муҳити асосии арзёбӣ истифода мешавад.

1. Benchmark-и SRQA бо нутқи синтетикӣ: Шаш оилаи вазифа — ARC-Easy, ARC-Challenge, PIQA, SocialIQA, GSM8K ва LLaMA-QS — истифода мешаванд. Дар маҷмӯъ 8.959 намуна мавҷуд аст. Саволҳои матнӣ ба шакли нутқ табдил дода шуда, бо TTS ба садо табдил меёбанд ва модел дар асоси ҳамин вурудҳои овозӣ арзёбӣ мешавад.

2. Real Audio Bench: Benchmark-и хурди интиқолӣ аз садоҳои воқеии сабткардаи одамон истифода мешавад. Панҷ гӯянда 200 намунаи номзадро сабт мекунанд; пас аз хориҷ кардани намунаҳои номуайян ё нодуруст 186 сабт боқӣ мемонад. Ин маҷмуа на ҳамчун омӯзиши васеъмиқёси корбарон, балки ҳамчун санҷиши интиқол берун аз TTS арзёбӣ мешавад.

Ҳамчун оилаи моделҳо Qwen2.5-Omni-7B истифода мешавад. Дар марҳилаи SFT бо LoRA танзими дақиқ анҷом мегирад. Дар марҳилаи DAPO бошад, rollout-ҳои streaming controller тавлид шуда, ин натиҷаҳо бо шаш истилоҳи мукофот баҳогузорӣ ва сиёсат дар сатҳи токен навсозӣ мешавад.

Арзёбӣ ду протокол дорад:

Offline mode: Модел пас аз пурра шунидани нутқ як бор андеша мекунад ва ҷавоб медиҳад. Ин шакли классикии арзёбии full-audio мебошад.

Deployment mode: Садо дар шабакаи қароргирии 0,5-сониягӣ ворид мешавад. Модел дар ҳар қадам префикси мавҷудаи овоз ва ҳолатҳои қаблии намоёни андешаро мебинад. Пеш аз анҷоми нутқ яке аз амалҳои интизорӣ ё тавлиди андешаи мобайниро интихоб мекунад. Дар охири нутқ final think ва answer тавлид менамояд.

Ба моделҳои муқоисашуда Qwen2.5-Omni-7B base controller, SFT controller, DAPO controller-и чор/панҷ/шашмукофота, Audio Flamingo 3, GLM-4-Voice-9B ва вариантҳои Moshi, ки дар адабиёт гузориш шудаанд, дохил мешаванд. Аммо азбаски моделҳои тарафи сеюм ҳамон интерфейси streaming controller-ро дастрас намекунанд, муқоисаи мустақими deployment mode танҳо дар дохили оилаи Qwen анҷом дода мешавад.

Натиҷаҳо чиро нишон медиҳанд?

1. Истидлоли овозии ҷараёниро метавон ҳамчун масъалаи идоракунӣ омӯзонд. Модел на танҳо тавлиди ҷавоби ниҳоӣ, балки вақти интизорӣ ва анҷом додани навсозии кӯтоҳи ҳолати мобайниро ҳангоми ҷараёни нутқ меомӯзад.

2. DAPO-и шашмукофота дар benchmark-и синтетикӣ беҳтарин мувозинатро медиҳад. Дар ҳоле ки дурустии миёнаи Base controller дар %67,6 мемонад, DAPO-и шашмукофота ба %70,3 мерасад. Ҳамзамон дарозии final-think аз 10,44 то 8,99 токен коҳиш меёбад. Ин нишон медиҳад, ки як қисми андеша ҳангоми нутқ барвақттар ва кӯтоҳтар анҷом дода мешавад.

3. Ҳарчанд танҳо SFT форматро меомӯзонад, он ба андозаи мукофоти вазифа кофӣ нест. SFT controller забони wait-think-answer-ро меомӯзад, аммо дар дурустии миёнаи синтетикӣ аз base controller қафо мемонад. Марҳилаи DAPO бо пешниҳоди мукофоти ба вазифа ҳамоҳангшуда самаранокиро дубора боло мебарад.

4. Натиҷаҳои садои воқеии инсон бояд бо эҳтиёттар тафсир шаванд. Real Audio Bench маҷмуаи хурди додаҳост. SFT дурустии баландтаринро медиҳад, дар ҳоле ки DAPO-и шашмукофота кӯтоҳтарин дарозии final-think-ро таъмин мекунад. Азбаски фосилаҳои эътимод бо ҳам мепӯшанд, ин маҷмуа бояд на ҳамчун раддабандии қатъии моделҳо, балки ҳамчун санҷиши интиқол хонда шавад.

5. Таъхир танҳо суръати низом нест. Мақола дарозии final-think-ро ҳамчун нишондиҳандаи сарбории истидлоли боқимонда пас аз анҷоми сухани корбар истифода мебарад. Пас, таъхир дар ин ҷо на танҳо вақти сахтафзор ё хидмат, балки инчунин ба он вобаста аст, ки модел андешаро то чӣ андоза ба охир гузоштааст.

6. Истеҳсоли cache-native ҳанӯз самти кори оянда аст. Мақола қайд мекунад, ки роҳи расмии Qwen serving барои ин ҳалқаи идоракунӣ интерфейси мустақими cache-native пешниҳод намекунад; бинобар ин дар benchmark аз full-prefix replay истифода шудааст. Ҳарчанд прототипи ҷудогона нишон медиҳад, ки ҳамон ҷараёни иттилоотро метавон ба шакли cache-native татбиқ кард, аммо низоми нутқии дар сатҳи истеҳсолот оптимизатсияшуда иддао намешавад.

Чаро ин муҳим аст?

Ёварони овозии зеҳни сунъӣ ҳарчи бештар ба вақти воқеӣ наздик мешаванд. Корбарон акнун танҳо дар қуттии матн савол наменависанд; онҳо сухан мегӯянд, ислоҳ мекунанд, бо нимҷумла оғоз менамоянд ва дар лаҳзаи охир маълумоти муҳим меафзоянд. Дар чунин муҳит модел бояд на танҳо ҷавоби хуб тавлид кунад, балки ҷараёни нутқро низ хуб идора намояд.

Ин таҳқиқот масъалаи «вақти андеша»-ро дар ёварони овозӣ равшан месозад. Агар модел то анҷоми нутқ ҳеҷ коре накунад, баъдтар метавонад муддати дароз андеша кунад. Агар ҳангоми идома доштани суҳбат навсозиҳои кӯтоҳу ба далел такякунанда анҷом диҳад, таъхири ниҳоӣ метавонад кам шавад. Аммо ин навсозиҳо набояд нозарур, тӯлонӣ ё нодуруст бошанд.

Ин ғоя барои ёварони таълимии зинда, абзорҳои дастрасӣ, тарҷумаи вақти воқеӣ, ёварони маҷлис, низомҳои дастгирии маркази тамос ва интерфейсҳои овозии корбар муҳим аст. Махсусан барои корбарони дорои маъюбӣ ва шахсоне, ки аз зернависи фаврӣ ё низомҳои дастгирии нутқ истифода мебаранд, таъхир метавонад мушкили ҷиддитари таҷрибаи корбар эҷод кунад.

Ин масъала ҳамчунин аз дидгоҳи амният ва ахлоқ муҳим аст. Агар низомҳои қодир ба андеша ҳангоми суҳбат ба абзорҳои ноаён гӯшкунанда ва пешакӣ таҳлилкунандаи нутқ табдил ёбанд, хатари махфият ва дасткорӣ ба вуҷуд меояд. Аз ин рӯ, мақола фазои амалро ба интизорӣ/андеша/ҷавоб маҳдуд карда, тавлиди андешаи нозарурро ҷазо медиҳад.

Нуктаҳои мавриди таваҷҷуҳ

1. Таҳқиқот preprint аст. Бозёфтҳо набояд бо қатъияти нусхаи ниҳоии аз баррасии ҳамтоён гузашта арзёбӣ шаванд.

2. Ин низоми истеҳсолии комилан оптимизатсияшуда нест. Мақола ба ҷойи cache-native serving аз benchmark-и бар full-prefix replay асосёфта истифода мекунад. Аз ин рӯ, барои самаранокии маҳсулоти воқеӣ муҳандисии иловагӣ зарур аст.

3. Real Audio Bench хурд аст. 186 сабт барои пурра муаррифӣ кардани гуногунии лаҳҷа, садои муҳит, услуби сухан ва корбарон кофӣ нест.

4. Намоёнии андешаи мобайнӣ бояд бо эҳтиёт тарҳрезӣ шавад. Тавлиди навсозии намоёни мобайнӣ аз ҷониби модел метавонад барои корбар шарҳпазирӣ фароҳам оварад; аммо тафсирҳои мобайнии нозарур ё нодуруст метавонанд корбарро гумроҳ кунанд.

5. Ҷавоби ниҳоӣ ба пас аз анҷоми нутқ маҳдуд шудааст. Дар ин таҳқиқот пеш аз анҷоми нутқ ҷавоби ниҳоӣ додани модел ҳадафи асосии омӯзиш нест. Диққати асосӣ ба вақти навсозиҳои андешаи мобайнӣ ҳангоми суҳбат равона шудааст.

6. Нутқи инсон бисёр гуногун аст. Таваққуфҳо, лаҳҷаҳо, сухани тез, ғавғо, иваз кардани мавзуъ ва нимҷумлаҳо метавонанд рафтори моделро дар истифодаи воқеӣ душвор созанд.

7. Хатари махфият ва истифодаи нодуруст вуҷуд дорад. Низомҳое, ки нутқи қисмиро таҳлил мекунанд, набояд бидуни огоҳии корбар ва механизмҳои иҷозат истифода шаванд. Дар таҳлили нутқи вақти воқеӣ иттилоъдиҳии равшан ва ҳудудҳои амниятӣ муҳиманд.

Ёддошт дар бораи соҳаи хатарнок: Таҳқиқот ба низомҳои зеҳни сунъие марбут аст, ки нутқро дар вақти воқеӣ мешунаванд ва бар асоси вуруди қисмии овозӣ навсозиҳои истидлоли мобайнӣ анҷом медиҳанд. Чунин низомҳо метавонанд барои дастрасӣ, тарҷумаи зинда, таълим ва ёварони овозӣ муфид бошанд; аммо бидуни огоҳии корбар назорати нутқ, муҳандисии иҷтимоӣ ё нақзи махфият барин хатарҳоро низ ба вуҷуд меоранд. Ин навишта танҳо ҳадафи иттилоърасонии техникӣ дорад.

Арзёбии умумӣ: Мақола ба мушкили муҳими ёварони овозии зеҳни сунъӣ диққат медиҳад: оё модел ҳангоми сухан гуфтани корбар бояд интизор шавад, навсозии мобайнии маълумотро анҷом диҳад ё фавран ҷавоб гӯяд? Дар нутқи инсон шунаванда аксаран пеш аз анҷоми суҳбат ба ҷавоб омода мешавад. Ин таҳқиқот бо интиқоли ғояи монанд ба моделҳои бузурги садо-забон саволи «ҳангоми шунидан кай бояд андешид?»-ро ҳамчун масъалаи идоракунии омӯхташаванда баррасӣ мекунад.

Хулоса

Ин мақола масъалаи муҳимро барои моделҳои бузурги садо-забон баррасӣ мекунад: модел ҳангоми шунидани нутқ кай бояд андеша кунад? Дар равиши классикӣ модел тамоми садоро интизор мешавад, баъд андеша мекунад ва ҷавоб медиҳад. Аммо дар нутқи вақти воқеӣ ин равиш метавонад таъхир эҷод кунад. Ҷавоби барвақт бошад, метавонад ба хато оварда расонад.

Идоракунии wait-think-answer барои ин мувозинат чаҳорчӯбаи амалӣ фароҳам меорад. Модел ҳангоми суҳбат байни интизорӣ ва навсозии кӯтоҳи ҳолати мобайнӣ интихоб мекунад. Бо расидани маълумоти муҳим навсозиҳои хурду ба вазифа нигаронидашудаи андешаро ҷамъ менамояд. Ҳамин тавр, сарбории андешаи боқимонда дар марҳилаи ҷавоби ниҳоӣ метавонад коҳиш ёбад.

Натиҷаҳо нишон медиҳанд, ки идорагари шашмукофотаи DAPO дар benchmark-и нутқи синтетикӣ ҳам дурустиро афзоиш ва ҳам дарозии final-think-ро коҳиш медиҳад. Дар санҷиши садои воқеии инсон натиҷаҳо эҳтиёткоронатаранд: идорагарони омӯхташуда кор мекунанд, аммо дурустӣ ва андешаи кӯтоҳи ниҳоӣ ҳамеша дар як вариант муттаҳид намешаванд.

Паёми асосӣ барои хонандаи Verianla чунин аст: ёварони овозии зеҳни сунъии оянда маҷбур мешаванд на танҳо «чӣ ҷавоб додан», балки «ҳангоми ҷараёни нутқ кай интизор шудан, кай навсозии кӯтоҳ анҷом додан ва кай ҷавоб гуфтан»-ро низ омӯзанд. Ин таҳқиқот ин масъалаи вақтро ба вазифаи идоракунии андозашаванда ва омӯхташаванда табдил медиҳад.

Ёддошт дар бораи манбаъ ва усул

Ин навишта муҳтавои аслии таҳририи тоҷикӣ аст, ки бар асоси PDF-и академӣ бо унвони «Learning When to Think While Listening in Large Audio-Language Models» таҳия шудааст. Матн тарҷумаи таҳтуллафзӣ нест; масъала, усул, формулаҳо, тасвирҳо, ҷадвалҳо, протоколи озмоиш, натиҷаҳо ва маҳдудиятҳои таҳқиқот ба шакли сода шарҳ дода шудаанд.

Дар навишта истилоҳи «андеша» ба тавлиди навсозии кӯтоҳи ҳолатии барои корбар намоён аз ҷониби модел ишора мекунад; он набояд айнан ҳаммаънои андешаи инсон дар ҷаҳони воқеӣ дониста шавад.