Ин таҳқиқот таҳияи низоми роботи мобилиро меомӯзад, ки метавонад назорати саломатии пиронсолонро дар хона аз дастгоҳҳои ченкунии ғайрифаъол ба дарки фаъол ва кӯмаки ҷисмонӣ гузаронад. Низом модели бузурги забониро барои тафсири шикоятҳои номуайяни саломатӣ, ки бо забони табиӣ гуфта мешаванд, мошини ҳолатҳои ниҳоиро барои иҷрои бехатару муайяни вазифаҳо, ҳудудҳои амнияти ҷисмонӣ, идоракунии мутобиқшавандаи сервои визуалӣ бар асоси тасвир ва стратегияи ҳаракати дорои лангари визуалӣ барои кӯмак ба ченкунии фишори хун якҷо кардааст. Дар таҳқиқоти саҳроии якмоҳа бо иштироки бист ихтиёрии солхӯрда сатҳи ниҳоии муваффақияти раванди гирифтани тасвир %95, муваффақияти ҷараёни кории кӯмак ба ченкунии фишори хун зиёда аз %90 ва муваффақияти умумии занҷираи дарози вазифаҳо %70 гузориш шудааст. Бо вуҷуди ин, таҳқиқот аз арзёбии ҳамтоён нагузаштааст; он дақиқии ташхиси клиникӣ, натиҷаҳои тиббӣ ё амнияти дарозмуддати низомро дар истифодаи беназорати хонагӣ исбот намекунад.

Равиши асосии робот ба ҷойи истифодаи модели бузурги забонӣ ҳамчун назоратчие, ки бевосита ба муҳаррикҳо фармон медиҳад, маҳдуд кардани баромади модели забонӣ бо малакаҳои пешакӣ муайяншудаи робот мебошад. Ифодаи сохторнадоштае монанди «Сарам чарх мезанад» аввал аз шинохти нутқ ва таҳлили маъноӣ мегузарад, баъд низоми тавлиди дастгиришаванда бо ҷустуҷӯи иттилоот эҳтимолҳои вазифаҳои марбут ба саломатиро арзёбӣ мекунад ва натиҷа ба силсилаи Plan JSON табдил дода мешавад. Мошини ҳолатҳои ниҳоӣ ва муҳофизатҳои амниятӣ ин нақшаро танҳо вақте иҷро мекунанд, ки шартҳои ҷисмонӣ, аз ҷумла қувва, суръат, масофа, алоқа ва ҳолати дастгоҳ таъмин бошанд.

Аҳамият барои Туркия ва мутобиқсозии зарурӣ

Равиши муҳандисии таҳқиқот метавонад барои нигоҳубини пиронсолон дар хона, хизматрасонии муассисаҳои нигоҳубини солхӯрдагон, кӯмаки ченкунӣ ба шахсони дорои маҳдудияти ҳаракат ва коҳиши сарбории кори ҳаррӯзаи кормандони нигоҳубин дар Туркия мутобиқ карда шавад. Аммо барои татбиқи мустақим низоми шинохти нутқи туркӣ бояд бо хусусиятҳои овозии пиронсолон, лаҳҷаҳои минтақавӣ ва суръатҳои гуногуни сухан аз нав омӯзонида шавад. Дар таҳқиқот коҳиш ёфтани муваффақияти шинохти ният аз зиёда аз %90 дар нутқи стандартии мандаринӣ то тақрибан %50 дар аксентҳои қавии минтақавӣ зарурати санҷиш бо забони туркӣ ва лаҳҷаҳои маҳаллиро нишон медиҳад.

Версияе, ки дар Туркия истифода мешавад, бояд бо ибораҳои туркии ҳолатҳои фавқулода, протоколҳои маҳаллии нигоҳубин, талаботи махфият, пайвастҳои дастгоҳҳои тиббӣ ва қоидаҳои равона кардан ба кормандони ваколатдори тиббӣ низ алоҳида тасдиқ карда шавад. Анҷом ёфтани вазифаи робот, ки ҷисман ба ченкунии фишори хун кӯмак мекунад, худ аз худ дақиқии клиникии арзиши ченшударо исбот намекунад. Аз ин рӯ, бе муқоисаи ченкунӣ бо дастгоҳҳои истинодии сертификатдор, озмоишҳои мустақили амниятӣ, арзёбии кумитаи ахлоқ, таҳқиқоти саҳроӣ дар намудҳои гуногуни хона ва таҷрибаҳои бисёрмарказии корбарон дар бораи истифодаи клиникӣ ё васеи хонагӣ хулоса баровардан мумкин нест.

Масъалаи асосии таҳқиқот чист?

Дар идоракунии анъанавии саломатӣ дар хона дастгоҳи электронии фишори хун, ҳароратсанҷ ва воситаҳои монанд одатан талаб мекунанд, ки корбар ченкуниро худаш оғоз кунад, дастгоҳро дуруст ҷойгир намояд ва натиҷаро тафсир кунад. Барои пиронсолоне, ки ҳаракаташон маҳдуд аст, мушкили биноӣ ё шунавоӣ доранд ё бояд сарбории маърифатии онҳо кам карда шавад, ин равиш метавонад монеаи ҷиддии истифода бошад. Таҳқиқот ҳадаф дорад роботи ҳамгироеро таҳия кунад, ки шикояти марбут ба саломатиро мефаҳмад, корбарро меёбад, вазифаи мувофиқи ченкуниро оғоз мекунад, шароити тасвиргириро ислоҳ мекунад ва дастрасӣ ба дастгоҳи ҷисмонии ченкуниро осон месозад.

Муҳаққиқон ба се холигии муҳандисӣ тамаркуз кардаанд:

• Табдил додани ифодаҳои номуайяни забони табиӣ, монанди «Сарам чарх мезанад», ба вазифаҳои бехатар ва иҷрошавандаи робот.
• Пешгирӣ аз он ки галлюцинатсияҳои эҳтимолии моделҳои бузурги забонӣ дар роботе, ки наздики бадани инсон кор мекунад, ба ҳаракати хатарнок табдил ёбанд.
• Бо вуҷуди хатогиҳои ҷойгиршавии сатҳи сантиметрии низомҳои харитасозии хонагӣ, ба ҳадафҳое монанди рӯй, даҳон ва даст бо дақиқӣ наздик шудан.

Низом аз кадом ҷузъҳо иборат аст?

Сохтори ҷисмонии робот аз пойгоҳи ҳаракаткунанда, бозуи роботии ҳамкор бо шаш дараҷаи озодӣ, камераи RGB-D, LiDAR, массиви микрофонҳо, камераи нури намоён, камераи инфрасурхи мавҷи дароз, ҷузъҳои ҳискунии қувва-момент ва дастгоҳи силиндршакли ченкунии фишори хун, ки дар бадан ҷойгир шудааст, иборат аст. Ба ҷойи печонидани манжети чандир ба дасти корбар бо дасти робот, аз корбар талаб шудааст, ки дасташро ба дохили силиндри собит дароз кунад. Ин интихоб мураккабии идоракунии маводи чандирро коҳиш медиҳад; аммо талаб мекунад, ки корбар роҳнамоии овозиро фаҳмида, дасташро ба мавқеи муносиб оварда тавонад.

Расми 1 ҷойгиршавии пойгоҳи ҳаракаткунанда, бозуи робот, сари дарккунанда ва борҳои тиббиро дар прототипи ҷисмонӣ нишон медиҳад. Дар тасвир сенсори назорати муҳит, массиви микрофонҳо, камераҳои ду ва сеандоза, камераи инфрасурх, чароғи пуркунандаи LED, модули назорати қувва, воҳиди шинохти нутқ, экрани асосии ҳамкорӣ ва кортҳои гуногуни алоқа алоҳида нишон дода шудаанд. Расми 2 ҳамгиро шудани маълумоти визуалӣ, қувва ва садоро дар назоратчии ҳисоббарории канорӣ; интиқоли фармонҳои ҳаракат ба пойгоҳ ва бозу тавассути ROS 2; ва иҷрои коркарди сатҳи баланди модели забонӣ тавассути пайвасти абрӣ шарҳ медиҳад.

Меъмории абр–канор чӣ гуна кор мекунад?

Меъмории нармафзор аз чор қабат иборат аст:

1. Қабати ҳамкорӣ: Нутқи корбарро бо низоми автоматии шинохти нутқ ба матн ва нияти сохторёфта табдил медиҳад.
2. Қабати оркестратсия: Модели бузурги забонӣ аз дастурҳои низом, пойгоҳи додаҳои тавлиди дастгиришаванда бо ҷустуҷӯи иттилоот ва феҳристи малакаҳо истифода бурда, нақшаи вазифаро месозад.
3. Қабати иҷро: Вазифаҳои дохили Plan JSON-ро бо мошини ҳолатҳои ниҳоӣ тартиб медиҳад ва ҳар ҳаракатро аз муҳофизатҳои амниятӣ мегузаронад.
4. Қабати ROS 2 ва сахтафзор: Гиреҳҳои ҷисмониро, аз ҷумла навигатсия, пайгирии визуалӣ, идоракунии бозуи робот ва дастгоҳи фишори хун ба кор меандозад.

Дар Расми 3 нишон дода шудааст, ки овози корбар аввал ба воҳиди шинохти нутқ, сипас ба ядрои банақшагирии LLM, мошини ҳолатҳои ниҳоӣ ва сахтафзори ҷисмонӣ мегузарад. Расми 4 ин равандро муфассалтар ба се қисм ҷудо мекунад: дастурҳои амниятӣ ва вазифавие, ки ба низом дода мешаванд, Plan JSON-и аз ҷониби LLM тавлидшуда ва Феҳристи малакаҳо, ки параметрҳои вурудӣ, шартҳои пешакӣ ва ҳудудҳои амниятии ҳар малакаҳоро муайян мекунад.

Чаро Феҳристи малакаҳо муҳим аст?

Модели бузурги забонӣ фармонҳои озодшакли муҳаррикро тавлид намекунад. Ба ҷойи ин метавонад малакаҳои пешакӣ муайяншуда, монанди align_face_ibvs, incremental_move, measure_bp ва capture_face_rgb-ро даъват кунад. Барои ҳар малака ҳадаф, дақиқӣ, шартҳои пешакӣ ва ҳудуди амнияти ҷисмонӣ муайян шудааст. Масалан, барои кор кардани малакаи ҳамоҳангсозии рӯй, рӯй бояд дар майдони диди камера бошад; дар малакаи ченкунии фишори хун бошад, қувваи тамос бояд аз ҳадди 5 N поён нигоҳ дошта шавад.

Ин ҷудосозӣ модели эҳтимолии забониро аз масъулияти амнияти низоми ҷисмонӣ ҷудо мекунад. LLM пешниҳод мекунад, ки кадом малакаҳо бо кадом тартиб даъват шаванд, аммо суръати муҳаррикҳо, шартҳои қатъи қувва, назорати бархӯрд ва ҳаракатҳои ақибнишинӣ аз ҷониби назоратчиёни муайянӣ иҷро мешаванд.

Муҳофизатҳои амнияти ҷисмонӣ кадомҳоянд?

Муҳофизатҳои асосии дар таҳқиқот муайяншуда дар ҷадвали зер ҷамъбаст шудаанд:

Ҳангоми дар ҳолати дамкунӣ ё ченкунӣ будани дастгоҳи фишори хун ҳамаи дараҷаҳои озодии ҳаракати пойгоҳи мобилӣ ва бозуи робот дар сатҳи драйвер қулф мешаванд. Пеш аз оғоз шудани дамкунӣ бояд таъхири пайвасти Bluetooth аз 100 ms кам бошад, пурра ворид шудани дасти корбар ба силиндр бо сенсорҳои визуалӣ ва фотоэлектрикӣ тасдиқ гардад ва робот мувофиқи воҳиди ченкунии инерсиалӣ беҳаракат бошад.

Ин механизмҳо ҷузъҳои муҳими тарҳи амниятӣ мебошанд; аммо дар таҳқиқот сертификати мустақили амният, таҳлили фарогири хатар, таҳлили намудҳо ва таъсирҳои нокомӣ ё ҳуҷҷати расмии мутобиқати ISO пешниҳод нашудааст. Аз ин рӯ, ин механизмҳо бояд ҳамчун муҳофизатҳое арзёбӣ шаванд, ки дар прототип муайян шудаанд ва тибқи гузориши муаллифон озмуда шудаанд.

Ҷойгиркунии дағал чӣ гуна анҷом дода мешавад?

Робот аввал бо харитаи глобалӣ ва навигатсияи асосёфта ба LiDAR ба минтақаи ҳузури корбар наздик мешавад. Пас аз ошкор шудани рӯйи корбар, баландии қуттии маҳдудкунандаи рӯй дар тасвир барои ҳисоб кардани масофаи тахминии ҳадаф истифода мешавад. Матритсаи параметрҳои дохилии камера чунин аст:

\[ K = \begin{bmatrix} f_x & 0 & c_x \\ 0 & f_y & c_y \\ 0 & 0 & 1 \end{bmatrix} \]

Дар ин ҷо \(f_x\) ва \(f_y\) масофаҳои фокусии уфуқӣ ва амудиро бо пиксел; \(c_x\) ва \(c_y\) нуқтаи асосии тасвирро нишон медиҳанд. Муносибати байни баландии ченшудаи рӯй дар тасвир \(h\), баландии воқеии қабулшудаи рӯй \(H\) ва масофаи ҳадаф \(Z\) чунин муқаррар шудааст:

\[ Z = \frac{f_y H}{h} \]

Вақте \(H\) бо метр, \(h\) бо пиксел ва \(f_y\) бо пиксел истифода мешавад, \(Z\) масофаи тахминиро бо метр ифода мекунад. Ҳар қадар рӯй дар тасвир калонтар шавад, масофаи ҳисобшуда камтар мегардад. Аммо дар таҳқиқот арзиши антропометрии \(H\), ки истифода шудааст, ва тарзи мутобиқ кардани он ба андозаҳои гуногуни рӯй шарҳ дода нашудааст.

Координатаҳои камерагии ҳадаф ва инҳирофи самти уфуқӣ бо муносибатҳои зерин ҳисоб карда мешаванд:

\[ X = \frac{Z(u-c_x)}{f_x}, \qquad Y = \frac{Z(v-c_y)}{f_y}, \qquad \theta = \arctan\left(\frac{u-c_x}{f_x}\right) \]

\(u\) ва \(v\) координатаҳои тасвирии маркази рӯй мебошанд. \(X\), \(Y\) ва \(Z\) мавқеи тахминиро бо метр; \(\theta\) бошад, инҳирофи кунҷи уфуқиро ифода мекунад, ки метавонад ба радиан ё дараҷа табдил дода шавад.

Суръати хаттӣ ва кунҷии пойгоҳи мобилӣ бо қонуни идоракунии мутаносиб муайян карда мешавад:

\[ v = k_z(Z-Z^*), \qquad \omega = k_\theta \theta \]

Масофаи истодани дилхоҳ \(Z^*=1,0\) m интихоб шудааст. \(k_z\) ва \(k_\theta\) коэффисиентҳои мутаносиб мебошанд. Дар ин марҳила низом ҳадаф дорад корбарро ба минтақаи кори бозуи робот дар фосилаи тақрибан 0,8-1,2 m оварад.

Идоракунии мутобиқшавандаи сервои визуалӣ бар асоси тасвир чӣ гуна кор мекунад?

Хатогиҳои сатҳи сантиметрии навигатсияи дағал барои тасвири рӯй ё даҳон кофӣ дониста нашудаанд. Дар ҳамоҳангсозии дақиқ, хато байни мавқеи ҷории нуқтаҳои ҳадаф дар тасвир ва мавқеи дилхоҳ бевосита ба ҳаракати бозуи робот табдил дода мешавад.

Муносибати асосӣ байни вектори хусусиятҳои тасвир \(\mathbf{s}\) ва суръати фазоии шашченакаи камера \(\mathbf{v}_c\) чунин аст:

\[ \dot{\mathbf{s}} = \mathbf{L}_s(\mathbf{s},Z,\boldsymbol{\theta}_{cam})\mathbf{v}_c \]

\(\mathbf{L}_s\) Jacobian-и тасвир ё матритсаи ҳамкорӣ номида мешавад. Дар усули классикӣ ин матритса вобаста ба параметрҳои дохилии камера ва чуқурии ҳадаф ба таври аналитикӣ ҳисоб карда мешавад. Азбаски хатогиҳои масофаи фокусӣ, баҳодиҳии чуқурӣ ва калибркунии даст–чашм дар муҳити хона метавонанд ин матритсаро вайрон кунанд, муҳаққиқон Jacobian-ро дар ҷараёни давр нав кардаанд.

Навсозии онлайнии Jacobian бо Broyden

Jacobian-и тахминшуда бо навсозии зерини Broyden таҷдид карда мешавад:

\[ \hat{\mathbf{L}}_{k+1} = \hat{\mathbf{L}}_k + \alpha \frac{\left(\Delta\mathbf{s}_k-\hat{\mathbf{L}}_k\Delta\mathbf{X}_{c,k}\right)\Delta\mathbf{X}_{c,k}^{T}}{\Delta\mathbf{X}_{c,k}^{T}\Delta\mathbf{X}_{c,k}+\delta} \]

\(\Delta\mathbf{s}_k\) тағйири хусусияти тасвир байни ду даври идоракуниро; \(\Delta\mathbf{X}_{c,k}\) афзоиши воқеии ҷойивазкунӣ ва гардиши камераро; \(\alpha\) коэффисиенти фаромӯшкуниро, ки вазни мушоҳидаи навро муайян мекунад; ва \(\delta\) ҳади хурди дампкуниро, ки аз ба сифр наздик шудани махраҷ пешгирӣ мекунад, ифода мекунад. Формула мекӯшад хатои байни ҳаракати пешгӯишуда ва ҳаракати мушоҳидашудаи тасвирро кам кунад.

Jacobian-и ибтидоӣ бо чуқурӣ ва масофаи фокусии тахминӣ чунин сохта мешавад:

\[ \mathbf{L}_0 = \begin{bmatrix} -\frac{f}{Z} & 0 & \frac{u}{Z} & \frac{uv}{f} & -\frac{f^2+u^2}{f} & v \\ 0 & -\frac{f}{Z} & \frac{v}{Z} & \frac{f^2+v^2}{f} & -\frac{uv}{f} & -u \end{bmatrix} \]

Ҳатто агар матритсаи ибтидоӣ хато бошад ҳам, ҳадаф ин аст, ки модели маҳаллӣ бо истифода аз ҳаракатҳои минбаъдаи камера ва тағйироти тасвир ислоҳ шавад. Аммо арзишҳои \(\alpha\) ва \(\delta\), ки дар таҷрибаҳо истифода шудаанд, ошкоро дода нашудаанд. Дар матн ишора ба навсозии Broyden ҳамчун ҷойпуркунандаи нотамоми «Eq. X» боқӣ мондааст.

Қонуни идоракунӣ ва сершавии ҳаракат

Вақте хатои тасвир ҳамчун \(\mathbf{e}=\mathbf{s}-\mathbf{s}^*\) муайян карда мешавад, суръати камера чунин ҳисоб мешавад:

\[ \mathbf{v}_c = -\lambda \hat{\mathbf{L}}_k^{+}\mathbf{e} \]

\(\hat{\mathbf{L}}_k^{+}\) псевдотескари Moore-Penrose-и Jacobian-и тахминшуда мебошад; \(\lambda\) бошад, коэффисиентест, ки суръати камшавии хаторо муайян мекунад. Вақте идоракунӣ ба афзоиши дискретии мавқеъ табдил дода мешавад:

\[ \Delta\mathbf{x}_{c,k} = -\eta \hat{\mathbf{L}}_k^{+}\mathbf{e}_k, \qquad \eta=\lambda\Delta t \]

\(\eta\) коэффисиенти қадами беченакаест, ки аз ҳосили зарби давраи намунагирӣ ва коэффисиенти идоракунӣ ба вуҷуд меояд. Барои пешгирӣ аз ҷаҳиши ногаҳонии бозуи робот ҳангоми хатои калон дар дарки тасвир, нормаи афзоиши мавқеъ маҳдуд карда мешавад:

\[ \|\Delta\mathbf{x}_{c,k}\| > \delta_{max} \Rightarrow \Delta\mathbf{x}_{c,k} \leftarrow \delta_{max}\frac{\Delta\mathbf{x}_{c,k}}{\|\Delta\mathbf{x}_{c,k}\|} \]

Дар таҳқиқот ҳаракати максималии намунавии як давр \(\delta_{max}=5\) cm дода шудааст. Ин арзиш дар ҳамаи самтҳо як ҳадди якхелаи нормаи Евклидиро татбиқ мекунад. Ҳаракати бехатари декартӣ баъдан ба ҳаракати буғумҳои робот табдил дода мешавад:

\[ \Delta\mathbf{q}_{joint} = \mathbf{J}_{robot}^{-1}(\mathbf{q})\mathbf{T}_{c}^{e}\Delta\mathbf{x}_{c,k} \]

\(\mathbf{J}_{robot}\) Jacobian-и кинематикии бозуи робот, \(\mathbf{T}_{c}^{e}\) табдили даст–чашм байни камера ва нӯги иҷрокунанда ва \(\Delta\mathbf{q}_{joint}\) тағйироти кунҷи буғумҳоро ифода мекунанд.

Камераи нури намоён ва камераи инфрасурх чӣ гуна мутобиқ карда мешаванд?

Азбаски тасвирҳои инфрасурх қатъияти паст ва матни визуалии кам доранд, нуқтаҳои калидии рӯй дар камераи нури намоён муайян карда мешаванд. Пас аз ҳамоҳанг шудани камераи намоён бо ҳадаф, мавқеи нави камераи инфрасурх бо истифода аз табдилҳои пешакӣ калибршудаи ҳар ду камера нисбат ба нӯги иҷрокунанда ҳисоб карда мешавад:

\[ \mathbf{T}_{e2}^{b} = \mathbf{T}_{e1}^{b}\mathbf{T}_{v}^{e}\mathbf{T}_{target}^{v} \left(\mathbf{T}_{target}^{th}\right)^{-1} \left(\mathbf{T}_{th}^{e}\right)^{-1} \]

Ин занҷири кинематикӣ ҳадаф дорад минтақаи рӯйро, ки камераи намоён мебинад, ба майдони диди камераи инфрасурх интиқол диҳад. Муҳаққиқон бо такя ба такрорпазирии ±0,02 mm-и бозуи робот изҳор мекунанд, ки байни ду навъи тасвир сабти фазоии дақиқ таъмин шудааст. Аммо дар таҳқиқот тақсимоти мустақили хатои сабти ин мутобиқсозии чандмодалӣ ё дақиқии ченкунии ҳарорат дар инсон дода нашудааст.

Контури пӯшидаи сифати тасвир чист?

Низом танҳо ҳадафро ба маркази тасвир овардан намекунад; барои равшанӣ, рӯшноӣ ва дар чаҳорчӯба ҷой гирифтани минтақаи ҳадаф холҳои муттаҳидаи сифатро ҳисоб мекунад:

\[ Q_{score} = w_1 I_{clarity} + w_2 I_{light} + w_3 I_{complete} \]

\(I_{clarity}\) бо дисперсияи Лапласиан ҳолати хирагӣ ё фокусро; \(I_{light}\) бо гистограммаи канали Y-и тасвир экспозитсияро; \(I_{complete}\) бошад, бо таносуби буриш-иттиҳод дар дохили майдони дид мондани минтақаи ҳадафро арзёбӣ мекунад. \(w_1\), \(w_2\) ва \(w_3\) вазнҳои ин ҷузъҳо мебошанд.

Вақте холҳои сифат аз 90 поён мемонанд, робот ду навъи ислоҳро татбиқ мекунад:

• Агар равшанӣ паст бошад, камера дар тӯли меҳвари оптикӣ бо қадамҳои 2-5 mm ба пеш ё ақиб ҳаракат дода мешавад.
• Агар экспозитсия нокифоя бошад, давраи кори равшании LED дар нӯги иҷрокунанда бо афзоишҳои %10 баланд карда мешавад.

Расми 5 сохтори дуконтуриро нишон медиҳад, ки дар дохил контури идоракунии кинематикӣ бо навсозии Broyden ва дар берун арзёбии сифати тасвир мавҷуд аст. Аммо миқёси ҷузъҳои \(Q_{score}\), арзишҳои ададии вазнҳо ва тарзи муайян кардани ҳадди 90 дар версияи баррасишуда шарҳ дода нашудаанд. Ин норасоӣ бозсозии айнан ҳамин усулро дар лабораторияи дигар душвор мекунад.

Лангари визуалӣ ва пайдарпаии ҳаракати омӯзонидашуда чӣ гуна кор мекунанд?

Гуфта шудааст, ки дар низоми глобалии ҳамзамони ҷойгиршавӣ ва харитасозӣ хатои дохили бино метавонад аз ±5 cm зиёд шавад. Барои наздик кардани дастгоҳи фишори хун ба дасти корбар рӯй ҳамчун лангари визуалии маҳаллӣ ва осоношкор интихоб шудааст. Ҳамин ки робот рӯйро ба маркази тасвир меорад, низоми координатаҳои маҳаллиро аз нав сифр мекунад ва ҳаракати баъдиро ба ҷойи харитаи глобалӣ нисбат ба ҳамин ҳолати ибтидоӣ иҷро мекунад.

Оператор роботро пешакӣ аз мавқеи ибтидоии ҳамоҳангшуда бо рӯй то мавқеи ниҳоие, ки даст ва дастгоҳи фишори хун ҳамоҳанганд, роҳнамоӣ мекунад. Афзоишҳои ҳаракат бо суръати 5 Hz сабт мешаванд:

\[ T=\{(\Delta x_1,\Delta\theta_1),(\Delta x_2,\Delta\theta_2),\ldots,(\Delta x_n,\Delta\theta_n)\} \]

Ҳангоми истифодаи онлайн, баъд аз дубора ҳамоҳанг кардани рӯй ин пайдарпаии ҳаракат дар контури кушода иҷро мешавад:

\[ x_k=x_{k-1}+\Delta x_k\cos(\theta_{k-1}) \]

\[ y_k=y_{k-1}+\Delta x_k\sin(\theta_{k-1}) \]

\[ \theta_k=\theta_{k-1}+\Delta\theta_k \]

Ин усул аз дақиқии одометрия дар масофаи кӯтоҳ истифода мебарад ва дрейфи харитаи глобалиро кам мекунад. Аммо қисми охирин контури кушода аст; агар рӯйи корбар пас аз ҳамоҳангсозӣ ба таври назаррас ҳаракат кунад, ислоҳи доимии контури пӯшида барои пайгирии мустақими даст муайян нашудааст. Таҳқиқот муваффақияти худро дар озмоишҳое гузориш кардааст, ки корбар нисбатан беҳаракат менишаст ва ба роҳнамоии овозӣ бо ҳаракатҳои хурди даст ҳамроҳ мешуд.

Расмҳо ва графикҳо чиро нишон медиҳанд?

• Расми 1: Ҷойгиршавии ҷузъҳои дарк, ҳаракат, равшанӣ, алоқа ва интерфейси корбарро дар прототипи робот нишон медиҳад.
• Расми 2: Ҷараёни электрикии маълумотро аз сенсорҳо то ҳисоббарории канорӣ, шабакаи алоқаи ROS 2 ва иҷрокунандаҳо нишон медиҳад.
• Расми 3: Чор қабатро аз нутқи корбар то банақшагирии LLM, мошини ҳолатҳои ниҳоӣ ва иҷрои ҷисмонӣ шарҳ медиҳад.
• Расми 4: Табдил додани дастури низом ва контексти RAG-ро ба Plan JSON ва Plan JSON-ро ба малакаҳои роботие, ки ҳудудҳои амниятӣ доранд, нишон медиҳад.
• Расми 5: Контури дукаратаи пӯшидаро байни хатои тасвир, баҳодиҳии онлайнии Jacobian, сершавии ҳаракат, кинематикаи баръакс ва холҳои сифат нишон медиҳад.
• Расми 6: Шаш марҳилаи ҷисмониро аз фармони «Сарам чарх мезанад» то ёфтани манбаи садо, наздик шудан ба рӯй, гирифтани тасвири рӯй ва даҳон, ҷойгир кардани дастгоҳи фишори хун ва тавлиди натиҷа нишон медиҳад.
• Расми 7: Диаграммаи пайдарпаиест, ки табдил додани ифодаи сарчархзанӣ аз ҷониби LLM-и дорои ҷустуҷӯи иттилоот ба вазифаи санҷиши фишори хун ва бозгашти маълумотро мисол меорад.
• Расми 8: Нишон медиҳад, ки дар коэффисиенти пасти \(\eta=0,05\) хатогиҳои тасвир бе overshoot оҳиста ва якнавохт кам мешаванд ва параметрҳои нодуруст роҳи фазоиро каҷ мекунанд.
• Расми 9: Нишон медиҳад, ки дар арзиши \(\eta=0,5\) қисми зиёди хатои ибтидоӣ дар чанд даври аввал бартараф шудааст ва гурӯҳҳои озмудашуда дар 3-7 давр ҳамгаро шудаанд.
• Расми 10: Jacobian-и собитро бо Jacobian-и мутобиқшаванда муқоиса мекунад; усули мутобиқшаванда баъд аз 1-2 навсозӣ сустӣ ва тамоюли overshoot-ро, ки аз кам ё зиёд баҳогузорӣ шудани масофаи фокусӣ ба вуҷуд меояд, коҳиш додааст.

Натиҷаҳои Расмҳои 8-10 на дар прототипи ҷисмонӣ, балки дар симулятсияҳои ададӣ, ки барои пешгирии хавфи бархӯрди механикӣ сохта шудаанд, ба даст омадаанд. Аз ин рӯ, графикҳо рафтори алгоритмро дар модели озмудашуда ва зери параметрҳои халалдоркунанда дастгирӣ мекунанд; онҳо худ аз худ устуворӣ ё кори бе бархӯрдро дар ҳамаи шароити хона исбот намекунанд.

Натиҷаҳое, ки таҳқиқот дастгирӣ мекунад

• Ҷудо кардани баромади LLM бо феҳристи малакаҳо, мошини ҳолатҳои ниҳоӣ ва ҳудудҳои амнияти ҷисмонӣ меъмории амалии амниятиро пешниҳод мекунад.
• IBVS-и мутобиқшаванда дар хатогиҳои санҷидашудаи параметрҳои камера нисбат ба усули параметрҳои собит ҳамгароии тезтар нишон додааст.
• Бозхурди сифат муваффақияти гирифтани тасвир дар контури кушодаро аз сатҳи гузоришшудаи %72 то %95 баланд кардааст.
• Стратегияи ҳаракате, ки рӯйро ҳамчун истиноди маҳаллӣ истифода мебарад, хатои ҳамоҳангсозии дастгоҳ–дастро аз зиёда аз 10 cm дар навигатсияи анъанавии глобалӣ то камтар аз 2 cm коҳиш додааст.
• Нишон дода шудааст, ки низом дар нутқи стандартии мандаринӣ метавонад ниятҳои забони табииро коркард кунад ва нақшаҳои бисёрмарҳилавии вазифа созад.

Натиҷаҳое, ки таҳқиқот исбот намекунад

• Низом аз ҷиҳати дақиқии ташхиси беморӣ ё муайян кардани сабаби сарчархзанӣ арзёбӣ нашудааст.
• Дақиқии ташхиси клиникии тасвирҳои рӯй ва забон бо арзёбии табиб ё санҷишҳои истинодӣ муқоиса нашудааст.
• Анҷоми ҷараёни кори фишори хун маънои тасдиқ шудани дақиқии тиббии дастгоҳи ченкуниро надорад.
• Озмоиши саҳроии якмоҳа далели амният ё устуворӣ барои солҳои истифодаи беназорати хонагӣ нест.
• Натиҷаҳои бист ихтиёриро ба тамоми аҳолии солхӯрда бо кишварҳо, забонҳо ва ҳолатҳои гуногуни саломатӣ умумӣ кардан мумкин нест.
• Таҳқиқот нишон надодааст, ки сарбории кори кормандони нигоҳубин, муроҷиат ба беморхона ё хароҷоти тандурустӣ кам шудааст.
• Барои сатҳи %90-и бастани дастурҳои хатарнок, ки дар хулоса гузориш шудааст, шумораи дастурҳои санҷидашуда, синфҳои хавф, сатҳҳои қабулҳои нодуруст ва радкуниҳои нодуруст шарҳ дода нашудаанд.

Усул ва натиҷаҳои таҳқиқот

Тарҳи таҷриба ва иштирокчиён

Робот ва инфрасохтори ҳисоббарорӣ

• Пойгоҳи ҳаракаткунанда бо дастгирии LiDAR ва механизми гардонандаи дифференсиалӣ.
• Бозуи роботии ҳамкор бо шаш дараҷаи озодӣ.
• Камераи RGB-D, камераи 4K-и нури намоён ва камераи инфрасурхи мавҷи дароз.
• Массиви микрофонҳо бо дастгирии муайянкунии манбаи садо дар 360 дараҷа.
• Платформаи ҳисоббарории канории синфи NVIDIA Jetson Orin, Ubuntu ва ROS 2.
• Идоракунии сатҳи пасти ҳаракат тавассути CAN ё EtherCAT; алоқаи дастгоҳи тиббӣ тавассути BLE, RS-232 ва USB.
• Дастгоҳи силиндршакли ченкунии фишори хун, ки ба корпус ҳамгиро шудааст.

Дар тавсифи сахтафзор намунаи бозуи робот JAKA Zu 5 гуфта шудааст, дар ҳоле ки дар бахши симулятсияи ададӣ модели кинематикии JAKA Zu 7 истифода шудааст. Сабаби ин тағйирот ва таъсири фарқи байни прототипи ҷисмонӣ ва симулятсия ба натиҷаҳо шарҳ дода нашудааст.

Натиҷаҳои асосии кор

Фоизҳои ҷадвал вазифаҳои зерини гуногунро ифода мекунанд. Арзиши %95 гирифтани тасвири босифатро, арзиши зиёда аз %90 ҷараёни кори роҳнамоии ҷисмонӣ ба дастгоҳи фишори хун ва арзиши %70 занҷираи дарози вазифаҳоро, ки навигатсия, нутқ ва манипулятсияро пурра дар бар мегирад, нишон медиҳад. Дар хулоса ва бахши натиҷаҳо ҳамчунин %92 «муваффақияти аз оғоз то анҷом» гузориш шудааст; аммо маҷмӯи озмоишҳое, ки ин арзиш аз онҳо ҳисоб шудааст, таърифи муваффақият ва робитаи он бо сатҳи %70-и занҷираи вазифаҳо шарҳ дода нашудааст.

Симулятсияи идоракунии мутобиқшаванда

Дар таҷрибаҳои устувории параметрҳо %70 ва %130-и масофаи фокусии ҳақиқӣ ҳамчун арзиши ибтидоӣ истифода шуда, ба баҳодиҳии аввалини чуқурӣ инчунин %20 хато илова карда шудааст. Дар шароити коэффисиенти пасти \(\eta=0,05\) ҳамаи гурӯҳҳо ҳамгароии суст ва бе overshoot нишон додаанд. Дар шароити баландтари \(\eta=0,5\) тақрибан %90-и хатои ибтидоии тасвир дар 1-2 даври аввал кам шуда, гурӯҳҳои санҷидашуда дар 3-7 давр ба ҳолати устувор расидаанд.

Дар муқоисаи Jacobian-и собит ва мутобиқшаванда, вақте масофаи фокусӣ кам баҳогузорӣ шуда буд, усули мутобиқшаванда баъд аз навсозиҳои аввал коэффисиенти аз ҳад зиёдро ислоҳ кард; вақте масофаи фокусӣ зиёд баҳогузорӣ шуда буд, ҳамгароии сусти дароздумдори усули собитро кам кард. Ин натиҷаҳо нишон медиҳанд, ки навсозии Broyden бар зидди вайроншавиҳои санҷидашудаи параметрҳо фоидаовар аст. Аммо таҷрибаҳо симулятсияи ададӣ мебошанд ва даъвои «истифода аз сифр, бе калибркунӣ» бояд дар камераҳо, роботҳо ва ҳаракатҳои воқеии корбарони гуногун алоҳида санҷида шавад.

Арзёбии оморӣ

Дар таҳқиқот барои синну сол ва таъхири банақшагирӣ миёна ва инҳирофи стандартӣ дода шудааст. Ғайр аз ин, фосилаи эътимод, арзиши p, андозаи таъсир, қудрати намуна, тасодуфигардонӣ ё кӯркунӣ гузориш нашудааст. Гарчанде дар матн гуфта мешавад, ки сатҳи муваффақият «ба таври назаррас» баланд шудааст, барои фарқи байни %72 ва %95 санҷиши аҳамияти оморӣ пешниҳод нашудааст. Азбаски озмоишҳо дар ҳамон корбарон такрор шудаанд, мустақилияти мушоҳидаҳо ва шумораи озмоишҳо ба ҳар шахс низ шарҳ дода нашудааст.

Ҷиҳатҳои қавии таҳқиқот

• Пешниҳоди меъмории равшане, ки масъулиятҳои модели забонӣ, амният ва идоракунии ҷисмониро ба қабатҳо ҷудо мекунад.
• Беҳтар кардани сифати дарк дар контури пӯшида тавассути ҳаракати робот ва равшанӣ.
• Коҳиш додани хатои харитаи глобалӣ бо истиноди визуалии маҳаллӣ, ки ба бадани инсон вобаста аст.
• Маҳдуд нашудан ба симулятсияи лабораторӣ ва гузаронидани озмоиши прототипи ҷисмонӣ дар муассисаи нигоҳубини пиронсолон.
• Ошкоро гузориш кардани фарқи иҷро байни нутқи стандартӣ ва аксенти минтақавӣ.
• Муайян кардани якчанд қабати мустақили амниятӣ барои қувва, суръат, бархӯрд, алоқа ва нокомии дастгоҳи тиббӣ.

Маҳдудиятҳои асосӣ

• Таҳқиқот preprint-и аз арзёбии ҳамтоён нагузашта мебошад.
• Шумораи иштирокчиён 20 ва давомнокии саҳро танҳо як моҳ аст.
• Дақиқии ташхиси клиникӣ ё дақиқии ченкунии фишори хун бо усули истинодӣ муқоиса нашудааст.
• Барои маънои тиббии тасвирҳои рӯй ва забон арзёбии табиб, ҳассосият, хосият ё AUC-и ташхисӣ дода нашудааст.
• Дар байни сатҳҳои муваффақияти вазифаҳо арзишҳои %70, зиёда аз %90, %92 ва %95 мавҷуданд; махраҷи умумӣ ва таърифҳои муваффақият пурра шарҳ дода нашудаанд.
• Ҷузъиёти таҷрибавии сатҳи %90-и бастани дастурҳои хатарнок, ки дар хулоса омадааст, гузориш нашудааст.
• Вазнҳои \(Q_{score}\), баъзе коэффисиентҳои идоракунӣ ва усули муайян кардани остонаҳо дода нашудаанд.
• Модели бозуи робот дар тавсифи сахтафзор ва модели симулятсия фарқ мекунад.
• Муваффақияти шинохти нутқ дар аксентҳои қавӣ тақрибан ба нисф коҳиш ёфтааст.
• Код, маълумоти хом, журналҳои озмоиш ва бастаи бозтавлид дар версияи баррасишуда мубодила нашудаанд.
• Номи кумитаи мустақили ахлоқ ё рақами тасдиқи ахлоқӣ нишон дода нашудааст.
• Ҳуҷҷати мустақили сертификатсия, ки изҳороти муаллифон дар бораи мутобиқати ISO 13482-ро дастгирӣ кунад, пешниҳод нашудааст.
• Истифодаи модели забонии абрӣ аз ҷиҳати таъхир, пайвастагии алоқа ва махфияти маълумоти визуалӣ-саломатӣ тасдиқи иловагӣ талаб мекунад.

Ёддошти манбаъ ва усул

Номи пурраи аслии таҳқиқот: Active Visual Health Assessment and Physical Assistance in Unstructured Home Environments via an LLM-Driven Mobile Manipulator

Муаллифон: Ziqi Wang; Bruce Qing Tang; Chang Liu; Changqing Liu; Shuaiyu Wang.

Тартиби муаллифон ва муассисаҳо:

• Ziqi Wang — School of Mechanics and Engineering Science, Peking University, Beijing, Чин.
• Bruce Qing Tang — Tianjin ENNEW Generalist Technology Co., Ltd., Tianjin, Чин.
• Chang Liu — School of Mechanics and Engineering Science, Peking University, Beijing, Чин.
• Changqing Liu — Tianjin ENNEW Generalist Technology Co., Ltd., Tianjin, Чин.
• Shuaiyu Wang — Tianjin ENNEW Generalist Technology Co., Ltd., Tianjin, Чин.

Муаллифи ҳаммақоми аввал: Маълумот дар бораи саҳми баробар ё ҳаммақомии муаллифи аввал дар версияи баррасишуда мавҷуд нест.

Муаллифи масъул: Нишонаҳои ситорача дар PDF Bruce Qing Tang ва Chang Liu-ро ҳамчун муаллифони масъул нишон медиҳанд. Дар хулосаи сабти SSRN Bruce Tang инчунин ҳамчун “Contact Author” рӯйхат шудааст. Дар PDF-и баррасишуда тавзеҳи ҷудогона дар бораи маънои ситорачаҳо ё суроғаи почтаи электронии муаллифи масъул мавҷуд нест.

DOI:10.2139/ssrn.7193872

Маҷалла: Номи маҷаллаи аз арзёбии ҳамтоён гузашта нишон дода нашудааст.

Платформаи нашр: SSRN.

Соҳиби платформа: Elsevier Inc. SSRN дар ин ҷо платформаи паҳнкунии preprint мебошад; таҳқиқот набояд ҳамчун мақолаи маҷаллаи аз арзёбии ҳамтоён гузашта ва аз ҷониби Elsevier нашршуда арзёбӣ шавад.

Соли нашр: 2026.

Навъи манбаъ: Preprint-и таҳқиқоти муҳандисӣ, ки озмоишҳои саҳроии прототипи ҷисмониро бо симулятсияҳои ададии идоракунӣ якҷо мекунад.

Ҳолати арзёбии ҳамтоён: Ин таҳқиқот preprint аст ва аз арзёбии ҳамтоён нагузаштааст.

Манбаи расмӣ:Сабти расмии таҳқиқот дар SSRN.

Ин шарҳи туркӣ пас аз баррасии версияи 34-саҳифагии таҳқиқоти боршуда, аз ҷумла матнҳо, формулаҳо, ҷадвалҳо, тасвирҳои меъмории робот, тасвирҳои таҷриба ва графикҳои ҳамгароӣ омода шудааст. Ба муҳтавои илмӣ ягон бозёфти нав аз берун аз таҳқиқот илова нашудааст. Санҷиши манбаъҳои беруна танҳо барои тасдиқи библиографии DOI, сабти SSRN, платформа ва ҳолати нашр истифода шудааст.

Натиҷаҳои таҳқиқот дар сатҳи прототипи техникӣ мебошанд. Гирифтани тасвири рӯй ё забон маънои дақиқии ташхиси клиникӣ, анҷоми ҷараёни кори фишори хун маънои дақиқии ченкунӣ ва истифодаи якмоҳаи саҳроӣ маънои амнияти дарозмуддатро надорад. То вақте ки низом дар хонаҳои воқеӣ, бо забонҳои гуногун, дар ҳолатҳои гуногуни саломатӣ ва зери назорати мустақил тасдиқ нашавад, набояд ҳамчун роботе арзёбӣ шавад, ки қарори клиникӣ мебарорад ё хизматрасонии беназорати тандурустӣ пешниҳод мекунад.