Ushbu tadqiqot keksalarning uy sharoitidagi sogʻliq monitoringini passiv oʻlchash qurilmalaridan faol idrok etish va jismoniy yordamga olib oʻta oladigan mobil robot tizimini ishlab chiqishni oʻrganadi. Tizim tabiiy tilda ifodalangan noaniq sogʻliq shikoyatlarini talqin qiluvchi katta til modeli, vazifalarni xavfsiz va deterministik tarzda bajaruvchi chekli holatlar mashinasi, jismoniy xavfsizlik chegaralari, moslashuvchan tasvirga asoslangan vizual servo boshqaruv hamda qon bosimini oʻlchashga yordam beruvchi vizual tayanchli harakat strategiyasini birlashtirgan. Yigirma nafar keksa koʻngilli qatnashgan bir oylik dala tadqiqotida tasvir olish jarayonining yakuniy muvaffaqiyat darajasi %95, qon bosimini oʻlchashga yordam berish ish oqimining muvaffaqiyati %90'dan yuqori va umumiy uzoq vazifalar zanjiri muvaffaqiyati %70 deb xabar qilingan. Biroq tadqiqot ekspertlar taqrizidan oʻtmagan; u klinik tashxis aniqligini, tibbiy natijalarni yoki tizimning nazoratsiz uy sharoitidagi uzoq muddatli xavfsizligini isbotlamaydi.

Robotning asosiy yondashuvi katta til modelidan bevosita motorlarga buyruq beruvchi nazoratchi sifatida foydalanish oʻrniga, til modeli chiqishini oldindan belgilangan robot koʻnikmalari bilan cheklashdir. “Boshim aylanmoqda” kabi tuzilmagan ifoda avval nutqni tanish va semantik tahlildan oʻtkaziladi, soʻng axborot qidiruvi bilan qoʻllab-quvvatlangan generatsiya tizimi sogʻliq bilan bogʻliq vazifa ehtimollarini baholaydi va natija Plan JSON ketma-ketligiga aylantiriladi. Chekli holatlar mashinasi va xavfsizlik himoyalari ushbu rejani faqat kuch, tezlik, masofa, aloqa va qurilma holati kabi jismoniy shartlar bajarilgandagina ijro etadi.

Turkiya nuqtayi nazaridan ahamiyati va zarur moslashtirishlar

Tadqiqotda uyda keksalarni parvarish qilish, qariyalar uyidagi xizmatlar, harakati cheklangan shaxslarga oʻlchov yordami va parvarish xodimlarining kundalik ish yukini kamaytirish nuqtayi nazaridan Turkiyaga moslashtirilishi mumkin boʻlgan muhandislik yondashuvi mavjud. Biroq bevosita qoʻllash uchun turkcha nutqni tanish tizimini keksalarning ovoz xususiyatlari, hududiy shevalar va turli nutq tezliklari bilan qayta oʻqitish kerak. Tadqiqotda standart Mandarin nutqida %90'dan yuqori deb bildirilgan niyatni tanish muvaffaqiyatining kuchli hududiy aksentlarda taxminan %50'gacha tushishi turk tili va mahalliy shevalarda alohida tekshiruv zarurligini koʻrsatadi.

Turkiyada qoʻllanadigan versiya turkcha favqulodda holat iboralari, mahalliy parvarish protokollari, maxfiylik talablari, tibbiy qurilma ulanishlari va vakolatli tibbiyot xodimiga yoʻnaltirish qoidalari bilan ham alohida tasdiqlanishi kerak. Qon bosimini oʻlchashga jismonan yordam beruvchi robotning vazifani yakunlashi oʻlchangan qiymatning klinik aniqligini oʻz-oʻzidan isbotlamaydi. Shu sababli sertifikatlangan etalon qurilmalar bilan oʻlchov taqqoslashlari, mustaqil xavfsizlik sinovlari, etika qoʻmitasi bahosi, turli uy turlarida dala tadqiqotlari va koʻp markazli foydalanuvchi tajribalari oʻtkazilmasdan klinik yoki keng miqyosli uyda foydalanish haqida xulosa chiqarib boʻlmaydi.

Tadqiqotning asosiy muammosi nima?

Anʼanaviy uy sharoitidagi sogʻliq boshqaruvida elektron qon bosimi apparati, termometr va shunga oʻxshash vositalar odatda foydalanuvchidan oʻlchovni oʻzi boshlashi, qurilmani toʻgʻri joylashtirishi va natijani talqin qilishi talab etadi. Harakati cheklangan, koʻrish yoki eshitish muammosi bor yoxud kognitiv yukini kamaytirish lozim boʻlgan keksa shaxslar uchun bu yondashuv muhim foydalanish toʻsigʻini yaratishi mumkin. Tadqiqot sogʻliq bilan bogʻliq shikoyatni tushunadigan, foydalanuvchini topadigan, tegishli oʻlchash vazifasini boshlaydigan, tasvirga olish sharoitlarini tuzatadigan va jismoniy oʻlchash qurilmasiga kirishni osonlashtiradigan integratsiyalashgan robotni ishlab chiqishni maqsad qiladi.

Tadqiqotchilar uchta muhandislik boʻshligʻiga eʼtibor qaratgan:

• “Boshim aylanmoqda” kabi noaniq tabiiy til ifodalarini xavfsiz va bajariladigan robot vazifalariga aylantirish.
• Katta til modellarining ehtimoliy gallyutsinatsiyalari inson tanasiga yaqin ishlaydigan robotda xavfli harakatga aylanishining oldini olish.
• Uy ichidagi xaritalash tizimlarining santimetr miqyosidagi joylashuv xatolariga qaramay yuz, ogʻiz va qoʻl kabi nishonlarga aniq yaqinlashish.

Tizim qanday tarkibiy qismlardan iborat?

Robotning jismoniy tuzilmasi mobil baza, olti erkinlik darajasiga ega hamkor robot qoʻli, RGB-D kamera, LiDAR, mikrofon massivi, koʻrinadigan yorugʻlik kamerasi, uzun toʻlqinli infraqizil kamera, kuch-moment sezish komponentlari va korpusga oʻrnatilgan silindrsimon qon bosimini oʻlchash qurilmasidan iborat. Moslashuvchan manjetni robot qoʻli bilan foydalanuvchining qoʻliga oʻrash oʻrniga, foydalanuvchidan qoʻlini sobit silindr ichiga uzatish soʻralgan. Bu tanlov moslashuvchan materialni manipulyatsiya qilish murakkabligini kamaytiradi; biroq foydalanuvchi berilgan ovozli koʻrsatmani tushunib, qoʻlini mos holatga keltira olishini talab qiladi.

1-rasm mobil baza, robot qoʻli, sezish boshi va tibbiy yuklarning jismoniy prototipdagi joylashuvini koʻrsatadi. Tasvirda atrof-muhit monitoringi sensori, mikrofon massivi, ikki va uch oʻlchamli kameralar, infraqizil kamera, LED toʻldiruvchi chiroq, kuch boshqaruv moduli, nutqni tanish bloki, asosiy oʻzaro aloqa ekrani va turli aloqa platalari alohida belgilangan. 2-rasm esa vizual, kuch va ovoz maʼlumotlarining chekka hisoblash nazoratchisida birlashtirilishini; harakat buyruqlarining ROS 2 orqali baza va qoʻlga uzatilishini; yuqori darajadagi til modeli amallarining bulut ulanishi orqali bajarilishini tushuntiradi.

Bulut–chekka arxitekturasi qanday ishlaydi?

Dasturiy taʼminot arxitekturasi toʻrt qatlamdan iborat:

1. Oʻzaro aloqa qatlami: Foydalanuvchi nutqini avtomatik nutqni tanish tizimi orqali matn va tuzilgan niyatga aylantiradi.
2. Orkestratsiya qatlami: Katta til modeli, tizim koʻrsatmalari, axborot qidiruvi bilan qoʻllab-quvvatlangan generatsiya maʼlumotlar bazasi va koʻnikmalar reyestridan foydalanib vazifa rejasini tuzadi.
3. Ijro qatlami: Plan JSON ichidagi vazifalarni chekli holatlar mashinasi orqali ketma-ketlashtiradi va har bir harakatni xavfsizlik himoyalaridan oʻtkazadi.
4. ROS 2 va apparat qatlami: Navigatsiya, vizual kuzatuv, robot qoʻlini boshqarish va qon bosimi qurilmasi kabi jismoniy tugunlarni ishga tushiradi.

3-rasmda foydalanuvchi ovozining avval nutqni tanish blokiga, soʻng LLM rejalashtirish yadrosiga, chekli holatlar mashinasiga va jismoniy apparatga uzatilishi koʻrsatilgan. 4-rasm bu jarayonni batafsil uch qismga ajratadi: tizimga berilgan xavfsizlik va vazifa koʻrsatmalari, LLM ishlab chiqargan Plan JSON hamda har bir koʻnikmaning kirish parametrlari, old shartlari va xavfsizlik chegaralarini belgilovchi Koʻnikmalar reyestri.

Koʻnikmalar reyestri nega muhim?

Katta til modeli erkin shakldagi motor buyruqlarini ishlab chiqarmaydi. Buning oʻrniga align_face_ibvs, incremental_move, measure_bp va capture_face_rgb kabi oldindan belgilangan koʻnikmalarni chaqira oladi. Har bir koʻnikma uchun zarur nishon, aniqlik, old shart va jismoniy xavfsizlik chegarasi belgilangan. Masalan, yuzni tekislash koʻnikmasi ishlashi uchun yuz kameraning koʻrish maydonida boʻlishi; qon bosimini oʻlchash koʻnikmasida esa kontakt kuchi 5 N chegarasidan past saqlanishi kerak.

Bu ajratish ehtimolliy til modelini jismoniy tizimning xavfsizlik masʼuliyatidan ajratadi. LLM qaysi koʻnikmalar qaysi tartibda chaqirilishini taklif qiladi, ammo motor tezliklari, kuchni uzish shartlari, toʻqnashuv nazorati va chekinish harakatlari deterministik nazoratchilar tomonidan bajariladi.

Jismoniy xavfsizlik himoyalari nimalardan iborat?

Tadqiqotda belgilangan asosiy himoyalar quyidagi jadvalda jamlangan:

Qon bosimi qurilmasi shishirish yoki oʻlchash holatida boʻlganda mobil baza va robot qoʻlining barcha harakat erkinliklari drayver darajasida qulflanadi. Shishirish boshlanishidan oldin Bluetooth ulanish kechikishi 100 ms'dan kichik boʻlishi, foydalanuvchi qoʻlining silindrga toʻliq kiritilgani vizual va fotoelektrik datchiklar bilan tasdiqlanishi hamda robot inertsiya oʻlchov birligiga koʻra harakatsiz boʻlishi kerak.

Bu mexanizmlar xavfsizlik dizaynining muhim qismlaridir; biroq tadqiqotda mustaqil xavfsizlik sertifikati, keng qamrovli xavf tahlili, nosozlik turlari va oqibatlari tahlili yoki rasmiy ISO muvofiqlik hujjati taqdim etilmagan. Shu sababli mexanizmlar prototipda belgilangan va mualliflar tomonidan sinovdan oʻtkazilgani xabar qilingan himoyalar sifatida baholanishi kerak.

Dagʻal joylashtirish qanday amalga oshiriladi?

Robot avval global xarita va LiDAR asosidagi navigatsiya bilan foydalanuvchi turgan hududga yaqinlashadi. Foydalanuvchining yuzi aniqlangandan keyin yuzni chegaralovchi qutining tasvirdagi balandligi taxminiy nishon masofasini hisoblash uchun ishlatiladi. Kameraning ichki parametrlar matritsasi quyidagicha:

\[ K = \begin{bmatrix} f_x & 0 & c_x \\ 0 & f_y & c_y \\ 0 & 0 & 1 \end{bmatrix} \]

Bu yerda \(f_x\) va \(f_y\) piksellarda ifodalangan gorizontal va vertikal fokus masofalarini; \(c_x\) va \(c_y\) esa tasvirning asosiy nuqtasini bildiradi. Tasvirda oʻlchangan yuz balandligi \(h\), qabul qilingan haqiqiy yuz balandligi \(H\) va nishon masofasi \(Z\) oʻrtasidagi bogʻlanish quyidagicha qurilgan:

\[ Z = \frac{f_y H}{h} \]

\(H\) metr, \(h\) piksel va \(f_y\) piksel sifatida ishlatilganda, \(Z\) metrda taxminiy masofani anglatadi. Tasvirda yuz kattalashgan sari hisoblangan masofa kamayadi. Biroq tadqiqotda ishlatilgan antropometrik \(H\) qiymati nima ekani va u turli yuz oʻlchamlariga qanday moslashtirilgani tushuntirilmagan.

Nishonning kamera koordinatalari va gorizontal yoʻnalish ogʻishi quyidagi munosabatlar bilan hisoblanadi:

\[ X = \frac{Z(u-c_x)}{f_x}, \qquad Y = \frac{Z(v-c_y)}{f_y}, \qquad \theta = \arctan\left(\frac{u-c_x}{f_x}\right) \]

\(u\) va \(v\) yuz markazining tasvir koordinatalaridir. \(X\), \(Y\) va \(Z\) metrda taxminiy holatni; \(\theta\) esa radian yoki darajaga aylantirilishi mumkin boʻlgan gorizontal burchak ogʻishini ifodalaydi.

Mobil bazaning chiziqli va burchak tezligi proporsional boshqaruv qonuni bilan aniqlanadi:

\[ v = k_z(Z-Z^*), \qquad \omega = k_\theta \theta \]

Kerakli toʻxtash masofasi \(Z^*=1,0\) m sifatida tanlangan. \(k_z\) va \(k_\theta\) proporsional koeffitsiyentlardir. Tizim bu bosqichda foydalanuvchini robot qoʻlining taxminan 0,8-1,2 m oraligʻidagi ish zonasiga olib kelishni maqsad qiladi.

Moslashuvchan tasvirga asoslangan vizual servo boshqaruv qanday ishlaydi?

Dagʻal navigatsiyaning santimetr miqyosidagi xatolari yuz yoki ogʻiz tasviri uchun yetarli deb hisoblanmagan. Nozik tekislashda tasvirdagi nishon nuqtalarining joriy holati bilan kerakli holati orasidagi xato bevosita robot qoʻli harakatiga aylantiriladi.

Tasvir xususiyatlari vektori \(\mathbf{s}\) bilan kameraning olti oʻlchovli fazoviy tezligi \(\mathbf{v}_c\) oʻrtasidagi asosiy munosabat quyidagicha:

\[ \dot{\mathbf{s}} = \mathbf{L}_s(\mathbf{s},Z,\boldsymbol{\theta}_{cam})\mathbf{v}_c \]

\(\mathbf{L}_s\) tasvir Jacobiani yoki oʻzaro taʼsir matritsasi deb ataladi. Klassik usulda bu matritsa kameraning ichki parametrlari va nishon chuqurligiga bogʻliq holda analitik hisoblanadi. Uy sharoitida fokus masofasi, chuqurlik bahosi va qoʻl–koʻz kalibrovkasidagi xatolar bu matritsani buzishi mumkinligi sababli tadqiqotchilar Jacobianni sikl davomida yangilagan.

Broyden onlayn Jacobian yangilanishi

Baholangan Jacobian quyidagi Broyden yangilanishi bilan yangilanadi:

\[ \hat{\mathbf{L}}_{k+1} = \hat{\mathbf{L}}_k + \alpha \frac{\left(\Delta\mathbf{s}_k-\hat{\mathbf{L}}_k\Delta\mathbf{X}_{c,k}\right)\Delta\mathbf{X}_{c,k}^{T}}{\Delta\mathbf{X}_{c,k}^{T}\Delta\mathbf{X}_{c,k}+\delta} \]

\(\Delta\mathbf{s}_k\) ikki boshqaruv sikli orasidagi tasvir xususiyati oʻzgarishini; \(\Delta\mathbf{X}_{c,k}\) kameraning amalga oshgan siljish va aylanish orttirmasini; \(\alpha\) yangi kuzatuvga beriladigan vaznni belgilovchi unutish koeffitsiyentini; \(\delta\) esa maxrajning nolga yaqinlashishini oldini oluvchi kichik soʻndirish hadini ifodalaydi. Formula bashorat qilingan tasvir harakati bilan kuzatilgan tasvir harakati orasidagi xatoni kamaytirishga intiladi.

Boshlangʻich Jacobian taxminiy chuqurlik va fokus masofasi bilan quyidagicha quriladi:

\[ \mathbf{L}_0 = \begin{bmatrix} -\frac{f}{Z} & 0 & \frac{u}{Z} & \frac{uv}{f} & -\frac{f^2+u^2}{f} & v \\ 0 & -\frac{f}{Z} & \frac{v}{Z} & \frac{f^2+v^2}{f} & -\frac{uv}{f} & -u \end{bmatrix} \]

Boshlangʻich matritsa xato boʻlsa ham, keyingi kamera harakatlari va tasvir oʻzgarishlaridan foydalanib mahalliy modelni tuzatish maqsad qilingan. Biroq tajribalarda qoʻllangan \(\alpha\) va \(\delta\) qiymatlari aniq berilmagan. Matnda Broyden yangilanishiga ishora qiluvchi bir havola “Eq. X” shaklida tugallanmagan joy tutuvchi sifatida qolgan.

Boshqaruv qonuni va harakatning toʻyinganligi

Tasvir xatosi \(\mathbf{e}=\mathbf{s}-\mathbf{s}^*\) sifatida aniqlanganda, kamera tezligi quyidagicha hisoblanadi:

\[ \mathbf{v}_c = -\lambda \hat{\mathbf{L}}_k^{+}\mathbf{e} \]

\(\hat{\mathbf{L}}_k^{+}\) baholangan Jacobianning Moore-Penrose psevdoteskarisidir; \(\lambda\) esa xatoni kamaytirish tezligini belgilovchi koeffitsiyentdir. Boshqaruv diskret holat orttirmasiga aylantirilganda:

\[ \Delta\mathbf{x}_{c,k} = -\eta \hat{\mathbf{L}}_k^{+}\mathbf{e}_k, \qquad \eta=\lambda\Delta t \]

\(\eta\) namuna olish davri bilan boshqaruv koeffitsiyenti koʻpaytmasidan hosil boʻladigan oʻlchovsiz qadam koeffitsiyentidir. Tasvirni aniqlashda katta xato yuz bersa, robot qoʻlining keskin sakrashini oldini olish uchun holat orttirmasining normasi cheklanadi:

\[ \|\Delta\mathbf{x}_{c,k}\| > \delta_{max} \Rightarrow \Delta\mathbf{x}_{c,k} \leftarrow \delta_{max}\frac{\Delta\mathbf{x}_{c,k}}{\|\Delta\mathbf{x}_{c,k}\|} \]

Tadqiqotda namunaviy maksimal sikl harakati \(\delta_{max}=5\) cm deb berilgan. Bu qiymat barcha yoʻnalishlarda bir xil Yevklid normasi chegarasini qoʻllaydi. Xavfsiz Kartezian harakat keyin robot boʻgʻin harakatiga aylantiriladi:

\[ \Delta\mathbf{q}_{joint} = \mathbf{J}_{robot}^{-1}(\mathbf{q})\mathbf{T}_{c}^{e}\Delta\mathbf{x}_{c,k} \]

\(\mathbf{J}_{robot}\) robot qoʻlining kinematik Jacobianini, \(\mathbf{T}_{c}^{e}\) kamera bilan uch-ijrochi orasidagi qoʻl–koʻz transformatsiyasini va \(\Delta\mathbf{q}_{joint}\) boʻgʻin burchagi oʻzgarishlarini ifodalaydi.

Koʻrinadigan yorugʻlik va infraqizil kamera qanday moslashtiriladi?

Infraqizil tasvirlar past aniqlikda va tekstura jihatidan kambagʻal boʻlgani uchun yuzning tayanch nuqtalari koʻrinadigan yorugʻlik kamerasida aniqlanadi. Koʻrinadigan kamera nishonga tekislangach, ikkala kameraning uch-ijrochiga nisbatan oldindan kalibrlangan transformatsiyalaridan foydalanib infraqizil kameraning yangi holati hisoblanadi:

\[ \mathbf{T}_{e2}^{b} = \mathbf{T}_{e1}^{b}\mathbf{T}_{v}^{e}\mathbf{T}_{target}^{v} \left(\mathbf{T}_{target}^{th}\right)^{-1} \left(\mathbf{T}_{th}^{e}\right)^{-1} \]

Bu kinematik zanjir koʻrinadigan kamera koʻrgan yuz hududini infraqizil kameraning koʻrish maydoniga koʻchirishni maqsad qiladi. Tadqiqotchilar robot qoʻlining ±0,02 mm takrorlanuvchanlik qiymatiga tayangan holda ikki tasvir turi oʻrtasida aniq fazoviy roʻyxatlash taʼminlanganini bildiradi. Biroq tadqiqotda ushbu koʻp modal moslashtirishning mustaqil roʻyxatlash xatosi taqsimoti yoki insonda harorat oʻlchash aniqligi berilmagan.

Tasvir sifati yopiq konturi nima?

Tizim faqat nishonni tasvir markaziga keltirish bilan cheklanmaydi; aniqlik, yorugʻlik va nishon hududining kadrga sigʻishini hisobga olib birlashtirilgan sifat ballini hisoblaydi:

\[ Q_{score} = w_1 I_{clarity} + w_2 I_{light} + w_3 I_{complete} \]

\(I_{clarity}\) Laplasian dispersiyasi orqali xiralik yoki fokus holatini; \(I_{light}\) tasvirning Y kanali gistogrammasi orqali ekspozitsiyani; \(I_{complete}\) esa nishon hududining koʻrish maydonida qolishini kesishma-birlashma nisbati bilan baholaydi. \(w_1\), \(w_2\) va \(w_3\) ushbu komponentlarning vaznlaridir.

Sifat balli 90'dan past boʻlsa, robot ikki xil tuzatish qoʻllaydi:

• Aniqlik past boʻlsa, kamera optik oʻq boʻylab 2-5 mm qadamlar bilan oldinga yoki orqaga harakatlantiriladi.
• Ekspozitsiya yetarli boʻlmasa, uch-ijrochidagi LED yoritishning ish sikli %10'lik oshirishlar bilan koʻtariladi.

5-rasm ichki qismida Broyden yangilanishli kinematik boshqaruv konturi va tashqi qismida tasvir sifatini baholash mavjud boʻlgan ikki konturli tuzilmani koʻrsatadi. Biroq \(Q_{score}\) komponentlarining shkalasi, vaznlarning sonli qiymatlari va 90 chegarasi qanday belgilanganligi koʻrib chiqilgan versiyada tushuntirilmagan. Bu kamchilik usulni boshqa laboratoriyada aynan shu tarzda qayta tiklashni qiyinlashtiradi.

Vizual tayanch va oʻrgatilgan harakat ketma-ketligi qanday ishlaydi?

Global bir vaqtda lokalizatsiya va xaritalash tizimida bino ichidagi xato ±5 cm'dan oshishi mumkinligi aytilgan. Qon bosimi qurilmasini foydalanuvchi qoʻliga yaqinlashtirish uchun yuz mahalliy va oson aniqlanadigan vizual tayanch sifatida tanlangan. Robot yuzni tasvir markaziga keltirgan zahoti mahalliy koordinata tizimini nolga tushiradi va keyingi harakatni global xarita oʻrniga shu boshlangʻich holatga nisbatan bajaradi.

Operator yuz tekislangan boshlangʻich holatdan qoʻl bilan qon bosimi qurilmasi tekislangan yakuniy holatgacha robotni oldindan yoʻnaltiradi. Harakat orttirmalari 5 Hz tezlikda yozib olinadi:

\[ T=\{(\Delta x_1,\Delta\theta_1),(\Delta x_2,\Delta\theta_2),\ldots,(\Delta x_n,\Delta\theta_n)\} \]

Onlayn foydalanishda yuz qayta tekislangandan soʻng bu harakat ketma-ketligi ochiq konturda ijro etiladi:

\[ x_k=x_{k-1}+\Delta x_k\cos(\theta_{k-1}) \]

\[ y_k=y_{k-1}+\Delta x_k\sin(\theta_{k-1}) \]

\[ \theta_k=\theta_{k-1}+\Delta\theta_k \]

Bu usul qisqa masofadagi odometriya aniqligidan foydalanadi va global xarita driftini kamaytiradi. Biroq yakuniy qism ochiq konturdir; foydalanuvchining yuzi tekislashdan keyin sezilarli harakat qilsa, qoʻlni bevosita kuzatadigan uzluksiz yopiq konturli tuzatish taʼriflanmagan. Tadqiqot muvaffaqiyatni foydalanuvchi nisbatan harakatsiz oʻtirgan va ovozli koʻrsatmalarga kichik qoʻl harakatlari bilan qatnashgan sinovlarda bildirgan.

Rasmlar va grafiklar nimani koʻrsatadi?

• 1-rasm: Robot prototipidagi sezish, harakat, yoritish, aloqa va foydalanuvchi interfeysi komponentlarining joylashuvini koʻrsatadi.
• 2-rasm: Sensorlardan chekka hisoblashga, ROS 2 aloqa tarmogʻiga va ijro mexanizmlariga choʻziladigan elektr maʼlumot oqimini koʻrsatadi.
• 3-rasm: Foydalanuvchi nutqidan LLM rejalashtirishiga, chekli holatlar mashinasiga va jismoniy ijroga qadar boʻlgan toʻrt qatlamni tushuntiradi.
• 4-rasm: Tizim koʻrsatmasi va RAG kontekstining Plan JSON'ga, Plan JSON'ning esa xavfsizlik chegaralari belgilangan robot koʻnikmalariga aylantirilishini koʻrsatadi.
• 5-rasm: Tasvir xatosi, onlayn Jacobian bahosi, harakat toʻyinganligi, teskari kinematika va sifat balli orasidagi ikki yopiq konturli tuzilmani koʻrsatadi.
• 6-rasm: “Boshim aylanmoqda” buyrugʻidan ovoz manbasini topish, yuzga yaqinlashish, yuz va ogʻiz tasvirini olish, qon bosimi qurilmasini joylashtirish va natija chiqarishgacha boʻlgan oltita jismoniy bosqichni koʻrsatadi.
• 7-rasm: Bosh aylanishi ifodasining axborot qidiruvi bilan qoʻllab-quvvatlangan LLM tomonidan qon bosimini tekshirish vazifasiga aylantirilishi va maʼlumotning qayta uzatilishini misollovchi ketma-ketlik diagrammasidir.
• 8-rasm: Past koeffitsiyentda \(\eta=0,05\) uchun tasvir xatolari oshib ketishsiz sekin va bir maromda kamayishini; notoʻgʻri parametrlar fazoviy yoʻlni egishini koʻrsatadi.
• 9-rasm: \(\eta=0,5\) qiymatida boshlangʻich xatoning katta qismi dastlabki bir necha siklda bartaraf etilganini va sinovdan oʻtkazilgan guruhlar 3-7 sikl ichida yaqinlashganini koʻrsatadi.
• 10-rasm: Sobit Jacobian bilan moslashuvchan Jacobianni taqqoslaydi; moslashuvchan usul 1-2 yangilanishdan keyin fokus masofasining kam yoki ortiqcha baholanishidan kelib chiqadigan sekinlik va oshib ketish moyilligini kamaytirganini koʻrsatadi.

8-10-rasmlardagi natijalar jismoniy prototipda emas, mexanik toʻqnashuv xavfini oldini olish uchun qurilgan sonli simulyatsiyalarda olingan. Shu sababli grafiklar algoritmning sinovdan oʻtkazilgan model va buzuvchi parametrlar ostidagi xatti-harakatini qoʻllab-quvvatlaydi; barcha uy sharoitlarida barqarorlik yoki toʻqnashuvsiz ishlashni oʻz-oʻzidan isbotlamaydi.

Tadqiqot qoʻllab-quvvatlaydigan natijalar

• LLM chiqishini koʻnikmalar reyestri, chekli holatlar mashinasi va jismoniy xavfsizlik chegaralari bilan ajratish amaliy xavfsizlik arxitekturasini taqdim etadi.
• Moslashuvchan IBVS sinovdan oʻtkazilgan kamera parametri xatolarida sobit parametrli usulga qaraganda tezroq yaqinlashishni koʻrsatgan.
• Sifat boʻyicha qayta aloqa ochiq konturdagi tasvir olish muvaffaqiyatini xabar qilingan %72 darajadan %95'gacha oshirgan.
• Yuzni mahalliy tayanch sifatida ishlatadigan harakat strategiyasi qurilma–qoʻl tekislash xatosini anʼanaviy global navigatsiyadagi 10 cm'dan yuqori qiymatdan 2 cm'dan pastga tushirgan.
• Standart Mandarin nutqida tizim tabiiy til niyatlarini qayta ishlashi va koʻp bosqichli vazifa rejalarini yaratishi koʻrsatilgan.

Tadqiqot isbotlamaydigan natijalar

• Tizim kasallik tashxisini qoʻyish yoki bosh aylanishi sababini aniqlash aniqligi jihatidan baholanmagan.
• Yuz va til tasvirlarining klinik tashxis aniqligi shifokor bahosi yoki etalon testlar bilan taqqoslanmagan.
• Qon bosimi ish oqimining yakunlanishi oʻlchash qurilmasining tibbiy aniqligi tasdiqlanganini anglatmaydi.
• Bir oylik dala sinovi yillar davom etadigan nazoratsiz uy foydalanishida xavfsizlik yoki chidamlilik dalili emas.
• Yigirma koʻngillining natijalarini turli mamlakatlar, tillar va sogʻliq holatlaridagi barcha keksa aholiga umumlashtirib boʻlmaydi.
• Tadqiqot parvarish xodimlarining ish yuki, shifoxonaga murojaatlar yoki sogʻliqni saqlash xarajatlari kamayganini koʻrsatmagan.
• Annotatsiyada xabar qilingan %90 xavfli koʻrsatmalarni bloklash darajasi uchun sinovdan oʻtkazilgan koʻrsatmalar soni, xavf sinflari, notoʻgʻri qabul va notoʻgʻri rad etish koeffitsiyentlari tushuntirilmagan.

Tadqiqot usuli va natijalari

Tajriba tuzilishi va ishtirokchilar

Robot va hisoblash infratuzilmasi

• LiDAR bilan qoʻllab-quvvatlangan mobil baza va differensial yuritma mexanizmi.
• Olti erkinlik darajasiga ega hamkor robot qoʻli.
• RGB-D kamera, 4K koʻrinadigan yorugʻlik kamerasi va uzun toʻlqinli infraqizil kamera.
• 360 daraja ovoz manbasini aniqlashni qoʻllab-quvvatlovchi mikrofon massivi.
• NVIDIA Jetson Orin sinfidagi chekka hisoblash platformasi, Ubuntu va ROS 2.
• CAN yoki EtherCAT orqali past darajadagi harakat boshqaruvi; BLE, RS-232 va USB orqali tibbiy qurilma aloqasi.
• Korpusga integratsiyalangan silindrsimon qon bosimini oʻlchash qurilmasi.

Apparat tavsifida robot qoʻli namunasi JAKA Zu 5 deb berilgan boʻlsa, sonli simulyatsiya boʻlimida JAKA Zu 7 kinematik modeli ishlatilgan. Bu oʻzgarish nima sababdan qilingani va jismoniy prototip bilan simulyatsiya oʻrtasidagi farq natijalarga qanday taʼsir qilgani tushuntirilmagan.

Asosiy ishlash natijalari

Jadvaldagi foizlar turli kichik vazifalarni anglatadi. %95 qiymati sifatli tasvir olishni, %90'dan yuqori qiymat qon bosimi qurilmasiga jismoniy yoʻnaltirish ish oqimini va %70 qiymat navigatsiya, nutq va manipulyatsiyaning barchasini oʻz ichiga olgan uzoq vazifalar zanjirini anglatadi. Annotatsiya va xulosa boʻlimida qoʻshimcha ravishda %92 “uchdan-uchgacha muvaffaqiyat” bildirilgan; biroq bu qiymat hisoblangan sinovlar toʻplami, muvaffaqiyat taʼrifi va %70 vazifalar zanjiri koʻrsatkichi bilan munosabati tushuntirilmagan.

Moslashuvchan boshqaruv simulyatsiyasi

Parametr chidamliligi tajribalarida haqiqiy fokus masofasining %70'i va %130'i boshlangʻich qiymat sifatida ishlatilgan, dastlabki chuqurlik bahosiga qoʻshimcha %20 xato kiritilgan. Past koeffitsiyentli \(\eta=0,05\) sharoitida barcha guruhlar sekin va oshib ketishsiz yaqinlashishni koʻrsatgan. Yuqoriroq \(\eta=0,5\) sharoitida boshlangʻich tasvir xatosining taxminan %90'i dastlabki 1-2 siklda kamaytirilgan va sinovdan oʻtkazilgan guruhlar 3-7 sikl ichida barqaror holatga yetgan.

Sobit Jacobian bilan moslashuvchan Jacobianni taqqoslashda fokus masofasi past baholangan holatda moslashuvchan usul dastlabki yangilanishlardan keyin ortiqcha koeffitsiyentni tuzatgan; yuqori baholangan holatda esa sobit usulning uzun dumli sekin yaqinlashishini kamaytirgan. Bu natijalar Broyden yangilanishi sinovdan oʻtkazilgan parametr buzilishlariga qarshi foydali ekanini koʻrsatadi. Biroq tajribalar sonli simulyatsiyadir va “noldan, kalibrovkasiz foydalanish” daʼvosi turli kameralar, robotlar va haqiqiy foydalanuvchi harakatlari sharoitida alohida tekshirilishi kerak.

Statistik baholash

Tadqiqotda yosh va rejalashtirish kechikishi uchun oʻrtacha va standart ogʻish berilgan. Bundan tashqari ishonch oraligʻi, p qiymati, taʼsir kattaligi, namuna quvvati, randomizatsiya yoki koʻr qilish xabar qilinmagan. Matnda muvaffaqiyat darajasi “sezilarli ravishda” oshgani aytilsa-da, %72 bilan %95 oʻrtasidagi farq uchun statistik ahamiyat testi taqdim etilmagan. Sinovlar bir xil foydalanuvchilarda takrorlangani sababli kuzatuvlarning mustaqilligi va har bir kishiga toʻgʻri keladigan sinovlar soni ham tushuntirilmagan.

Tadqiqotning kuchli tomonlari

• Til modeli, xavfsizlik va jismoniy boshqaruv masʼuliyatlarini qatlamlarga ajratadigan ochiq arxitekturani taqdim etishi.
• Sezish sifatini robot harakati va yoritish yordamida yopiq konturda yaxshilashi.
• Global xarita xatosini inson tanasiga bogʻlangan mahalliy vizual tayanch bilan kamaytirishi.
• Faqat laboratoriya simulyatsiyasi bilan cheklanmay, keksalar parvarishi muassasasida jismoniy prototip sinovini oʻtkazishi.
• Standart nutq bilan hududiy aksent oʻrtasidagi ishlash farqini ochiq bildirish.
• Kuch, tezlik, toʻqnashuv, aloqa va tibbiy qurilma nosozligi uchun bir nechta mustaqil xavfsizlik qatlamlarini belgilashi.

Asosiy cheklovlar

• Tadqiqot ekspertlar taqrizidan oʻtmagan preprintdir.
• Ishtirokchilar soni 20 va dala davomiyligi faqat bir oy.
• Klinik tashxis aniqligi yoki qon bosimini oʻlchash aniqligi etalon usul bilan taqqoslanmagan.
• Yuz va til tasvirlarining tibbiy maʼnosi uchun shifokor bahosi, sezgirlik, oʻziga xoslik yoki diagnostik AUC berilmagan.
• Vazifa muvaffaqiyat koʻrsatkichlari orasida %70, %90'dan yuqori, %92 va %95 qiymatlari bor; umumiy maxraj va muvaffaqiyat taʼriflari toʻliq tushuntirilmagan.
• Annotatsiyadagi %90 xavfli koʻrsatmalarni bloklash darajasining tajriba tafsilotlari xabar qilinmagan.
• \(Q_{score}\) vaznlari, ayrim boshqaruv koeffitsiyentlari va chegara belgilash usuli berilmagan.
• Apparat tavsifi bilan simulyatsiya modelidagi robot qoʻli modeli farq qiladi.
• Kuchli aksentlarda nutqni tanish muvaffaqiyati taxminan yarmiga tushgan.
• Kod, xom maʼlumotlar, sinov jurnallari va qayta ishlab chiqarish paketi koʻrib chiqilgan versiyada ulashilmagan.
• Mustaqil etika qoʻmitasining nomi yoki etik tasdiq raqami koʻrsatilmagan.
• Mualliflarning ISO 13482 muvofiqligi haqidagi bayonotini tasdiqlovchi mustaqil sertifikatlash hujjati taqdim etilmagan.
• Bulutga asoslangan til modelidan foydalanish kechikish, ulanishning uzluksizligi va vizual-sogʻliq maʼlumotlarining maxfiyligi nuqtayi nazaridan qoʻshimcha tekshiruvni talab qiladi.

Manba va usul qaydi

Tadqiqotning toʻliq asl nomi: Active Visual Health Assessment and Physical Assistance in Unstructured Home Environments via an LLM-Driven Mobile Manipulator

Mualliflar: Ziqi Wang; Bruce Qing Tang; Chang Liu; Changqing Liu; Shuaiyu Wang.

Mualliflar tartibi va muassasalari:

• Ziqi Wang — School of Mechanics and Engineering Science, Peking University, Beijing, Xitoy.
• Bruce Qing Tang — Tianjin ENNEW Generalist Technology Co., Ltd., Tianjin, Xitoy.
• Chang Liu — School of Mechanics and Engineering Science, Peking University, Beijing, Xitoy.
• Changqing Liu — Tianjin ENNEW Generalist Technology Co., Ltd., Tianjin, Xitoy.
• Shuaiyu Wang — Tianjin ENNEW Generalist Technology Co., Ltd., Tianjin, Xitoy.

Teng birinchi muallif: Teng hissa yoki teng birinchi mualliflik haqidagi maʼlumot koʻrib chiqilgan versiyada mavjud emas.

Masʼul muallif: PDF'dagi yulduzcha belgilar Bruce Qing Tang va Chang Liu'ni masʼul mualliflar sifatida koʻrsatadi. SSRN yozuvi xulosasida Bruce Tang qoʻshimcha ravishda “Contact Author” sifatida keltirilgan. Koʻrib chiqilgan PDF'da yulduzcha belgilarining maʼnosini tushuntiruvchi alohida izoh yoki masʼul muallifning elektron pochta manzili mavjud emas.

DOI:10.2139/ssrn.7193872

Jurnal: Ekspertlar taqrizidan oʻtgan jurnal nomi keltirilmagan.

Nashr platformasi: SSRN.

Platforma egasi: Elsevier Inc. SSRN bu yerda preprint tarqatish platformasidir; tadqiqot Elsevier tomonidan nashr etilgan ekspertlar taqrizidan oʻtgan jurnal maqolasi sifatida baholanmasligi kerak.

Nashr yili: 2026.

Manba turi: Jismoniy prototip dala tajribalari bilan sonli boshqaruv simulyatsiyalarini birlashtirgan muhandislik tadqiqoti preprinti.

Ekspert taqrizi holati: Ushbu tadqiqot preprint boʻlib, ekspertlar taqrizidan oʻtmagan.

Rasmiy manba:SSRN rasmiy tadqiqot yozuvi.

Ushbu turkcha izoh yuklangan tadqiqotning 34 sahifalik versiyasi; matnlar, formulalar, jadvallar, robot arxitekturasi tasvirlari, tajriba tasvirlari va yaqinlashish grafiklari koʻrib chiqilib tayyorlangan. Ilmiy mazmunga tadqiqotdan tashqari yangi topilma qoʻshilmagan. Tashqi manba tekshiruvi faqat DOI, SSRN yozuvi, platforma va nashr holatining bibliografik tasdigʻi uchun ishlatilgan.

Tadqiqot natijalari texnik prototip darajasidadir. Yuz yoki til tasvirini olish klinik tashxis aniqligini, qon bosimi ish oqimining yakunlanishi oʻlchash aniqligini va bir oylik dala foydalanishi uzoq muddatli xavfsizlikni anglatmaydi. Tizim haqiqiy uylarda, turli tillarda, turli sogʻliq holatlarida va mustaqil nazorat ostida tasdiqlanmasdan klinik qaror chiqaruvchi yoki nazoratsiz sogʻliq xizmati koʻrsatuvchi robot sifatida baholanmasligi kerak.