Бул изилдөө, улгайган адамдарin үйдөгү саламаттык мониторингиni пассивдүү өлчөө түзмөктөрүndan активдүү кабылдоо жана физикалык жардамa taşıyabмененcek bir мобилдик робот системаi geliştirmeyi текшерүүktedir. Sistem; табигый тилde söylenen belirsiz sторlık yakınmalarını yorumlayan bir чоң тил модели, görevleri коопсуз жана belirlenimci biçimde yürüten акыркы абал машинасы, физикалык коопсуздук чектери, uyarlamalı сүрөткө негизделген визуалдык servo башкаруу жана кан басымы өлчөөüne yardımcı olan визуалдык якорьlı hareket stratejisini bir araya getirmiştir. Yirmi yaşlı gönüllünün katıldığı bir aylık талаа изилдөөсүnda сүрөт алуу sürecinin nihai ийгилик көрсөткүчү %95, кан басымы өлчөөüne yardım иш агымыnın başarısı %90'ın üzerinde жана жалпы uzun görev zinciri başarısı %70 катары билдирилген. Муну менен бирге изилдөө рецензиядан өткөн эмес; клиникалык диагноз doğruluğunu, tıbbi натыйжалары же системанын көзөмөлсүз үйдө колдонууndaki uzun döным коопсузğini далилдебейт.

Роботun temel yaklашып кетүүı, чоң тил моделиni түздөн-түз motorlara буйрукa eden bir башкаргыч катары kullanmak yerine, dil модельinin çıktısını önceden диагнозmlanmış робот becerмененriyle sınırlandırmaktır. “Bашып кетүү dönüyor” gibi түзүмlandırılmamış bir ifade önce сүйлөөнү таануу жана семантикалык талдооden geçirilmekte, ardından маалымат издөө менен колдоого алынган генерация системаi sторlıkla ilgili görev мүмкүнlıklarını баалооkte жана натыйжа bir Plan JSON dizisine dönüştürülmektedir. Sonlu durum makinesi менен коопсуздук korumaları, bu planı бирок күч, ылдамдык, аралык, байланыш жана түзмөк абалы gibi физикалык koşullar sторlandığında yürütmektedir.

Түркия жагынан anlamı жана gerekli uyarlamalar

Изилдөөnın evde yaşlı bakımı, huzurevi hizmetleri, hareket чектөөlı bireylere өлчөө desteği жана bakım personelinin rutin iş жүкünün azaltılması açısından Түркия'ye uyarlanabilir bir mühendislik yaklашып кетүүı bulunmaktadır. Бирок түздөн-түз uygulama үчүн түрк тили сүйлөөнү таануу системанынin улгайган адамдарin ses өзгөчөlikleri, аймактык диалекттер жана ар башка konuşma ылдамдыкlarıyla yeniden eğitilmesi gerekir. Изилдөөda standart Mandarin konuşmasında %90'ın üzerinde bildirмененn ниетти таануу başarısının күчтүү региондук aksanlarda yaklaşık %50'ye düşmesi, түрк тили жана yerel торız валидацияsının zorunlu болгонуnu көрсөтөт.

Түркия'de kullanılacak bir sürümün түрк тили acil durum ifadeleri, yerel bakım protokolleri, купуялык gereksinimleri, медициналык түзмөк байланышları жана yetkili sторlık personeline yönlendirme kurallarıyla өзүнчөca doğrulanması gerekir. Kan basıncı өлчөөüne физикалык катары yardım eden роботun görevi tamamlaması, ölçülen баалуулукin клиникалык doğruluğunu kendiliğinden далилдебейт. Bu эмне үчүнle sertifikalı referans cihazlarla өлчөө салыштырууsı, bторımsız коопсуздук тестleri, этикалык комитет баалооsi, ар башка ev tiplerinde талаа изилдөөсү жана çok merkezli kullanıcı экспериментleri түзүмlmadan клиникалык же yaygın ev колдонууı sonucu çıkarılamaz.

Изилдөөнүн temel зондlemi эмне?

Geleneksel ev tipi sторlık yönetiminde электронik tansион cihazı, termometre жана benzeri araçlar жалпыlikle kullanıcının өлчөөü kendisinin başlatmasını, cihazı doğru yerleştirmesini жана sonucu yorumlamasını gerektirir. Hareket чектөөlı, görme же işтүртүү sorunu bulunan ya da bilişsel жүкü azaltılması gereken улгайган адамдар açısından bu yaklашып кетүү маанилүү bir колдонуу тоскоолдукi oluşturabilir. Изилдөө, sторlıkla ilgili bir yakınmayı anlayan, kullanıcıyı bulan, uygun өлчөө görevini başlatan, сүрөттөө koşullarını düzelten жана физикалык өлчөө cihazına erişimi kolaylaştıran бардыкleşik bir робот geliştirmeyi hedeflemektedir.

Изилдөөчүлөр üç mühendislik boşluğuna фокусlanmıştır:

• “Bашып кетүү dönüyor” gibi belirsiz табигый тил ifadelerinin коопсуз жана uygulanabilir робот görevlerine dönüştürülmesi.
• Büжүк dil модельlerinin мүмкүн halüsinasyonlarının insan bedenine yakın çalışan bir роботta tehlikeli harekete dönüşmesinin тоскоолдукlenmesi.
• Ev içi картага түшүрүү системаlerinin santimetre ölçeğindeki жайгашуу hatalarına rторmen yüz, торız жана kol gibi hedeflere hassas biçimde yaklaşılması.

Sistem кайсы bмененşenlerden oluşmaktadır?

Роботun физикалык түзүмsı hareketli bir taban, altı serbestlik dereceli işbirlikçi робот колу, RGB-D камера, LiDAR, микрофон массиви, görünür ışık камераsı, узун толкундуу инфракызыл камера, күч-момент сезүү bмененşenleri жана корпусye yerleştirilmiş цилиндр biçimli bir кан басымы өлчөө cihazından oluşmaktadır. Esnek bir манжетаi робот eliyle kullanıcının koluna sarmak yerine, kullanıcının kolunu sabit bir цилиндр үчүнe uzatması istenmiştir. Bu tercih, esnek материал manipülasyonunun karmaşıklığını azaltmakta; бирок kullanıcının маалыматlen sesli yönlendirmeyi anlayıp kolunu uygun жайгашууa getirebilmesini gerektirmektedir.

Şekil 1, hareketli taban, робот колу, сезүү başlığı жана tıbbi жүкlerin физикалык prototip üzerindeki yerlerini көрсөтөт. Görselde çстадия издөө сенсору, микрофон массиви, iki жана үч өлчөмдүү камералар, kızılötesi камера, LED dolgu ışığı, күч kontrol модульü, ses диагнозma birimi, ana өз ара аракеттенүү ekranı жана çeşitli байланыш kartları өзүнчө өзүнчө işaretlenmiştir. Şekil 2 болсо görsel, күч жана ses маалыматlerinin четки эсептөө башкаргычsinde birleştirilmesini; hareket буйрукlarının ROS 2 üzerinden tabana жана kola мененtilmesini; üst деңгээл dil модельi иштетүүlerinin булут байланышsıyla yürütülmesini ачыкlamaktadır.

Bulut-уч архитектурасы кантип изилдөөktadır?

Yazılım архитектурасы dört катмарlıdır:

1. Etkмененşim катмарı: Kullanıcı konuşmasını otomatik сүйлөөнү таануу системаiyle metne жана түзүмlandırılmış niyete dönüştürür.
2. Orkestrasyon катмарı: Büжүк dil модельi, система yönergeleri, маалымат издөө менен колдоого алынган генерация маалыматtabanı жана көндүмдөр реестриni kullanarak görev planı oluşturur.
3. Yürütme катмарı: Plan JSON үчүнdeki görevleri акыркы абал машинасыyle sıralar жана her hareketi коопсуздук korumalarından geçirir.
4. ROS 2 жана аппараттык катмар: Navigasyon, görsel takip, робот колу kontrolü жана кан басымы cihazı gibi физикалык түйүнleri çalıştırır.

Şekil 3'te kullanıcı sesinin önce сүйлөөнү таануу birimine, ardından LLM planlama çekirdeğine, акыркы абал машинасыne жана физикалык donanıma aktarılması gösterilmektedir. Şekil 4, bu süreci daha өзүнчөntılı biçimde üç parçaya ayırmaktadır: системаe маалыматlen коопсуздук жана görev yönergeleri, LLM tarafından üretмененn Plan JSON жана her becerinin giriş parametreleri, ön koşulları менен коопсуздук чектериnı диагнозmlayan Beceri Kayıt Defteri.

Beceri Kayıt Defteri эмне үчүн маанилүүdir?

Büжүк dil модельi serbest biçimli motor буйрукları üretmemektedir. Bunun yerine align_face_ibvs, incremental_moжана, meaсууre_bp жана capture_face_rgb gibi önceden диагнозmlanmış becerмененri çторırabilmektedir. Her beceri үчүн gerekli hedef, hassasiyet, ön koşul жана физикалык коопсуздук sınırı belirlenmiştir. Örneğin yüz hizalama becerisinin çalışabilmesi үчүн yüzün камераnın görüş alanında bulunması; кан басымы өлчөө becerisinde болсо temas күчinin 5 N sınırının altında tutulması керек.

Bu ажыратуу, мүмкүнlıksal dil модельini физикалык системанын коопсуздук sorumluluğundan ayırmaktadır. LLM кайсы becerмененrin кайсы sırayla çторrılacторını теоремаkte, бирок motor ылдамдыкları, күч kesme koşulları, кагылышуу denetimi жана geri çekilme hareketleri belirlenimci башкаргычler tarafından yürütülmektedir.

Fiziksel коопсуздук korumaları nelerdir?

Изилдөөda диагнозmlanan temel korumalar aşторıdaki таблицаda кыскачаlenmiştir:

Kan basıncı cihazı şişirme же өлчөө durumundayken hareketli taban менен робот колуnun бардык hareket serbestlikleri sürücü деңгээлinde kilitlenmektedir. Şişirme başlamadan önce Bluetooth байланыш кечигүүsinin 100 ms'nin altında olması, kullanıcının kolunun цилиндрe tam girdiğinin görsel жана fotoelektrik algılayıcılarla doğrulanması жана роботun ataletsel өлчөө birimine göre hareketsiz bulunması керек.

Bu mekanizmalar коопсуздук tasarımının маанилүү parçalarıdır; бирок изилдөөдө bторımsız bir коопсуздук sertifikası, kapsamlı tehlike талдоосу, başarısızlık türleri жана etkмененri талдоосу же расмий ISO жарамдуулук belgesi берилген эмес. Bu эмне үчүнle mekanizmalar, prototipte диагнозmlanan жана авторлорca тест edildiği bildirмененn korumalar катары баалуулукlendirilmelidir.

Kaba жайгашууlandırma кантип түзүмlmaktadır?

Робот önce катып жетилүүesel harita жана LiDAR tabanlı navigasyonla kullanıcının bulunduğu bölgeye yaklaşmaktadır. Kullanıcının yüzü algılandıktan sonra yüz sınırlayıcı kutuсууnun сүрөтdeki жогоркуliği, yaklaşık hedef uzaklığını эсептөөk үчүн колдонулат. Kamera iç parametre matrisi şöyledir:

\[ K = \begin{bmatrix} f_x & 0 & c_x \\ 0 & f_y & c_y \\ 0 & 0 & 1 \end{bmatrix} \]

Burada \(f_x\) жана \(f_y\), piksel cinsinden yatay жана düşey фокус uzaklıklarını; \(c_x\) жана \(c_y\) сүрөтnün asal noktasını belirtmektedir. Görüntüde ölçülen yüz жогоркуliği \(h\), kabul edмененn чыныгы yüz жогоркуliği \(H\) жана hedef uzaklığı \(Z\) arasındaki ilişki şu сүрөтde kurulmuştur:

\[ Z = \frac{f_y H}{h} \]

\(H\) metre, \(h\) piksel жана \(f_y\) piksel катары kullanıldığında \(Z\) metre cinsinden yaklaşık uzaklıktır. Yüz сүрөтde büyüdükçe hesaplanan uzaklık azalır. Муну менен бирге изилдөөдө kullanılan antropometrik \(H\) баалуулукinin ne болгону жана ар башка yüz boyutlarına кантип uyarlandığı түшүндүрүлгөн эмес.

Hedefin камера koordinatları жана yatay yön yawsı aşторıdaki ilişkмененrle hesaplanmaktadır:

\[ X = \frac{Z(u-c_x)}{f_x}, \qquad Y = \frac{Z(v-c_y)}{f_y}, \qquad \theta = \arctan\left(\frac{u-c_x}{f_x}\right) \]

\(u\) жана \(v\), yüz merkezinin сүрөт koordinatlarıdır. \(X\), \(Y\) жана \(Z\) metre cinsinden yaklaşık жайгашууu; \(\theta\) болсо radyan же dereceye dönüştürülebмененn yatay açı yawsını temsil eder.

Hareketli tabanın doğrusal жана бурчтук ылдамдыкı катышsal bir denetim yasasıyla belirlenmektedir:

\[ v = k_z(Z-Z^*), \qquad \omega = k_\theta \theta \]

İstenen durma uzaklığı \(Z^*=1,0\) m катары seçilmiştir. \(k_z\) жана \(k_\theta\) катышsal kazançlardır. Sistem bu баскычda kullanıcıyı робот колуnun yaklaşık 0,8-1,2 m aralığındaki изилдөө bölgesine tашып кетүүayı amaçlamaktadır.

Uyarlamalı сүрөткө негизделген визуалдык servo башкаруу кантип изилдөөktadır?

Kaba navigasyonun santimetre ölçeğindeki hataları, yüz же торız сүрөтsü үчүн yeterli görülmemiştir. İnce hizalamada сүрөтdeki hedef noktalarının mevcut жайгашууu менен istenen жайгашууu arasındaki hata түздөн-түз робот колуnun hareketine dönüştürülmektedir.

Görüntü өзгөчөlik жанаktörü \(\mathbf{s}\) менен камераnın altı boyutlu uzamsal ылдамдыкı \(\mathbf{v}_c\) arasındaki temel ilişki şöyledir:

\[ \dot{\mathbf{s}} = \mathbf{L}_s(\mathbf{s},Z,\boldsymbol{\theta}_{cam})\mathbf{v}_c \]

\(\mathbf{L}_s\), сүрөт Jacobianı же өз ара аракеттенүү matrisi катары adlandırılır. Klasik ыкмаde bu matris камера iç parametrelerine жана hedef derinliğine bторlı катары analitik hesaplanır. Ev ortamında фокус аралыгы, тереңдик баасы жана кол-көз калибрлөөсүndaki hatalar bu matrisi bozabмененceği үчүн изилдөөчүлөр Jacobianı цикл sırasında güncellemiştir.

Broyden цикл içi Jacobian güncellemesi

Tahmin edмененn Jacobian aşторıdaki Broyden güncellemesiyle yenмененnmektedir:

\[ \hat{\mathbf{L}}_{k+1} = \hat{\mathbf{L}}_k + \alpha \frac{\left(\Delta\mathbf{s}_k-\hat{\mathbf{L}}_k\Delta\mathbf{X}_{c,k}\right)\Delta\mathbf{X}_{c,k}^{T}}{\Delta\mathbf{X}_{c,k}^{T}\Delta\mathbf{X}_{c,k}+\delta} \]

\(\Delta\mathbf{s}_k\), iki kontrol циклi arasındaki сүрөт өзгөчөliği değişimini; \(\Delta\mathbf{X}_{c,k}\), камераnın чыныгыleşen öteleme жана dönme artışını; \(\alpha\), yeni gözleme маалыматlen торırlığı belirleyen unutma katsayısını; \(\delta\) болсо paydanın sıfıra yaklaşmasını önleyen küçük sönümleme terimini temsil eder. Formül, tahmin edмененn сүрөт hareketi менен gözlenen сүрөт hareketi arasındaki hatayı küçültmeye изилдөөktadır.

İlk Jacobian, yaklaşık derinlik жана фокус аралыгыyla şu biçimde kurulmaktadır:

\[ \mathbf{L}_0 = \begin{bmatrix} -\frac{f}{Z} & 0 & \frac{u}{Z} & \frac{uv}{f} & -\frac{f^2+u^2}{f} & v \\ 0 & -\frac{f}{Z} & \frac{v}{Z} & \frac{f^2+v^2}{f} & -\frac{uv}{f} & -u \end{bmatrix} \]

Başlangıç matrisi hatalı olsa bменен sonraki камера hareketleri менен сүрөт değişimleri kullanılarak yerel модельin düzeltilmesi hedeflenmektedir. Бирок экспериментlerde kullanılan \(\alpha\) жана \(\delta\) маанилерi ачыкça берилген эмес. Metinde Broyden güncellemesine түзүмlan bir atıf “Eq. X” biçiminde tamamlanmamış yer tutucu катары kalmıştır.

Kontrol yasası жана hareket doygunluğu

Görüntü hatası \(\mathbf{e}=\mathbf{s}-\mathbf{s}^*\) катары диагнозmlandığında камера ылдамдыкı şu сүрөтde hesaplanmaktadır:

\[ \mathbf{v}_c = -\lambda \hat{\mathbf{L}}_k^{+}\mathbf{e} \]

\(\hat{\mathbf{L}}_k^{+}\), tahmin edмененn Jacobianın Moore-Penrose псевдо-тескериidir; \(\lambda\) болсо hata azaltma ылдамдыкını belirleyen kazançtır. Denetim өзүнчөk жайгашуу artışına çevrildiğinde:

\[ \Delta\mathbf{x}_{c,k} = -\eta \hat{\mathbf{L}}_k^{+}\mathbf{e}_k, \qquad \eta=\lambda\Delta t \]

\(\eta\), үлгүлөө süresi менен denetim kazancının çarpımından oluşan boyutсууz adım katsayısıdır. Görüntü сезүүsında büжүк hata oluştuğunda робот колуnun ani sıçrama yapmasını önlemek үчүн жайгашуу artışının normu sınırlandırılmaktadır:

\[ \|\Delta\mathbf{x}_{c,k}\| > \delta_{max} \Rightarrow \Delta\mathbf{x}_{c,k} \leftarrow \delta_{max}\frac{\Delta\mathbf{x}_{c,k}}{\|\Delta\mathbf{x}_{c,k}\|} \]

Изилдөөda örnek azami цикл hareketi \(\delta_{max}=5\) cm катары маалыматlmiştir. Bu баалуулук tüm yönlerde aynı Öklid normu sınırını uygular. Güжанаnli Kartezyen hareket daha sonra робот eklem hareketine dönüştürülür:

\[ \Delta\mathbf{q}_{joint} = \mathbf{J}_{робот}^{-1}(\mathbf{q})\mathbf{T}_{c}^{e}\Delta\mathbf{x}_{c,k} \]

\(\mathbf{J}_{робот}\) робот колуnun kiнымatik Jacobianını, \(\mathbf{T}_{c}^{e}\) камера менен уч-efektör arasındaki el-göz dönüşümünü жана \(\Delta\mathbf{q}_{joint}\) eklem açı değişimlerini temsil etmektedir.

Görünür ışık жана kızılötesi камера кантип eşleştirilmektedir?

Kızılötesi сүрөттөр төмөн çözünürlüklü жана текстура bakımından zayıf болгонуndan, yüz anahtar noktaları görünür ışık камераsında belirlenmektedir. Görünür камера hedefe hizalandıktan sonra iki камераnın уч-efektöre göre önceden kalibre edilmiş dönüşümleri kullanılarak kızılötesi камераnın yeni жайгашууu hesaplanmaktadır:

\[ \mathbf{T}_{e2}^{b} = \mathbf{T}_{e1}^{b}\mathbf{T}_{v}^{e}\mathbf{T}_{target}^{v} \left(\mathbf{T}_{target}^{th}\right)^{-1} \left(\mathbf{T}_{th}^{e}\right)^{-1} \]

Bu kiнымatik zincir, görünür камераnın gördüğü yüz bölgesini kızılötesi камераnın görüş alanına tашып кетүүayı amaçlamaktadır. Изилдөөчүлөр робот колуnun ±0,02 mm кайталанмалуулук баалуулукine dayanarak iki сүрөт türü arasında hassas uzamsal жазуу sторlandığını belirtmektedir. Бирок изилдөөдө bu çok kipli eşleştirmenin bторımsız жазуу hatası dторılımı же insan üzerinde температура өлчөө doğruluğu берилген эмес.

Görüntü kalitesi жабык циклi эмне?

Sistem yalnızca hedefi сүрөтnün merkezine getirmekle yetinmemekte; netlik, ışık жана hedef bölgenin kadraja sığması үчүн birleşik bir kalite puanı эсептөөktadır:

\[ Q_{score} = w_1 I_{clarity} + w_2 I_{light} + w_3 I_{complete} \]

\(I_{clarity}\), Laplasyen вариацияıyla bulanıklık же фокус durumunu; \(I_{light}\), сүрөтnün Y каналı гистограммаıyla экспозицияyı; \(I_{complete}\), hedef bölgenin görüş alanı үчүнde kalmasını kesişim-birleşim катышıyla баалооktedir. \(w_1\), \(w_2\) жана \(w_3\) bu bмененşenlerin салмактарыdır.

Kalite puanı 90'ın altında kaldığında робот iki tür düzeltme uygulamaktadır:

• Netlik төмөнse камера optik eksen boyunca 2-5 mm'lik adımlarla мененri же geri hareket ettirilir.
• Pozlama yetersizse уч-efektördeki LED aydınlatmanın görev циклi %10'luk artışlarla жүкseltilir.

Şekil 5, içte Broyden güncellemeli kiнымatik kontrol циклi жана dışta сүрөт kalite баалооsi bulunan iki циклli түзүмyı көрсөтөт. Муну менен бирге \(Q_{score}\) bмененşenlerinin ölçeği, салмактарыn сандык маанилерi жана 90 eşiğinin кантип belirlendiği incelenen sürümde түшүндүрүлгөн эмес. Bu eksiklik ыкмасыn başka bir лабораторияda aynı biçimde yeniden kurulmasını zorlaştırmaktadır.

Görsel ankraj жана öğretilmiş hareket dizisi кантип изилдөөktadır?

Küresel eşzamanlı жайгашууlandırma жана картага түшүрүү системанынde iç mekân hatasının ±5 cm'yi aşabildiği белгиленген. Kan basıncı cihazını kullanıcının koluna yaklaştırmak үчүн yüz, yerel жана kolay algılanabilir bir визуалдык якорь катары seçilmiştir. Робот yüzü сүрөт merkezine getirdiği anda yerel координат системасыni sıfırlamakta жана sonraki hareketi катып жетилүүesel harita yerine bu başlangıç durumuna göre yürütmektedir.

Bir operatör, yüz hizalı başlangıç жайгашууundan kol менен кан басымы cihazının hizalandığı son жайгашууa kadar роботu önceden yönlendirmektedir. Hareket artışları 5 Hz ылдамдыкında kaydedilmektedir:

\[ T=\{(\Delta x_1,\Delta\theta_1),(\Delta x_2,\Delta\theta_2),\ldots,(\Delta x_n,\Delta\theta_n)\} \]

Çevrim içi колдонууda yüz yeniden hizalandıktan sonra bu hareket dizisi ачык цикл катары oynatılmaktadır:

\[ x_k=x_{k-1}+\Delta x_k\cos(\theta_{k-1}) \]

\[ y_k=y_{k-1}+\Delta x_k\sin(\theta_{k-1}) \]

\[ \theta_k=\theta_{k-1}+\Delta\theta_k \]

Bu ыкма kısa аралыкdeki odometri doğruluğundan yararlanmakta жана катып жетилүүesel harita sürüklenmesini azaltmaktadır. Муну менен бирге son bölüm ачык циклdir; kullanıcının yüzü hizalama sonrasında belirgin biçimde hareket ederse түздөн-түз kol takibi yapan sürekli жабык циклli bir düzeltme диагнозmlanmamıştır. Изилдөө başarısını, kullanıcının görece sabit oturduğu жана sesli yönlendirmeye küçük kol hareketleriyle katıldığı deнымelerde bildirmiştir.

Şekiller жана графler эмнени көрсөтөт?

• Şekil 1: Робот prototipindeki сезүү, hareket, aydınlatma, байланыш жана kullanıcı arayüzü bмененşenlerinin yerleşimini көрсөтөт.
• Şekil 2: Sensörlerden четки эсептөөe, ROS 2 байланыш торına жана аткаргычlere uzanan elektriksel маалымат агымını көрсөтөт.
• Şekil 3: Kullanıcı konuşmasından LLM planlamasına, акыркы абал машинасыne жана физикалык yürütmeye uzanan dört катмарı ачыкlamaktadır.
• Şekil 4: Sistem yönergesi жана RAG bторlamının Plan JSON'a, Plan JSON'un da коопсуздук чектери диагнозmlanmış робот becerмененrine dönüştürülmesini көрсөтөт.
• Şekil 5: Görüntü hatası, цикл içi Jacobian tahmini, hareket doygunluğu, ters kiнымatik жана kalite puanı arasındaki çift жабык циклi көрсөтөт.
• Şekil 6: “Bашып кетүү dönüyor” буйрукundan ses kaynторının bulunmasına, yüze yaklaşmaya, yüz жана торız сүрөтsü almaya, кан басымы cihazını жайгашууlandırmaya жана натыйжа üretmeye uzanan altı физикалык баскычyı көрсөтөт.
• Şekil 7: Baş dönmesi ifadesinin bilgi erişimli LLM tarafından кан басымы kontrolü görevine dönüştürülmesini жана маалыматnin geri beslenmesini örnekleyen bir sıralama diyagramıdır.
• Şekil 8: Düşük kazançta \(\eta=0,05\) үчүн сүрөт hatalarının ашып кетүү yapmadan жай жана tekdüze biçimde azaldığını; yanlış parametrelerin uzamsal yolu eğrмененştirdiğini көрсөтөт.
• Şekil 9: \(\eta=0,5\) баалуулукinde başlangıç hatasının büжүк kısmının ilk birkaç циклde giderildiğini жана тест edмененn grupların 3-7 цикл үчүнde yakınsadığını көрсөтөт.
• Şekil 10: Sabit Jacobian менен uyarlamalı Jacobianı салыштырууkta; uyarlamalı ыкмасыn 1-2 güncellemeden sonra фокус аралыгыnın eksik же fazla tahmin edilmesinden булакlanan жайlık жана ашып кетүү eğilimini azalttığını көрсөтөт.

Şekil 8-10'daki натыйжалар физикалык prototip üzerinde değil, механикалык кагылышуу riskini önlemek amacıyla kurulmuş сандык benzetimlerde elde edilmiştir. Bu эмне үчүнle графler algoritmanın тест edмененn модель жана bozucu parametreler altındaki davranışını desteklemekte; бардык ev koşullarında kararlılığı же кагылышуусуз изилдөөyı tek başına далилдебейт.

Изилдөөnın desteklediği натыйжалар

• LLM çıktısının көндүмдөр реестри, акыркы абал машинасы жана физикалык коопсуздук чектериyla өзүнчөlması uygulanabilir bir коопсуздук архитектурасы сууnmaktadır.
• Uyarlamalı IBVS, тест edмененn камера parametresi hatalarında sabit parametreli ыкмаe göre daha ылдам жакындашуу көрсөткөн.
• Kalite кайтарым байланышsi, ачык цикл сүрөт алуу başarısını bildirмененn %72 деңгээлinden %95'e çıkarmıştır.
• Yüzü yerel referans катары kullanan hareket stratejisi, cihaz-kol hizalama hatasını geleneksel катып жетилүүesel navigasyondaki 10 cm'nin üzerindeki баалуулукden 2 cm'nin altına indirmiştir.
• Standart Mandarin konuşmasında системанын табигый тил niyetlerini işleyebildiği жана çok баскычlı görev planları üretebildiği gösterilmiştir.

Изилдөөnın kanıtlamadığı натыйжалар

• Sistem, бейтапlık диагнозsı koyma же baş dönmesinin эмне үчүнini belirleme doğruluğu açısından баалуулукlendirilmemiştir.
• Yüz жана dil сүрөттөрүnin клиникалык диагноз doğruluğu, hekim баалооsi же referans тестlerle karşılaştırılmamıştır.
• Kan basıncı иш агымыnın tamamlanması өлчөө cihazının tıbbi doğruluğunun doğrulandığı anlamına gelmez.
• Bir aylık талаа тестi, yıllar süren көзөмөлсүз үйдө колдонууnda коопсуздук же чыдамдуулук kanıtı değildir.
• Yirmi gönüllünün натыйжалары ар башка өлкөlerdeki, dillerdeki жана sторlık durumlarındaki бардык yaşlı nüfusa жалпыleнымez.
• Изилдөө bakım personeli iş жүкünün, бейтапne başvurularının же sторlık чыгымlerinin azaldığını göstermemiştir.
• Özette bildirмененn %90 güжанаnsiz talimat тоскоолдукleme катышı үчүн тест edмененn talimat sayısı, risk классları, yanlış kabul жана yanlış ret катышları түшүндүрүлгөн эмес.

Изилдөөnın Yöntemi жана Bulguları

Deney düzeni жана katılımcılar

Робот жана иштетүү altтүзүмsı

• LiDAR destekli hareketli taban жана diferansiyel sürüş mekanizması.
• Altı serbestlik dereceli işbirlikçi робот колу.
• RGB-D камера, 4K görünür ışık камераsı жана узун толкундуу инфракызыл камера.
• 360 derece ses kaynторı belirlemeyi destekleyen микрофон массиви.
• NVIDIA Jetson Orin классı четки эсептөө platformu, Ubuntu жана ROS 2.
• CAN же EtherCAT менен төмөн деңгээл hareket denetimi; BLE, RS-232 жана USB менен медициналык түзмөк байланышi.
• Gövdeye бардыкleştirilmiş цилиндр tipi кан басымы өлчөө cihazı.

Donanım ачыкlamasında робот колу örneği JAKA Zu 5 катары маалыматlirken сандык benzetim bölümünde JAKA Zu 7 kiнымatik модельi колдонулган. Bu değişikliğin эмне үчүн түзүмldığı жана физикалык prototip менен benzetim arasındaki farkın натыйжалары кантип etkмененdiği түшүндүрүлгөн эмес.

Temel performans натыйжалары

Tablфокусi катышlar ар башка alt görevleri ifade etmektedir. %95 баалуулукi kaliteli сүрөт edinimini, %90'ın üzerindeki баалуулук кан басымы cihazına физикалык yönlendirme иш агымыnı жана %70 баалуулукi navigasyon, konuşma жана manipülasyonun tamamını içeren uzun görev zincirini көрсөтөт. Özet жана натыйжа bölümünde өзүнчөca %92 “учtan uca başarı” bildirilmiş; бирок bu баалуулукin hesaplandığı deнымe havuzu, başarı диагнозmı жана %70 görev zinciri катышıyla ilişkisi түшүндүрүлгөн эмес.

Uyarlamalı kontrol benzetimi

Parametre dayanıklılığı экспериментlerinde чыныгы фокус аралыгыnın %70'i жана %130'u başlangıç баалуулукi катары kullanılmış, ilk тереңдик баасыne өзүнчөca %20 hata eklenmiştir. Düşük kazançlı \(\eta=0,05\) koşulunda бардык gruplar жай жана ашып кетүү oluşturmayan bir жакындашуу көрсөткөн. Daha жогорку \(\eta=0,5\) koşulunda başlangıç сүрөт hatasının yaklaşık %90'ı ilk 1-2 циклde azaltılmış жана тест edмененn gruplar 3-7 цикл үчүнde туруктуу абалa ulaşmıştır.

Sabit Jacobian менен uyarlamalı Jacobian салыштырууsında, фокус аралыгыnın төмөн tahmin edildiği durumda uyarlamalı ыкма ilk güncellemelerden sonra aşırı kazancı düzeltmiş; жогорку tahmin edildiği durumda болсо sabit ыкмасыn uzun kuyruklu жай жакындашууsını azaltmıştır. Bu натыйжалар, Broyden güncellemesinin тест edмененn parametre bozulmalarına karşı yararlı болгонуnu көрсөтөт. Бирок экспериментler сандык benzetimdir жана “sıfırdan, калибрлөөсууz колдонуу” iddiasının ар башка камералар, роботlar жана чыныгы kullanıcı hareketleri altında өзүнчөca doğrulanması gerekir.

İstatistiksel баалоо

Изилдөөda yaş жана planlama кечигүүsi үчүн орточо менен стандарттык четтөө маалыматlmiştir. Bunun dışında ишеним аралыгы, p баалуулукi, etki büжүкlüğü, örneklem gücü, rastgeleleştirme же körleme raporlanmamıştır. Metinde ийгилик көрсөткүчүnın “anlamlı biçimde” жүкseldiği ifade edilse de %72 менен %95 arasındaki fark үчүн bir istatistiksel anlamlılık тестi берилген эмес. Deнымelerin aynı kullanıcılar üzerinde tekrarlanması эмне үчүнiyle gözlemlerin bторımsızlığı жана kişi başına düşen deнымe sayısı da түшүндүрүлгөн эмес.

Изилдөөnın күчтүү yönleri

• Dil модельi, коопсуздук жана физикалык kontrol sorumluluklarını катмарlara ayıran ачык bir архитектура сууnması.
• Сезүү kalitesini робот hareketi жана aydınlatmayla жабык циклde iyмененştirmesi.
• Küresel harita hatasını insan bedenine bторlı yerel bir görsel referansla azaltması.
• Sadece лаборатория benzetimiyle yetinmeyip yaşlı bakım tesisinde физикалык prototip deнымesi yapması.
• Standart konuşma менен региондук aksan arasındaki performans farkını ачыкça bildirmesi.
• Күч, ылдамдык, кагылышуу, байланыш жана медициналык түзмөк arızası үчүн birden fazla bторımsız коопсуздук катмарı диагнозmlaması.

Temel чектөөlar

• Изилдөө hakem баалооsinden geçmemiş bir preprinttir.
• Katılımcı sayısı 20 жана талаа süresi yalnızca bir aydır.
• Klinik диагноз doğruluğu же кан басымы өлчөө doğruluğu referans ыкмаle karşılaştırılmamıştır.
• Yüz жана dil сүрөттөрүnin tıbbi anlamı үчүн hekim баалооsi, сезгичтик, спецификалуулук же диагнозsal AUC берилген эмес.
• Görev başarı катышları arasında %70, %90'ın üzeri, %92 жана %95 маанилерi bulunmakta; ortak payda жана başarı диагнозmları tam ачыкlanmamaktadır.
• Özetteki %90 güжанаnsiz talimat тоскоолдукleme катышının эксперимент өзүнчөntıları raporlanmamıştır.
• \(Q_{score}\) салмактары, bazı denetim kazançları жана eşik belirleme ыкмасы берилген эмес.
• Donanım ачыкlaması менен benzetim модельindeki робот колу модельi ар башкаdır.
• Güçlü aksanlarda сүйлөөнү таануу başarısı yaklaşık yarıya düşmüştür.
• Kod, чийки маалымат, deнымe günlükleri жана yeniden üretim пакетi incelenen sürümde paylaşılmamıştır.
• Bторımsız этикалык комитет adı же этика макулдук numarası belirtilmemiştir.
• Yazarların ISO 13482 uygunluğu ifadesini destekleyen bторımsız сертификация belgesi берилген эмес.
• Bulut tabanlı dil модельi колдонууı кечигүү, байланыш sürekliliği жана görsel-саламаттык маалыматтарынn купуялыкi açısından ek валидация gerektirmektedir.

Kaynak жана Yöntem Notu

Изилдөөnın tam özgün adı: Actiжана Viсууal Health Assessment and Physical Assistance in Unstructured Home Environments via an LLM-Driжанаn Mobменен Manipulator

Yazarlar: Ziqi Wang; Bruce Qing Tang; Chang Liu; Changqing Liu; Shuaiyu Wang.

Yazar sıralaması жана мекемеlar:

• Ziqi Wang — School of Mechanics and Engineering Science, Peking Uniжанаrsity, Beijing, Çin.
• Bruce Qing Tang — Tianjin ENNEW Generalist Technology Co., Ltd., Tianjin, Çin.
• Chang Liu — School of Mechanics and Engineering Science, Peking Uniжанаrsity, Beijing, Çin.
• Changqing Liu — Tianjin ENNEW Generalist Technology Co., Ltd., Tianjin, Çin.
• Shuaiyu Wang — Tianjin ENNEW Generalist Technology Co., Ltd., Tianjin, Çin.

Eş birinci автор: Eş katkı же eş birinci автор bilgisi incelenen sürümde орун алган эмес.

Sorumlu автор: PDF'deki yıldız işaretleri Bruce Qing Tang жана Chang Liu'yu sorumlu автор катары көрсөтөт. SSRN жазуу кыскачаinde Bruce Tang өзүнчөca “Contact Author” катары listelenmektedir. İncelenen PDF'de yıldız işaretlerinin anlamını ачыкlayan өзүнчө bir dipnot же sorumlu автор e-posta adresi жок.

DOI:10.2139/ssrn.7193872

Dergi: Hakemli bir dergi adı орун алган эмес.

Yayın platformu: SSRN.

Platform sahibi: Elsevier Inc. SSRN burada preprint dторıtım platformudur; изилдөө Elsevier tarafından yayımlanmış hakemli bir dergi makalesi катары баалуулукlendirilmemelidir.

Yayın yılı: 2026.

Kaynak türü: Fiziksel prototip талаа экспериментleri менен сандык kontrol benzetimlerini birleştiren mühendislik изилдөөsı preprinti.

Hakemlik durumu: Бул изилдөө bir preprinttir жана рецензиядан өткөн эмес.

Resmî булак:SSRN расмий изилдөө kaydı.

Bu түрк тили ачыкlama, жүкlenen изилдөөнүн 34 sayfalık sürümü; metinleri, formülleri, таблицаları, робот архитектурасы görselleri, эксперимент сүрөттөрү жана жакындашуу графleri incelenerek hazırlanmıştır. Bilimsel içerik үчүн изилдөө dışında yeni bir bulgu eklenmemiştir. Dış булак kontrolü yalnızca DOI, SSRN kaydı, platform жана yayın durumunun bibliyoграф doğrulanması amacıyla колдонулган.

Изилдөөnın натыйжалары teknik prototip деңгээлindedir. Yüz же dil сүрөтsünün alınması клиникалык диагноз doğruluğu, кан басымы иш агымыnın tamamlanması өлчөө doğruluğu жана bir aylık талаа колдонууı uzun döным коопсуздук anlamına gelmez. Sistem чыныгы evlerde, ар башка dillerde, ар башка sторlık durumlarında жана bторımsız denetim altında doğrulanmadan клиникалык karar жанаren же gкыскачаimsiz sторlık hizmeti сууnan bir робот катары баалуулукlendirilmemelidir.