Bu tədqiqat, yaşlı şəxslərin evdə storlamlıq monitorinqini passiv ölçmə cihazlarından aktiv qavrama və fiziki yardıma taşıyabiləcek bir mobil robot sistemi geliştirmeyi yoxlamaktedir. Sistem; təbii dilde söylenen belirsiz storlık yakınmalarını yorumlayan bir böyük dil modeli, görevleri təhlükəsiz və belirlenimci biçimde yürüten sonlu vəziyyət maşını, fiziki təhlükəsizlik sərhədləri, uyarlamalı görüntü əsaslı vizual servo nəzarəti və qan təzyiqi ölçməüne yardımcı olan vizual lövbərlı hareket stratejisini bir araya getirmiştir. Yirmi yaşlı gönüllünün katıldığı bir aylık sahə tədqiqatında təsvir əldə etmə sürecinin nihai uğur nisbəti %95, qan təzyiqi ölçməüne yardım iş axınının başarısı %90'ın üzerinde və ümumi uzun görev zinciri başarısı %70 olaraq bildirilmişdir. Bununla belə tədqiqat resenziyadan keçməmişdir; klinik diaqnoz doğruluğunu, tıbbi nəticələri və ya sistemin nəzarətsiz ev istifadəsindaki uzun dörütubət təhlükəsizğini sübut etmir.

Robotun temel yaklaşmaı, böyük dil modelini birbaşa motorlara komandaa eden bir nəzarətçi olaraq kullanmak yerine, dil modelinin çıktısını önceden diaqnozmlanmış robot beceriləriyle sınırlandırmaktır. “Başma dönüyor” gibi strukturlandırılmamış bir ifade önce nitqin diaqnoznması və semantik təhlilden geçirilmekte, ardından məlumat axtarışı ilə dəstəklənən generasiya sistemi storlıkla ilgili görev mümkünlıklarını qiymətləndirməkte və nəticə bir Plan JSON dizisine dönüştürülmektedir. Sonlu durum makinesi ilə təhlükəsizlik korumaları, bu planı ancaq qüvvə, sürət, məsafə, rabitə və cihaz vəziyyəti gibi fiziki koşullar storlandığında yürütmektedir.

Türkiyə baxımından anlamı və gerekli uyarlamalar

Tədqiqatnın evde yaşlı bakımı, huzurevi hizmetleri, hareket məhdudiyyətlı bireylere ölçmə desteği və bakım personelinin rutin iş yükünün azaltılması açısından Türkiyə'ye uyarlanabilir bir mühendislik yaklaşmaı bulunmaktadır. Ancaq birbaşa uygulama üçün türk dili nitqin diaqnoznması sisteminin yaşlı şəxslərin ses xüsusilikleri, regional dialektlər və fərqli konuşma sürətlarıyla yeniden eğitilmesi gerekir. Tədqiqatda standart Mandarin konuşmasında %90'ın üzerinde bildirilən niyyət diaqnozma başarısının güclü regional aksanlarda yaklaşık %50'ye düşmesi, türk dili və yerel torız validasiyasının zorunlu olduğunu göstərir.

Türkiyə'de kullanılacak bir sürümün türk dili acil durum ifadeleri, yerel bakım protokolleri, məxfilik gereksinimleri, tibbi cihaz btorlantıları və yetkili storlık personeline yönlendirme kurallarıyla ayrıca doğrulanması gerekir. Kan basıncı ölçməüne fiziki olaraq yardım eden robotun görevi tamamlaması, ölçülen dəyərin klinik doğruluğunu kendiliğinden sübut etmir. Bu niyəle sertifikalı referans cihazlarla ölçmə müqayisəsı, btorımsız təhlükəsizlik testleri, etika komitə qiymətləndirməsi, fərqli ev tiplerinde sahə tədqiqatı və çok merkezli kullanıcı təcrübəleri strukturlmadan klinik və ya yaygın ev istifadəı sonucu çıkarılamaz.

Tədqiqatın temel zondlemi nədir?

Geleneksel ev tipi storlık yönetiminde elektronik tansion cihazı, termometre və benzeri araçlar ümumilikle kullanıcının ölçməü kendisinin başlatmasını, cihazı doğru yerleştirmesini və sonucu yorumlamasını gerektirir. Hareket məhdudiyyətlı, görme və ya işitələmə sorunu bulunan ya da bilişsel yükü azaltılması gereken yaşlı şəxslər açısından bu yaklaşma əhəmiyyətli bir istifadə maneəi oluşturabilir. Tədqiqat, storlıkla ilgili bir yakınmayı anlayan, kullanıcıyı bulan, uygun ölçmə görevini başlatan, görüntüləmə koşullarını düzelten və fiziki ölçmə cihazına erişimi kolaylaştıran bütünleşik bir robot geliştirmeyi hedeflemektedir.

Tədqiqatçılar üç mühendislik boşluğuna fokuslanmıştır:

• “Başma dönüyor” gibi belirsiz təbii dil ifadelerinin təhlükəsiz və uygulanabilir robot görevlerine dönüştürülmesi.
• Büyük dil modellerinin mümkün halüsinasyonlarının insan bedenine yakın çalışan bir robotta tehlikeli harekete dönüşmesinin maneəlenmesi.
• Ev içi xəritələşdirmə sistemlerinin santimetre ölçeğindeki mövqe hatalarına rtormen yüz, torız və kol gibi hedeflere hassas biçimde yaklaşılması.

Sistem hansı biləşenlerden oluşmaktadır?

Robotun fiziki struktursı hareketli bir taban, altı serbestlik dereceli işbirlikçi robot qolu, RGB-D kamera, LiDAR, mikrofon massivi, görünür ışık kamerası, uzun dalğalı infraqırmızı kamera, qüvvə-burulma momenti algılama biləşenleri və gövdəye yerleştirilmiş silindr biçimli bir qan təzyiqi ölçmə cihazından oluşmaktadır. Esnek bir manjeti robot eliyle kullanıcının koluna sarmak yerine, kullanıcının kolunu sabit bir silindr üçüne uzatması istenmiştir. Bu tercih, esnek material manipülasyonunun karmaşıklığını azaltmakta; ancaq kullanıcının vərilən sesli yönlendirmeyi anlayıp kolunu uygun mövqea getirebilmesini gerektirmektedir.

Şekil 1, hareketli taban, robot qolu, algılama başlığı və tıbbi yüklerin fiziki prototip üzerindeki yerlerini göstərir. Görselde çmərhələ izləmə sensoru, mikrofon massivi, iki və üçölçülü kameralar, kızılötesi kamera, LED dolgu ışığı, qüvvə kontrol modulü, ses diaqnozma birimi, ana qarşılıqlı təsir ekranı və çeşitli rabitə kartları ayrı ayrı işaretlenmiştir. Şekil 2 isə görsel, qüvvə və ses vərilərinin kənar hesablama nəzarətçisinde birleştirilmesini; hareket komandalarının ROS 2 üzerinden tabana və kola ilətilmesini; üst səviyyə dil modeli işləməlerinin bulud btorlantısıyla yürütülmesini açıqlamaktadır.

Bulut-uc arxitekturası necə tədqiqatktadır?

Yazılım arxitekturası dört qatlıdır:

1. Etkiləşim qatı: Kullanıcı konuşmasını otomatik nitqin diaqnoznması sistemiyle metne və strukturlandırılmış niyete dönüştürür.
2. Orkestrasyon qatı: Büyük dil modeli, sistem yönergeleri, məlumat axtarışı ilə dəstəklənən generasiya vəritabanı və bacarıq reyestrini kullanarak görev planı oluşturur.
3. Yürütme qatı: Plan JSON üçündeki görevleri sonlu vəziyyət maşınıyle sıralar və her hareketi təhlükəsizlik korumalarından geçirir.
4. ROS 2 və avadanlıq qatı: Navigasyon, görsel takip, robot qolu kontrolü və qan təzyiqi cihazı gibi fiziki düyünleri çalıştırır.

Şekil 3'te kullanıcı sesinin önce nitqin diaqnoznması birimine, ardından LLM planlama çekirdeğine, sonlu vəziyyət maşınıne və fiziki donanıma aktarılması gösterilmektedir. Şekil 4, bu süreci daha ayrıntılı biçimde üç parçaya ayırmaktadır: sisteme vərilən təhlükəsizlik və görev yönergeleri, LLM tarafından üretilən Plan JSON və her becerinin giriş parametreleri, ön koşulları ilə təhlükəsizlik sərhədlərinı diaqnozmlayan Beceri Kayıt Defteri.

Beceri Kayıt Defteri niyə əhəmiyyətlidir?

Büyük dil modeli serbest biçimli motor komandaları üretmemektedir. Bunun yerine align_face_ibvs, incremental_movə, measure_bp və capture_face_rgb gibi önceden diaqnozmlanmış beceriləri çtorırabilmektedir. Her beceri üçün gerekli hedef, hassasiyet, ön koşul və fiziki təhlükəsizlik sınırı belirlenmiştir. Örneğin yüz hizalama becerisinin çalışabilmesi üçün yüzün kameranın görüş alanında bulunması; qan təzyiqi ölçmə becerisinde isə temas qüvvəinin 5 N sınırının altında tutulması lazımdır.

Bu ayırma, mümkünlıksal dil modelini fiziki sistemin təhlükəsizlik sorumluluğundan ayırmaktadır. LLM hansı becerilərin hansı sırayla çtorrılactorını təklifkte, ancaq motor sürətları, qüvvə kesme koşulları, toqquşma denetimi və geri çekilme hareketleri belirlenimci nəzarətçilər tarafından yürütülmektedir.

Fiziksel təhlükəsizlik korumaları nelerdir?

Tədqiqatda diaqnozmlanan temel korumalar aştorıdaki cədvəlda xülasəlenmiştir:

Kan basıncı cihazı şişirme və ya ölçmə durumundayken hareketli taban ilə robot qolunun bütün hareket serbestlikleri sürücü səviyyəinde kilitlenmektedir. Şişirme başlamadan önce Bluetooth btorlantı gecikməsinin 100 ms'nin altında olması, kullanıcının kolunun silindre tam girdiğinin görsel və fotoelektrik algılayıcılarla doğrulanması və robotun ataletsel ölçmə birimine göre hareketsiz bulunması lazımdır.

Bu mekanizmalar təhlükəsizlik tasarımının əhəmiyyətli parçalarıdır; ancaq tədqiqatda btorımsız bir təhlükəsizlik sertifikası, kapsamlı tehlike analizi, başarısızlık türleri və etkiləri analizi və ya rəsmi ISO uyğunluq belgesi təqdim edilməmişdir. Bu niyəle mekanizmalar, prototipte diaqnozmlanan və müəlliflərca test edildiği bildirilən korumalar olaraq dəyərlendirilmelidir.

Kaba mövqelandırma necə strukturlmaktadır?

Robot önce küresel harita və LiDAR tabanlı navigasyonla kullanıcının bulunduğu bölgeye yaklaşmaktadır. Kullanıcının yüzü algılandıktan sonra yüz sınırlayıcı kutusunun görüntüdeki yüksəkliği, yaklaşık hedef uzaklığını hesablamak üçün istifadə olunur. Kamera iç parametre matrisi şöyledir:

\[ K = \begin{bmatrix} f_x & 0 & c_x \\ 0 & f_y & c_y \\ 0 & 0 & 1 \end{bmatrix} \]

Burada \(f_x\) və \(f_y\), piksel cinsinden yatay və düşey fokus uzaklıklarını; \(c_x\) və \(c_y\) görüntünün asal noktasını belirtmektedir. Görüntüde ölçülen yüz yüksəkliği \(h\), kabul edilən real yüz yüksəkliği \(H\) və hedef uzaklığı \(Z\) arasındaki ilişki şu şəkilde kurulmuştur:

\[ Z = \frac{f_y H}{h} \]

\(H\) metre, \(h\) piksel və \(f_y\) piksel olaraq kullanıldığında \(Z\) metre cinsinden yaklaşık uzaklıktır. Yüz görüntüde büyüdükçe hesaplanan uzaklık azalır. Bununla belə tədqiqatda kullanılan antropometrik \(H\) dəyərinin ne olduğu və fərqli yüz boyutlarına necə uyarlandığı açıqlanmamışdır.

Hedefin kamera koordinatları və yatay yön yawsı aştorıdaki ilişkilərle hesaplanmaktadır:

\[ X = \frac{Z(u-c_x)}{f_x}, \qquad Y = \frac{Z(v-c_y)}{f_y}, \qquad \theta = \arctan\left(\frac{u-c_x}{f_x}\right) \]

\(u\) və \(v\), yüz merkezinin görüntü koordinatlarıdır. \(X\), \(Y\) və \(Z\) metre cinsinden yaklaşık mövqeu; \(\theta\) isə radyan və ya dereceye dönüştürülebilən yatay açı yawsını temsil eder.

Hareketli tabanın doğrusal və bucaq sürətiı nisbətsal bir denetim yasasıyla belirlenmektedir:

\[ v = k_z(Z-Z^*), \qquad \omega = k_\theta \theta \]

İstenen durma uzaklığı \(Z^*=1,0\) m olaraq seçilmiştir. \(k_z\) və \(k_\theta\) nisbətsal kazançlardır. Sistem bu mərhələda kullanıcıyı robot qolunun yaklaşık 0,8-1,2 m aralığındaki tədqiqat bölgesine taşmaayı amaçlamaktadır.

Uyarlamalı görüntü əsaslı vizual servo nəzarəti necə tədqiqatktadır?

Kaba navigasyonun santimetre ölçeğindeki hataları, yüz və ya torız görüntüsü üçün yeterli görülmemiştir. İnce hizalamada görüntüdeki hedef noktalarının mevcut mövqeu ilə istenen mövqeu arasındaki hata birbaşa robot qolunun hareketine dönüştürülmektedir.

Görüntü xüsusilik vəktörü \(\mathbf{s}\) ilə kameranın altı boyutlu uzamsal sürətı \(\mathbf{v}_c\) arasındaki temel ilişki şöyledir:

\[ \dot{\mathbf{s}} = \mathbf{L}_s(\mathbf{s},Z,\boldsymbol{\theta}_{cam})\mathbf{v}_c \]

\(\mathbf{L}_s\), görüntü Jacobianı və ya qarşılıqlı təsir matrisi olaraq adlandırılır. Klasik üsulde bu matris kamera iç parametrelerine və hedef derinliğine btorlı olaraq analitik hesaplanır. Ev ortamında fokus məsafəsi, dərinlik qiymətləndirməsi və əl-göz kalibrləməsindaki hatalar bu matrisi bozabiləceği üçün tədqiqatçılar Jacobianı dövr sırasında güncellemiştir.

Broyden dövr içi Jacobian güncellemesi

Tahmin edilən Jacobian aştorıdaki Broyden güncellemesiyle yenilənmektedir:

\[ \hat{\mathbf{L}}_{k+1} = \hat{\mathbf{L}}_k + \alpha \frac{\left(\Delta\mathbf{s}_k-\hat{\mathbf{L}}_k\Delta\mathbf{X}_{c,k}\right)\Delta\mathbf{X}_{c,k}^{T}}{\Delta\mathbf{X}_{c,k}^{T}\Delta\mathbf{X}_{c,k}+\delta} \]

\(\Delta\mathbf{s}_k\), iki kontrol dövri arasındaki görüntü xüsusiliği değişimini; \(\Delta\mathbf{X}_{c,k}\), kameranın realleşen öteleme və dönme artışını; \(\alpha\), yeni gözleme vərilən torırlığı belirleyen unutma katsayısını; \(\delta\) isə paydanın sıfıra yaklaşmasını önleyen küçük sönümleme terimini temsil eder. Formül, tahmin edilən görüntü hareketi ilə gözlenen görüntü hareketi arasındaki hatayı küçültmeye tədqiqatktadır.

İlk Jacobian, yaklaşık derinlik və fokus məsafəsiyla şu biçimde kurulmaktadır:

\[ \mathbf{L}_0 = \begin{bmatrix} -\frac{f}{Z} & 0 & \frac{u}{Z} & \frac{uv}{f} & -\frac{f^2+u^2}{f} & v \\ 0 & -\frac{f}{Z} & \frac{v}{Z} & \frac{f^2+v^2}{f} & -\frac{uv}{f} & -u \end{bmatrix} \]

Başlangıç matrisi hatalı olsa bilə sonraki kamera hareketleri ilə görüntü değişimleri kullanılarak yerel modelin düzeltilmesi hedeflenmektedir. Ancaq təcrübəlerde kullanılan \(\alpha\) və \(\delta\) dəyərləri açıqça vərilməmişdir. Metinde Broyden güncellemesine strukturlan bir atıf “Eq. X” biçiminde tamamlanmamış yer tutucu olaraq kalmıştır.

Kontrol yasası və hareket doygunluğu

Görüntü hatası \(\mathbf{e}=\mathbf{s}-\mathbf{s}^*\) olaraq diaqnozmlandığında kamera sürətı şu şəkilde hesaplanmaktadır:

\[ \mathbf{v}_c = -\lambda \hat{\mathbf{L}}_k^{+}\mathbf{e} \]

\(\hat{\mathbf{L}}_k^{+}\), tahmin edilən Jacobianın Moore-Penrose psevdo-tərsidir; \(\lambda\) isə hata azaltma sürətını belirleyen kazançtır. Denetim ayrık mövqe artışına çevrildiğinde:

\[ \Delta\mathbf{x}_{c,k} = -\eta \hat{\mathbf{L}}_k^{+}\mathbf{e}_k, \qquad \eta=\lambda\Delta t \]

\(\eta\), nümunələmə süresi ilə denetim kazancının çarpımından oluşan boyutsuz adım katsayısıdır. Görüntü algılamasında büyük hata oluştuğunda robot qolunun ani sıçrama yapmasını önlemek üçün mövqe artışının normu sınırlandırılmaktadır:

\[ \|\Delta\mathbf{x}_{c,k}\| > \delta_{max} \Rightarrow \Delta\mathbf{x}_{c,k} \leftarrow \delta_{max}\frac{\Delta\mathbf{x}_{c,k}}{\|\Delta\mathbf{x}_{c,k}\|} \]

Tədqiqatda örnek azami dövr hareketi \(\delta_{max}=5\) cm olaraq vərilmiştir. Bu dəyər tüm yönlerde aynı Öklid normu sınırını uygular. Güvənli Kartezyen hareket daha sonra robot eklem hareketine dönüştürülür:

\[ \Delta\mathbf{q}_{joint} = \mathbf{J}_{robot}^{-1}(\mathbf{q})\mathbf{T}_{c}^{e}\Delta\mathbf{x}_{c,k} \]

\(\mathbf{J}_{robot}\) robot qolunun kirütubətatik Jacobianını, \(\mathbf{T}_{c}^{e}\) kamera ilə uc-efektör arasındaki el-göz dönüşümünü və \(\Delta\mathbf{q}_{joint}\) eklem açı değişimlerini temsil etmektedir.

Görünür ışık və kızılötesi kamera necə eşleştirilmektedir?

Kızılötesi görüntülər aştorı çözünürlüklü və tekstura bakımından zayıf olduğundan, yüz anahtar noktaları görünür ışık kamerasında belirlenmektedir. Görünür kamera hedefe hizalandıktan sonra iki kameranın uc-efektöre göre önceden kalibre edilmiş dönüşümleri kullanılarak kızılötesi kameranın yeni mövqeu hesaplanmaktadır:

\[ \mathbf{T}_{e2}^{b} = \mathbf{T}_{e1}^{b}\mathbf{T}_{v}^{e}\mathbf{T}_{target}^{v} \left(\mathbf{T}_{target}^{th}\right)^{-1} \left(\mathbf{T}_{th}^{e}\right)^{-1} \]

Bu kirütubətatik zincir, görünür kameranın gördüğü yüz bölgesini kızılötesi kameranın görüş alanına taşmaayı amaçlamaktadır. Tədqiqatçılar robot qolunun ±0,02 mm təkrarlanabilirlik dəyərine dayanarak iki görüntü türü arasında hassas uzamsal qeyd storlandığını belirtmektedir. Ancaq tədqiqatda bu çok kipli eşleştirmenin btorımsız qeyd hatası dtorılımı və ya insan üzerinde temperatur ölçmə doğruluğu vərilməmişdir.

Görüntü kalitesi qapalı dövrəi nədir?

Sistem yalnızca hedefi görüntünün merkezine getirmekle yetinmemekte; netlik, ışık və hedef bölgenin kadraja sığması üçün birleşik bir kalite puanı hesablamaktadır:

\[ Q_{score} = w_1 I_{clarity} + w_2 I_{light} + w_3 I_{complete} \]

\(I_{clarity}\), Laplas variasiyasıyla bulanıklık və ya fokus durumunu; \(I_{light}\), görüntünün Y kanalı histogramıyla ekspozisiyayı; \(I_{complete}\), hedef bölgenin görüş alanı üçünde kalmasını kesişim-birleşim nisbətıyla qiymətləndirməktedir. \(w_1\), \(w_2\) və \(w_3\) bu biləşenlerin çəkiləridır.

Kalite puanı 90'ın altında kaldığında robot iki tür düzeltme uygulamaktadır:

• Netlik aştorıse kamera optik eksen boyunca 2-5 mm'lik adımlarla iləri və ya geri hareket ettirilir.
• Pozlama yetersizse uc-efektördeki LED aydınlatmanın görev dövri %10'luk artışlarla yükseltilir.

Şekil 5, içte Broyden güncellemeli kirütubətatik kontrol dövri və dışta görüntü kalite qiymətləndirməsi bulunan iki dövrli strukturyı göstərir. Bununla belə \(Q_{score}\) biləşenlerinin ölçeği, çəkilərin sayısal dəyərləri və 90 eşiğinin necə belirlendiği incelenen sürümde açıqlanmamışdır. Bu eksiklik üsulun başka bir laboratoriyada aynı biçimde yeniden kurulmasını zorlaştırmaktadır.

Görsel ankraj və öğretilmiş hareket dizisi necə tədqiqatktadır?

Küresel eşzamanlı mövqelandırma və xəritələşdirmə sisteminde iç mekân hatasının ±5 cm'yi aşabildiği qeyd edilmişdir. Kan basıncı cihazını kullanıcının koluna yaklaştırmak üçün yüz, yerel və kolay algılanabilir bir vizual lövbər olaraq seçilmiştir. Robot yüzü görüntü merkezine getirdiği anda yerel koordinat sistemini sıfırlamakta və sonraki hareketi küresel harita yerine bu başlangıç durumuna göre yürütmektedir.

Bir operatör, yüz hizalı başlangıç mövqeundan kol ilə qan təzyiqi cihazının hizalandığı son mövqea kadar robotu önceden yönlendirmektedir. Hareket artışları 5 Hz sürətında kaydedilmektedir:

\[ T=\{(\Delta x_1,\Delta\theta_1),(\Delta x_2,\Delta\theta_2),\ldots,(\Delta x_n,\Delta\theta_n)\} \]

Çevrim içi istifadəda yüz yeniden hizalandıktan sonra bu hareket dizisi açıq dövrə olaraq oynatılmaktadır:

\[ x_k=x_{k-1}+\Delta x_k\cos(\theta_{k-1}) \]

\[ y_k=y_{k-1}+\Delta x_k\sin(\theta_{k-1}) \]

\[ \theta_k=\theta_{k-1}+\Delta\theta_k \]

Bu üsul kısa məsafədeki odometri doğruluğundan yararlanmakta və küresel harita sürüklenmesini azaltmaktadır. Bununla belə son bölüm açıq dövrədir; kullanıcının yüzü hizalama sonrasında belirgin biçimde hareket ederse birbaşa kol takibi yapan sürekli qapalı dövrəli bir düzeltme diaqnozmlanmamıştır. Tədqiqat başarısını, kullanıcının görece sabit oturduğu və sesli yönlendirmeye küçük kol hareketleriyle katıldığı derütubətelerde bildirmiştir.

Şekiller və qrafler nə göstərir?

• Şekil 1: Robot prototipindeki algılama, hareket, aydınlatma, rabitə və kullanıcı arayüzü biləşenlerinin yerleşimini göstərir.
• Şekil 2: Sensörlerden kənar hesablamae, ROS 2 rabitə torına və aktuatorlere uzanan elektriksel vəri axınını göstərir.
• Şekil 3: Kullanıcı konuşmasından LLM planlamasına, sonlu vəziyyət maşınıne və fiziki yürütmeye uzanan dört qatı açıqlamaktadır.
• Şekil 4: Sistem yönergesi və RAG btorlamının Plan JSON'a, Plan JSON'un da təhlükəsizlik sərhədləri diaqnozmlanmış robot becerilərine dönüştürülmesini göstərir.
• Şekil 5: Görüntü hatası, dövr içi Jacobian tahmini, hareket doygunluğu, ters kirütubətatik və kalite puanı arasındaki çift qapalı dövrəi göstərir.
• Şekil 6: “Başma dönüyor” komandaundan ses kayntorının bulunmasına, yüze yaklaşmaya, yüz və torız görüntüsü almaya, qan təzyiqi cihazını mövqelandırmaya və nəticə üretmeye uzanan altı fiziki mərhələyı göstərir.
• Şekil 7: Baş dönmesi ifadesinin bilgi erişimli LLM tarafından qan təzyiqi kontrolü görevine dönüştürülmesini və vərinin geri beslenmesini örnekleyen bir sıralama diyagramıdır.
• Şekil 8: Düşük kazançta \(\eta=0,05\) üçün görüntü hatalarının aşma yapmadan yavaş və tekdüze biçimde azaldığını; yanlış parametrelerin uzamsal yolu eğriləştirdiğini göstərir.
• Şekil 9: \(\eta=0,5\) dəyərinde başlangıç hatasının büyük kısmının ilk birkaç dövrde giderildiğini və test edilən grupların 3-7 dövr üçünde yakınsadığını göstərir.
• Şekil 10: Sabit Jacobian ilə uyarlamalı Jacobianı müqayisəkta; uyarlamalı üsulun 1-2 güncellemeden sonra fokus məsafəsinın eksik və ya fazla tahmin edilmesinden mənbəlanan yavaşlık və aşma eğilimini azalttığını göstərir.

Şekil 8-10'daki nəticələr fiziki prototip üzerinde değil, mexaniki toqquşma riskini önlemek amacıyla kurulmuş sayısal benzetimlerde elde edilmiştir. Bu niyəle qrafler algoritmanın test edilən model və bozucu parametreler altındaki davranışını desteklemekte; bütün ev koşullarında kararlılığı və ya toqquşmasız tədqiqatyı tek başına sübut etmir.

Tədqiqatnın desteklediği nəticələr

• LLM çıktısının bacarıq reyestri, sonlu vəziyyət maşını və fiziki təhlükəsizlik sərhədləriyla ayrılması uygulanabilir bir təhlükəsizlik arxitekturası sunmaktadır.
• Uyarlamalı IBVS, test edilən kamera parametresi hatalarında sabit parametreli üsule göre daha sürətli yaxınlaşma göstərmişdir.
• Kalite geri əlaqəsi, açıq dövrə təsvir əldə etmə başarısını bildirilən %72 səviyyəinden %95'e çıkarmıştır.
• Yüzü yerel referans olaraq kullanan hareket stratejisi, cihaz-kol hizalama hatasını geleneksel küresel navigasyondaki 10 cm'nin üzerindeki dəyərden 2 cm'nin altına indirmiştir.
• Standart Mandarin konuşmasında sistemin təbii dil niyetlerini işleyebildiği və çok mərhələlı görev planları üretebildiği gösterilmiştir.

Tədqiqatnın kanıtlamadığı nəticələr

• Sistem, xəstəlık diaqnozsı koyma və ya baş dönmesinin niyəini belirleme doğruluğu açısından dəyərlendirilmemiştir.
• Yüz və dil görüntülərinin klinik diaqnoz doğruluğu, hekim qiymətləndirməsi və ya referans testlerle karşılaştırılmamıştır.
• Kan basıncı iş axınının tamamlanması ölçmə cihazının tıbbi doğruluğunun doğrulandığı anlamına gelmez.
• Bir aylık sahə testi, yıllar süren nəzarətsiz ev istifadəsinda təhlükəsizlik və ya davamlılıq kanıtı değildir.
• Yirmi gönüllünün nəticələri fərqli ölkəlerdeki, dillerdeki və storlık durumlarındaki bütün yaşlı nüfusa ümumilərütubətez.
• Tədqiqat bakım personeli iş yükünün, xəstəne başvurularının və ya storlık xərclerinin azaldığını göstermemiştir.
• Özette bildirilən %90 güvənsiz talimat maneəleme nisbətı üçün test edilən talimat sayısı, risk sinifları, yanlış kabul və yanlış ret nisbətları açıqlanmamışdır.

Tədqiqatnın Yöntemi və Bulguları

Deney düzeni və katılımcılar

Robot və işləmə altstruktursı

• LiDAR destekli hareketli taban və diferansiyel sürüş mekanizması.
• Altı serbestlik dereceli işbirlikçi robot qolu.
• RGB-D kamera, 4K görünür ışık kamerası və uzun dalğalı infraqırmızı kamera.
• 360 derece ses kayntorı belirlemeyi destekleyen mikrofon massivi.
• NVIDIA Jetson Orin sinifı kənar hesablama platformu, Ubuntu və ROS 2.
• CAN və ya EtherCAT ilə aştorı səviyyə hareket denetimi; BLE, RS-232 və USB ilə tibbi cihaz rabitəi.
• Gövdeye bütünleştirilmiş silindr tipi qan təzyiqi ölçmə cihazı.

Donanım açıqlamasında robot qolu örneği JAKA Zu 5 olaraq vərilirken sayısal benzetim bölümünde JAKA Zu 7 kirütubətatik modeli istifadə edilmişdir. Bu değişikliğin niyə strukturldığı və fiziki prototip ilə benzetim arasındaki farkın nəticələri necə etkilədiği açıqlanmamışdır.

Temel performans nəticələri

Tablfokusi nisbətlar fərqli alt görevleri ifade etmektedir. %95 dəyəri kaliteli görüntü edinimini, %90'ın üzerindeki dəyər qan təzyiqi cihazına fiziki yönlendirme iş axınını və %70 dəyəri navigasyon, konuşma və manipülasyonun tamamını içeren uzun görev zincirini göstərir. Özet və nəticə bölümünde ayrıca %92 “uctan uca başarı” bildirilmiş; ancaq bu dəyərin hesaplandığı derütubəte havuzu, başarı diaqnozmı və %70 görev zinciri nisbətıyla ilişkisi açıqlanmamışdır.

Uyarlamalı kontrol benzetimi

Parametre dayanıklılığı təcrübəlerinde real fokus məsafəsinın %70'i və %130'u başlangıç dəyəri olaraq kullanılmış, ilk dərinlik qiymətləndirməsine ayrıca %20 hata eklenmiştir. Düşük kazançlı \(\eta=0,05\) koşulunda bütün gruplar yavaş və aşma oluşturmayan bir yaxınlaşma göstərmişdir. Daha yüksək \(\eta=0,5\) koşulunda başlangıç görüntü hatasının yaklaşık %90'ı ilk 1-2 dövrde azaltılmış və test edilən gruplar 3-7 dövr üçünde sabit vəziyyəta ulaşmıştır.

Sabit Jacobian ilə uyarlamalı Jacobian müqayisəsında, fokus məsafəsinın aştorı tahmin edildiği durumda uyarlamalı üsul ilk güncellemelerden sonra aşırı kazancı düzeltmiş; yüksək tahmin edildiği durumda isə sabit üsulun uzun kuyruklu yavaş yaxınlaşmasını azaltmıştır. Bu nəticələr, Broyden güncellemesinin test edilən parametre bozulmalarına karşı yararlı olduğunu göstərir. Ancaq təcrübəler sayısal benzetimdir və “sıfırdan, kalibrasiyasuz istifadə” iddiasının fərqli kameralar, robotlar və real kullanıcı hareketleri altında ayrıca doğrulanması gerekir.

İstatistiksel qiymətləndirmə

Tədqiqatda yaş və planlama gecikməsi üçün orta ilə standart yaw vərilmiştir. Bunun dışında etibar intervalı, p dəyəri, etki büyüklüğü, örneklem gücü, rastgeleleştirme və ya körleme raporlanmamıştır. Metinde uğur nisbətinın “anlamlı biçimde” yükseldiği ifade edilse de %72 ilə %95 arasındaki fark üçün bir istatistiksel anlamlılık testi təqdim edilməmişdir. Derütubətelerin aynı kullanıcılar üzerinde tekrarlanması niyəiyle gözlemlerin btorımsızlığı və kişi başına düşen derütubəte sayısı da açıqlanmamışdır.

Tədqiqatnın güclü yönleri

• Dil modeli, təhlükəsizlik və fiziki kontrol sorumluluklarını qatlara ayıran açıq bir arxitektura sunması.
• Algılama kalitesini robot hareketi və aydınlatmayla qapalı dövrəde iyiləştirmesi.
• Küresel harita hatasını insan bedenine btorlı yerel bir görsel referansla azaltması.
• Sadece laboratoriya benzetimiyle yetinmeyip yaşlı bakım tesisinde fiziki prototip derütubətesi yapması.
• Standart konuşma ilə regional aksan arasındaki performans farkını açıqça bildirmesi.
• Qüvvə, sürət, toqquşma, rabitə və tibbi cihaz arızası üçün birden fazla btorımsız təhlükəsizlik qatı diaqnozmlaması.

Temel məhdudiyyətlar

• Tədqiqat hakem qiymətləndirməsinden geçmemiş bir preprinttir.
• Katılımcı sayısı 20 və sahə süresi yalnızca bir aydır.
• Klinik diaqnoz doğruluğu və ya qan təzyiqi ölçmə doğruluğu referans üsulle karşılaştırılmamıştır.
• Yüz və dil görüntülərinin tıbbi anlamı üçün hekim qiymətləndirməsi, həssaslıq, spesifiklik və ya diaqnozsal AUC vərilməmişdir.
• Görev başarı nisbətları arasında %70, %90'ın üzeri, %92 və %95 dəyərləri bulunmakta; ortak payda və başarı diaqnozmları tam açıqlanmamaktadır.
• Özetteki %90 güvənsiz talimat maneəleme nisbətının təcrübə ayrıntıları raporlanmamıştır.
• \(Q_{score}\) çəkiləri, bazı denetim kazançları və eşik belirleme üsulu vərilməmişdir.
• Donanım açıqlaması ilə benzetim modelindeki robot qolu modeli fərqlidır.
• Güçlü aksanlarda nitqin diaqnoznması başarısı yaklaşık yarıya düşmüştür.
• Kod, xam məlumat, derütubəte günlükleri və yeniden üretim paketi incelenen sürümde paylaşılmamıştır.
• Btorımsız etika komitə adı və ya etika razılıq numarası belirtilmemiştir.
• Yazarların ISO 13482 uygunluğu ifadesini destekleyen btorımsız sertifikasiya belgesi təqdim edilməmişdir.
• Bulut tabanlı dil modeli istifadəı gecikmə, btorlantı sürekliliği və görsel-səhiyyə məlumatlarının məxfiliki açısından ek validasiya gerektirmektedir.

Kaynak və Yöntem Notu

Tədqiqatnın tam özgün adı: Activə Visual Health Assessment and Physical Assistance in Unstructured Home Environments via an LLM-Drivən Mobilə Manipulator

Yazarlar: Ziqi Wang; Bruce Qing Tang; Chang Liu; Changqing Liu; Shuaiyu Wang.

Yazar sıralaması və qurumlar:

• Ziqi Wang — School of Mechanics and Engineering Science, Peking Univərsity, Beijing, Çin.
• Bruce Qing Tang — Tianjin ENNEW Generalist Technology Co., Ltd., Tianjin, Çin.
• Chang Liu — School of Mechanics and Engineering Science, Peking Univərsity, Beijing, Çin.
• Changqing Liu — Tianjin ENNEW Generalist Technology Co., Ltd., Tianjin, Çin.
• Shuaiyu Wang — Tianjin ENNEW Generalist Technology Co., Ltd., Tianjin, Çin.

Eş birinci müəllif: Eş katkı və ya eş birinci müəllif bilgisi incelenen sürümde yer almır.

Sorumlu müəllif: PDF'deki yıldız işaretleri Bruce Qing Tang və Chang Liu'yu sorumlu müəllif olaraq göstərir. SSRN qeyd xülasəinde Bruce Tang ayrıca “Contact Author” olaraq listelenmektedir. İncelenen PDF'de yıldız işaretlerinin anlamını açıqlayan ayrı bir dipnot və ya sorumlu müəllif e-posta adresi yoxdur.

DOI:10.2139/ssrn.7193872

Dergi: Hakemli bir dergi adı yer almır.

Yayın platformu: SSRN.

Platform sahibi: Elsevier Inc. SSRN burada preprint dtorıtım platformudur; tədqiqat Elsevier tarafından yayımlanmış hakemli bir dergi makalesi olaraq dəyərlendirilmemelidir.

Yayın yılı: 2026.

Kaynak türü: Fiziksel prototip sahə təcrübəleri ilə sayısal kontrol benzetimlerini birleştiren mühendislik tədqiqatsı preprinti.

Hakemlik durumu: Bu tədqiqat bir preprinttir və resenziyadan keçməmişdir.

Resmî mənbə:SSRN rəsmi tədqiqat kaydı.

Bu türk dili açıqlama, yüklenen tədqiqatın 34 sayfalık sürümü; metinleri, formülleri, cədvəlları, robot arxitekturası görselleri, təcrübə görüntüləri və yaxınlaşma qrafleri incelenerek hazırlanmıştır. Bilimsel içerik üçün tədqiqat dışında yeni bir bulgu eklenmemiştir. Dış mənbə kontrolü yalnızca DOI, SSRN kaydı, platform və yayın durumunun bibliyoqraf doğrulanması amacıyla istifadə edilmişdir.

Tədqiqatnın nəticələri teknik prototip səviyyəindedir. Yüz və ya dil görüntüsünün alınması klinik diaqnoz doğruluğu, qan təzyiqi iş axınının tamamlanması ölçmə doğruluğu və bir aylık sahə istifadəı uzun dörütubət təhlükəsizlik anlamına gelmez. Sistem real evlerde, fərqli dillerde, fərqli storlık durumlarında və btorımsız denetim altında doğrulanmadan klinik karar vəren və ya gxülasəimsiz storlık hizmeti sunan bir robot olaraq dəyərlendirilmemelidir.