Utafiti huu unachunguza uundaji wa mfumo wa roboti inayotembea unaoweza kuhamisha ufuatiliaji wa afya wa wazee nyumbani kutoka vifaa vya kupima kwa hali tulivu kwenda kwenye utambuzi hai na msaada wa kimwili. Mfumo umeunganisha modeli kubwa ya lugha inayotafsiri malalamiko yasiyo dhahiri ya kiafya yanayotamkwa kwa lugha ya kawaida, mashine ya hali zenye kikomo inayotekeleza kazi kwa usalama na kwa namna ya kubainika, mipaka ya usalama wa kimwili, udhibiti wa servo wa kuona unaojirekebisha unaotegemea picha, na mkakati wa mwendo unaotumia nanga ya kuona kusaidia upimaji wa shinikizo la damu. Katika utafiti wa nyanjani wa mwezi mmoja ulioshirikisha wajitolea ishirini wazee, kiwango cha mwisho cha mafanikio ya mchakato wa kupata picha kiliripotiwa kuwa %95, mafanikio ya mtiririko wa kazi wa kusaidia upimaji wa shinikizo la damu zaidi ya %90, na mafanikio ya jumla ya mnyororo mrefu wa kazi %70. Hata hivyo, utafiti haujapitia mapitio ya rika; haujathibitisha usahihi wa uchunguzi wa kitabibu, matokeo ya kimatibabu, au usalama wa muda mrefu wa mfumo katika matumizi ya nyumbani bila usimamizi.

Msingi wa mbinu ya roboti ni kuzuia matokeo ya modeli kubwa ya lugha kwa ujuzi wa roboti uliobainishwa mapema badala ya kutumia modeli ya lugha kama kidhibiti kinachotoa amri moja kwa moja kwa mota. Kauli isiyo na muundo kama “Ninahisi kizunguzungu” kwanza hupitishwa kwenye utambuzi wa usemi na uchanganuzi wa kisemantiki, kisha mfumo wa uzalishaji unaosaidiwa na urejeshaji wa taarifa hutathmini uwezekano wa kazi zinazohusiana na afya na matokeo hubadilishwa kuwa mlolongo wa Plan JSON. Mashine ya hali zenye kikomo na ulinzi wa usalama hutekeleza mpango huu tu pale masharti ya kimwili kama nguvu, kasi, umbali, mawasiliano na hali ya kifaa yanapotimizwa.

Maana kwa Uturuki na marekebisho yanayohitajika

Mbinu ya kihandisi ya utafiti inaweza kurekebishwa kwa mazingira ya Uturuki katika huduma za wazee nyumbani, huduma za makazi ya wazee, msaada wa vipimo kwa watu wenye uwezo mdogo wa kutembea, na kupunguza mzigo wa kawaida wa wafanyakazi wa malezi. Hata hivyo, kwa matumizi ya moja kwa moja, mfumo wa utambuzi wa usemi wa Kituruki unahitaji kufunzwa upya kwa kuzingatia sifa za sauti za wazee, lahaja za maeneo na kasi tofauti za kuzungumza. Katika utafiti, mafanikio ya utambuzi wa nia yaliyoripotiwa kuwa zaidi ya %90 katika Mandarin sanifu yalishuka hadi takriban %50 katika lafudhi kali za maeneo, jambo linaloonyesha kuwa uthibitishaji kwa Kituruki na lahaja za mahali ni wa lazima.

Toleo litakalotumika Uturuki linahitaji pia kuthibitishwa kwa misemo ya dharura ya Kituruki, itifaki za huduma za mahali, mahitaji ya faragha, miunganisho ya vifaa vya matibabu na kanuni za kuelekeza kwa wahudumu wa afya walioidhinishwa. Kukamilisha kazi kwa roboti inayosaidia kimwili upimaji wa shinikizo la damu hakuthibitishi yenyewe usahihi wa kitabibu wa thamani iliyopimwa. Kwa hiyo, hitimisho kuhusu matumizi ya kitabibu au matumizi ya nyumbani kwa upana haliwezi kutolewa bila kulinganisha vipimo na vifaa rejea vilivyoidhinishwa, majaribio huru ya usalama, tathmini ya kamati ya maadili, tafiti za nyanjani katika aina tofauti za nyumba na majaribio ya watumiaji katika vituo vingi.

Tatizo kuu la utafiti ni nini?

Katika usimamizi wa kawaida wa afya nyumbani, kifaa cha kielektroniki cha kupima shinikizo la damu, kipimajoto na vifaa vinavyofanana kwa kawaida huhitaji mtumiaji aanzishe kipimo mwenyewe, aweke kifaa kwa usahihi na afasiri matokeo. Kwa wazee wenye uwezo mdogo wa kutembea, wenye matatizo ya kuona au kusikia, au wanaohitaji kupunguziwa mzigo wa kiakili, mbinu hii inaweza kuwa kikwazo kikubwa cha matumizi. Utafiti unalenga kuunda roboti iliyounganishwa inayoweza kuelewa malalamiko ya kiafya, kumpata mtumiaji, kuanzisha kazi inayofaa ya kipimo, kurekebisha hali za upigaji picha na kurahisisha ufikiaji wa kifaa halisi cha kupimia.

Watafiti walilenga mapengo matatu ya kihandisi:

• Kubadilisha kauli zisizo dhahiri za lugha ya kawaida kama “Ninahisi kizunguzungu” kuwa kazi salama na zinazotekelezeka za roboti.
• Kuzuia uwezekano wa hallucination za modeli kubwa za lugha kugeuka kuwa mwendo hatari katika roboti inayofanya kazi karibu na mwili wa binadamu.
• Kukaribia kwa usahihi malengo kama uso, mdomo na mkono licha ya makosa ya nafasi ya kiwango cha sentimita katika mifumo ya ramani ya ndani ya nyumba.

Mfumo una vipengele gani?

Muundo wa kimwili wa roboti una msingi unaotembea, mkono wa roboti shirikishi wenye digrii sita za uhuru, kamera ya RGB-D, LiDAR, safu ya maikrofoni, kamera ya mwanga unaoonekana, kamera ya infraredi ya mawimbi marefu, vipengele vya kuhisi nguvu na torati, na kifaa cha silinda cha kupima shinikizo la damu kilichowekwa kwenye mwili wa roboti. Badala ya kuzungusha cuff laini kwenye mkono wa mtumiaji kwa mkono wa roboti, mtumiaji aliombwa kuingiza mkono wake ndani ya silinda iliyowekwa mahali. Chaguo hili hupunguza ugumu wa kushughulikia nyenzo laini; lakini linahitaji mtumiaji kuelewa maelekezo ya sauti na kuweka mkono wake katika nafasi inayofaa.

Kielelezo 1 kinaonyesha mahali pa msingi unaotembea, mkono wa roboti, kichwa cha utambuzi na mizigo ya kitabibu kwenye prototipu halisi. Katika picha, sensa ya ufuatiliaji wa mazingira, safu ya maikrofoni, kamera za pande mbili na tatu, kamera ya infraredi, taa ya kujazia ya LED, moduli ya udhibiti wa nguvu, kitengo cha utambuzi wa sauti, skrini kuu ya mwingiliano na bodi mbalimbali za mawasiliano zimewekewa alama kando. Kielelezo 2 kinaeleza kuunganishwa kwa data ya kuona, nguvu na sauti katika kidhibiti cha kompyuta ya ukingoni; kutumwa kwa amri za mwendo kupitia ROS 2 kwenda kwenye msingi na mkono; na utekelezaji wa michakato ya kiwango cha juu ya modeli ya lugha kupitia muunganisho wa wingu.

Usanifu wa wingu–ukingo unafanyaje kazi?

Usanifu wa programu una tabaka nne:

1. Tabaka la mwingiliano: Hubadilisha usemi wa mtumiaji kuwa maandishi na nia iliyoundwa kwa kutumia mfumo wa kiotomatiki wa utambuzi wa usemi.
2. Tabaka la uratibu: Modeli kubwa ya lugha hutumia maagizo ya mfumo, hifadhidata ya uzalishaji unaosaidiwa na urejeshaji wa taarifa na daftari la ujuzi kuunda mpango wa kazi.
3. Tabaka la utekelezaji: Hupanga kazi zilizo ndani ya Plan JSON kwa mashine ya hali zenye kikomo na hupitisha kila mwendo katika ulinzi wa usalama.
4. Tabaka la ROS 2 na maunzi: Huendesha nodi za kimwili kama urambazaji, ufuatiliaji wa kuona, udhibiti wa mkono wa roboti na kifaa cha shinikizo la damu.

Katika Kielelezo 3, sauti ya mtumiaji inaonyeshwa ikitumwa kwanza kwenye kitengo cha utambuzi wa usemi, kisha kwenye kiini cha upangaji cha LLM, mashine ya hali zenye kikomo na maunzi ya kimwili. Kielelezo 4 kinagawanya mchakato huu kwa undani katika sehemu tatu: maagizo ya usalama na kazi yanayopewa mfumo, Plan JSON inayozalishwa na LLM, na Daftari la Ujuzi linalofafanua vigezo vya ingizo, masharti ya awali na mipaka ya usalama ya kila ujuzi.

Kwa nini Daftari la Ujuzi ni muhimu?

Modeli kubwa ya lugha haitoi amri za mota za muundo huria. Badala yake inaweza kuita ujuzi uliobainishwa mapema kama align_face_ibvs, incremental_move, measure_bp na capture_face_rgb. Kwa kila ujuzi, lengo, usahihi, masharti ya awali na mpaka wa usalama wa kimwili umebainishwa. Kwa mfano, ili ujuzi wa kupanga uso ufanye kazi, uso lazima uwe ndani ya uga wa kuona wa kamera; katika ujuzi wa kupima shinikizo la damu, nguvu ya mguso lazima idumishwe chini ya kikomo cha 5 N.

Mgawanyo huu unatenganisha modeli ya lugha ya uwezekano na wajibu wa usalama wa mfumo wa kimwili. LLM inapendekeza ujuzi gani uitwe kwa mpangilio gani, lakini kasi za mota, masharti ya kukata nguvu, udhibiti wa mgongano na harakati za kurudi nyuma hutekelezwa na vidhibiti vya kubainika.

Ulinzi wa usalama wa kimwili ni upi?

Ulinzi mkuu uliofafanuliwa katika utafiti umefupishwa katika jedwali lifuatalo:

Kifaa cha shinikizo la damu kinapokuwa katika hali ya kujaza hewa au kupima, digrii zote za uhuru wa mwendo wa msingi unaotembea na mkono wa roboti hufungwa katika kiwango cha kiendeshi. Kabla ya kujaza hewa kuanza, muda wa kuchelewa kwa muunganisho wa Bluetooth lazima uwe chini ya 100 ms, kuingizwa kikamilifu kwa mkono wa mtumiaji ndani ya silinda kuthibitishwe kwa sensa za kuona na fotoelektriki, na roboti iwe imesimama kulingana na kitengo chake cha upimaji wa hali ya inertial.

Taratibu hizi ni sehemu muhimu za usanifu wa usalama; hata hivyo, utafiti haujawasilisha cheti huru cha usalama, uchanganuzi mpana wa hatari, uchanganuzi wa aina za kushindwa na athari zake, au hati rasmi ya ulinganifu wa ISO. Kwa hiyo, taratibu hizi zinapaswa kutathminiwa kama ulinzi uliofafanuliwa katika prototipu na ambao waandishi wameripoti kuwa umejaribiwa.

Uwekaji wa awali wa makadirio unafanywaje?

Roboti kwanza humkaribia mtumiaji kwa kutumia ramani ya kimataifa na urambazaji unaotegemea LiDAR. Baada ya uso wa mtumiaji kugunduliwa, urefu wa kisanduku kinachozunguka uso kwenye picha hutumiwa kukokotoa umbali wa takriban wa lengo. Matriki ya vigezo vya ndani vya kamera ni kama ifuatavyo:

\[ K = \begin{bmatrix} f_x & 0 & c_x \\ 0 & f_y & c_y \\ 0 & 0 & 1 \end{bmatrix} \]

Hapa \(f_x\) na \(f_y\) zinaonyesha urefu wa fokasi wa mlalo na wima kwa pikseli; \(c_x\) na \(c_y\) zinaonyesha nukta kuu ya picha. Uhusiano kati ya urefu wa uso uliopimwa kwenye picha \(h\), urefu halisi wa uso unaokubaliwa \(H\), na umbali wa lengo \(Z\) umewekwa kama ifuatavyo:

\[ Z = \frac{f_y H}{h} \]

Wakati \(H\) inatumiwa kwa mita, \(h\) kwa pikseli na \(f_y\) kwa pikseli, \(Z\) ni umbali wa takriban kwa mita. Kadiri uso unavyokuwa mkubwa kwenye picha, ndivyo umbali uliokokotolewa unavyopungua. Hata hivyo, utafiti haujaeleza thamani ya anthropometric \(H\) iliyotumiwa wala jinsi ilivyorekebishwa kwa ukubwa tofauti wa nyuso.

Koordinati za kamera za lengo na mkengeuko wa mwelekeo wa mlalo hukokotolewa kwa mahusiano yafuatayo:

\[ X = \frac{Z(u-c_x)}{f_x}, \qquad Y = \frac{Z(v-c_y)}{f_y}, \qquad \theta = \arctan\left(\frac{u-c_x}{f_x}\right) \]

\(u\) na \(v\) ni koordinati za picha za katikati ya uso. \(X\), \(Y\) na \(Z\) zinawakilisha nafasi ya takriban kwa mita; \(\theta\) ni mkengeuko wa pembe ya mlalo unaoweza kubadilishwa kuwa radiani au digrii.

Kasi ya mstari na ya angular ya msingi unaotembea huamuliwa kwa sheria ya udhibiti sawia:

\[ v = k_z(Z-Z^*), \qquad \omega = k_\theta \theta \]

Umbali unaotakiwa wa kusimama umechaguliwa kuwa \(Z^*=1,0\) m. \(k_z\) na \(k_\theta\) ni faida sawia. Katika hatua hii, mfumo unalenga kumleta mtumiaji ndani ya eneo la kazi la mkono wa roboti la takriban 0,8-1,2 m.

Udhibiti wa servo wa kuona unaojirekebisha unaotegemea picha unafanyaje kazi?

Makosa ya kiwango cha sentimita ya urambazaji wa awali hayakuonekana kuwa ya kutosha kwa picha za uso au mdomo. Katika upangaji wa usahihi, kosa kati ya nafasi ya sasa ya nukta lengwa kwenye picha na nafasi inayotakiwa hubadilishwa moja kwa moja kuwa mwendo wa mkono wa roboti.

Uhusiano wa msingi kati ya vekta ya vipengele vya picha \(\mathbf{s}\) na kasi ya anga ya vipimo sita ya kamera \(\mathbf{v}_c\) ni kama ifuatavyo:

\[ \dot{\mathbf{s}} = \mathbf{L}_s(\mathbf{s},Z,\boldsymbol{\theta}_{cam})\mathbf{v}_c \]

\(\mathbf{L}_s\) huitwa Jacobian ya picha au matriki ya mwingiliano. Katika mbinu ya kawaida, matriki hii hukokotolewa kiuchanganuzi kulingana na vigezo vya ndani vya kamera na kina cha lengo. Kwa kuwa makosa ya urefu wa fokasi, makadirio ya kina na kalibresheni ya mkono–jicho katika mazingira ya nyumbani yanaweza kuharibu matriki hii, watafiti waliisasisha Jacobian wakati wa mzunguko.

Usasishaji wa Jacobian mtandaoni kwa Broyden

Jacobian iliyokadiriwa husasishwa kwa usasishaji ufuatao wa Broyden:

\[ \hat{\mathbf{L}}_{k+1} = \hat{\mathbf{L}}_k + \alpha \frac{\left(\Delta\mathbf{s}_k-\hat{\mathbf{L}}_k\Delta\mathbf{X}_{c,k}\right)\Delta\mathbf{X}_{c,k}^{T}}{\Delta\mathbf{X}_{c,k}^{T}\Delta\mathbf{X}_{c,k}+\delta} \]

\(\Delta\mathbf{s}_k\) inawakilisha mabadiliko ya kipengele cha picha kati ya mizunguko miwili ya udhibiti; \(\Delta\mathbf{X}_{c,k}\) ongezeko halisi la uhamisho na mzunguko wa kamera; \(\alpha\) mgawo wa kusahau unaoamua uzito wa uchunguzi mpya; na \(\delta\) neno dogo la damping linalozuia denominator kukaribia sifuri. Fomula inalenga kupunguza kosa kati ya mwendo wa picha uliotabiriwa na mwendo wa picha ulioonekana.

Jacobian ya awali huundwa kwa kina na urefu wa fokasi wa takriban kama ifuatavyo:

\[ \mathbf{L}_0 = \begin{bmatrix} -\frac{f}{Z} & 0 & \frac{u}{Z} & \frac{uv}{f} & -\frac{f^2+u^2}{f} & v \\ 0 & -\frac{f}{Z} & \frac{v}{Z} & \frac{f^2+v^2}{f} & -\frac{uv}{f} & -u \end{bmatrix} \]

Hata kama matriki ya awali ina hitilafu, lengo ni kurekebisha modeli ya eneo kwa kutumia harakati zinazofuata za kamera na mabadiliko ya picha. Hata hivyo, thamani za \(\alpha\) na \(\delta\) zilizotumiwa katika majaribio hazijatolewa wazi. Katika maandishi, rejeleo la usasishaji wa Broyden limebaki kama kishikilia nafasi kisichokamilika cha “Eq. X”.

Sheria ya udhibiti na kujaa kwa mwendo

Kosa la picha linapofafanuliwa kama \(\mathbf{e}=\mathbf{s}-\mathbf{s}^*\), kasi ya kamera hukokotolewa kama ifuatavyo:

\[ \mathbf{v}_c = -\lambda \hat{\mathbf{L}}_k^{+}\mathbf{e} \]

\(\hat{\mathbf{L}}_k^{+}\) ni pseudo-inverse ya Moore-Penrose ya Jacobian iliyokadiriwa; \(\lambda\) ni faida inayoamua kasi ya kupunguza kosa. Udhibiti unapobadilishwa kuwa ongezeko la nafasi la hatua tofauti:

\[ \Delta\mathbf{x}_{c,k} = -\eta \hat{\mathbf{L}}_k^{+}\mathbf{e}_k, \qquad \eta=\lambda\Delta t \]

\(\eta\) ni mgawo wa hatua usio na kipimo unaotokana na kuzidisha muda wa sampuli na faida ya udhibiti. Kosa kubwa linapotokea katika utambuzi wa picha, norm ya ongezeko la nafasi huwekewa kikomo ili kuzuia mkono wa roboti kufanya mruko wa ghafla:

\[ \|\Delta\mathbf{x}_{c,k}\| > \delta_{max} \Rightarrow \Delta\mathbf{x}_{c,k} \leftarrow \delta_{max}\frac{\Delta\mathbf{x}_{c,k}}{\|\Delta\mathbf{x}_{c,k}\|} \]

Katika utafiti, mwendo wa juu wa mfano kwa kila mzunguko umetolewa kama \(\delta_{max}=5\) cm. Thamani hii huweka kikomo sawa cha norm ya Euclidean katika pande zote. Mwendo salama wa Cartesian kisha hubadilishwa kuwa mwendo wa viungo vya roboti:

\[ \Delta\mathbf{q}_{joint} = \mathbf{J}_{robot}^{-1}(\mathbf{q})\mathbf{T}_{c}^{e}\Delta\mathbf{x}_{c,k} \]

\(\mathbf{J}_{robot}\) inawakilisha Jacobian ya kinematiki ya mkono wa roboti, \(\mathbf{T}_{c}^{e}\) transform ya mkono–jicho kati ya kamera na end-effector, na \(\Delta\mathbf{q}_{joint}\) mabadiliko ya pembe za viungo.

Kamera ya mwanga unaoonekana na kamera ya infraredi zinaoanishwaje?

Kwa sababu picha za infraredi zina azimio la chini na umbile kidogo, nukta muhimu za uso hubainishwa kwenye kamera ya mwanga unaoonekana. Baada ya kamera inayoonekana kupangwa na lengo, nafasi mpya ya kamera ya infraredi hukokotolewa kwa kutumia transform zilizokalibishwa mapema za kamera zote mbili kulingana na end-effector:

\[ \mathbf{T}_{e2}^{b} = \mathbf{T}_{e1}^{b}\mathbf{T}_{v}^{e}\mathbf{T}_{target}^{v} \left(\mathbf{T}_{target}^{th}\right)^{-1} \left(\mathbf{T}_{th}^{e}\right)^{-1} \]

Mnyororo huu wa kinematiki unalenga kuhamisha eneo la uso linaloonekana na kamera ya mwanga unaoonekana hadi kwenye uga wa kuona wa kamera ya infraredi. Watafiti wanasema usajili sahihi wa anga kati ya aina mbili za picha umefanikiwa kwa kutegemea thamani ya kurudiarudia ya ±0,02 mm ya mkono wa roboti. Hata hivyo, utafiti haujatoa usambazaji huru wa kosa la usajili wa uoanishaji huu wa hali nyingi wala usahihi wa kipimo cha joto kwa binadamu.

Mzunguko uliofungwa wa ubora wa picha ni nini?

Mfumo hauishii tu kuweka lengo katikati ya picha; hukokotoa alama ya ubora iliyounganishwa kwa kuzingatia ukali, mwanga na ikiwa eneo lengwa linaingia ndani ya fremu:

\[ Q_{score} = w_1 I_{clarity} + w_2 I_{light} + w_3 I_{complete} \]

\(I_{clarity}\) hutathmini ukungu au hali ya fokasi kwa variance ya Laplacian; \(I_{light}\) hutathmini exposure kwa histogramu ya kanali Y ya picha; na \(I_{complete}\) hutathmini kubaki kwa eneo lengwa ndani ya uga wa kuona kwa uwiano wa intersection-over-union. \(w_1\), \(w_2\) na \(w_3\) ni uzito wa vipengele hivi.

Alama ya ubora inapobaki chini ya 90, roboti hutumia aina mbili za marekebisho:

• Ikiwa ukali ni mdogo, kamera husogezwa mbele au nyuma kwa hatua za 2-5 mm kando ya mhimili wa macho.
• Ikiwa exposure haitoshi, duty cycle ya mwanga wa LED kwenye end-effector huongezwa kwa nyongeza za %10.

Kielelezo 5 kinaonyesha muundo wenye mizunguko miwili, ukiwa na mzunguko wa udhibiti wa kinematiki wenye usasishaji wa Broyden ndani na tathmini ya ubora wa picha nje. Hata hivyo, skeli ya vipengele vya \(Q_{score}\), thamani za namba za uzito na jinsi kizingiti cha 90 kilivyoamuliwa hazijaelezwa katika toleo lililokaguliwa. Upungufu huu unafanya iwe vigumu kujenga upya mbinu kwa namna ileile katika maabara nyingine.

Nanga ya kuona na mlolongo wa mwendo uliofundishwa hufanyaje kazi?

Imeelezwa kuwa kosa la ndani ya jengo katika mfumo wa kimataifa wa ujanibishaji na ramani wa wakati mmoja linaweza kuzidi ±5 cm. Ili kusogeza kifaa cha shinikizo la damu karibu na mkono wa mtumiaji, uso umechaguliwa kuwa nanga ya kuona ya eneo iliyo rahisi kugundua. Mara roboti inapoweka uso katikati ya picha, huweka upya mfumo wa koordinati wa eneo kuwa sifuri na kutekeleza mwendo unaofuata kwa kurejelea hali hii ya mwanzo badala ya ramani ya kimataifa.

Opereta huiongoza roboti mapema kutoka nafasi ya kuanzia iliyopangwa na uso hadi nafasi ya mwisho ambayo mkono na kifaa cha shinikizo la damu vimepangwa. Nyongeza za mwendo hurekodiwa kwa kasi ya 5 Hz:

\[ T=\{(\Delta x_1,\Delta\theta_1),(\Delta x_2,\Delta\theta_2),\ldots,(\Delta x_n,\Delta\theta_n)\} \]

Katika matumizi ya mtandaoni, baada ya uso kupangwa tena mlolongo huu wa mwendo huchezwa katika mzunguko wazi:

\[ x_k=x_{k-1}+\Delta x_k\cos(\theta_{k-1}) \]

\[ y_k=y_{k-1}+\Delta x_k\sin(\theta_{k-1}) \]

\[ \theta_k=\theta_{k-1}+\Delta\theta_k \]

Mbinu hii hutumia usahihi wa odometri katika umbali mfupi na kupunguza drift ya ramani ya kimataifa. Hata hivyo, sehemu ya mwisho ni mzunguko wazi; ikiwa uso wa mtumiaji unasogea kwa kiasi kikubwa baada ya upangaji, hakuna marekebisho endelevu ya mzunguko uliofungwa yanayofuatilia mkono moja kwa moja yaliyofafanuliwa. Utafiti uliripoti mafanikio katika majaribio ambapo mtumiaji alikaa bila kusogea sana na kushiriki katika maelekezo ya sauti kwa harakati ndogo za mkono.

Vielelezo na grafu vinaonyesha nini?

• Kielelezo 1: Kinaonyesha mahali pa vipengele vya utambuzi, mwendo, mwanga, mawasiliano na kiolesura cha mtumiaji katika prototipu ya roboti.
• Kielelezo 2: Kinaonyesha mtiririko wa data ya umeme kutoka sensa hadi kompyuta ya ukingoni, mtandao wa mawasiliano wa ROS 2 na actuators.
• Kielelezo 3: Kinaeleza tabaka nne kutoka usemi wa mtumiaji hadi upangaji wa LLM, mashine ya hali zenye kikomo na utekelezaji wa kimwili.
• Kielelezo 4: Kinaonyesha kubadilishwa kwa agizo la mfumo na muktadha wa RAG kuwa Plan JSON, na Plan JSON kuwa ujuzi wa roboti wenye mipaka ya usalama iliyobainishwa.
• Kielelezo 5: Kinaonyesha mizunguko miwili iliyofungwa kati ya kosa la picha, makadirio ya Jacobian mtandaoni, kujaa kwa mwendo, kinematiki kinyume na alama ya ubora.
• Kielelezo 6: Kinaonyesha hatua sita za kimwili kutoka amri “Ninahisi kizunguzungu”, kutambua chanzo cha sauti, kukaribia uso, kupata picha za uso na mdomo, kuweka kifaa cha shinikizo la damu na kutoa matokeo.
• Kielelezo 7: Ni mchoro wa mlolongo unaoonyesha jinsi kauli ya kizunguzungu inavyobadilishwa na LLM yenye urejeshaji wa taarifa kuwa kazi ya kukagua shinikizo la damu na jinsi data inavyorudishwa.
• Kielelezo 8: Kinaonyesha kwamba kwa faida ndogo \(\eta=0,05\), makosa ya picha hupungua polepole na kwa usawa bila overshoot, na kwamba vigezo visivyo sahihi hupinda njia ya anga.
• Kielelezo 9: Kinaonyesha kwamba katika \(\eta=0,5\), sehemu kubwa ya kosa la mwanzo huondolewa katika mizunguko michache ya kwanza na vikundi vilivyojaribiwa hukaribia ndani ya mizunguko 3-7.
• Kielelezo 10: Kinalinganisha Jacobian thabiti na Jacobian inayojirekebisha; mbinu inayojirekebisha hupunguza polepole na tabia ya overshoot inayosababishwa na kukadiria urefu wa fokasi kuwa mdogo au mkubwa kupita kiasi baada ya masasisho 1-2.

Matokeo katika Vielelezo 8-10 hayakupatikana kwenye prototipu ya kimwili bali katika uigaji wa namba uliojengwa ili kuzuia hatari ya mgongano wa kimekanika. Kwa hiyo, grafu zinaunga mkono tabia ya algoriti chini ya modeli iliyojaribiwa na vigezo vya kuvuruga; hazithibitishi zenyewe uthabiti au utendaji usio na mgongano katika hali zote za nyumbani.

Matokeo yanayoungwa mkono na utafiti

• Kutenganisha matokeo ya LLM kwa daftari la ujuzi, mashine ya hali zenye kikomo na mipaka ya usalama wa kimwili kunatoa usanifu wa usalama unaotekelezeka.
• IBVS inayojirekebisha imeonyesha convergence ya haraka zaidi kuliko mbinu ya vigezo thabiti katika makosa ya vigezo vya kamera yaliyojaribiwa.
• Mrejesho wa ubora umeongeza mafanikio ya kupata picha katika mzunguko wazi kutoka kiwango kilichoripotiwa cha %72 hadi %95.
• Mkakati wa mwendo unaotumia uso kama rejea ya eneo umepunguza kosa la upangaji wa kifaa–mkono kutoka zaidi ya 10 cm katika urambazaji wa kawaida wa kimataifa hadi chini ya 2 cm.
• Imeonyeshwa kuwa katika usemi wa Mandarin sanifu mfumo unaweza kuchakata nia za lugha ya kawaida na kuunda mipango ya kazi ya hatua nyingi.

Matokeo ambayo utafiti haujathibitisha

• Mfumo haujatathminiwa kwa usahihi wa kutambua ugonjwa au kubaini sababu ya kizunguzungu.
• Usahihi wa uchunguzi wa kitabibu wa picha za uso na ulimi haujalinganishwa na tathmini ya daktari au vipimo rejea.
• Kukamilika kwa mtiririko wa kazi wa shinikizo la damu hakumaanishi kuwa usahihi wa kimatibabu wa kifaa cha kupima umethibitishwa.
• Jaribio la nyanjani la mwezi mmoja si ushahidi wa usalama au uimara katika miaka ya matumizi ya nyumbani bila usimamizi.
• Matokeo ya wajitolea ishirini hayawezi kujumuishwa kwa idadi yote ya wazee katika nchi, lugha na hali tofauti za afya.
• Utafiti haujaonyesha kupungua kwa mzigo wa wafanyakazi wa malezi, kulazwa au kutembelea hospitali, au gharama za afya.
• Kwa kiwango cha %90 cha kuzuia maagizo yasiyo salama kilichoripotiwa katika muhtasari, idadi ya maagizo yaliyojaribiwa, madaraja ya hatari, viwango vya kukubali kimakosa na kukataa kimakosa havijaelezwa.

Mbinu na Matokeo ya Utafiti

Mpangilio wa jaribio na washiriki

Roboti na miundombinu ya uchakataji

• Msingi unaotembea unaosaidiwa na LiDAR na mfumo wa differential drive.
• Mkono wa roboti shirikishi wenye digrii sita za uhuru.
• Kamera ya RGB-D, kamera ya 4K ya mwanga unaoonekana na kamera ya infraredi ya mawimbi marefu.
• Safu ya maikrofoni inayosaidia kubaini chanzo cha sauti kwa digrii 360.
• Jukwaa la kompyuta ya ukingoni la daraja la NVIDIA Jetson Orin, Ubuntu na ROS 2.
• Udhibiti wa mwendo wa kiwango cha chini kwa CAN au EtherCAT; mawasiliano ya kifaa cha matibabu kwa BLE, RS-232 na USB.
• Kifaa cha silinda cha kupima shinikizo la damu kilichounganishwa kwenye mwili.

Katika maelezo ya maunzi, mfano wa mkono wa roboti umetajwa kuwa JAKA Zu 5, ilhali sehemu ya uigaji wa namba imetumia modeli ya kinematiki ya JAKA Zu 7. Sababu ya mabadiliko haya na jinsi tofauti kati ya prototipu ya kimwili na uigaji ilivyoathiri matokeo haijaelezwa.

Matokeo makuu ya utendaji

Viwango katika jedwali vinarejelea kazi ndogo tofauti. Thamani ya %95 inaonyesha kupata picha yenye ubora, thamani ya zaidi ya %90 inaonyesha mtiririko wa kazi wa mwongozo wa kimwili wa kifaa cha shinikizo la damu, na thamani ya %70 inaonyesha mnyororo mrefu wa kazi unaojumuisha urambazaji, usemi na manipulesheni kwa ukamilifu. Muhtasari na sehemu ya hitimisho pia zimeripoti %92 ya “mafanikio ya mwisho hadi mwisho”; hata hivyo, kundi la majaribio ambalo thamani hiyo ilikokotolewa, ufafanuzi wa mafanikio, na uhusiano wake na kiwango cha %70 cha mnyororo wa kazi havijaelezwa.

Uigaji wa udhibiti unaojirekebisha

Katika majaribio ya uimara wa vigezo, %70 na %130 ya urefu halisi wa fokasi zilitumika kama thamani za kuanzia, na kosa la ziada la %20 likaongezwa kwenye makadirio ya mwanzo ya kina. Katika hali ya faida ndogo \(\eta=0,05\), vikundi vyote vilionyesha convergence ya polepole bila overshoot. Katika hali ya juu zaidi ya \(\eta=0,5\), takriban %90 ya kosa la mwanzo la picha lilipunguzwa ndani ya mizunguko 1-2 ya kwanza na vikundi vilivyojaribiwa vikafikia hali thabiti ndani ya mizunguko 3-7.

Katika ulinganisho wa Jacobian thabiti na inayojirekebisha, wakati urefu wa fokasi ulikadiriwa kuwa mdogo, mbinu inayojirekebisha ilirekebisha faida iliyozidi baada ya masasisho ya kwanza; wakati ulikadiriwa kuwa mkubwa, ilipunguza convergence ya polepole yenye mkia mrefu ya mbinu thabiti. Matokeo haya yanaonyesha kuwa usasishaji wa Broyden una manufaa dhidi ya upotoshaji wa vigezo uliojaribiwa. Hata hivyo, majaribio ni uigaji wa namba na dai la “matumizi kutoka sifuri, bila kalibresheni” linahitaji kuthibitishwa kando kwa kamera tofauti, roboti tofauti na harakati halisi za watumiaji.

Tathmini ya takwimu

Utafiti umetoa wastani na mkengeuko wa kawaida kwa umri na muda wa kuchelewa wa upangaji. Zaidi ya hapo, hakuna vipindi vya kujiamini, thamani ya p, ukubwa wa athari, nguvu ya sampuli, randomization au blinding vilivyoripotiwa. Ingawa maandishi yanasema kiwango cha mafanikio kiliongezeka “kwa kiasi kikubwa”, hakuna jaribio la umuhimu wa takwimu lililotolewa kwa tofauti kati ya %72 na %95. Kwa sababu majaribio yalirudiwa kwa watumiaji wale wale, uhuru wa uchunguzi na idadi ya majaribio kwa kila mtu pia havijaelezwa.

Nguvu za utafiti

• Kutoa usanifu wazi unaotenganisha majukumu ya modeli ya lugha, usalama na udhibiti wa kimwili katika tabaka.
• Kuboresha ubora wa utambuzi katika mzunguko uliofungwa kwa mwendo wa roboti na mwanga.
• Kupunguza kosa la ramani ya kimataifa kwa rejea ya kuona ya eneo inayohusishwa na mwili wa binadamu.
• Kutotosheka na uigaji wa maabara pekee bali kufanya jaribio la prototipu ya kimwili katika kituo cha malezi ya wazee.
• Kuripoti wazi tofauti ya utendaji kati ya usemi sanifu na lafudhi za maeneo.
• Kufafanua tabaka nyingi huru za usalama kwa nguvu, kasi, mgongano, mawasiliano na hitilafu za kifaa cha matibabu.

Vikwazo vikuu

• Utafiti ni preprint ambayo haijapitia mapitio ya rika.
• Idadi ya washiriki ni 20 na muda wa utafiti wa nyanjani ni mwezi mmoja tu.
• Usahihi wa uchunguzi wa kitabibu au usahihi wa kipimo cha shinikizo la damu haujalinganishwa na mbinu rejea.
• Hakuna tathmini ya daktari, sensitivity, specificity au AUC ya uchunguzi iliyotolewa kwa maana ya kitabibu ya picha za uso na ulimi.
• Viwango vya mafanikio ya kazi vinajumuisha %70, zaidi ya %90, %92 na %95; denominator ya pamoja na ufafanuzi wa mafanikio havijaelezwa kikamilifu.
• Maelezo ya majaribio ya kiwango cha %90 cha kuzuia maagizo yasiyo salama katika muhtasari hayajaripotiwa.
• Uzito wa \(Q_{score}\), baadhi ya faida za udhibiti na mbinu ya kubainisha vizingiti havijatolewa.
• Modeli ya mkono wa roboti katika maelezo ya maunzi ni tofauti na ile katika modeli ya uigaji.
• Mafanikio ya utambuzi wa usemi katika lafudhi kali yameshuka hadi takriban nusu.
• Msimbo, data ghafi, kumbukumbu za majaribio na kifurushi cha kurudia utafiti havijashirikiwa katika toleo lililokaguliwa.
• Jina la kamati huru ya maadili au namba ya idhini ya maadili haijatajwa.
• Hakuna hati huru ya uthibitishaji iliyotolewa kuunga mkono dai la waandishi la ulinganifu na ISO 13482.
• Matumizi ya modeli ya lugha inayotegemea wingu yanahitaji uthibitishaji wa ziada kuhusu ucheleweshaji, mwendelezo wa muunganisho na faragha ya data ya kuona na afya.

Dokezo la Chanzo na Mbinu

Jina kamili la asili la utafiti: Active Visual Health Assessment and Physical Assistance in Unstructured Home Environments via an LLM-Driven Mobile Manipulator

Waandishi: Ziqi Wang; Bruce Qing Tang; Chang Liu; Changqing Liu; Shuaiyu Wang.

Mpangilio wa waandishi na taasisi:

• Ziqi Wang — School of Mechanics and Engineering Science, Peking University, Beijing, China.
• Bruce Qing Tang — Tianjin ENNEW Generalist Technology Co., Ltd., Tianjin, China.
• Chang Liu — School of Mechanics and Engineering Science, Peking University, Beijing, China.
• Changqing Liu — Tianjin ENNEW Generalist Technology Co., Ltd., Tianjin, China.
• Shuaiyu Wang — Tianjin ENNEW Generalist Technology Co., Ltd., Tianjin, China.

Mwandishi mwenza wa kwanza: Hakuna taarifa ya mchango sawa au uandishi mwenza wa kwanza katika toleo lililokaguliwa.

Mwandishi wa mawasiliano: Alama za nyota katika PDF zinaonyesha Bruce Qing Tang na Chang Liu kama waandishi wa mawasiliano. Katika muhtasari wa rekodi ya SSRN, Bruce Tang pia ameorodheshwa kama “Contact Author”. Katika PDF iliyokaguliwa, hakuna tanbihi tofauti inayoeleza maana ya alama za nyota wala anwani ya barua pepe ya mwandishi wa mawasiliano.

DOI:10.2139/ssrn.7193872

Jarida: Hakuna jina la jarida lililopitia mapitio ya rika lililotajwa.

Jukwaa la uchapishaji: SSRN.

Mmiliki wa jukwaa: Elsevier Inc. SSRN hapa ni jukwaa la usambazaji wa preprint; utafiti haupaswi kutathminiwa kama makala ya jarida iliyopitia mapitio ya rika na kuchapishwa na Elsevier.

Mwaka wa uchapishaji: 2026.

Aina ya chanzo: Preprint ya utafiti wa kihandisi inayounganisha majaribio ya nyanjani ya prototipu halisi na uigaji wa namba wa udhibiti.

Hali ya mapitio ya rika: Utafiti huu ni preprint na haujapitia mapitio ya rika.

Chanzo rasmi:Rekodi rasmi ya utafiti ya SSRN.

Maelezo haya ya Kituruki yaliandaliwa baada ya kukagua toleo la kurasa 34 la utafiti uliopakiwa, pamoja na maandishi, fomula, majedwali, picha za usanifu wa roboti, picha za majaribio na grafu za convergence. Hakuna ugunduzi mpya kutoka nje ya utafiti ulioongezwa kwenye maudhui ya kisayansi. Ukaguzi wa vyanzo vya nje ulitumika tu kwa uthibitishaji wa kibibliografia wa DOI, rekodi ya SSRN, jukwaa na hali ya uchapishaji.

Matokeo ya utafiti yako katika kiwango cha prototipu ya kiufundi. Kupata picha ya uso au ulimi hakumaanishi usahihi wa uchunguzi wa kitabibu, kukamilika kwa mtiririko wa kazi wa shinikizo la damu hakumaanishi usahihi wa kipimo, na matumizi ya mwezi mmoja ya nyanjani hayamaanishi usalama wa muda mrefu. Mfumo haupaswi kutathminiwa kama roboti inayotoa maamuzi ya kitabibu au huduma ya afya bila usimamizi kabla ya kuthibitishwa katika nyumba halisi, kwa lugha tofauti, katika hali tofauti za afya na chini ya usimamizi huru.