Масъалаи асосии барои нақлиёти автоном: «Ҳозир чӣ карда бояд?»

Нақлиёти автоном дар ҳангоми ҳаракат дар роҳ бояд доимо қарор қабул кунад. Агар мошини пештар суст шавад, оё бояд тормоз кунад? Агар хатти канорӣ холӣ бошад, оё бояд хаттиро иваз кунад? Оё суръат гирифтан бехатар аст? Ё нигоҳ доштани суръати ҷорӣ дурусттар аст?

Ронандаҳои инсонӣ ин қарорҳоро бо таҷриба, диққат ва интуитсия мегиранд. Дар системаҳои зеҳни сунъӣ ин қарорҳо бо маълумоти рақамӣ модел мешаванд. Мошин кӯшиш мекунад, ки мавқеъ, суръат ва ҷойгиршавии ва ҳаракати мошинҳои атрофро арзёбӣ карда, ҳаракати навбатиро интихоб кунад.

Нуқтаи оғози ин мақола низ ҳамин аст:
Оё нақлиёти автоном метавонад ҳам зуд ва ҳам бехатар қарор қабул кунад?

Усулҳои анъанавии таълими тақвиятии амиқ, яъне DRL, ба мошин тавассути санҷишу хато рафтор омӯзонанд. Аммо ин усул дар марҳилаҳои аввалини омӯзиш метавонад ҳаракатҳои тасодуфиро санҷад. Дар соҳаҳои муҳими бехатарӣ, ба монанди рондани автоном, ин мушкили ҷиддӣ аст. Зеро дар ҳаёти воқеӣ иваз кардани тасодуфии хатт, суръат гирифтани ногаҳон ё тормоз кардан дар вақти нодуруст усули қаблан барои омӯзиш намебошад.

Моделҳои калони забон метавонанд вазъияти ҳаракатро ҳамчун матн тафсир карда, тавсияҳои логикӣтар пешниҳод кунанд. Аммо онҳо низ мушкилоти дигар доранд: дар қабули қарори вақти воқеӣ метавонанд таъхир пайдо кунанд. Дар нақлиёти автоном на танҳо дурустии қарор, балки сари вақт дода шудани он низ зарур аст.

Системаи SARAD кӯшиш мекунад, ки ин ду роҳро якҷоя кунад. Модели забон дар марҳилаҳои аввалини омӯзиш ба мошин роҳнамоии маънодатар медиҳад. Системаи таълими тақвиятӣ ба таври тадриҷӣ сиёсате омӯзад, ки метавонад зуд қарор қабул кунад. Илова бар ин, қабати пешбинии бархӯрд санҷад, ки оё қарори пешниҳодшуда хатарнок аст ё не.

Олимҳо системаро чӣ гуна сохтанд?

Дар ин кор мушкили нақлиёти автоном ҳамчун раванди қарор модел мешавад. Инро метавон ба таври содда ин тавр фаҳмид:

Мошин дар ҳар лаҳза атрофро мушоҳида мекунад. Дар ин мушоҳида мавқеъ ва суръати мошин ва маълумоти мавқеъ ва суръати мошинҳои дигар мавҷуданд. Пас система яке аз панҷ амалро интихоб мекунад:

• Суръат гиред
• Суст шавад
• Хаттро ба чап иваз кунад
• Хаттро ба рост иваз кунад
• Суръати ҷориро нигоҳ дорад

Ин сохтор дар мақола ҳамчун Markov Decision Process, яъне раванди қарори Марков таъриф мешавад:

MDP = (S, A, P, R, γ)

Ин формула барои хонанда ин тавр хонда мешавад:

S вазъияте аст, ки мошин мебинад. Яъне роҳ, мавқеъи мошинҳо, суръатҳо ва маълумоти атроф.
A ҳаракатҳое, ки мошин метавонад интихоб кунад. Масалан, суръат гирифтан ё иваз кардани хатт.
P нишон медиҳад, ки муҳит пас аз як ҳаракат чӣ гуна тағир ёфта метавонад.
R мукофот аст, ки нишон медиҳад, ки ҳаракати интихобшуда чӣ қadar хуб ё бад аст.
γ коэффисиенте аст, ки муайян мекунад, ки система мукофотҳои ояндаро чӣ қadar муҳим медонад.

Мантиқи ин ҷо содда аст: мошин на танҳо ба «ҳозир чӣ хуб аст?» нигарон аст, балки кӯшиш мекунад, ки «ин ҳаракат каме баъд ба чӣ оварда мерасонад?»-ро низ дар назар гирад.

Мошин атрофро чӣ гуна ба рақам табдил медиҳад?

Дар мақола муҳити роҳе, ки мошин мебинад, бо маълумоти ин гуна намоиш дода мешавад:

st = мавқеъи мошин + суръати мошин + мавқеъ ва суръати мошинҳои атроф

Яъне барои система саҳнаи ҳаракат на сурат, балки ҷадвали рақамӣ аст. Барои ҳар мошин тақрибан маълумоти зерин истифода мешавад:

• мавқеъи x
• мавқеъи y
• суръат дар samti x
• суръат дар samti y

Инро метавон бо забони оддӣ ин тавр гуфт:
Нақлиёти автоном ба таври рақамӣ пайгирӣ мекунад, ки «мошини пешам чанд метр пештар аст, бо кадом суръат меравад, оё мошини дар хатти канорӣ ба ман наздик мешавад?»

Ин муҳим аст, зеро зеҳни сунъӣ қарори худро дар асоси ин рақамҳо мегирад. Дар ҳоле ки ронандаи инсонӣ ба оина нигоҳ карда бо интуитсия қарор мегирад, зеҳни сунъӣ атрофро бо координата ва арзишҳои суръат фаҳм мекунад.

Мантиқи омӯзиши система: мукофот барои қарори хуб, ҷазо барои қарори хатарнок

Дар таълими тақвиятӣ система тавассути ҳаракатҳое, ки анҷом медиҳад, хол гирифта омӯзад. Системаи мукофот дар мақола низ бар ин мантиқ асос ёфтааст.

Олимҳо ду намуди мукофот истифода мебаранд:

Якум, мукофоти асосӣ, ки муваффақияти рондани мошинро чен мекунад. Агар мошин бехатар ва samarанok пеш равад, мукофот зиёд мешавад. Агар barxӯrd рух диҳад, ҷазо мегирад.

Дуюм, мукофоти иловагӣ, ки ба nazdikii рафтори tavsiyashuda az tarafi модели забон марбут аст. Ин ba мoshin кӯмак мекунад, ки дар вақти омӯзиш на tanho тасoduфӣ ҳаракат кунад, балки ba harakathoе, ки модели забon логикӣтар мебинад, nazdiktar бимонад.

Дар мақола ин сохтори umumī ин tavр нишон дода шудааст:

Rtotal = Rorigin + β × Rimit

Maъnoi soddai ин формула ин аст:

Холи umumii омӯзиш = холи асосии az ronдан + холи иловагии az nazdikii tavsiyai модели забon

Rorigin холи асосие, ки мoshin дар асоси суръат, пешraft ва holati barxӯrd мегирад.
Rimit нишон медиҳад, ки harakati мoshin ba «tavsiyai mutaxassis» бо дastgirii модели забon чӣ qadar монанд аст.
β vazne, ки muayyan мекунад, ки ин мукofoti иловagī дар qarori umumī чӣ qadar таъсир мегузорад.

Dar ин nuqta як farqi muҳim мavjud аст: система модели забonro purra таклид namekунаd. Модели забon hamchun omūzanda рафтор мекунаd, аmмo qarori niҳoӣ bo guzashti vaqt az tarafi системаи омӯzиш takmil дода мешавад. Инro metavon misli pule байни «omūzish bo omūzanda» ва «omūzish bo tajribai khud» дид.

Se qismi asosii SARAD

Muvofiqи sxemai система, ки дар maqola дода шудааст, SARAD az se qismi asosī иборат аст.

Qismi yаkum системаи DRL аст. Ин qism siyosati ronданi мoshinro omūzад. Яъne bo guzashti vaqt meфahmad, ки dar kadom vaziyat kadom harakat muvofiqtar аст.

Qismi duyum системаи LLM ва RAG аст. LLM, яъne модели kaloni забon, sahnai hараkатro hamchun matn tafsir мекунаd. Системаи RAG vaziyathoi monandro az tajribahoi guzashtai ronдан ёfta ba модели забon дastgirī медиҳad. Bo ин tartib модel na tanho bo donishi umumii khud, balки bo namunahoi monandi ronданi qablан sabtshuda qaror мегираd.

Qismi seyum модuli peshbiniи barxӯrd аст. Ин модul kūшиш мекунаd, ки peshbinī кунаd, oё harakati peshniҳodшuda хatarнok аст ё ne.

Ин сохторro metavon bo misoli ronandai insonī фahmид:

• DRL misli ronandae аст, ки doimo amalī карда мешавад.
• LLM misli tafsirhoi omūzandai tajribador аст.
• RAG misli hotirai rūyдodhoi monandi guzашta аст.
• Moduli peshbiniи barxӯrd misli nazorati bехatarie аст, ки megūяд «ist, ин harakat хatarнok мешавад».

Системаи RAG baroi chī хizmat мекунаd?

RAG muhaffafi iborai «Retrieval-Augmented Generation» аст. Ba zaboni tojikī taqriban «tahiya bo takmil az bargardonidan» номida мешавад.

Maqsadi ин система peshgiriī кардани он аст, ки модели забon tanho ba donishi umumii khud takya кунаd. Dar SARAD мoshin dar vaqti ronдан baъze tajribahoro sabt мекунаd. Masalan:

• Dar kadom vaziyat kadom qaror girifta shud?
• Oё ин qaror bехatar bud?
• Oё barxӯrd rux dod?
• Мoshin bo kadom surъat meraft?
• Мoshinhoi nazdik chī gūna harakat мекарданд?

Pas, vaqte bo vaziyati monand rūbarū мешавад, система tajribahoi monandi guzаштарo bargardонada ва hamchun maъlumoti дastgirī ba модели забon peshniҳod мекунаd.

Ин dar hayoti oddī ba ин monand аст:
Agar ronanda qablан dar chorrohai хatarнok tajriba карда бошад, ки иваz кардани nogaҳonii хatт хatarнok аст, dar vaziyati monand ehtiyotкortar рафтор мекунаd. Moduli RAG-i SARAD нiz kūшиш мекунаd, ki ba zehni sun'ī hotirai monand пайdo кунаd.

Чарo модuli peshbiniи barxӯrd muҳimанд?

Yake az muҳimtarin qismhoi bехatarii ин kor модuli peshbiniи barxӯrd аст. Zero na hamaи qarorhoe, ki zehni sun'ī peshniҳod мекунаd, durust мeshavанд.

Dar maqola ин модul baroi peshbinī кардани он tarhī шudaаст, ki oё harakati peshniҳodшuda хatari barxӯrd дораd ё ne. Система maъlumoti vaziyat ва harakatro мегираd ва pas арzёbī мекунаd, ki ин harakat хatarнok аст ё ne.

Bo zaboni soddа ин tavр фahmидan mumkin аст:

Agar мoshin qarori «ba хattti chap guzar» tavliд кунаd, modulhoi bехatarī mepursad:
«Agar ba хattti chap guзarem, oё ehtimoliyati barxӯrd bo мoshinhoi nazdik mavjud аст?»

Agar хatar baland namoyon бошад, система ba joi tatbiqi bevositaи ин qaror metavonad ba raftori bехatarтар guзараd. Dar maqola dar miyani ин namudi raftorhoi bехatarii rezervī tormoz карданi favrī, dar хatт monдан ва nigoh doshtani fosilai bехatar intixobho zikr мeshavand.

Ин qism muҳim аст, zero dar системahoi автonом na tanho tavliди qaror kofī nest. Qabl az tatbiq qaror бояd az jiҳati bехatarī sanjida шavанд.

Ozmoish chī gūna anjom дoda shud?

Olimho системaro na dar hараkati voqеī, balки dar muhiti simulyatsionii Highway-Env sanjидand. Dar simulyatsiya rohi чорхattī istifoda shud. Har хatt bo pahnii 4 metr muayyan shud. Dar muhit dar umum 10 мoshini hараkатkунanda mavjud bud; yake az onho naqliyoti automomi qarorgiranda bud.

Harakathoi dastras baroi мoshinho boz ham ba panj intixob mahdud bud:

• Хatttro ba chap иваz кунаd
• Хatttro ba rост иваz кунаd
• Surъat gired
• Sust shavad
• Surъatro nigoh dораd

Dar ozmoishho yake epizod, yaъne bakhsh, dar du holat ba poyon merasad: agar мoshin barxӯrd кунаd ё vaqti ronдан az 40 soniya ziyod shavad.

Olimho muvaffaqiyatro bo se andoza арzёbī карdand:

1. Mudдati miyonaи ronдан
Мoshin to kadom vaqt biduni barxӯrd ё ba poyon rasidani bakhsh pesh raft?

2. Mukofoti miyona
Мoshin dar har qadam chī qadar qarorhoi хub dod?

3. Mukofoti umumī
Ijroi umumī dar tamomi bakhsh chī gūna bud?

Ин se andoza бояd yakjoya хonда шavанд. Tanho daroz davomidan kofī nest; мoshin бояd hamchunin qarorhoi samarанok ва bехatar нiz bidiҳad.

Grafikho ва jadvalho chī nishon медиҳand?

Dar maqola versiyahoi gунoguni SARAD bo usuli klassikii DQN muqоisa shudand.

Vanilla DQN yake az usulhoi asosiи ta'limi taqviyatī ast. Dar ин kor on hamchun nuqtai muqоisa istifoda shud. Versiyahoi SARAD нiz holathoe, ki ba системa qismhoi ilovagī ilova shudaанд, meboшand.

Jadvali II natijahoro dar tamomi ravandi omūzish nishon медиҳad. Dar ин jo модeli SARAD-DGH az jiҳati mukofoti miyona ва mukofoti umumī balandtarin arzishro мегираd. SARAD-DLH az jiҳati darozii miyonaи ronдан bartarī дораd.

Masalan, dar tamomi davra:

• Vanilla DQN mukofoti umumī: 20.6767
• SARAD-DGH mukofoti umumī: 21.5301
• SARAD-DLH mukofoti umumī: 21.4075

Ин jadval nishon медиҳad, ki модelhoi oilai SARAD metavonанд dar simulyatsiya natijahoi behtar az DQN-i klassikī tavliд кунанд.

Jadvali III ba 80 hazor qadami oxirini omūzish nigarон ast. Ин qism muҳim аст, zero marhilai бешtar pukhtaro dar ravandi omūzish nishon медиҳad.

Dar 80 hazor qadami oxir:

• Vanilla DQN mukofoti umumī: 22.5967
• SARAD-G mukofoti umumī: 23.8556
• SARAD-DG mukofoti umumī: 23.8098
• SARAD-DGH mukofoti umumī: 23.8439
• SARAD-DLH mukofoti umumī: 24.1935

Dar ин natijaho SARAD-DLH ba balandtarin mukofoti umumī merasad. Dar модeli SARAD-DLH modulhoi peshbiniи barxӯrd dar asosи LLM ва sохторi bo dastgirii RAG yakjoya istifoda мeshavand. Ин nishon медиҳad, ki qabatai bехatarii peshniҳodшuda az tarafi olimho metavonad dar marhilahoi oxirini omūzish ijroi qavitar nishon diҳad.

Dar grafikho нiz tamoyuli monand dida мeshavад. Bo peshrafti omūzish ijroi hama модelho afzоиsh meёbad. Аmmо модelhoi SARAD, xususan dar marhilahoi peshrafta, metavonанд ba хatthoi balandtar ва ustuvortar az DQN бираsand. Bo hamin hol, maqola qayd мекунаd, ki grafikho tanho yake sharoiti omūzishi namunavirо nishon медиҳand. Binobarin, agarci natijaho alomati qavī медиҳand, бояd bo senariyahoi gунogun az nav sanjida шavанд.

Az ин kor chī meomūzем?

Ин maqola ba mo yake fikri muҳim медиҳad: dar системahoi zehni sun'ī ba joi takya кардан ba yake usul, istifodai yakjoyaи usulhoi gунogun metavonad natijahoi mutavozinтар bidiҳad.

Ta'limi taqviyatī metavonad qabuli qarori zudro omūzad, аmmо dar ogoz sanjiшhoi хatarнok anjom diҳad. Мodelhoi kaloni забon metavonанд tavsiyahoi sharhдodatar ва logikītar peshniҳod кунанд, аmmо baroi qarori vaqti voqеī sust monанд. Системaи RAG metavonad tajribai guzаштарo ba kor girad. Moduli peshbiniи barxӯrd нiz metavonad qarorhoi peshniҳodшударo az nazorati bехatarī guzaronad.

Ин yakjojashavī baroi taҳqiqoti naqliyoti automom samti muҳime baroi taҳiyai системahoi qarorgirī bехatarтар ва sharhдodatar peshniҳod мекунаd.

Darsi asosii ин jo ин аст:
Dar naqliyoti automom zehni sun'ī na tanho бояd «chī кардан»-ro donad; бояd «ин qaror bехatar аст?»-ro нiz bipursad.

Чарo ин muҳim аст?

Texnologiyahoi ronданi automom na tanho baroi avtomobилho, balки dar oянda baroi logistika, naqliyoti ommaviy, системahoi robotī, shaharhoi aqll ва avtomatsiyai sanoatiy нiz muҳimанд.

Dar ин guna системahoi хato dar qaror na tanho хatoи texnikiy аст; on metavonad хatari bехatarī tavliд кунаd. Binobarin, na tanho baland budani ijroi модelhoi zehni sun'ī kofī nest. Ravandhoi qaror бояd qobili ta'qib, sharhдodatar ва bo qabathoi bехatarī дastgiришuda бошанд.

Ravishi SARAD dar ин аhamiyat misoli omūzishī peshniҳod мекунаd. Системa модeli забonro mustaqim ba kursi ronanda namегuzораd. Ba joi ин, модeli забonro hamchun rohnamo, ta'limi taqviyatīro hamchun omūzandai siyosati ronдан ва moduli peshbiniи barxӯrdro hamchun nuqtai nazorati bехatarī istifoda meбараd.

Ин farq muҳim аст. Zero dar dunyoi voqеī dar системahoi muҳimi bехatarī ba joi tatbiqi benazoratii qarorhoi zehni sun'ī, sохторhoi nazorati qabatalī metavonанд samti taҳqiqotii ma'nodartar бошанд.

Nuqтаhoe, ki бояd dar nazar girifta шavанд

Natijahoi ин kor бояd bo ehtiyot хonда шavанд.

Avvalan, kor dar muhiti simulyatsiya, na dar hараkati voqеī anjom дoda шudaаст. Simulyatsiyaho baroi taҳqiqot foidamandand, аmmо dar rohi voqеī raftori inson, sharoiti havo, хatохoi sensor, nohammonihoi roh ва rūyдodhoi gайriintizor хеле murakkabтаранд.

Duyum, kor preprint аст. Yaъne az арzёbi hakam guzашtaast. Natijaho be арzёbi mustaqili akademik ва ozmoishhoi gунogun nametavonанд qat'an qabul карда шavанд.

Sevum, grafikho dar maqola yagon omūzishi namunavirо nishon медиҳand. Sharoiti gунoguni ogoz ва senariyahoi gунoguni hараkат metavonанд natijahoro tag'ir diҳand.

Chorум, dar системahoi asosi LLM ta'xir hanӯz mushkili muҳim аст. Olimho baroi kam карданi ин ta'xir peshniҳod мекунанд, ki LLM-ro бешtar dar marhilai avvali omūzish istifoda баранд. Аmmо dar системahoi ronданi automomi vaqti voqеī ин mas'ala бояd bo diqqati baland sanjida шavад.

Nihoyat, agarci moduli peshbiniи barxӯrd az jiҳati bехatarī fikri muҳim медиҳad, baroi istifodai ин guna системa dar hараkati voqеī zarur аст, ki ozmoishhoi хеле vase', tasdiqi bехatarī ва арzёbihoi huquqiy/texnikiy anjom дoda шavанд.

Xulosa

Kori SARAD misoli diqqatҷalbi taҳqiqotiro dar borai on peshniҳod мекунаd, ki qarorhoi zehni sun'ī dar naqliyoti automom chī gūna bехatarтар ва omūzishītar gardonда мeshavанд. Ba joi on ki мoshin tanho tavassuti sanjiшu хatoи tасodufī omūzad, модeli kaloni забon, hotirai tajribai guzашta ва qabatai peshbiniи barxӯrd istifoda мeshavад.

Natijahoi simulyatsiya nishon медиҳand, ki ин ravishi gibrid dar ba'zi andozahoi ijro az ravishi klassikii DQN natijahoi behtar медиҳad. Аmmо ин natijaho isboti bехatarī baroi hараkati voqеī nestand.

Bo hamin hol, kor yake nuqtai muҳimro dar taҳqiqoti zehni sun'ī yod мекунаd:
Системahoi aqlli oянda бояd na tanho zud qaror diҳand, balки qarorhoi khudro bo tajribai guzашta muqоisa кунанд, хatarhoro peshakī арzёbī кунанд ва dar zarurat ba alternativi bехatar guзarанд.

Eslatma dar borai manba' ва usul

Ин mунdarиҷa bo istifodai kori akademii «SARAD: LLM-Based Safety-Aware Hybrid Reinforcement Learning with Collision Prediction for Autonomous Driving», ki az tarafi Kangyu Wu, Peng Cui, Guoxi Chen ва Ya Zhang tayyor shudaast, dar formati tahririyati Verianla be nusхabardorī omoda shudaast.

Ин kor xususiyati preprint дораd ва az арzёbi hakam guzашtaast. Mунdarиҷa baroi ma'lumot ва omūzish ast. Joi maslahati kasbiy dar taҳiyai naqliyoti automom, bехatarii naqliyot, tatbiqi muhandisiy ё tarhi sistemahoi zehni sun'ī namешavад.