Автономдук унаа үчүн негизги маселе: «Азыр эмне кылышым керек?»

Автономдук унаа жол боюнда жылганда, туруктуу чечим кабыл алууга милдеттүү. Алдыдагы унаа жайласа, тормоз коюш керекпи? Капталдагы тилке бош болсо, тилке алмаштыруу керекпи? Ылдамдыкты жогорулатуу коопсузбу? Жok, учурдагы ылдамдыкты сактоо жакшыбы?

Адам айдоочулар бул чечимдерди тажрыйба, көңүл бургандык жана интуиция менен кабыл алат. Жасалма интеллект системаларында болсо, бул чечимдер санарип маалыматтар менен моделдештирилет. Унаа өзүнүн жайгашкан жeri, ылдамдыгы, айланадагы унаалардын жайгашкан жeri жана кыймылын баалап, кийинки кыймылды тандаганга аракет кылат.

Бул макаланын чыгуу чекити да так ушул жерден башталат:
Автономдук унаа ылдам да, коопсуз да чечим кабыл алабы?

Салттуу терең бекитилген окутуу ыкмалары, так айтканда DRL, унага сыноо-жалпылашуу аркылуу мүнөз-куулук үйрөтөт. Бирок бул ыкма окутуунун баштапкы этаптарында кокустук кыймылдарды сынап көрүшү мүмкүн. Автономдук айдоо сыяктуу коопсуздук ачуу-ачык маанилүү тармактарда бул олуттуу маселе. Анткени чыныгы жашоодо кокустук тилке алмаштыруу, кыйырча ылдамдыкты жогорулатуу же туура эмес учурда тормоз коюу кабыл алынуучу окутуу ыкмасы эмес.

Чоң тил моделдери болсо, жол кыймылынын абалын текст катары түшүндүрүп, логикалуу сунуштарды жарата алат. Бирок аларда да башка маселе бар: чыныгы убакытта чечим кабыл алууда кечигүү болушу мүмкүн. Автономдук унаада чечимдин туура болгону гана жетишсиз; убагында кабыл алынгандыгы да зарыл.

SARAD деген система бул эки ыкманы бириктирүүнү аракет кылат. Тил модели окутуунун эрте этаптарында унага маanilүүүрөөк багыт берет. Бекитилген окутуу системасы болсо, убакыт өткөндө ылдам чечим кабыл алууга жөндөмдүү саясат үйрөнөт. Кошумча, кыйырчылуу болжолдоо катмары сунушталган чечимдин тобокелдүү экенин текшерет.

Изилдөөчүлөр системаны кантип курган?

Изилдөөдө автономдук унаа маселеси чечим процесси катары моделдештирилет. Бунu жөнөкөйлөтүп, төмөнкүдөй ойлоого болот:

Унаа ар дайым айлананы байкайт. Бул байкоодо унanын өзүнүн жайгашкан жeri жана ылдамдыгы, ошондой эле башка унаалардын жайгашкан жeri жана ылдамдыk маалыматтары бар. Андан кийин система беш негизги аракеттин бирин тандайт:

• Ылдамдыкты жогорулат
• Жайлат
• Солго тилке алмаштыр
• Оңго тилке алмаштыр
• Учurdaгы ылдамдыкты сакта

Бул түзүлүш макалада Markov Decision Process, так айтканда Markov чечим процесси катары аныкталат:

MDP = (S, A, P, R, γ)

Бул формула окурман үчүн төмөнкүдөй окула алат:

S — унanын көргөн абалы. Бул жол, унаалардын жайгашкан жeri, ылдамдыктары жана айлана маалыматы.
A — унanын тандай алган кыймылдары. Мисалы, ылдамдыкты жогорулатуу же тилке алмаштыруу.
P — бир кыймылдан кийин айлана кантип өзгөрүшү мүмкүн экенин көрсөтөт.
R — тандалган кыймыл канчалык жакшы же начар экенин көрсөткөн сыйлыk.
γ — системанын келечектеги сыйлыктарды канчалык маanilүү деп эсептөөсүн аныктаган коэффициент.

Бул жердеги логика жөнөкөй: унаа «азыр эмне жакшы?» деп гана карабайт. Ошол эле учурда «бул кыймыл бир аздан кийин эмнеге алып келет?» деген суроону эсепке алууга аракет кылат.

Унаа айлананы кантип санга айландырат?

Макалада унanын көргөн жол чөйрөсү төмөнкүдөй маалыматтар менен көрсөтүлөт:

st = унanын жайгашкан жeri + унanын ылдамдыгы + айланадагы унаалардын жайгашкан жeri жана ылдамдыгы

Дemek, система үчүн жол кыймылынын сценарийи чыныгы сүрөт эмес, санарип таблица сыяктuu. Ар бир унаа үчүн болжol менен төмөнкү маалыматтар колдонулат:

• x жайгашкан жeri
• y жайгашкан жeri
• x багытындагы ылдамдыгы
• y багытындагы ылдамдыгы

Бунu күнүмдүк тил менен төмөнкүдөй түшүндүрүүгө болot:
Автономдук унаа «алдыmda турган унаа менден канча метр алда, кандай ылдамдыkта барат, каптал тилкесиндеги унаа мага жakындап жатабы?» деген маалыматтарды санарип түрдө көзөмөлдөйт.

Бул маanilүү, анткени жасалма интеллект чечимин ушул сандар негизinde кабыл алat. Адам айdoочu ayнek аркылуу карап, интуитивдүү чечим кабыл alsa, жасалма интеллект айлананы координата жана ылдамдыk маanилери менен түшүнүүгө аракет кылat.

Системанын окутуу логикасы: жакшы чечимге сыйлыk, тобокелдүү чечимге жаза

Бекитилген окутууда система аткарган кыйmылдарından упай алып үйрөнөт. Макаладагы сыйлыk системасы да ушул логикага негизделген.

Изилдөөчүлөр эки түрдүү сыйлыk колдонушат:

Бirincisi, унanын өзүнүн айdoо ийгилигин өлчөгөн негизги сыйлыk. Унаа коопсуз жана натыйжалuu ilerlese, сыйлыk жогорулat. Кыйырчылуу болсо, жаза alat.

Эkincisi, тил моделинин сунуштаган мүнөз-куулугуна жakындыгына байланыштуу кошумча сыйлыk. Бул унаanın okutuu учuруnda толук кокустuk кыйmыл кылуунун ордуна, тил модели логикалuu көргөн кыйmылдарга жakын болушuna жardam beret.

Макалада бул жалпы түзүлүш төмөнкүдөй көрсөтүлөт:

Rtotal = Rorigin + β × Rimit

Бул форуланын жönököй маanisi:

Жалпы okutuu упайы = айdoodan kelgen негизги упай + тил модели сунушуна жakындыktan kelgen кошумча упай

Бул жердегi Rorigin — унanın ылдамдыгы, алдыга жылуу жана кыйырчылуу абалына жараша algan негизги упайы.
Rimit — унanın кыйmылы тил модели колdогon «адистin сунушuna» канчалык okшoş экенin көрсөтөт.
β — бул кошумча сыйлыктын жалпы чechimde канчалык таасир etecegin аныkтаган салмак.

Бул жерde маanilüü ayrim бар: системa тил моделin karangy köz менен kaitalbayt. Тil модели mughalim siyakty iş kylat, birok akyrky чechim okutuu sistemasy ubakyt ötköndö önüktüröt. Bunu «mughalim menen okutuu» menen «öz tajryybasy menen üyrönüü» ortosundagy köpürö siyakty oylоogo bolot.

SARAD'тын үч негизги бөлүгү

Макалада берилген системa sxemasyna ılayık, SARAD үч негизги bölüktön turat.

Birinci bölük — DRL sistemasy. Bul bölük unanın aydoо sayasatın üyrötöt. Tak aytkanda, kaysy abalda kaysy kıymyl ılayıktuu boluşu mümkün ekenin ubakyt ötköndö önüktüröt.

Ekinci bölük — LLM жана RAG sistemasy. LLM, tak aytkanda chon til modeli, jol kıymylynyng senariyin tekst katarı tüşündüröt. RAG sistemasy bolso, murdagy aydoо tajryybalaryndan okşoş abaldardy taap, til modeline koldоo körсötöt. Oshondo model jalpy bilimi menen gana emes, murda jazılgan okşoş aydoо misaldary menen чechim jaratat.

Үçünçü bölük — kıyrchyluu boljoldоo modulu. Bul modul sunuştalgan kıymylın tobokelдüü ekenin boljoloyt. Eger sistema «bul kıymyl kıyrchyluu tobokelin tartat» dep körсötсö, ereje negizindegi koopsuzduk münöz-kuulugu ishke kiret.

Bul tüzülüştü adam aydoочunun misaly menen oylоylu:

• DRL — turuktuu praktika jasagan aydoочu siyakty.
• LLM — tajryybaluu maşyktyruuçunun kommentariylery siyakty.
• RAG — murda bolgon okşoş olaylardın estegi siyakty.
• Kıyrchyluu boljoldоo modulu — «tokto, bul kıymyl tobokelдüü boluşu mümkün» dep aytkan koopsuzduk tekşerüüsü siyakty.

RAG sistemasy emnege kerek?

RAG — «Retrieval-Augmented Generation» degen sözdün kyskartmasy. Jakyın maanisi «kayra aluu menen küçötkön generatsiya» dep kotorulat.

Bul sistemanyn maksaty — til modelinin özünün jalpy bilimi menen gana chektelişin aldyn aluu. SARAD'ta una aydoо uchurunda ayrim tajryybalardy jazyp alat. Misaly:

• Kaysy abalda kaysy чechim kabyldanyldy?
• Bul чechim koopsuzbu?
• Kıyrchyluu boldubu?
• Una kanday ıldamdykta bolchu?
• Jakyn turgan unaalar kandıp kıymyldaşyp jatkany?

Андан кийin okşoş abalga tuşkanda sistema murdagy okşoş tajryybalardy alıp, til modeline koshumcha maalymat katarı sunat.

Bul kündülk jashoодo tömönkügö okşoyt:
Aydoочu murda tobokelдüü keссекte kıyrcha tilke almaştıruunun tobokelдüü ekenin sezse, okşoş abalda abroo abroo mamile kylat. SARAD'ın RAG modulu da jasalma intellekke uşunday estek berüügö araket kylat.

Kıyrchyluu boljoldоo modulu emnege maanilüü?

Bul izildöönün eñ maanilüü koopsuzduk bölüktörünün biri — kıyrchyluu boljoldоo modulu. Antkeni jasalma intellektin sunuştalgan ar bir чechimi tuura bolo berbejt.

Makalada bul modul sunuştalgan kıymylın kıyrchyluu tobokelin tarta turаtur-bu jok ekenin boljoloo üchün ishtelip chykkan. Sistema abal jana kıymyl maalymatın alat; anдан kiyin bul kıymylın tobokelдüü ekenin baalayt.

Jönököy til menen tömönküdöy oylоylu:

Una «sol tilkege öt» чechimin jaratsa, koopsuzduk modulu munu surayt:
«Sol tilkege ötсök, jakyn turgan unaalar menen kıyrchyluu mümкünchülügü barby?»

Eger tobokel joğorу körсötсö, sistema bul чechimdi tüz ele koldono turbay, koopsuzurak münöz-kuulukka ötöt. Makalada munday rezervdik koopsuzduk münöz-kuuluktar arasynda şaşılıç tormoz koyuu, tilkede qaluу jana koopsuz aralyk saktoo siyakty tandоolor körсötülгön.

Bul bölük maanilüü, antkeni avtonomduk sistemalarda чechim jaratuu gana jetişsiz. Чechim koldonulardan murun koopsuzduk jagyndan tekşerilişi kerek.

Eksperiment kandıp jürgüzülгön?

Izildöөçülör sistemany chynygy jol kıymylynda emes, Highway-Env degen simulyatsiya chöyrösündö sinap koruşkan. Simulyatsiyada törttilkeli jol koldonulgan. Ar bir tilke 4 metr tuurasında anyktalgan. Chöyrödö jalpy 10 kıymyldaşkan una bar; alardın biri чechim kabyldagan avtonomduk una.

Unaalar tanday algan kıymyldar yana beş tandоo menen chektelgen:

• Solgo tilke almaştır
• Oңgo tilke almaştır
• Ыldamdykty joğorulat
• Jайlat
• Ыldamdykty sakta

Eksperimentterde bir bölüm, tak aytkanda episode, eki abalda ayaqtayt: una kıyrchylsa jе aydoо ubaktysy 40 sekunddan aşsa.

Izildöөçülör iyгilikti üch ölçmöö menen baalashkan:

1. Ortоço aydoо ubaktysy
Una kıyrchylbay jе bölüm ayaqtamay kança ubakyt aldanga jürö aldı?

2. Ortоço syylyk
Una ar bir kadamda kançalyk jakshy чechimder kabyldady?

3. Jalpy syylyk
Büt bölüm boyunca jyynalgan jalpy natyija kanday boldu?

Bul üch ölçmöt birge okulmalı. Uzun ubakyt gitmek gana jetişsiz; una oshol ele uchurda natyyjaluу jana koopsuz чechimder de berishi kerek.

Grafikter jana tablitsalar emne körсötöt?

Makalada ar turdуu SARAD versiyalary klassikalık DQN ykmasy menen salyshtirilgan.

Klassikalık DQN — bekitilgen okutuunun negizgi ykmalarynın biri. Bul izildöөdö salyshtiruu chekiti katarı koldonulgan. SARAD versiyalary bolso sistemaga ar turdуu koshumcha bölüktör koshulgan varianttar.

II-tablitса barдыk okutuu protsessinin boyunca alynan natyyjalary körсötöt. Bul jerde SARAD-DGH modeli ortоço syylyk jana jalpy syylyk boyuncha eñ joğorku maanige zhetet. SARAD-DLH bolso ortоço aydoо uzuндugy boyuncha önе çıgat.

Misaly, barдыk protsesste:

• Vanilla DQN jalpy syylyk: 20.6767
• SARAD-DGH jalpy syylyk: 21.5301
• SARAD-DLH jalpy syylyk: 21.4075

Bul tablitса SARAD üy-bülösündögi modeller simulyatsiyada klassikalık DQN'ge salyshtirganda jakshyraak natyyjalar bere alat dep oylotur.

III-tablitса bolso okutuunun akyrky 80 ming kadamına karayt. Bul bölük maanilüü, antkeni modeldin okutuu protsessinin jetilgen etaptyn körсötöt.

Akyrky 80 ming kadamda:

• Vanilla DQN jalpy syylyk: 22.5967
• SARAD-G jalpy syylyk: 23.8556
• SARAD-DG jalpy syylyk: 23.8098
• SARAD-DGH jalpy syylyk: 23.8439
• SARAD-DLH jalpy syylyk: 24.1935

Bul natyyjalarda SARAD-DLH eñ joğorku jalpy syylykka zhetet. SARAD-DLH modelinde LLM negizindegi kıyrchyluu boljoldоo modulu jana RAG koldogon tüzülüsh birge koldonulat. Bul izildöөçülörдün sunuştalgan koopsuzduk katmany okutuunun akyrky etapтарında küçürak natyyja körсöte alat dep oylotur.

Grafikterde de okşoş tendentsiya korunat. Okutuu aldanga sayın barдыk modellerdin natyyjasy ösöt. Birok SARAD modelleri özgocho aldanga kadam algan etapтарında DQN'ge salyshtirganda joğorku jana turuktuu syzyktarga zhete alat. Dagı da makala grafikterdin bir okutuu jürgüzüüsünün öküldük natyyjasyn körсötötün belgilеet. Oshonduktan natyyjalar küçlü belgi berse de, ar turdуu senariyler menen kayra sinap korulushu kerek.

Bul izildöөdön emne üyrönöbüz?

Bul makala bizge maanilüü bir ideya beret: jasalma intellekt sistemalarında bir ykmaga gana ishenüü orduna, ar turdуu ykmalardy birge koldonuu teñ salmaktuu natyyjalar bere alat.

Bekitilgen okutuu ıldam чechim aluunu üyrönö alat, birok bashtapky etapta tobokelдüü sinap koruulardy jürgüzö alat. Chon til modelleri tüşündürüügö bolо turgan jana logikaluu sunuştardy suna alat, birok chynygy ubakyt чechimderi üchün jay kalat. RAG sistemasy murdagy tajryybany ishke kirgize alat. Kıyrchyluu boljoldоo modulu bolso sunuştalgan чechimderdi koopsuzduk tekşerüüsünön ötkörö alat.

Bul biriktirme avtonomduk una izildöөлöründö koopsuzurak jana tüşündürüügö bolо turgan чechim sistemalaryn önüktürüü üchün maanilüü bagyt sunat.

Bul jerdegi negizgi sabak:
Avtonomduk unalarda jasalma intellekt gana «emne kylaryny» bilbeşi kerek; oshol ele uchurda «bul чechim koopsuzbu?» degen suroonu da berishi kerek.

Bul emnege maanilüü?

Avtonomduk aydoо tehnologiyalary gana avtomobilder üchün emes, kelechekte logistika, koomduk transport, robototika sistemalary, akyluu shaarlar jana önör jay avtomatizatsiyasy üchün de maanilüü.

Munday sistemalarda чechim katasy gana tehnikalık kata emes; koopsuzduk tobokelin jaratysy mümkün. Oshonduktan jasalma intellekt modellerinin joğorku natyyja körсötüüsü gana jetişsiz. Чechim protsessterinin kuzatuuga bolо turgan, tüşündürüügö bolо turgan jana koopsuzduk katmanları menen koldоolgon bolushu kerek.

SARAD ykmasy bul jagyndan okutuuçu misal sunat. Sistema til modelin tüz ele aydoочu oturguchuna otkorboyt. Anyn orduna til modelin jol körсötüuchu, bekitilgen okutuunu aydoо sayasatyn üyrönüuchu, kıyrchyluu boljoldоo modulun da koopsuzduk tekşerüü chekiti katarı koldonot.

Bul ayrim maanilüü. Antkeni chynygy düynödö koopsuzduk achuu-achyk sistemalarda jasalma intellekt чechimderinin denetimsiz koldonulushu orduna, katmanaluu basqaruu tüzülüştörü maanilüürak izildoo bagyty bolo alat.

Eskerüügö tiyish nerseler

Bul izildöönün natyyjalary abroo abroo okulmalı.

Birinciden, izildoo chynygy jol kıymylynda emes, simulyatsiya chöyrösündö jürgüzülгön. Simulyatsiyalar izildoo üchün paydaluu, birok chynygy joldo adam münöz-kuuluktary, aba ırayy, sensor kataalary, jol buzulukları jana kutilbegen olaylar ancha tataal.

Ekinciden, izildoo preprint. Tak aytkanda, retsezenttik baaloodon ötkön emes. Tapkan nerseler mustaqil akademikik baaloo jana ar turdуu eksperimentter menen koldоolbogoncho chyndyk dep kabyldalinbeshi kerek.

Үçünçüdön, makaladagy grafikter bir okutuu jürgüzüüsünün öküldük natyyjasyn körсötöt. Ar turdуu bashtapky şarttar jana ar turdуu transport senariyleri natyyjalardy özgörtö alat.

Törtünçüdön, LLM negizindegi sistemalarda kechikme dagy ele maanilüü problema. Izildöөçülör bul kechikmeni azaytuu üchün LLM koldonuunu okutuunun erken etapтарında koldonuunu sunat. Birok chynygy ubakyt avtonomduk aydoо sistemalarında bul tema ötö sezimtal tekşerilişi kerek.

Akyrkyсы, kıyrchyluu boljoldоo modulu koopsuzduk jagyndan maanilüü ideya sunsa da, munday sistemanyn chynygy transportta koldonulushu üchün ancha keng sinap koruularga, koopsuzduk ırashtooloruna jana myıyam/tehnikalık baaloolorgo mukтаj.

Jyyntykt

SARAD izildöөsü avtonomduk unalarda jasalma intellekt чechimderinin kandıp koopsuzurak jana okutuuçu kyluuга bolоrun körсotkon dikkat çekken izildoo misaly sunat. Model unanın toluк kokustuk sinap-jalpylaşuu menen üyrönüüsünün orduna, chon til modeli bagyty, murdagy tajryyba estegi jana kıyrchyluu boljoldоo katmany koldonot.

Simulyatsiya natyyjalary bul gibrid ykmanın klassik DQN ykmasyna salyshtirganda ayrim natyyja ölçmöktöründö jakshyraak natyyja bere alatyn körсötöt. Birok bul natyyjalar chynygy transport üchün tüz koopsuzduk dalili emes.

Dagy da izildoo jasalma intellekt izildöөлöründö maanilüü bir nerseni eske aldırat:
Kelechektin akyluu sistemalary gana ıldam чechim bergen emes; чechimderin murdagy tajryyba menen salyshtyrgan, tobokelderdi aldan bahalagan jana kerek bolgondo koopsuz alternativaga ötö algan sistemalar bolushu kerek.

Bulak jana ykmalyk eskertme

Bul mazmun Kangyu Wu, Peng Cui, Guoxi Chen jana Ya Zhang tarafından hazırlanan “SARAD: LLM-Based Safety-Aware Hybrid Reinforcement Learning with Collision Prediction for Autonomous Driving” atty akademik çalışmadan yararlanılarak Verianla editoryal formatında özgün olarak hazırlanmıştır.

Bul izildoo preprint münözündö jana retsezenttik baaloodon ötkön emes. Mazmun maalymdoo jana okutuu maksatında. Avtonomduk una önüktürüü, transport koopsuzdugu, injenerlik koldonuu jе jasalma intellekt sistemasy tasarımı boyuncha kesipтik konsultatsiya almashtyrbayt.