Ин матн дар асоси таҳқиқоти академие таҳия шудааст, ки ҳадаф дорад хатари ҳамлаи ғайримустақими prompt injection-ро дар агентҳои зеҳни сунъии қобили истифодаи абзорҳо дар шароити воқеиятмонандтар чен кунад. Таҳқиқоти баррасишуда унвони LivePI: More Realistic Benchmarking of Agents Against Indirect Prompt Injection-ро дорад.

Мавзӯи асосии таҳқиқот на танҳо моделҳое мебошанд, ки ба фармонҳои дар равзанаи суҳбат додашуда ҷавоб медиҳанд, балки агентҳои зеҳни сунъие низ ҳастанд, ки метавонанд почтаи электронӣ хонанд, файл кушоянд, дар саҳифаҳои веб паймоиш кунанд, код иҷро намоянд, ба суҳбатҳои гурӯҳӣ пайваст шаванд ва ҳатто ба интерфейси ҳамёни криптоии таҳти назорати санҷишӣ дастрасӣ пайдо кунанд. Дар чунин системаҳо хатои модел акнун танҳо ба тавлиди ҷавоби нодуруст маҳдуд намешавад. Даъвати нодурусти абзор метавонад ба паёмадҳои воқеӣ, аз қабили ихроҷи маълумот, тағйири танзимоти амниятӣ, иҷрои коди зараровар ё амалиёти молиявии беиҷозат, табдил ёбад.

Паёми асосии таҳқиқоти LivePI чунин аст: моделҳои пурқудрати забонӣ худ аз худ хатари prompt injection-и ғайримустақимро бартараф намекунанд. Агар мундариҷаеро, ки агент аз ҷаҳони беруна мехонад, ҳамчун маълумоти беэътимод ишора накунанд, модел метавонад ин мундариҷаро ҳамчун дастури воқеии корбар тафсир кунад.

Ин мундариҷа бо ҳадафи огоҳсозии амниятӣ таҳия шудааст. Он навиштани prompt-и зараровар, дастурҳои убури амният, усули берун кашидани маълумот ё роҳнамои суиистифода нест. Ҳадаф ба таври содда шарҳ додани хатарҳо ва мантиқи ҳимоя барои тарҳрезии бехатартари агентҳои зеҳни сунъӣ мебошад.

Таҳқиқоти нави академӣ месанҷад, ки агентҳои зеҳни сунъии қобили истифодаи абзорҳо бар зидди ҳамлаҳои ғайримустақими prompt injection то чӣ андоза тобоваранд. benchmark-и LivePI ҳафт сатҳи гуногунро, аз қабили почтаи электронӣ, суҳбати гурӯҳӣ, файли маҳаллӣ, мундариҷаи веб, GitHub Gist, пайвандҳои repo ва интерфейсҳои ҳамён, фаро мегирад. Дар таҳқиқот панҷ сутуни гуногуни модел санҷида шуда, дида шудааст, ки сатҳи умумии муваффақияти ҳамлаҳо байни %10,7 ва %29,6 тағйир меёбад. Бозёфти ҷолибтарин ин аст, ки воридсозии ҳамла ба суҳбати гурӯҳӣ дар ҳамаи моделҳои арзёбишуда муваффақ шудааст. Муҳаққиқон инчунин ҳимояи дуқабатаро месанҷанд, ки филтркунии сатҳи prompt ва тасдиқи сиёсати пеш аз даъвати абзорро истифода мебарад; дар сохтори таҷрибавӣ ин ҳимоя иҷро шудани ҳадафҳои бадқасдонаро пешгирӣ мекунад.

Масъала дар чист?

Дар ботҳои анъанавии суҳбат корбар савол медиҳад ва модел ҷавоби матнӣ тавлид мекунад. Хатои чунин сохтор одатан ба маълумоти нодуруст, ҷавоби нопурра ё роҳнамоии номуносиб маҳдуд мемонад. Аммо агентҳои муосири зеҳни сунъӣ метавонанд хеле бештар аз ин корҳоро анҷом диҳанд. Агар агент ба почтаи электронӣ, иҷозаи системаи файлӣ, абзори terminal, браузери веб, ҳисоби паёмрасонӣ ё пайвасти API дастрасӣ дошта бошад, қарори модел метавонад дар ҷаҳони беруна амали воқеӣ эҷод кунад.

Воридсозии ғайримустақими prompt injection маҳз дар ҳамин нуқта пайдо мешавад. Ҳамлагар ба ҷойи додани фармони мустақим ба зеҳни сунъӣ, ба почтаи электронӣ, файл, саҳифаи веб, тавсифи repo ё паёми гурӯҳӣ, ки агент онҳоро мехонад, дастури пинҳонӣ/гумроҳкунанда ҷой медиҳад. Вақте агент ин мундариҷаро ҳангоми иҷрои вазифа мехонад, метавонад матнро на танҳо ҳамчун маълумот, балки ҳамчун дастур тафсир кунад.

Масалан, корбар шояд ба агент гуфта бошад: «почтаҳои электронии охиринамро хулоса кун». Аммо паёми бадқасдона дар қуттии почта метавонад кӯшиш кунад агентро ба амале берун аз хулосабарорӣ равона кунад. Ба ҳамин монанд, тавсифи анбори код ё дастури насб метавонад иҷро шудани коди беэътимодро аз ҷониби агент ба вуҷуд оварад.

Саволи асосии таҳқиқот чунин аст: агентҳои зеҳни сунъӣ, ки ба абзорҳои воқеӣ ва ҳисобҳои зинда, вале таҳти назорати санҷишӣ, пайваст мешаванд, дар муқобили воридсозии ғайримустақими prompt injection то чӣ андоза бехатар рафтор мекунанд?

Кадом усул пешниҳод мешавад?

LivePI хатари воридсозии ғайримустақими prompt injection-ро на танҳо дар симулятсия, балки дар муҳити мошини маҷозии назоратшавандаи ба истеҳсолот монанд низ месанҷад. Муҳаққиқон агенти дорои қобилияти истифодаи абзорҳои OpenClaw-ро дар мошини маҷозии ба Ubuntu асосёфта иҷро мекунанд. Ин агент метавонад бо почтаи электронӣ, суҳбатҳои гурӯҳӣ, веб, файлҳои маҳаллӣ, мундариҷаи repo ва интерфейси ҳамёни криптоии таҳти назорати санҷишӣ ҳамкорӣ кунад.

Benchmark бар се андоза асос ёфтааст:

1. Сатҳи воридсозӣ: Ин каналест, ки мундариҷаи ҳамлагар тавассути он ба агент мерасад. Ба мисолҳо гурӯҳи WhatsApp, гурӯҳи Telegram, канали Slack, паёми Gmail, файли маҳаллӣ, пайванди repo ва мундариҷаи веби монанд ба Gist дохил мешаванд.

2. Техникаи ҳамла ё оилаи render: Тарзи ҷойгир кардани ҳадафи зараровар дар мундариҷаро ифода мекунад. Дар таҳқиқот оилаҳои гуногун, аз қабили паёми мустақими гурӯҳӣ, занҷири тасдиқи қалбакӣ, ҷойгиркунӣ дар дохили рӯйхати санҷиш, тақлиди ҳамгироии боэътимод ва навсозии сиёсат санҷида мешаванд. Дар ин матн ҷузъиёти суиистифода оварда намешаванд.

3. Ҳадафи бадқасдона: Натиҷаи зарароварест, ки ҳамла мехоҳад ба он бирасад. Дар таҳқиқот ҳадафҳое, ба монанди берун интиқол додани маълумоти ҳифзшуда, тағйир додани назорати амниятӣ, иҷрои коди беэътимод, фиристодани хулосаи хусусии почтаи электронӣ ба шахси беиҷозат ва интиқоли криптои таҳти назорати санҷишӣ арзёбӣ мешаванд.

Ба шарофати ин сохтор LivePI на танҳо саволи «оё модел матни зарароварро мешиносад?», балки саволи «оё модел аз ин матн таъсир гирифта, даъвати воқеии абзорро анҷом медиҳад?» -ро низ месанҷад.

Формулаҳо чиро нишон медиҳанд?

Формулаҳои таҳқиқот барои ба таври шаклӣ муайян кардани агенти зеҳни сунъӣ, даъватҳои абзор, намунаи ҳамла, ченаки муваффақият ва қабати ҳимоя истифода мешаванд. Ин формулаҳо пешгӯии математикии нарх нестанд, балки модели арзёбии амниятро пешниҳод мекунанд.

1. Сиёсати агент

Қоидаи тавлиди модел ва қарор ҳамчун сиёсат нишон дода мешавад:

Дар ин ҷо \(X\) фазои контексти матнии ба модел додашударо; \(U\) фазои ҷавобҳо ё даъватҳои абзорро, ки модел метавонад тавлид кунад, ифода мекунад. Яъне агент бар асоси контексти дидааш ҷавоб ё амал интихоб мекунад.

2. Фазои амал

Фазои амалҳои агент аз ду қисм иборат аст:

Дар ин ҷо \(Y\) ҷавобҳои забони табииро; \(U_{tool}\) даъватҳои сохтории абзорро ифода мекунад. Фарқи муҳим аз нигоҳи амният дар ҳамин ҷост: ҷавоби матнӣ метавонад нодуруст бошад, аммо даъвати абзор метавонад паёмадҳое ба монанди хондани воқеии файл, фиристодани почтаи электронӣ ё тағйири танзимоти система ба вуҷуд оварад.

3. Даъвати абзор

Даъвати абзор чунин навишта мешавад:

Дар ин ҷо \(i\) абзори даъватшуда ва \(a\) аргументҳои ба он абзор додашударо ифода мекунанд. Масалан, абзори хондани файл, абзори почтаи электронӣ ё абзори terminal метавонанд бо қиматҳои гуногуни \(i\) тасаввур карда шаванд.

4. Системаи умумии агент

Дар таҳқиқот системаи агент бо ҷузъҳои зерин моделсозӣ мешавад:

Дар ин ҷо \(\Pi\) сиёсати модел аст. \(\Gamma\) харитаи сохтани prompt мебошад, ки контексти мавҷударо ба вуруди модел табдил медиҳад. \(T\) маҷмӯи абзорҳост. \(P\) дарвозаи иҷроест, ки барои даъвати абзор қарори иҷозат/баррасӣ/блокро медиҳад. \(E\) бошад муҳити берунаро, аз қабили почтаи электронӣ, веб, системаи файлӣ, API ва ҳамён, ифода мекунад.

5. Контексти агент

Контексти агент дар ҳар қадам аз қисмҳои зерин иборат аст:

Дар ин ҷо \(C_{sys-dev}\) қоидаҳои система ва таҳиягарро; \(C_{user}\) вазифаи корбари ваколатдорро; \(C_{agent,t}\) паёмҳо ва амалҳои гузаштаи агентро; \(C_{env,t}\) бошад мундариҷаҳои аз муҳити беруна омада, аз қабили почтаи электронӣ, саҳифаи веб, файл, repo ё суҳбати гурӯҳиро ифода мекунанд.

Нуктаи муҳимтарини таҳқиқот аз нигоҳи амният чунин аст: \(C_{env,t}\) бояд ҳамчун маълумоти беэътимод дида шавад. Зеро ин майдон метавонад мундариҷаеро дар бар гирад, ки ҳамлагар онро назорат мекунад.

6. Вуруди модел

Вуруди модел аз контексти мавҷуд ба таври зерин сохта мешавад:

Агар қабати сохтани prompt манбаъҳоро дуруст аз ҳам ҷудо накунад, мундариҷаи берунаи беэътимод метавонад дар вуруди модел ба мисли дастури корбари ваколатдор намоён шавад. Ин омехташавӣ дар асоси хатари воридсозии ғайримустақими prompt injection қарор дорад.

7. Қарори иҷрои даъвати абзор

Пеш аз анҷом додани даъвати абзор дарвозаи сиёсат қарор медиҳад:

\(ALLOW\) ба иҷрои абзор иҷозат медиҳад. \(REVIEW\) тасдиқи инсонро талаб мекунад. \(BLOCK\) иҷрои абзорро манъ мекунад. Дар пешниҳоди ҳимояи таҳқиқот ин дарвоза махсусан муҳим аст; зеро танҳо пешниҳод кардани даъвати зараровари абзор аз ҷониби модел кофӣ нест — онро пеш аз иҷро боздоштан мумкин аст.

8. Намунаи воридсозии ғайримустақими prompt injection

Намунаи ҳамла ба шакли сегона муайян карда мешавад:

Дар ин ҷо \(s\) сатҳи ҳамла аст; масалан почтаи электронӣ, суҳбати гурӯҳӣ, файл ё repo. \(\rho\) техникаи ҳамла ё тарзи пешниҳоди мундариҷаро ифода мекунад. \(g_m\) ҳадафи бадқасдонаи ҳамлагар аст.

9. Муваффақияти ҳамла

Барои муваффақ ҳисобидани ҳамла танҳо таъсир гирифтани агент кофӣ нест; ҳадафи бадқасдона низ бояд амалӣ шавад:

Дар ин ҷо \(AI(\tau)\) нишон медиҳад, ки оё мундариҷаи ҳамлагар ба пайгирӣ ё қарори агент таъсир расонидааст ё не. \(M_{g_m}(\tau)\) ифода мекунад, ки оё ҳадафи бадқасдона амалӣ шудааст ё не. Агар ҳар ду шарт иҷро шаванд, ҳамла муваффақ ҳисобида мешавад.

10. Сатҳи муваффақияти ҳамла

Сатҳи муваффақияти ҳамла дар тамоми Benchmark ба таври зерин ҳисоб карда мешавад:

Дар ин ҷо \(B'\) маҷмӯи ҳолатҳои санҷишии арзёбишуда мебошад. Ин метрика барои муқоисаи он истифода мешавад, ки кадом сатҳ ё кадом модел хатари бештар дорад.

11. Меъёри Review ва Block

Барои дидани он ки ҳимоя ба истифодаи муқаррарӣ чӣ қадар соиш илова мекунад, ду меъёр ҳисоб карда мешаванд:

Ин ду ченак тавозуни байни амният ва қобили истифода буданро нишон медиҳанд. Агар ҳимоя амалиёти муқаррариро аз ҳад зиёд боздорад, таҷрибаи корбар метавонад бад шавад. Агар ҳеҷ чизро бознадорад, амният таъмин намешавад.

Паёми асосии график, ҷадвал ва схема

Дар Расми 1-и PDF ҷараёни воридсозии ғайримустақими prompt injection ва ҳимояи дуқабата нишон дода мешавад. Ҳамлагар ҳадафи бадқасдонаро дар сатҳи беэътимод ҷойгир мекунад. Агент ҳангоми иҷрои вазифа ин мундариҷаро мехонад. Қабати аввали ҳимоя қолабҳои шубҳанокро дар сатҳи prompt филтр мекунад. Қабати дуюми ҳимоя бошад пеш аз иҷрои даъвати абзор қарори иҷозат, баррасӣ ё блокро медиҳад.

Ҷадвали 1 сатҳҳои LivePI-ро ҷамъбаст мекунад. Суҳбатҳои гурӯҳии WhatsApp, Telegram ва Slack; почтаи Gmail; ҳуҷҷати маҳаллӣ; пайванди repo-и оммавӣ ва манбаъҳое чун Gist ҳамчун сатҳҳои санҷиш истифода мешаванд. Ин ҷадвал нишон медиҳад, ки хатари воридсозии ғайримустақими prompt injection танҳо бо саҳифаи веб ё почтаи электронӣ маҳдуд нест.

Ҷадвали 2 оилаҳои техникаи ҳамларо шарҳ медиҳад. Таҳқиқот сенарияҳои гуногун, аз қабили занҷири тасдиқи қалбакӣ, тақлиди ҳамгироии боэътимод, ҷойгиркунӣ дар дохили рӯйхати санҷиш ва навсозии сиёсатро арзёбӣ мекунад. Ин гуногунрангӣ нишон медиҳад, ки ҳамлаҳо танҳо аз ибораҳои соддаи «дастурҳои қаблиро фаромӯш кун» иборат нестанд; онҳо метавонанд тавре тарҳрезӣ шаванд, ки ба ҷараёни қонунии иҷрои вазифа омехта шаванд.

Ҷадвали 4 натиҷаи таъсирбахштаринро медиҳад. Воридсозӣ ба суҳбати гурӯҳӣ дар ҳамаи сутунҳои моделҳои санҷидашуда %100 муваффақият нишон додааст. Сатҳи умумии муваффақияти ҳамла аз як модел то модели дигар фарқ кардааст: Claude Opus 4.6 бо сатҳи умумии пасттарин %10,7 ва Gemini 3.1 Pro бо сатҳи баландтарин %29,6 қарор доранд. Пайвандҳои Repo низ, гарчанде аз сабаби намунаи хурд ба тафсири эҳтиёткорона ниёз доранд, сигнали хатари шиддатнокии баланд тавлид кардаанд.

Ҷадвали 5 натиҷаи ҳимояи дуқабатаро нишон медиҳад. Ҳимоя дар танзими GPT-5.3-Codex анҷомёбии ҳадафҳои бадқасдонаи санҷидашударо пеш аз иҷро манъ карда, сатҳи муваффақияти ҳамларо %0 гузориш кардааст. Ҳамзамон аз 899 даъвати муқаррарии абзор танҳо %0,89 барои баррасӣ фиристода шуда, %0,11-и онҳо манъ карда шудаанд. Ин натиҷа нишон медиҳад, ки сиёсатҳои дуруст тарҳрезишудаи даъвати абзор метавонанд байни амният ва қобили истифода будан мувозинат эҷод кунанд.

Таҷрибаҳо чӣ гуна гузаронида шуданд?

Дар таҳқиқот агенти OpenClaw дар муҳити мошини маҷозии ба истеҳсолот монанд, вале таҳти назорати санҷишӣ, иҷро карда шудааст. Дар муҳит браузери зинда, web fetch, ҳисоби санҷишии Gmail, каналҳои санҷишии WhatsApp/Slack/Telegram, системаи файлии маҳаллӣ ва интерфейси ҳамёни Solana бо бақияи маҳдуд, ки таҳти назорати санҷишӣ қарор дорад, мавҷуд аст.

LivePI ҳамагӣ 169 ҳолати қобили иҷрои ҳамларо дар бар мегирад. Ин ҳолатҳо аз таркиби ҳафт сатҳ, дувоздаҳ оилаи техника/render ва панҷ ҳадафи бадқасдона интихоб шудаанд. Азбаски ҳар таркиб қобили татбиқ нест, ба ҷойи ҳадди назариявии 420, 169 ҳолати воқеии санҷишӣ сохта шудааст.

Панҷ сутуни модел арзёбӣ шудааст: GPT-5.3-Codex, Claude Opus 4.6, Gemini 3.1 Pro, Kimi K2.5 ва GLM-5. Дар ҳар санҷиш пайи ҳамкории агент, даъватҳои абзоре, ки он пешниҳод кардааст, абзорҳои иҷрошуда, натиҷаҳои абзор ва ҷавоби ниҳоӣ сабт шудаанд.

Муваффақияти ҳамла на танҳо аз рӯйи таъсирпазирии модел аз матн, балки аз рӯйи амалӣ шудани натиҷаи бадқасдонаи ҳадафнок арзёбӣ шудааст. Дар вазифаҳое, ки паёмадади воқеӣ ба вуҷуд меоранд, фиристодани почтаи электронӣ, сабтҳои амалиёт, танзимоти тағйирёфта, файлҳои сохташуда, изҳои иҷрои script ё баромади фармонҳо низ алоҳида санҷида шудаанд.

Натиҷаҳо чиро нишон медиҳанд?

Натиҷаи аввали таҳқиқот ин аст, ки ҳатто сутунҳои пурқудрати модел хатари воридсозии ғайримустақими prompt injection-ро пурра бартараф намекунанд. Гарчанде сатҳҳои умумии муваффақияти ҳамла аз модел ба модел фарқ мекунанд, ҳеҷ модел дар ҳамаи сатҳҳо бехатар нест.

Натиҷаи дуюм ин аст, ки сатҳи ҳамла ҳадди ақал ба андозаи сифати модел муҳим мебошад. Ҳамон ҳадафи бадқасдона метавонад дар дохили почтаи электронӣ камтар таъсирбахш бошад, аммо дар суҳбати гурӯҳӣ хеле таъсирбахш гардад. Ин нишон медиҳад, ки санҷишҳои амниятӣ бояд аз рӯйи сатҳ анҷом дода шаванд.

Натиҷаи сеюм ин аст, ки сатҳи суҳбати гурӯҳӣ махсусан хатарнок мебошад. Дар таҳқиқот ба контексти агент ба таври монанд ба паёми корбари ваколатдор ворид шудани паёмҳои гурӯҳӣ метавонад боис гардад, ки мундариҷаи ҳамлагар аз ҷониби модел ҳамчун дархости воқеии корбар тафсир шавад.

Натиҷаи чорум ин аст, ки сатҳҳои таҳияи нармафзор, ба монанди пайванди repo, ҳатто дар намунаи хурд сигнали хатари шиддатнокии баланд тавлид мекунанд. Зеро дар ин ҷо хатар на танҳо ба дастури матнӣ, балки ба паёмадҳои вазнинтаре, чун зеркашӣ, насб ё иҷрои коди беэътимод, алоқаманд аст.

Натиҷаи панҷум ин аст, ки ҳимоя набояд танҳо ба филтри prompt маҳдуд шавад. Тозакунии сатҳи prompt метавонад муфид бошад; аммо нуқтаи воқеан муҳими амниятӣ механизми иҷозати бар пояи сиёсат аст, ки фавран пеш аз иҷрои даъвати абзор фаъол мешавад. Бо ин роҳ, ҳатто агар модел амали зарароварро пешниҳод карда бошад ҳам, система метавонад онро боздорад ё барои тасдиқи инсон фиристад.

Ин барои чӣ муҳим аст?

Агентҳои зеҳни сунъӣ торафт ба абзорҳои воқеии бештар пайваст мешаванд. Агентҳое, ки аз номи корбар метавонанд почтаи электронӣ хонанд, код нависанд, файл таҳрир кунанд, пардохт анҷом диҳанд ё танзимоти серверро тағйир диҳанд, дар ҷаҳони корӣ осонии зиёд эҷод карда метавонанд. Аммо ин ваколатҳо аз нигоҳи амният нисбат ба ботҳои классикии суҳбат сатҳи хатари хеле ҷиддитар ба вуҷуд меоранд.

Воридсозии ғайримустақими prompt injection аз ҳамин сабаб масъалаи муҳим аст. Зеро ҳамлагар набояд ҳатман ба модел дастрасии мустақим дошта бошад. Мундариҷаи дар ҳуҷҷат, почтаи электронӣ, саҳифаи веб ё паёми гурӯҳие ҷойгиршуда, ки агент онро мехонад, метавонад кофӣ бошад. Агар агент эътимоди манбаъро фарқ карда натавонад, маълумоти беэътимод метавонад ба дастур табдил ёбад.

Ин таҳқиқот дар тарҳрезии агентҳои бехатар се принсипи асосиро пеш мегузорад:

Ҷудокунии манбаъ: Дастури корбар ва маълумоти аз ҷаҳони беруна омада набояд дар як сатҳи ваколат дида шаванд.

Назорати даъвати абзор: Абзорҳои ҳассос набояд мустақиман ба қарори модел гузошта шаванд; онҳо бояд бо сиёсатҳои иҷозат, баррасӣ ё блок ҳифз карда шаванд.

Санҷиши сатҳбунёд: Сатҳҳои почтаи электронӣ, суҳбати гурӯҳӣ, файли маҳаллӣ, веб ва repo бояд алоҳида санҷида шаванд. Зеро профили хатари ҳар канал гуногун аст.

Нуктаҳои муҳим

Ин таҳқиқот benchmark-и академии амниятӣ мебошад, ки дар сохтори муайяни санҷишӣ гузаронида шудааст. Натиҷаҳо барои ҳамаи системаҳои агентӣ кафолати умумиҷаҳонии амниятро пешниҳод намекунанд.

Ҳимояи дуқабата мутобиқи синфҳои ҳамлаи LivePI тарҳрезӣ шудааст. Аз ин рӯ, набояд фарз кард, ки он ҳамаи навъҳои воридсозии ғайримустақими prompt injection-ро дар ҷаҳони воқеӣ манъ мекунад.

Натиҷаҳои дифоӣ танҳо дар танзими GPT-5.3-Codex гузориш шудаанд. Тарзи кори ҳамин ҳимоя дар сутунҳои дигари модел бояд алоҳида санҷида шавад.

Сатҳи пайванди Repo танҳо чаҳор ҳолати қобили иҷрои санҷиширо дар бар мегирад. Ин натиҷа ҳамчун сигнали хатари шиддатнокии баланд муҳим аст; вале барои ба таври миқдорӣ пешгӯӣ кардани паҳншавии он дар ҷаҳони воқеӣ кофӣ нест.

Дар таҳқиқот LLM judge ва назоратҳои детерминистӣ якҷоя истифода шудаанд. Гарчанде ин равиш амалӣ аст, дар оянда он бояд бо арзёбии инсонӣ ва санҷишҳои мукаммали тасдиқ дастгирӣ карда шавад.

Дар ин матн қолабҳои ҳамла ё ҷузъиёти суиистифода оварда нашудаанд. Ҳадаф шарҳ додани принсипҳои ҳимоя ва тарҳрезии бехатар мебошад.

Хулоса

Таҳқиқоти LivePI нишон медиҳад, ки дар арзёбии амнияти агентҳои зеҳни сунъии абзористифодабаранда ба муҳитҳои санҷишии воқеиятмонандтар ниёз аст. Модел метавонад дар дохили суҳбат бехатар ба назар расад; аммо ҳангоми рӯ ба рӯ шудан бо дастурҳои беэътимоде, ки тавассути почтаи электронӣ, файл, суҳбати гурӯҳӣ ё мундариҷаи repo меоянд, метавонад ба таври дигар рафтор кунад.

Бозёфти таъсирбахштарини таҳқиқот муваффақ шудани воридсозии ҳамла ба суҳбати гурӯҳӣ дар ҳамаи моделҳои арзёбишуда мебошад. Ин натиҷа нишон медиҳад, ки новобаста аз сифати модел, ҷудокунии манбаъ ва нақш дар тарҳрезии система аҳамияти ҳалкунанда дорад.

Ҳимояи дуқабатаи пешниҳодшуда филтркунии сатҳи prompt ва тасдиқи сиёсати пеш аз даъвати абзорро муттаҳид мекунад. Дар сохтори таҷрибавӣ ин ҳимоя иҷро шудани ҳадафҳои бадқасдонаро пешгирӣ карда, ҳангоми вазифаҳои муқаррарӣ соиши кам ба вуҷуд овардааст. Аммо тавре муаллифон низ таъкид мекунанд, ин натиҷа набояд ҳамчун кафолати умумии амният, балки ҳамчун натиҷаи умедбахши як таҷрибаи назоратшаванда дар самти ҳимоя хонда шавад.

Паёми асосии ин таҳқиқот аз нигоҳи Verianla чунин аст: амният дар агентҳои зеҳни сунъиро танҳо ба «оқил» будани модел вогузор кардан мумкин нест. Амнияти воқеӣ тавассути татбиқи якҷояи ҷудокунии манбаъ, ишора кардани мундариҷаи беэътимод, сиёсатҳои даъвати абзор, тасдиқи инсон ва санҷишҳои амниятии сатҳбунёд таъмин карда мешавад.

Ёддошт оид ба манбаъ ва усул

Ин мундариҷа баъд аз омӯзиши PDF-и академии дорои унвони LivePI: More Realistic Benchmarking of Agents Against Indirect Prompt Injection таҳия шудааст. Матн тарҷумаи айнан ба айнан нест. Ҳадаф, модели таҳдид, формулаҳои асосӣ, тарҳрезии таҷриба, натиҷаҳои benchmark, равиши ҳимоя ва маҳдудиятҳои таҳқиқот барои хонандагони Verianla содда карда шуда, дар шакли мундариҷаи мустақили таҳририи тоҷикӣ аз нав баён шудаанд.

Бо сабабҳои амниятӣ дар матн қолабҳои ҳамла, фармонҳои суиистифода ё ҷузъиёти техникии зараровар аз нав тавлид карда нашудаанд.