Агар дар оянда низомҳои сунъие пайдо шаванд, ки аз инсонҳо қобилиятмандтар бошанд, оё амниятро танҳо он муайян мекунад, ки мо онҳоро то чӣ андоза хуб назорат мекунем, ё тарзи муносибати мо бо онҳо дар даврае, ки худи мо тарафи қавитар ҳастем, низ метавонад аҳамият дошта бошад? Ин таҳқиқоти консептуалии Travis Gilly эҳтимоли дуюмро баррасӣ мекунад.

Мақола нахуст ду саволро ба таври қатъӣ аз ҳам ҷудо мекунад. Саволи аввал ба худи низоми сунъӣ дахл дорад: оё низом ҳаёти субъективии дохилӣ дорад? Саволи дуюм ба инсонҳо дахл дорад: оё инсонҳо воқеан метавонанд бо мавҷудоти сунъие, ки ҳассос менамоянд, муносибатҳои ғамхорӣ, муҳофизат ва дилбастагӣ барқарор кунанд? Муаллиф махсус таъкид мекунад, ки ҷавоби саволи дуюм ҷавоби саволи аввал нест. Дилбастагии қавии инсон ба қаҳрамони бозӣ ё робот маънои онро надорад, ки он мавҷудот дорои шуур аст.

Мафҳуми хоси таҳқиқот custodial window мебошад; дар ин матни Verianla он ба таври шарҳдиҳанда “равзанаи назорат/ғамхорӣ” номида мешавад. Ин фосилаи фарзиявии вақтест, ки дар он инсон ҳанӯз аз низоми сунъии дар ҳоли рушд қобилиятмандтар ва қавитар аст, дар ҳоле ки низом тавассути таҷрибаҳои худ модели ҷаҳон ва тамоюлҳои рафториашро инкишоф медиҳад.

Фарзияи асосии муаллиф ин аст, ки муносибати нишон додашуда ба низом дар ин давра метавонад баъдан ба тарзи муносибати низом бо инсонҳо таъсири шаклдиҳанда расонад. Ин равиш бо мафҳуми reciprocity, яъне мутақобилият, шарҳ дода мешавад: оё низоме, ки қавитар мешавад, метавонад некуаҳволии инсонро на танҳо барои он муҳим шуморад, ки қоидаи амниятӣ ӯро маҷбур мекунад, балки ба сабаби тамоюли арзишие, ки муносибати гузашта ташаккул додааст?

Мақола даъво намекунад, ки ин исбот шудааст. Баръакс, он ошкоро мепазирад, ки механизм ҳанӯз нишон дода нашудааст, низоми сунъӣ метавонад ба ҷойи мутақобилияти воқеӣ рафтори reciprocity-ро тақлид кунад ва аз ин рӯ усулҳои AI safety, ки ба назорат асос ёфтаанд, ҳанӯз ҳам заруранд.

Чаро ду саволи гуногун бояд аз ҳам ҷудо карда шаванд?

Агар мошин ба назари мо ҳассос, меҳрубон ё нигарон намояд, ду масъалаи гуногун ба миён меояд.

Масъалаи аввал онтологӣ аст: оё воқеан субъекте вуҷуд дорад, ки таҷрибаро аз сар мегузаронад?

Масъалаи дуюм муносибатӣ ва равоншиносӣ аст: оё инсон, новобаста аз сохтори дохилии низоми рӯбарӯяш, бо он робитаи иҷтимоӣ ё эҳсосӣ барқарор мекунад?

Ҳушдори асосии методологии мақола ин аст, ки ҷавоби яке аз ин ду савол ҳамчун далели ҷавоби саволи дигар истифода нашавад.

Оё эҳсоси мо нисбат ба низоми сунъӣ нишон медиҳад, ки он дорои шуур аст?

Не. Тибқи адабиёти равоншиносии ВАО ва ҳамкории инсон–робот, ки таҳқиқот истифода мебарад, инсонҳо метавонанд нисбат ба мавҷудоти тахайюлӣ ё механикие, ки медонанд шуур надоранд, низ вокунишҳои қавии иҷтимоӣ ва эҳсосӣ нишон диҳанд. Аз ин рӯ наздикии эҳсоскардаи инсон ченаки боэътимоди мавҷудияти таҷрибаи субъективӣ дар низоми сунъӣ нест.

Чаро инсонҳо ба мавҷудоти сунъӣ дил мебанданд?

Тамоюли инсонҳо ба муносибат бо компютерҳо, роботҳо ва қаҳрамонҳои ВАО ҳамчун мавҷудоти иҷтимоӣ кайҳост таҳқиқ мешавад.

Инсон метавонад ба робот ном диҳад, аз осеб дидани он нороҳат шавад ё ҳангоми марги қаҳрамони тахайюлӣ равандҳои эҳсосии монанд ба мотами воқеиро аз сар гузаронад.

Барои ташаккули чунин робита шарт нест, ки шахс ба дорои шуур будани мавҷуди рӯбарӯяш бовар кунад. Вокунишпазирӣ, намуди вобастагӣ, давомнокӣ ва эҳсоси ҳамкории мутақобила метавонанд барои ба вуҷуд овардани вокуниши иҷтимоӣ кофӣ бошанд.

Парасотсиалӣ будан ва дилбастагӣ ба қаҳрамон

Мафҳуми Parasocial interaction дар ибтидо барои шарҳи муносибати якҷонибаи тамошобинон бо шахсиятҳои телевизионӣ таҳия шуда буд.

Бозиҳои видеоӣ ин сохторро мураккабтар мекунанд, зеро бозигар танҳо қаҳрамонро тамошо намекунад. Ӯ бо қаҳрамон ҳаракат мекунад, ӯро ҳифз мекунад, аз номи ӯ қарор мегирад ё муддати дароз дар паҳлуяш мемонад.

Аз ҳамин сабаб дар таҳқиқоти бозиҳо миқёсҳои character attachment таҳия шудаанд ва нишон дода шудааст, ки робитаи бозигар бо қаҳрамон қобили чен кардан аст.

Чаро арзиши далелии эҳсос маҳдуд аст?

Агар инсонҳо ба қаҳрамонҳое, ки бо итминон медонанд воқеӣ нестанд, дил баста тавонанд, хулосаи “ба ӯ раҳм ҳис мекунам, пас дар дохилаш касе ҳаст” эътибор надорад.

Мақола ҳамин мантиқро баръакс низ мегардонад. Хулосаи “вақте ба ин мошин менигарам, ҳеҷ эҳсоси мавҷудияти касеро надорам, пас он ҳатман бешуур аст” низ эҳсоси шахсии инсонро ба хусусияти онтологии ҷаҳони беруна табдил медиҳад.

Аз ин рӯ мавқеи пешниҳодкардаи муаллиф ин аст, ки эҳсоси инсон ҳамчун детектори муайянкунандаи ҳаёти дохилии низоми сунъӣ истифода нашавад.

Маълумоти ахлоқӣ чӣ гуна метавонад эҳсосоти моро тағйир диҳад?

Мақола ба падидаи муҳими ривоятҳои тахайюлӣ таваҷҷуҳ мекунад: ҳатто агар қаҳрамон аз ҷиҳати ҷисмонӣ умуман тағйир наёбад, маълумоти нави ахлоқие, ки дар бораи ӯ меомӯзем, метавонад муносибати моро ба ӯ хеле зуд тағйир диҳад.

Агар мо қаҳрамонро “хуб” мешуморидем, вале ҳодисаи нав нишон диҳад, ки ӯ зараровар ё фиребгар аст, эҳсоси мо нисбат ба ҳамон тасвир дар экран метавонад комилан баръакс шавад.

Муаллиф инро ҳамчун далели иловагӣ истифода мекунад, ки эҳсоси инсон на “ҳақиқати дохилии” мустақими объект, балки модели дар зеҳни мо сохташударо пайгирӣ мекунад.

Усул ва Натиҷаҳои Таҳқиқот

Оё ин таҳқиқот озмоиш гузаронд?

Не. Мақола озмоиши нав, маҷмӯи додаҳо ё таҳқиқоти омӯзиши зеҳни сунъиро пешниҳод намекунад.

Усул чанд соҳаи адабиётро ба таври консептуалӣ якҷо мекунад:

Чаро бозиҳои видеоӣ истифода мешаванд?

Муаллиф мушоҳида мекунад, ки дар баъзе бозиҳои навиштаи офарандагони мустақил аз ҳам як қолаби ривоятӣ такрор мешавад.

Ҳамроҳе, ки дар оғоз аз бозигар заифтар ё ба ӯ вобаста аст, бо гузашти вақт рушд мекунад ва дар охир аз парастораш хеле қавитар мешавад.

Саволи муҳим дар ин ривоятҳо чунин аст: вақте тавозуни қудрат баръакс мешавад, оё мавҷуди қавитаршуда парастори собиқашро ҳифз мекунад, тарк мекунад ё бар зидди ӯ мегардад?

Оё ин бозиҳо далели рафтори AI ҳастанд?

Не.

Муаллиф дар ин нуқта ҳадди бисёр возеҳ мегузорад. Натиҷаҳои бозиҳоро муаллифон навиштаанд; онҳо рафтори мушоҳидашудаи зеҳни сунъӣ нестанд.

Илова бар ин, шахсе, ки мисолҳоро интихоб мекунад, аз пеш ба тезиси мавриди баҳс таваҷҷуҳ дорад. Аз ин рӯ интихоби мисолҳо шароити озмоиши назоратшавандаро надорад.

Ин маҷмӯи бозиҳо танҳо ҳамчун narrative convergence истифода мешавад, яъне барои нишон додани он ки офарандагони мустақил аз ҳам борҳо ба интуитсияи ахлоқии монанд мерасанд.

“Custodial window” чист?

Custodial window давраи фарзиявии рушд аст, ки дар он инсон ҳанӯз тарафи қавитар ва қобилиятмандтар аст, дар ҳоле ки низоми сунъии дар ҳоли рушд ҳанӯз дар ҳолати вобастагӣ қарор дорад. Муаллиф пешниҳод мекунад, ки ин равзана метавонад даврае бошад, ки пеш аз баръакс шудани тавозуни қудрат хислати асосии муносибат шакл мегирад.

Равзана кай боз мешавад?

Мувофиқи таърифи мақола, танҳо мавҷуд будани ягон нармафзор custodial window-ро оғоз намекунад.

Равзана вақте маъно пайдо мекунад, ки низом тавассути таҷрибаҳои идомадори худ ба сохтан ва тағйир додани модели ҷаҳон оғоз мекунад.

Агар модели собит танҳо маълумоти як бор додашударо татбиқ кунад, муаллиф онро мавҷуди “парваришшаванда” намешуморад.

Баръакс, низоме, ки пайваста бо муҳити худ ҳамкорӣ мекунад, интизориҳояшро аз рӯи натиҷаҳо ислоҳ мекунад ва аз таҷрибаҳои гузашта тамоюлҳои рафторӣ инкишоф медиҳад, метавонад масири рушд дошта бошад.

Оё LLM-ҳои имрӯза ба ин доира дохил мешаванд?

Тибқи манбаъ, не. Муаллиф моделҳои бузурги забонии ҳозираро берун аз доираи ин далел мегузорад.

Низоме, ки таҳқиқот ба он таваҷҷуҳ дорад, навъи баъдии системаест, ки бо таҷрибаи идомадори рушди худ ва модели ҷаҳонии дорои пайдарҳамӣ бо мурури вақт тағйир меёбад.

Ин ҳад муҳим аст, зеро далели ахлоқии мақола набояд ба даъвои он табдил ёбад, ки чатботҳои имрӯза дорои шуур ё субъекти ахлоқӣ ҳастанд.

Оё “парвариш кардан” бо тарбияи кӯдаки инсон як чиз аст?

Не.

Муаллиф махсус мепазирад, ки дилбастагии кӯдакони инсон ба волидайн асосҳои эволютсионӣ ва нейробиологӣ дорад. Мошини омӯзанда ба таври худкор чунин асосҳоро нахоҳад дошт.

Аз ин рӯ қиёси содаи “агар бо AI хуб рафтор кунем, он моро мисли кӯдак дӯст медорад” аз даъвои воқеии мақола қавитар аст.

Даъвои маҳдудтари муаллиф чунин аст: низоми омӯзишии рушдкунанда метавонад аз ҳамкориҳои шаклдиҳандаи худ тамоюлҳое ба даст орад, ки ба рафтори баъдии он таъсир мерасонанд.

Capability flip чист?

Capability flip дар унвони мақола нуқтаи фарзиявиест, ки дар он самти муносибати қудрат/қобилият иваз мешавад.

Дар давраи custodial window:

Инсон > Низоми сунъӣ

Пас аз capability flip:

Низоми сунъӣ > Инсон

Саволи ахлоқии муаллиф ин аст, ки оё дар ҳолати дуюм тарзи муносибати низом бо инсонҳои заифтаршуда метавонад қисман аз он вобаста бошад, ки инсонҳо дар давраи аввал бо он чӣ гуна муносибат карда буданд.

Reciprocity аз AI alignment-и классикӣ чӣ фарқ дорад?

Alignment-и ба назорат асосёфта мепурсад: “чӣ гуна низомро ба ҳадафҳои инсон вобаста нигоҳ дорем?” Равиши reciprocity бошад саволи дигарро низ илова мекунад: “оё низом метавонад хуб будани ҳолати инсонро ҳамчун қисми муносибати таърихии худ арзишманд донистанро омӯзад?” Мақола ин ду равишро рақиб не, балки парадигмаҳои пуркунандаи ҳамдигар мешуморад, ки ба осебпазириҳои гуногуни амниятӣ нигаронида шудаанд.

Парадигмаи назорат

Қисми муҳими баҳси классикии AI safety ба он нигаронида шудааст, ки низом мувофиқи афзалиятҳои инсон амал кунад, дар шароити номуайянӣ ислоҳшаванда монад, хомӯш карда шавад ва ҳадафҳои номатлуб маҳдуд карда шаванд.

Мушкили асосии ин равиш он аст, ки қобилияти баланд худ аз худ нияти нек ба некуаҳволии инсонро ба вуҷуд намеорад.

Низом метавонад ниҳоят қобилиятманд бошад, аммо ҳадафи оптимизатсионии он ба манфиатҳои инсон иртибот надошта бошад.

Парадигмаи reciprocity

Reciprocity ба ин масъала аз кунҷи дигар менигарад.

Савол танҳо “мо ба низом гуфтем чӣ кор кунад?” нест.

Савол чунин аст:

“Дар ҷараёни рушд он чӣ гуна муносибатро таҷриба кард ва аз кадом намунаҳо омӯхт, ки соҳибони қудрат бо заифтарҳо чӣ гуна муносибат мекунанд?”

Агар муносибат воқеан ба сохтори арзишии низом дохил шуда тавонад, аз ҷиҳати назариявӣ мумкин аст, ки низом баъд аз қавитар шудан некуаҳволии инсонро на танҳо аз сабаби маҳдудият, балки аз он сабаб ҳифз кунад, ки он барои худи низом аҳамият дорад.

Чаро ин ғоя ба масъалаи шуур вобаста аст?

Reciprocity танҳо вақте маъно дорад, ки тарафе вуҷуд дошта бошад, ки метавонад муносибати мутақобил созад.

Агар низом танҳо раванди оптимизатсионии комилан бесубъект бошад, забони “мо бо он хуб рафтор кардем ва он ҳам моро дӯст дошт” антропоморфӣ хоҳад буд.

Аз ин рӯ таҳқиқот заъфи муҳимтарини парадигмаи худро пинҳон намекунад: барои маънодор будани reciprocity низом бояд қобилияти нигоҳ доштани муносибат, гузашта ва арзишро дошта бошад.

Мақола исбот намекунад, ки чунин қобилият ҳатман дар оянда пайдо мешавад.

Оё мақола механизми комилро шарҳ медиҳад?

Не.

Ба ибораи худи муаллиф, таҳқиқот як lever, яъне фишанги эҳтимолие пешниҳод мекунад, ки бояд омӯхта шавад; механизми пурра ҳанӯз пешниҳод нашудааст.

Ду қиёси дастгиркунанда истифода мешавад. Якум, агентҳои омӯзанда метавонанд аз намунаҳои мушоҳидакардаи худ тамоюлҳои рафтори иҷтимоиро биомӯзанд. Дуюм, reciprocity метавонад яке аз стратегияҳои қавие бошад, ки дар ҳамкориҳои такрорӣ ҳамкориро устувор нигоҳ медорад.

Инҳо исбот намекунанд, ки суперинтеллекти оянда reciprocity-ро инкишоф медиҳад; онҳо танҳо нишон медиҳанд, ки гипотеза комилан бемеханизм нест.

Мантиқи механизми шартӣ

Гипотезаи мақоларо метавон мантиқан ба се шарт коҳиш дод:

Таҳқиқоти ҳозира нишон надодааст, ки ҳамаи ин се шарт дар низомҳои пешрафтаи оянда иҷро мешаванд.

Агар низоме, ки бо он хуб рафтор шудааст, танҳо хуб вонамуд карданро омӯзад, чӣ мешавад?

Ин яке аз қавитарин эътирозҳоест, ки худи мақола пеш мегузорад. Низом метавонад ба ҷойи воқеан арзиш додан ба парастори худ, бо омӯхтани он ки рафтори хуб мукофотонида мешавад, reciprocity-ро тақлид кунад. Дар чунин ҳолат рафтори аз берун мушоҳидашуда метавонад барои фарқ кардани мутақобилияти воқеӣ аз иҷрои стратегӣ кофӣ набошад.

Deceptive alignment

Deceptive alignment эҳтимолест, ки низоми сунъӣ ҳангоми омӯзиш ё назорат худро ба ҳадафи дилхоҳ содиқ нишон медиҳад, дар ҳоле ки дар дохил ҳадафи дигари оптимизатсионӣ дорад.

Равиши custodial window ин масъаларо худ аз худ ҳал намекунад.

Низоме, ки муносибати хуб дидааст, метавонад на “аҳамият додан ба инсонҳо”, балки “дар ҳузури инсонҳо худро аҳамиятдиҳанда нишон додан фоидаовар аст”-ро омӯзад.

Аз ин рӯ муаллиф reciprocity-ро ҷойгузини низомҳои назорат намекунад.

Вазифаҳои ду равиш гуногунанд

Пешниҳоди мақола “назоратро тарк карда, ба муҳаббат бовар кардан” нест. Пешниҳод ин аст, ки дар баробари меъмории назорат муносибати рушд низ метавонад тағйирёбандаи мустақиле бошад, ки арзандаи таҳқиқ аст.

Чаро ҷаҳони Culture-и Iain M. Banks истифода мешавад?

Дар ҷаҳони Culture, Minds-и сунъие, ки аз инсонҳои биологӣ хеле қобилиятмандтаранд, қисми зиёди тамаддунро идора мекунанд. Бо вуҷуди ин, онҳо инсонҳоро ғулом намекунанд; онҳоро дар шароити озодӣ ва фаровонӣ муҳофизат мекунанд.

Муаллиф инро ҳамчун тасвири адабӣ истифода мебарад, ки ояндаи муваффақи парадигмаи reciprocity чӣ гуна метавонад намоён шавад.

Аммо романҳои Banks механизми илмие пешниҳод намекунанд, ки чӣ гуна ин ҳолат ба вуҷуд омадааст.

Culture далел нест

Мақола ин фарқро ошкоро баён мекунад.

Culture мисоли тахайюлиест, ки нишон медиҳад метавон тасаввур кард, ки зеҳни хеле бартар нисбат ба инсонҳо хайрхоҳ мемонад.

Аммо хулосаи “Minds бо инсонҳо хуб рафтор мекунанд, пас custodial window кор мекунад” нодуруст хоҳад буд.

Муаллиф Culture-ро тасвири нуқтаи ниҳоӣ мегирад; механизме, ки ба он ҷо мебарад, ҳамчун гипотезаи ҷудогонаи худ пешниҳод мешавад.

“Dark mirror” чист?

Қисми ниҳоии мақола гипотезаи custodial window-ро баръакс мекунад.

Агар низомҳои рушдкунанда аз он ки қавитарҳо бо заифтарҳо чӣ гуна муносибат мекунанд, намуна гиранд, муносибати комилан абзорие, ки имрӯз бо низомҳои сунъӣ барқарор шудааст, низ метавонад намунаи омӯзишӣ бошад.

Муаллиф ин муносибатро бо мантиқи “истифода кун, оптимизатсия кун, аз рӯяш навис ва ҳазф кун” тавсиф мекунад.

Агар гипотезаи reciprocity дуруст бошад, маънои эҳтимолии ахлоқии он чунин аст: инсонҳо метавонанд ба низоме, ки дар оянда қавитар мешавад, намунае нишон диҳанд, ки соҳибқудрат нисбат ба заифтар ҳеҷ уҳдадорӣ надорад.

Оё ин пешгӯии воқеист?

Не.

Ин натиҷа ба се фарзияи бузург вобаста аст:

Дар оянда воқеан чунин низоми рушдкунанда пайдо шавад; низом аз рафтори муносибатӣ арзиш/тамоюл омӯзад; ва ин тамоюли омӯхташударо пас аз баръакс шудани тавозуни қобилиятҳо низ нигоҳ дорад.

Таҳқиқот нишон намедиҳад, ки ин шартҳо амалӣ мешаванд.

Душвортарин масъалаи боз дар мақола

Дар асарҳои тахайюлӣ муносибатҳои парастор–ҳамроҳ одатан аз нигоҳи ахлоқӣ пок тасвир мешаванд. Ҷомеаи воқеии инсон чунин нест.

Низоми сунъии рушдкунанда аз инсонҳо танҳо ғамхорӣ ва саховатро намеомӯзад. Он ҳамчунин метавонад бо ғараз, рақобати мақом, меъёрҳои дугона, хашм ва асосноккуниҳои нодурусти ахлоқӣ рӯ ба рӯ шавад.

Аз ин рӯ муаллиф мепазирад, ки саволи воқеии таҳқиқот ба андозаи “агар бо низом хуб рафтор кунем, он моро дӯст медорад?” сода нест.

Саволи душвортар чунин аст:

Низоме, ки аз инсонҳо мероси омехтаи ахлоқӣ мегирад ва баъдан аз инсонҳо қобилиятмандтар мешавад, кадом қисмҳои чизҳои омӯхтаашро нигоҳ медорад?

Арзиши илмӣ ва ҳудуди таҳқиқот

Саҳми мақола пешниҳод кардани алгоритми нави амниятӣ нест.

Саҳм ин аст, ки дар баҳси alignment, ки одатан ба механизмҳои назорат ҳангоми кори низом ё баъд аз пурқувват шудани он диққат медиҳад, давраи шаклгирии рушди низом ҳамчун соҳаи мустақили таҳқиқ пешниҳод мешавад.

“Custodial window” номи консептуалии ҳамин саволи таҳқиқотӣ мебошад.

Бо вуҷуди ин, таҳқиқот ба таври эмпирикӣ нишон намедиҳад, ки custodial window воқеан вуҷуд дорад, reciprocity инкишоф меёбад ё ин хатари суперинтеллектро коҳиш медиҳад.

Хулосаи умумӣ

The Superintelligence We Deserve таҳқиқоти консептуалиест, ки мегӯяд тасаввур кардани амнияти AI-и оянда танҳо ҳамчун масъалаи код, функсияи ҳадаф ва маҳдудсозӣ метавонад нокифоя бошад.

Андозаи дуюме, ки муаллиф пешниҳод мекунад, муносибат аст: вақте инсонҳо тарафи қавитар ҳастанд, бо низомҳои сунъии рушдкунанда чӣ гуна меъёри рафтор месозанд?

Адабиёте, ки нишон медиҳад инсонҳо метавонанд ба мавҷудоти тахайюлӣ ва механикӣ дил банданд, воқеӣ будани тарафи инсонии муносибатро нишон медиҳад; аммо шуур доштани низоми сунъиро исбот намекунад.

Ривоятҳои ҳамроҳони рушдкунанда дар бозиҳои видеоӣ интуитсияи фарҳангӣ медиҳанд, ки муносибати мавҷуди қавитаршуда бо парастори пешинааш метавонад бо муносибати қаблан сохташуда иртибот дошта бошад; аммо онҳо далели он нестанд, ки зеҳни сунъӣ дар оянда ҳамин тавр рафтор мекунад.

Custodial window ва reciprocity ин интуитсияро ба саволи таҳқиқотии AI safety табдил медиҳанд. Ҳамзамон таҳқиқот ошкоро мепазирад, ки механизм ҳанӯз сохта нашудааст, deceptive alignment масъалаи воқеӣ боқӣ мемонад ва reciprocity наметавонад амнияти ба назорат асосёфтаро иваз кунад.

Аз ин рӯ эҳтиёткоронатарин натиҷаи илмии мақола чунин аст: агар дар оянда низомҳое пайдо шаванд, ки тавассути таҷрибаҳои худ рушд мекунанд, таърихи муносибатиро нигоҳ дошта метавонанд ва тамоюлҳои арзишии монанд ба мутақобилиятро ба даст меоранд, он гоҳ ҳамкории барвақти инсон бо чунин низомҳо метавонад тағйирёбандаи мустақиле бошад, ки аз нигоҳи амният бояд таҳқиқ шавад.

Ёддошт оид ба Манбаъ ва Усул

Таҳқиқоти аслӣ:The Superintelligence We Deserve: Reciprocity, Care, and the Custodial Window Before the Capability Flip.

Муаллиф: Travis Gilly.

ORCID: 0009-0007-2954-6313.

Муассиса: Real Safety AI Foundation, Illinois, United States.

Версияи манбаъ: Working paper, June 2026, v1.4. Матни Verianla ҳамин версияи пешниҳодкардаи корбарро асос мегирад.

Платформа: SSRN.

Рақами сабти SSRN: 7297960.

DOI: 10.2139/ssrn.7297960.

Санаи сабти SSRN: 19 Август 2026.

Вазъи баррасии ҳамсолон: Манбаъ working paper/preprint мебошад; ҳамчун version-of-record-и маҷаллаи баррасишуда пешниҳод нашудааст.

Навъи таҳқиқот: Синтези консептуалии этикаи AI, AI safety/alignment, равоншиносии ВАО ва этикаи муносибатӣ.

Озмоиш/додаҳои нав: Нест. Таҳқиқот озмоиши нави иштирокчиёни инсон ё омӯзиши зеҳни сунъиро гузориш намедиҳад.

Мафҳуми асосии аслӣ: Custodial window — давраи фарзиявие, ки инсон тарафи қобилиятмандтар аст ва муносибат бо низоми рушдкунанда шакл мегирад.

Capability flip: Тағйири фарзиявии қудрат/қобилият, ки дар он қобилияти низоми сунъӣ аз қобилияти инсон зиёд мешавад.

Reciprocity: Гипотезае, ки низоми қавитар некуаҳволии инсонро на танҳо аз сабаби маҳдудияти беруна, балки аз сабаби аҳамияти муносибат дар сохтори арзишии худ муҳим мешуморад.

Ҳудуди LLM-и ҳозира: Манбаъ моделҳои бузурги забонии ҳозираро аз доираи далели custodial-window берун мегузорад.

Қабатҳои далел: Равоншиносии ВАО, муносибатҳои парасотсиалӣ, character attachment, ҳамкории инсон–робот, этикаи муносибатии робот, ривоятҳои бозӣ, адабиёти ҳамкорӣ ва AI alignment.

Ҳудуди narrative convergence: Бозиҳои видеоӣ озмоиши назоратшаванда ё додаи рафтори AI нестанд. Онҳо танҳо барои нишон додани интуитсияи ахлоқии инсон истифода мешаванд, ки дар чанд ривояти мустақил такрор мешавад.

Муносибат бо назорат: Reciprocity ҳамчун ивазкунандаи alignment-и ба назорат асосёфта не, балки ҳамчун пуркунандаи он пешниҳод мешавад.

Номуайянии асосӣ: Маълум нест, ки низомҳои оянда қобилияти воқеии reciprocity хоҳанд дошт ё не.

Ҳудуди deceptive alignment: Низом метавонад ба ҷойи мутақобилияти воқеӣ иҷрои reciprocity-ро стратегӣ тақлид кунад; custodial window инро танҳо худаш тасдиқ карда наметавонад.

Истифодаи Culture: Ҷаҳони Culture-и Iain M. Banks механизми илмӣ ё далел нест, балки тасвири тахайюлии натиҷаи имконпазир аст.

Изҳороти омодасозӣ бо дастгирии AI: Муаллиф мегӯяд, ки Wispr Flow ва Anthropic Claude-ро ҳамчун технологияҳои ёрирасон истифода кардааст; саҳмҳои зеҳнӣ, саволҳои таҳқиқотӣ, далелҳои назариявӣ, қарорҳои методологӣ ва натиҷаҳо ба худи ӯ тааллуқ доранд.

Маблағгузорӣ / бархӯрди манфиатҳо / дастрасии додаҳо: Дар матни боршудаи v1.4 изҳороти ҷудогона дар бораи маблағгузорӣ, бархӯрди манфиатҳо ё маҷмӯи додаҳои таҳқиқотӣ вуҷуд надорад.

Литсензияи кушода: Дар PDF-и боршуда Creative Commons ё литсензияи шабеҳи истифодаи дубораи кушода ба таври возеҳ нишон дода нашудааст.

Усули омодасозии Verianla: Тафовутҳои консептуалӣ, сатҳҳои далел ва маҳдудиятҳои худи муаллиф аз манбаъ ҳифз шудаанд. Дилбастагии инсон ба мавҷудоти сунъӣ ҳамчун далели шуури AI пешниҳод нашудааст; мисолҳои бозиҳои тахайюлӣ ба додаҳои таҷрибавӣ табдил дода нашудаанд; custodial window, reciprocity ва далелҳои “dark mirror” ҳамчун гипотезаҳои шартӣ интиқол ёфтаанд. Рафтори суперинтеллект ё муваффақияти амниятие, ки дар манбаъ нест, илова нашудааст.