LifeGo-GPT — жергиликтүү Go жашоо-өлүм маселелериндеги тактанын абалдарын жана чечим жүрүштөрүн ырааттуу токен тизмектери катары иштеткен GPT тибиндеги авторегрессиялык Transformer модели. Изилдөөнүн негизги суроосу модель туура жүрүштү чыгара алабы же жокпу деген гана маселе эмес; изилдөөчүлөр моделге эч кандай ачык Go эрежеси же стратегиялык түшүнүк энбелгиси берилбестен, анын жашыруун активдешүүлөрүндө “демдер” (liberties), жашоо абалы, байланыштуулук жана ko сыяктуу тактикалык өзгөчөлүктөргө байланышкан түзүмдөлгөн ички өкүлчүлүктөр калыптанабы же жокпу, ошону изилдешет. Болжол менен 10.000 жергиликтүү tsumego маселеси менен үйрөтүлгөн LifeGo-GPT текшерүү маалыматтарында %98,6 жүрүш мыйзамдуулугун, %94,7 ± 0,6 канондук чечим тизмегинин тактыгын жана %92,1 жыйынтык жарамдуулугун билдирет.

Моделдин ички абалдарын талдоо үчүн изилдөөчүлөр Multi-Aspect World Probe (MAWP) аттуу көп баштуу probing системасын иштеп чыгышат. MAWP LifeGo-GPTнин аралык катмарларынан алынган жашыруун өкүлчүлүктөрдү жалпы өзгөчөлүк бөлүп алуучу аркылуу өткөрүп, беш тактикалык өлчөмдү өз-өзүнчө божомолдоого аракет кылат: жашоо абалы, демдердин саны, ko абалы, байланыштуулук жана тактикалык жыйынтык. Ошентип, моделдин жөн гана “туура жүрүштү” тандоосу эмес, ошол тандоону коштогон ички абал Goнун белгилүү тактикалык түзүмдөрү менен канчалык шайкеш келери да изилденет.

Изилдөө корреляциялык probing менен гана чектелбейт. Изилдөөчүлөр LifeGo-GPTнин алтынчы Transformer катмарындагы айрым жашыруун өкүлчүлүктөргө семантикалык багытталган кийлигишүүлөрдү колдонуп, андан кийинки жүрүш logitтеринин кандай өзгөрөрүн өлчөшөт. 1000 маселеде кийлигишүүдөн кийин top-1 жүрүш %95,4 учурда өзгөргөн, кокустук ызы-чуу кошулганда бул көрсөткүч %5,6, көлөмү бирдей, бирок багыты кокустук perturbation колдонулганда %18,7 болгон. Алгачкы беш талапкер жүрүш боюнча орточо абсолюттук logit өзгөрүүсү 3,21 түзгөн. Бул айырмачылыктар ички өкүлчүлүктөр модель жүрүм-туруму менен функционалдык байланышта экенине ишарат кылат; бирок авторлор муну белгилүү бир “Go түшүнүгүнүн” так себептик көзөмөлүнүн далили деп эсептөөгө болбой турганын өзгөчө баса белгилешет.

Изилдөөнүн чөйрөсү жергиликтүү жашоо-өлүм маселелери менен чектелет. LifeGo-GPT толук Go оюну үчүн кесипкөй кыймылдаткычтарды алмаштыруучу жалпы Go агенти эмес. KataGo жергиликтүү салыштырууда %99,2 жүрүш мыйзамдуулугу, %96,5 ± 0,4 тизмек тактыгы жана %97,8 жыйынтык жарамдуулугу менен күчтүүрөөк. Изилдөөнүн негизги илимий салымы — тизмек божомолу аркылуу үйрөтүлгөн модель жогорку өлчөмдүү жана мейкиндиктик стратегия чөйрөсүндө түзүмдөлгөн аралык өкүлчүлүктөрдү калыптантабы жана бул өкүлчүлүктөрдүн жүрүм-турумга функционалдык таасирин өлчөөгө болобу деген суроону изилдөө.

Go Жашоо-Өлүм Маселелери Эмне Үчүн “Микро-Дүйнө” Катары Колдонулат?

Go жашоо-өлүм же tsumego маселелери толук Go оюнунун бардык стратегиялык татаалдыгын камтыбастан, демдер, көздөр, байланыштуулук, ko жана тирүү/өлүү абалы сыяктуу так аныкталуучу жергиликтүү тактикалык түшүнүктөрдү камтыгандыктан, Transformer моделдеринин ички дүйнө өкүлчүлүктөрүн изилдөөгө ылайыктуу башкарылуучу микро-дүйнө берет.

Goнун толук 19 × 19 тактасында бир жүрүштүн баасы жергиликтүү таш топторунан аймакты көзөмөлдөөгө, алыстан аракеттенишүүлөрдөн глобалдык чабуул-коргонуу тең салмагына чейин көптөгөн факторлорго көз каранды. Бул жагдай божомолдоону гана эмес, божомол эмнеге берилгенин түшүндүрүүнү да татаалдаштырат.

Жашоо-өлүм маселелери болсо адатта тактанын чектелген бөлүгүнө багытталат. Максат — белгилүү бир таштар тобу кемчиликсиз оюнда жашайбы же жокпу, аны аныктоо. Маселе аймагы кичирээк болгону менен, Goнун негизги тактикасы сакталат: дем чекиттери, көз түзүү, кармоо жарыштары, байланыш, ko жана чечүүчү жүрүш чекиттери чогуу роль ойной алат.

Булактагы Figure 1 адегенде жергиликтүү жашоо-өлүм баштапкы абалын, андан кийин номерленген чечим жүрүштөрүн көрсөтөт. Топтун коопсуз жашай алышынын негизги мисалы — эки чыныгы көз түзүү. Изилдөө мындай маселелерди тизмек модели жөн гана токен корреляцияларын жаттап жатабы же тактанын абалына окшош көбүрөөк түзүмдөлгөн жашыруун өкүлчүлүктөрдү өнүктүрүп жатабы, ошону аныктоо үчүн колдонот.

Бул жерде дүйнө өкүлчүлүгү эмнени билдирет?

“World representation” деген сөз бул изилдөөдө модель Go тактасын адам сыяктуу аң-сезимдүү түрдө “түшүнөт” дегенди билдирбейт. Бул түшүнүк моделдин жашыруун активдешүүлөрүндө тышкы чөйрөнүн маанилүү түзүмдүк өзгөчөлүктөрү чечмелене ала тургандай берилерин билдирет.

Мисалы, LifeGo-GPTнин жашыруун абалдарынан бир таштар тобунун канча деми бар экенин, топтун жашоо абалын же байланыштуулук түзүмүн ишенимдүү божомолдоого болсо, бул маалымат моделдин өкүлчүлүк мейкиндигинде бар дегенди билдирет. Бирок маалыматты жашыруун өкүлчүлүктөн окууга болору модел чечим чыгарып жатканда ошол маалыматты колдонгонун өзүнчө далилдебейт. Изилдөөгө кийлигишүү эксперименттеринин кошулушунун негизги себеби ушунда.

Go тактасы тил модели үчүн киргизүүгө кантип айландырылат?

Ар бир tsumego үлгүсү башында SGF форматында болот. Изилдөөчүлөр маселени эки бөлүктөн турган ырааттуу токен тизмегине айлантышат:

1. максаттуу таш тобунун айланасындагы баштапкы такта жайгашуусу,
2. маселенин эталондук чечим жүрүштөрүнүн тизмеги.

Стандарттык 19 × 19 Go тактасында 361 кесилиш бар жана ар бир координата уникалдуу токен идентификаторуна дал келтирилет. Ошондуктан координата сөздүгү 361 негизги позицияны камтыйт. Такта абалы менен чечим тизмегин бөлүү жана тизмектин чек араларын белгилөө үчүн кошумча <BOS>, <SEP> жана <EOS> сыяктуу атайын токендер колдонулат.

Координаталар 1–361 аралыгындагы сандык идентификаторлор менен берилгени менен, изилдөөчүлөр бул сандык иретке ачык геометриялык маани беришпейт. Идентификаторлор категориялык индекстер катары кокус башталган үйрөнүлүүчү embeddingдерге берилет. Ошентип, модел “361 саны координата катары 360тын жанында” деген сыяктуу түз сандык геометрияны колдонсун деген максат жок; мейкиндиктик түзүлүштү окутуу маалыматтарынан үйрөнүшү керек.

Булактагы Figure 2 Go таш тактасынын ушул ырааттуу текстке окшош өкүлчүлүккө айландырылышын көрсөтөт. Бул айлантуу изилдөөнүн негизги эксперименттик идеясы болуп саналат: эки өлчөмдүү тактикалык дүйнө decoder-only тизмек моделине сызыктуу токен тизмеги катары берилет.

LifeGo-GPT Ачык Go Эрежелери Берилбестен Кантип Үйрөтүлөт?

LifeGo-GPT ачык “дем”, “көз”, “ko” же “бул жүрүш тыюу салынган” деген эрежелер менен программаланбастан, ырааттуу такта-абал жана чечим токендеринде кийинки токенди божомолдоону үйрөнгөн стандарттык авторегрессиялык максат менен үйрөтүлөт; тактикалык мыйзамченемдер моделдин жашыруун өкүлчүлүк мейкиндигинде окутуу маалыматтарынан пайда болушу күтүлөт.

Кийинки токендин ыктымалдыгы

Сериялаштырылган маселе:

\[ x=(x_1,x_2,\ldots,x_n) \]

түрүндө көрсөтүлөт. Модель ар бир \(t\) кадамында мурунку токендерге шартталган түрдө кийинки токендин ыктымалдыгын эсептейт:

\[ p_{\theta}(x_t\mid x_{

Бул жерде \(h_t\) акыркы Transformer катмарынын \(t\)-позицияда чыгарган жашыруун өкүлчүлүгү; \(W_o\) жашыруун өкүлчүлүктү сөздүк өлчөмүндөгү чыгуу logitтерине өзгөрткөн проекция матрицасы; \(\theta\) болсо модель параметрлерин билдирет.

Бул теңдеме моделдин “Go эрежесин” эсептөөсүн түз коддобойт. Моделдин милдети — мурунку такта жана жүрүш токендеринен кийинки ылайыктуу токендин ыктымалдык бөлүштүрүлүшүн үйрөнүү.

Тил модели жоготуусу

Окутууда teacher forcing колдонулуп, стандарттык терс лог-ыктымалдык жоготуусу минималдаштырылат:

\[ \mathcal{L}_{LM} = -\sum_{t=1}^{n} \log p_{\theta}(x_t\mid x_{

Төмөн жоготуу модель булак чечим тизмектериндеги кийинки токендерге жогорураак ыктымалдык берет дегенди билдирет. Бул окутуу максаты түздөн-түз “эки көз түз”, “self-atari кылба” же “демди сакта” сыяктуу символдук көрсөтмөлөрдү камтыбайт.

Маалымат топтому кантип түзүлгөн?

Булак маалыматтары 101 Weiqi, Xingzhen Go Platform жана Jueyi Go Platform сыяктуу жалпыга ачык онлайн Go булактарынан, ошондой эле Weiqi Life-and-Death Encyclopedia жана Fayang Lun сыяктуу жыйналган маселелер булактарынан алынган.

Маалымат топтомунда болжол менен 10.000 жашоо-өлүм сценарийи бар. Кыйынчылык бөлүштүрүлүшү болжол менен:

Айрым маселелердин бир нече жарактуу чечими болушу мүмкүн. Окутуу максаты катары булак материалындагы канондук чечим тизмеги колдонулат; баалоодо болсо ошол эле акыркы жашоо-өлүм натыйжасына алып барган альтернативдүү жолдор жыйынтык жарамдуулугунын алкагында кабыл алынат.

Маалымат агып кетүүсүн кантип азайтууга аракет кылынган?

Маалыматты көбөйтүүдөн мурун так кайталануулар маселе деңгээлинде өчүрүлгөн. Айлантуу же чагылдыруудан улам геометриялык жактан эквиваленттүү такта абалдары канондоштурулуп, кошумча кайталануулар аныкталган.

Окутуу жана текшерүү бөлүнүшү көбөйтүлгөн үлгү деңгээлинде эмес, түпкү маселе деңгээлинде жүргүзүлгөн. Ошентип, бир эле маселенин өзгөртүлгөн варианттары окутуу жана текшерүү бөлүктөрүндө бир убакта болбошуна аракет кылынган. Маалымат топтому болжол менен 8:2 окутуу/текшерүү катышында бөлүнгөн.

Түстү тескери айлантуу маселенин мааниси оюнчу түсүнүн өзгөрүшүнөн жабыркабаган учурларда гана колдонулган. Изилдөөчүлөр ошондой эле жакын-кайталануучу үлгүлөрдү текшерип, текшерүү маалыматтарынын агып кетүүсүн жана жасалма жогорулатылган тактык коркунучун азайтууга аракет кылышканын билдиришет.

LifeGo-GPT архитектурасы жана окутуу жөндөөлөрү

Бардык токен жана positional embedding параметрлери кокус башталган. Модель алдын ала үйрөтүлгөн табигый тил GPTсинин Goго түз көчүрүлүшү эмес.

Булактагы Figure 3 окутуу жана текшерүү жоготуулары epoch бою ырааттуу азайганын көрсөтөт. Сүрөттүн чийки сандык катары өзүнчө таблица түрүндө берилбегендиктен, Verianla графиктен так аралык маанилерди чыгарган эмес.

Булак терминологиясы боюнча эскертүү: Метод тексти моделди GPT тибиндеги decoder-only Transformer деп сүрөттөсө, Таблица 1 катмар санын “Transformer encoder depth” деп түшүндүрөт. Бул жерде метод баянындагы decoder-only аныктамасы сакталган, таблицадагы сөз айкашы булак ичиндеги терминологиялык айырма катары бааланган.

Моделдин Ийгилиги Кантип Өлчөнөт?

Изилдөө LifeGo-GPTни үч өзүнчө көрсөткүч менен баалайт: Move Legality болжолдонгон жүрүш ошол учурда мыйзамдуубу же жокпу, Sequence Correctness чыгарылган жүрүштөр тизмеги канондук чечимге туура келеби же жокпу, Outcome Validity болсо акыркы абал туура жашоо-өлүм жыйынтыгына жетеби же жокпу, ошону өлчөйт.

Move Legality

Модель чыгарган координата учурдагы такта абалында жарактуу Go жүрүшүнө туура келсе, мыйзамдуу деп саналат. Бул көрсөткүч модел негизги эрежелер түзүмүн кыйыр түрдө үйрөнгөн-үйрөнбөгөнүнүн биринчи көрсөткүчү.

Sequence Correctness

Чыгарылган чечим тизмеги булак маселедеги канондук чечим менен салыштырылат. Булак түшүндүрмөсү боюнча, канондук тизмек менен толук дал келбеген альтернативдүү жолдор бул көрсөткүчтө туура эмес деп эсептелет.

Outcome Validity

Болжолдонгон жүрүштөр тактада колдонулат жана максаттуу топтун акыркы жашоо-өлүм абалы тышкы KataGo кыймылдаткычы менен текшерилет. Канондук тизмектен айырмаланса да, ошол эле туура жашоо-өлүм абалына жеткирген альтернативдүү чечим бул көрсөткүчтө жарактуу деп кабыл алынышы мүмкүн.

Түшүндүрмө эскертүүсү: Бул аныктамалар боюнча Outcome Validity Sequence Correctnessка караганда кеңири болушу күтүлүшү мүмкүн; ошого карабастан, булак LifeGo-GPT үчүн %94,7 Sequence Correctness жана %92,1 Outcome Validity көрсөтөт. Булак бул мамиленин себебин өзүнчө түшүндүрбөгөндүктөн, Verianla себепти божомолдобойт.

Изилдөөнүн Ыкмасы жана Жыйынтыктары

LifeGo-GPTнин салыштырма жыйынтыктары

LifeGo-GPT үйрөтүлбөгөн Transformer базалык сызыгынан кыйла жогору чыгат. Жергиликтүү tsumego тапшырмасында LifeGo-GPTнин тизмек тактыгы Leela Zero жана RZSтен жогору, ANNге абдан жакын жана KataGoдон төмөн деп көрсөтүлгөн.

KataGo үч негизги көрсөткүчтүн баарында LifeGo-GPTден жогору мааниге ээ. Ошондуктан натыйжаны “LifeGo-GPT кесипкөй Go кыймылдаткычтарынан күчтүү” деп чечмелөөгө болбойт. Булак да кесипкөй кыймылдаткычтар айрыкча татаалыраак жана толук-такта абалдарында күчтүүрөөк экенин ачык айтат.

LifeGo-GPTнин илимий мааниси башка: модель Go эрежелери өзүнчө символдук система катары берилбестен, ырааттуу маселе маалыматтарынан жогорку деңгээлде мыйзамдуу жана туура жергиликтүү жүрүш тизмектерин үйрөнгөн. Изилдөөнүн кийинки бөлүмдөрү бул ийгиликтин артында кандай жашыруун өкүлчүлүк түзүмү бар экенин изилдейт.

Ката мисалдары кайсы учурларда топтолот?

Булак ката талдоосунда үч негизги маселе классын аныктайт:

1. көп баскычтуу ой жүгүртүүнү талап кылган татаал жашоо-өлүм маселелери,
2. тереңирээк тактикалык көз карандылыктарды камтыган узун чечим тизмектери,
3. бир нече жүрүш окшош натыйжа бере ала турган бүдөмүк позициялар.

Бул ката үлгүсү модель жергиликтүү тактикалык мыйзамченемдерди күчтүү кармаганына карабастан, узак аралыктагы көз карандылык жана жогорку белгисиздик шартында чектелип каларын көрсөтөт.

Multi-Aspect World Probe (MAWP) Деген Эмне?

Multi-Aspect World Probe (MAWP) — LifeGo-GPTнин жашыруун Transformer өкүлчүлүктөрүнөн бир гана жалпы “такта абалы” энбелгисин чыгаруунун ордуна, жалпы өзгөчөлүк коддоочу аркылуу беш өзүнчө тактикалык өзгөчөлүктү параллелдүү чечмелөөгө аракет кылган модулдук probing алкагы.

MAWP эмне үчүн бир probдун ордуна бир нече өлчөмдү колдонот?

Go таштар тобунун жашоо абалы бир гана факторго көз каранды эмес. Демдер, топ байланышы, ko абалы жана келип чыккан тактикалык натыйжа бири-бири менен байланыштуу. Бир баштуу prob жашыруун өкүлчүлүктө кайсы ички түшүнүк чындап бар экенин ажыратууда кыйналышы мүмкүн.

Ошондуктан MAWP жалпы MLP негизиндеги өзгөчөлүк бөлүп алуучунун чыгышын беш параллелдүү классификация башына жөнөтөт:

Булактагы Figure 4 LifeGo-GPTден тандалган жашыруун абал жалпы MLP өзгөчөлүк коддоочуга кирип, андан беш өзүнчө MAWP башына бөлүштүрүлөрүн ачык көрсөтөт.

Булак ичиндеги түшүнүк боюнча эскертүү: Макаланын кириш, кыскача мазмун жана жыйынтык бөлүктөрүндө “eyes”, башкача айтканда көз түзүмү негизги пайда болгон өкүлчүлүктөрдүн бири катары аталат жана MAWPнин концептуалдык баянында да “eye structure” мисалы берилет. Бирок Figure 4 жана беш ачык баштын тизмесинде өзүнчө “Eye Structure” prob башы жок. Ошондуктан Verianla көз түзүмүн алтынчы MAWP чыгышы катары кошпойт.

Жашыруун өкүлчүлүктүн математикалык көрсөтүлүшү

Тандалган Transformer катмарындагы өкүлчүлүк:

\[ x_t^{(l)}\in\mathbb{R}^{N\times d} \tag{3} \]

түрүндө берилет. Бул жерде \(l\) тандалган катмарды, \(N\) жергиликтүү такта чекиттеринин санын, \(d\) жашыруун өкүлчүлүк өлчөмүн көрсөтөт.

Жалпы өзгөчөлүк бөлүп алуучу \(\phi(x)\) колдонулгандан кийин ар бир семантикалык өлчөм үчүн өзүнчө softmax классификатор иштейт:

\[ h_i(\phi(x)) = \operatorname{softmax}\left(W_i\phi(x)\right), \qquad i=1,\ldots,5. \tag{4} \]

Ар бир такта чекити \(p\) үчүн жалпы latent өкүлчүлүк:

\[ z_{t,p} = \phi\left(x_{t,p}^{(l)}\right), \qquad p\in\{1,\ldots,N\} \tag{5} \]

жана \(i\)-тактикалык өлчөмдүн божомолу:

\[ \hat y_{t,p}^{(i)} = h_i(z_{t,p}) \tag{6} \]

түрүндө жазылат.

MAWPнин жалпы жоготуусу

Беш probing тапшырмасынын cross-entropy жоготуулары салмактуу түрдө кошулат:

\[ \mathcal{L}_{probe} = \sum_{i=1}^{5} \lambda_i \cdot \mathcal{L}_{CE} \left( h_i(\phi(x)), y^{(i)} \right). \tag{7} \]

Булак демейки боюнча бардык баштарга бирдей салмак берет:

\[ \lambda_i=\frac{1}{5}. \]

Бул тандоо беш семантикалык prob моделдин такта абалын түшүнүшүнө тең салым кошот деген болжолго таянат. Изилдөөчүлөр тапшырманын кыйынчылыгына же класстардын тең салмаксыздыгына жараша башка салмактар мүмкүн экенин, бирок изилдөөдө тең салмак колдонулганын билдиришет.

MAWP энбелгилери кантип түзүлөт?

Prob энбелгилери кол менен берилген түшүндүрмөлөрдөн гана турбайт. Изилдөөчүлөр KataGo негизиндеги анализди детерминисттик кийинки иштетүү эрежелери менен айкалыштырышат.

Адегенде максаттуу таш тобу аныкталат жана бирдей түстөгү таштардын байланышкан компоненти эсептелет. Демдердин саны ушул байланышкан топтун коңшулугундагы ар башка бош кесилиштерди саноо аркылуу алынат.

Жашоо абалы туруктуу издөө бюджети астында күчтүү Go кыймылдаткычы менен текшерилет. Булак автоматтык энбелги түзүү бөлүмүндө кыймылдаткычтын натыйжасы alive, dead, seki жана unresolved энбелгилерине дал келтирилерин билдирет. Карама-каршы же бүдөмүк кыймылдаткыч чыгыштары probing маалымат топтомунан чыгарылат.

Байланыштуулук жергиликтүү тактада бир түстөгү таштардын төрт-коңшулук мамилеси менен аныкталат. Ko энбелгилери кыймылдаткычтын principal variation чыгышы жана жергиликтүү эрежени текшерүү explicit ko түзүмүн ырастаганда гана берилет. Тактикалык жыйынтык эталондук чечим колдонулгандан кийин максаттуу топтун акыркы жашоо-өлүм абалын кайра баалоо менен аныкталат.

Бул жерде да булактагы чакан айырма бар: A1 башынын аныктамасы dead/live/undetermined класстарын берсе, автоматтык энбелгилөө тексти alive/dead/seki/unresolved топтомун колдонот. Булак бул эки энбелги схемасы бири-бирине кантип дал келтирилерин майда-чүйдөсүнө чейин айтпайт; Verianla бул дал келтирүүнү божомолдобойт.

Өзгөчөлүктү Жашыруун Өкүлчүлүктөн Окууга Болгону Модель Аны Колдонот Дегенди Далилдейби?

Жок. Probing классификатору жашыруун активдешүүлөрдөн дем же жашоо абалы тууралуу маалыматты чыгара алышы бул маалымат өкүлчүлүктүн ичинде бар экенин көрсөтөт; бирок LifeGo-GPT жүрүш чечимин чындап ушул өзгөчөлүк аркылуу чыгарганын өзүнчө далилдебейт. Ошондуктан изилдөө байкоочу probingди максаттуу өкүлчүлүк кийлигишүүлөрү менен толуктайт.

Кийлигишүү benchmarkы

Изилдөөчүлөр кийлигишүү эксперименттери үчүн 1000 жашоо-өлүм учурдан турган өзүнчө баалоо benchmarkын түзүшкөн. Ар бир учурда баштапкы кара-ак таш позициялары, кийлигишүү бутасы жана туура жүрүштөр тизмеги бар.

Кийлигишүү киргизүү тактасын түз өзгөртпөйт. Изилдөөчүлөр LifeGo-GPTнин жашыруун өкүлчүлүк мейкиндигиндеги максаттуу позицияны өзгөртүп, мисалы, таштын түсүн алмаштырууну семантикалык түрдө туураган трансформацияны колдонушат.

Бардык кийлигишүүлөр 6-катмарда жасалган. Авторлордун негиздемеси төмөнкүдөй:

• төмөнкү катмарларда активдешүүлөр көбүнчө үстүртөн токен мамилелери жана жергиликтүү үлгүлөр менен байланыштуу;
• эң жогорку катмарлар акыркы божомолго ашыкча адистешкен болушу мүмкүн;
• 6-катмар композициялык такта/тактикалык маалыматтар түзүлүп, бирок чечим чыгышынан али толук ажырабаган аралык деңгээл катары тандалган.

Кийлигишүү теңдемеси

Максаттуу жашыруун өкүлчүлүккө кийлигишүү булакта мындай жазылат:

\[ \widetilde{x}_t^{(l)} = do\left( x_{t,g}^{(l)} \leftarrow \psi(x_{t,g}^{(l)},c) \right) \tag{8} \]

Бул жерде \(g\) кийлигишүү жасалган такта позициясын; \(c\) кийлигишүүдөн кийин семантикалык түрдө тууралган өзгөчөлүктү; \(\psi\) өкүлчүлүк мейкиндигиндеги трансформацияны билдирет.

Кийлигишүүдөн кийинки жана мурдагы божомол айырмасы:

\[ \Delta a = f_{\theta} \left( \widetilde{x}_t^{(l)} \right) - f_{\theta} \left( x_t^{(l)} \right) \tag{9} \]

түрүндө бааланат. Бул жерде максат божомол өзгөрдүбү же жокпу деген гана эмес, кийлигишүү жүрүш тандоо logitтерин канчалык жылдырганын изилдөө.

Figure 5 жана Figure 6 эмнени көрсөтөт?

Figure 5 кийлигишүүгө чейинки жергиликтүү такта абалын жана жүрүш-logit картасын көрсөтөт. Булак түс шкаласында жылуураак түстөр төмөнүрөөк божомол ыктымалдыктарын, муздактары жогорураак упайларды билдирерин көрсөтөт.

Figure 6 ошол эле үлгүнүн кийлигишүүдөн кийинки абалын көрсөтөт. Жогорку упайлуу аймактар туруктуураак тышкы позицияларга жылганы байкалган. Изилдөөчүлөр муну жашыруун өкүлчүлүктү өзгөртүү моделдин тактикалык артыкчылыктарына системалуу таасир береринин мисалы катары көрсөтүшөт.

Кийлигишүү эксперименттеринин сандык жыйынтыгы

Семантикалык максатталган кийлигишүү кокустук ызы-чууга жана ошол эле көлөмдөгү кокустук багыт perturbationына караганда кыйла чоң жүрүм-турум өзгөрүүсүн жараткандыктан, таасир жөн гана моделдин кандай гана жашыруун абал өзгөрүүсүнө болбосун ашыкча сезгичтигинен келип чыккан эмес деген аргументти колдойт.

Кийлигишүү Жыйынтыктары Так Себептик Далилби?

Жок. Булак максаттуу кийлигишүүлөр кокустук контролдорго караганда кыйла күчтүү божомол өзгөрүүлөрүн жаратканын ички өкүлчүлүктөрдүн чечим процесси менен функционалдык байланышынын пайдасына далил катары баалайт; бирок чоң божомол өзгөрүүсү белгилүү бир семантикалык өзгөрмө так жана өз алдынча көзөмөлдөнгөнүн сөзсүз далилдебей турганын ачык моюнга алат.

Күчтүү тизмек модели семантикалык мааниси бар маанилүү аймактарда жасалган түзүмдөлгөн өзгөрүүлөргө жалпы жогору сезгичтик көрсөтүшү мүмкүн. Андай учурда кийлигишүүнүн таасири “жашоо абалы өзгөрмөсүнүн себептик көзөмөлүнөн” гана эмес, өкүлчүлүктүн кеңири бузулушунан да келип чыгышы мүмкүн.

Кокустук perturbation контролдору бул түшүндүрмөнү жарым-жартылай чектейт, бирок толук жок кылбайт. Ошондуктан макаланын эң этият жыйынтыгы:

Probe жыйынтыктары тактикалык маалымат жашыруун өкүлчүлүктөрдө коддолгонун; кийлигишүү жыйынтыктары болсо бул түзүмдөлгөн өкүлчүлүк компоненттери божомол жүрүм-туруму менен функционалдык байланышта экенин көрсөтөт. Белгилүү семантикалык өзгөрмөлөрдү так жана өз алдынча себептик көзөмөлдөө али далилдене элек.

Модель тереңдигинин абляциясы

Изилдөөчүлөр 2, 4, 6 жана 8 Transformer катмарлуу LifeGo-GPT варианттарын үйрөтүп, ар бир моделде үч probing ыкмасын салыштырышкан:

• linear probe,
• стандарттык nonlinear probe,
• MAWP.

Булактагы Figure 7нин негизги сапаттык жыйынтыгы — MAWP бардык каралган тереңдиктерде linear probeдан жана жалпысынан стандарттык nonlinear probeдан жогору prob тактыгына ээ. Айырма айрыкча орто жана тереңирээк катмарларда даана көрүнөт.

Авторлор тереңирээк Transformer катмарлары төмөн деңгээлдеги токен мамилелеринен көбүрөөк интеграцияланган мейкиндиктик жана тактикалык өкүлчүлүктөргө өтөт деп түшүндүрүшөт. Бул түшүндүрмө демдер жана байланыштуулук сыяктуу түшүнүктөрдү тереңирээк катмарлардан жакшыраак чечмелөөгө болору менен байланыштуу.

Графикти түшүндүрүү чеги: Текст prob тактыгы модель тереңдиги менен бардык ыкмаларда “ырааттуу түрдө көбөйгөнүн” айтат. Бирок Figure 7нин тилкелери визуалдык каралганда nonlinear жана MAWP катарлары 8 катмарга чейин толугу менен монотондуу өспөй турганы көрүнөт. Чийки сандык таблица берилбегендиктен, Verianla графиктен так маанилерди чыгарган эмес жана ишенимдүү сапаттык тенденцияны гана берген.

Маалыматты көбөйтүү абляциясы

Figure 8 такта деңгээлиндеги симметрияга негизделген маалымат көбөйтүүнүн таасирин изилдейт. Булакта үч абал көрсөтүлөт:

• көбөйтүү жок,
• айлантуу,
• чагылдыруу/flip.

Авторлордун түшүндүрмөсү боюнча, маалымат көбөйтүү алынып салынганда айрыкча тереңирээк катмарларда prob тактыгы төмөндөйт. Симметрияга сезгич көбөйтүү бир эле жашоо-өлүм түзүмү ар кандай багытта көрүнсө да, моделдин жалпы түзүмдүк өзгөчөлүктөрдү үйрөнүшүнө түрткү берет.

Бул жыйынтык акыркы жүрүш көрсөткүчүнө гана тиешелүү эмес. Авторлор көбөйтүү ички өкүлчүлүктөрдүн ырааттуулугун жана өзгөртүүлөргө туруктуураак өзгөчөлүктөрдү үйрөнүүнү да колдойт деп эсептешет.

Изилдөө колдогон жыйынтыктар

Изилдөө жергиликтүү Go жашоо-өлүм тизмектеринен үйрөтүлгөн GPT тибиндеги модель жогорку жүрүш мыйзамдуулугун жана чечим ийгилигин өнүктүрө аларын колдойт.

MAWP эксперименттери LifeGo-GPTнин жашыруун өкүлчүлүктөрүнөн жашоо абалы, демдердин саны, ko, байланыштуулук жана тактикалык жыйынтык сыяктуу түзүмдөлгөн маалыматтарды чечмелеп алууга болорун колдойт.

Максаттуу өкүлчүлүк кийлигишүүлөрү кокустук perturbationдарга караганда кыйла чоң жүрүш тандоо өзгөрүүсүн жараткандыктан, бул түзүмдөлгөн өзгөчөлүктөр модель жүрүм-турумунда жөн гана пассивдүү корреляттар болбой, функционалдык мааниге ээ болушу мүмкүн экенине далил берет.

Модель тереңдиги жана симметрияга негизделген маалымат көбөйтүү эксперименттери ички өкүлчүлүктөрдүн сапаты акыркы божомол ийгилигинен гана эмес, архитектура тереңдигинен жана окутуу маалыматтарынын трансформация түзүмүнөн да көз каранды экенин көрсөтөт.

Изилдөө колдобогон жыйынтыктар

Изилдөө LifeGo-GPT Go оюнун адам сыяктуу “түшүнөт” же аң-сезимдүү стратегиялык түшүнүктөргө ээ деп далилдебейт. Probing жыйынтыктары жашыруун активдешүүлөрдөн белгилүү маалыматтарды чечмелөөгө болорун көрсөтөт.

Изилдөө белгилүү бир семантикалык өзгөчөлүк толугу менен обочолонуп, так себептик көзөмөлдөнгөнүн да далилдебейт. Авторлор кийлигишүү жыйынтыктарын так causal identification эмес, causal relevance пайдасына далил катары чектешет.

LifeGo-GPTнин ийгилигин толук такта Goго түз жалпылоого болбойт. Эксперименттер жергиликтүү жашоо-өлүм маселелерине багытталган; KataGo сыяктуу кесипкөй кыймылдаткычтар толук такта оюнунда күчтүүрөөк экени булакта ачык айтылган.

Болжол менен 10.000 маселеден турган маалымат топтому ар кандай ачык булактардан жана классикалык маселе жыйнактарынан түзүлгөн. Башка Go маселе жыйнактарында, башка кыйынчылык бөлүштүрүлүштөрүндө же толугу менен көз карандысыз маалымат түзүү процессинде да ошол эле маанилер алынары бул изилдөөдө көрсөтүлгөн эмес.

Figure 7 жана Figure 8деги probe/augmentation жыйынтыктарынын чийки сандык катарлары макалада таблица түрүндө берилбегендиктен, Verianla бул графиктерден так сандарды чыгарган эмес.

Толук такта Goго масштабдоо кандай ойлонулган?

Жыйынтык бөлүмүндө авторлор жергиликтүү жашоо-өлүм өкүлчүлүктөрүн толук Go оюнуна кантип интеграциялоого болорун келечектеги изилдөө багыты катары талкуулашат. Сунушталган концептуалдык ыкма — жергиликтүү жашоо-өлүм моделин бүт оюнду өзү башкарган агент кылуунун ордуна, глобалдык чечим системасынын тактикалык субмодулу катары колдонуу.

Бул алкакта жергиликтүү модул демдер, көздөр, байланыштуулук жана жашоо-өлүм абалдары сыяктуу “жергиликтүү абал чындыгын” көрсөтсө, кеңири система аймак божомолу, чабуул-коргонуу артыкчылыктары жана глобалдык стратегиялык баа сыяктуу маалыматтарды бириктирет.

Бир эле жергиликтүү форма ар башка толук-такта контексттеринде ар башка стратегиялык мааниге ээ болушу мүмкүн экени бул айырманын эмне үчүн зарыл экенин көрсөтөт. Бул бөлүм изилдөөнүн эксперименттик жыйынтыгы эмес, авторлор келечекке сунуштаган архитектуралык көз караш.

Тил моделдери менен Goну келечекте бириктирүү

Булак ошондой эле алдын ала үйрөтүлгөн көп тилдүү Transformerларды символдук оюн чөйрөлөрү менен бириктирүүнү келечектеги изилдөө багыты катары сунуштайт. Такта тизмектерин адам комментарийлери, оюн нотасы же тактикалык түшүндүрмөлөр менен бирге иштетүү — түшүндүрмөлүүлүк жана бүдөмүк позицияларда чечим кабыл алуу жагынан изилдене турган тема.

Авторлор жашыруун мейкиндиктеги кийлигишүү ыкмалары келечекте адам моделдин жүрүм-турумун багыттай алган, ката таба алган же белгилүү өзгөчөлүктөрдү өзгөртө алган башкарылуучу оюн агенттерине негиз болушу мүмкүн экенин да айтышат. Бул сунуштар учурдагы экспериментте ишке ашырылган системалар эмес.

Булак жана Ыкма Жөнүндө Эскертүү

Түпкү изилдөө: Probing Emergent World Representations in Go Life-and-Death Problems

Авторлор: Zhikai Yang; Zhigang Meng; Zhiqiang Wen.

Жооптуу автор: Zhigang Meng.

Мекемелер: School of Computer Science and Artificial Intelligence, Hunan University of Technology, Zhuzhou, Кытай; Hunan Provincial Video Cultural and Creative Research Base, Changsha, Кытай; School of Computer Science and Engineering, Changsha University, Changsha, Кытай.

Журнал: AI.

Басма: MDPI.

Булак түрү: Рецензияланган түпкү изилдөө макаласы; Transformer негизиндеги тизмек моделдөө, түшүндүрүлүүчү жасалма интеллект, probing жана өкүлчүлүк кийлигишүүсүн камтыган эсептөө изилдөөсү.

Жарыя маалыматы: AI 2026, том 7, сан 5, макала 170.

DOI: 10.3390/ai7050170

Жөнөтүлгөн: 10 Март 2026.

Ревизия: 22 Апрель 2026.

Кабыл алынган: 7 Май 2026.

Жарыяланган: 14 Май 2026.

Версия эскертүүсү: MDPIнин расмий версия тарыхында макаланын HTML/PDF жазуулары 20 Май 2026да жаңыртылганы көрүнөт; библиографиялык жарыя датасы 14 Май 2026 бойдон калат.

Лицензия: Creative Commons Attribution (CC BY), ачык жеткиликтүүлүк.

Каржылоо: Изилдөө Natural Science Foundation of Hunan Province, China (Grant No. 2024JJ7149), Hunan Provincial Video Cultural and Creative Research Base жана Hunan Provincial Education Department Scientific Research Fund (Grant No. 22A0414) тарабынан колдоого алынган.

Институционалдык этика комитети: Колдонулбайт.

Маалымдалган макулдук: Колдонулбайт.

Маалыматтардын жеткиликтүүлүгү: Авторлор изилдөөдө берилген маалыматтар макаланын ичинде бар экенин, кошумча маалымат үчүн жооптуу авторго кайрылууга болорун билдиришет.

Ыраазычылык: Авторлор Hunan University of Technology, Hunan Provincial Video Cultural and Creative Research Base жана Changsha Universityге колдоосу үчүн ыраазычылык билдиришет.

Кызыкчылыктардын кагылышы: Авторлор кызыкчылыктардын кагылышы жок экенин билдиришкен.

Автордук салымдар: Концептуалдаштыруу Zhikai Yang жана Zhigang Meng; программалык камсыздоо Zhikai Yang; методология Zhiqiang Wen жана Zhikai Yang; текшерүү, изилдөө жана ресурстар Zhikai Yang жана Zhigang Meng; алгачкы черновик Zhikai Yang жана Zhigang Meng; карап чыгуу жана редакциялоо Zhigang Meng жана Zhiqiang Wen тарабынан жүргүзүлгөн.

Негизги методологиялык чектөөлөр: Эксперименттер болжол менен 10.000 жергиликтүү tsumego маселеси менен чектелет; толук-такта Go баалоосу жүргүзүлгөн эмес. MAWP жашыруун өкүлчүлүктөрдөн маалымат чыгара ала турганы өзүнчө чечим механизминде себептик колдонуу далили эмес. Кийлигишүү эксперименттери функционалдык маанинин пайдасына чоң айырмачылыктарды көрсөткөнү менен, авторлор так семантикалык өзгөрмө көзөмөлү бар деп доомат кылышпайт. Figure 7–8 үчүн чийки сандык таблицалар берилген эмес. LifeGo-GPT сырттагы маселе жыйнактарында же башка маалымат бөлүштүрүлүштөрүндө ошол эле көрсөткүчтү сактайбы, бул изилдөөдө кеңири текшерилген эмес.

Булак ичиндеги дал келбестик эскертүүсү: Метод моделди decoder-only Transformer деп аныктаса, Таблица 1 катмар тереңдигин “Transformer encoder” деген сөз менен түшүндүрөт. MAWP баянында көз түзүмү борбордук түшүнүк катары айтылганы менен, беш ачык MAWP башынын арасында өзүнчө Eye Structure башы жок. Life Status башы менен автоматтык энбелгилөө бөлүмүндөгү класс топтомдору бирдей жазылган эмес. Figure 7 тексти prob тактыгы тереңдик менен ырааттуу көбөйгөнүн айтса да, график бардык ыкмаларда толук монотондуу өсүштү көрсөтпөйт. Мындан тышкары Sequence Correctness жана Outcome Validity аныктамаларынын камтуу мамилесине карабастан, LifeGo-GPT үчүн %94,7 жана %92,1 маанилери эмне үчүн ушундай тартипте экени булакта түшүндүрүлгөн эмес.

Verianla ыкма эскертүүсү: Бул мазмун булак макаланын сап-сап котормосу эмес. Маселенин аныктамасы, маалымат даярдоо, авторегрессиялык окутуу, LifeGo-GPT архитектурасы, баалоо көрсөткүчтөрү, MAWP probing түзүмү, Теңдеме (1)–(9), кийлигишүү эксперименти, абляциялар, графиктердин илимий билдирүүсү жана түшүндүрмө чектери сакталган бойдон өз алдынча жана үйрөтүүчү Кыргызча түзүм түзүлгөн. Булакта жок ийгилик мааниси, prob тактыгы же себептик жыйынтык кошулган эмес.