LifeGo-GPT ni modeli ya Transformer ya aina ya GPT yenye urekebishaji kiotomatiki ambayo huchakata hali za ubao na mfuatano wa hatua za suluhisho katika matatizo ya ndani ya maisha-na-kifo ya Go kama mfululizo wa tokeni. Swali kuu la utafiti si tu kama modeli inaweza kutoa hatua sahihi; watafiti wanachunguza kama, bila kupewa kanuni zozote za Go zilizo wazi au lebo za dhana za kimkakati, modeli huendeleza ndani ya uanzishaji wake fiche uwakilishi uliopangwa unaohusiana na vipengele vya kimkakati kama “nafasi huru” (liberties), hali ya kuishi, muunganiko na ko. LifeGo-GPT, iliyofunzwa kwa takriban matatizo 10.000 ya ndani ya tsumego, inaripoti katika data ya uthibitishaji uhalali wa hatua wa %98,6, usahihi wa mfuatano wa suluhisho la kikanoni wa %94,7 ± 0,6 na uhalali wa matokeo wa %92,1.

Ili kuchanganua hali za ndani za modeli, watafiti wanatengeneza mfumo wa probing wenye vichwa vingi unaoitwa Multi-Aspect World Probe (MAWP). MAWP hupitisha uwakilishi fiche uliotolewa kutoka tabaka za kati za LifeGo-GPT katika kichimbaji cha vipengele cha pamoja na kujaribu kutabiri vipimo vitano vya kimkakati kivyake: hali ya kuishi, idadi ya nafasi huru, hali ya ko, muunganiko na matokeo ya kimkakati. Hivyo, si tu kuchagua “hatua sahihi” kwa modeli kunachunguzwa, bali pia kiwango ambacho hali ya ndani inayoambatana na uchaguzi huo inalingana na miundo inayojulikana ya kimkakati katika Go.

Utafiti hauishii kwenye probing ya uhusiano pekee. Watafiti hutumia uingiliaji unaoelekezwa kisemantiki kwa uwakilishi fulani fiche katika tabaka la sita la Transformer la LifeGo-GPT na kupima jinsi logit za hatua zinazofuata hubadilika. Katika matatizo 1000, hatua ya top-1 ilibadilika kwa %95,4 baada ya uingiliaji, ikilinganishwa na %5,6 wakati wa kuingiza kelele nasibu na %18,7 wakati wa perturbation yenye ukubwa sawa lakini mwelekeo wa nasibu. Wastani wa mabadiliko kamili ya logit katika hatua tano za kwanza zilizoteuliwa ni 3,21. Tofauti hizi zinaashiria kuwa uwakilishi wa ndani una uhusiano wa kiutendaji na tabia ya modeli; hata hivyo waandishi wanasisitiza kwamba hii si ushahidi wa udhibiti sahihi wa kisababishi wa “dhana ya Go” maalumu.

Wigo wa utafiti umewekewa mipaka kwa matatizo ya ndani ya maisha-na-kifo. LifeGo-GPT si wakala wa jumla wa Go anayechukua nafasi ya injini za kitaalamu kwa mchezo kamili wa Go. Katika ulinganisho wa ndani, KataGo ni yenye nguvu zaidi ikiwa na %99,2 uhalali wa hatua, %96,5 ± 0,4 usahihi wa mfuatano na %97,8 uhalali wa matokeo. Mchango mkuu wa kisayansi wa utafiti ni kuchunguza kama modeli iliyofunzwa kwa utabiri wa mfuatano inaweza kuendeleza uwakilishi wa kati uliopangwa katika mazingira ya mkakati yenye vipimo vingi na nafasi, na kama athari ya kiutendaji ya uwakilishi huo kwa tabia inaweza kupimwa.

Kwa Nini Matatizo ya Maisha-na-Kifo ya Go Yanatumika kama “Dunia-Ndogo”?

Matatizo ya maisha-na-kifo ya Go, au tsumego, hutoa dunia-ndogo iliyodhibitiwa inayofaa kuchunguza uwakilishi wa ndani wa dunia katika modeli za Transformer kwa sababu yanajumuisha dhana za kimkakati za ndani zinazoweza kufafanuliwa wazi, kama nafasi huru, macho, muunganiko, ko na hali ya kuishi/kufa, bila kubeba ugumu wote wa kimkakati wa mchezo kamili wa Go.

Kwenye ubao kamili wa Go wa 19 × 19, thamani ya hatua moja hutegemea mambo mengi kuanzia makundi ya ndani ya mawe hadi udhibiti wa maeneo, kutoka mwingiliano wa masafa marefu hadi uwiano wa jumla kati ya mashambulizi na ulinzi. Hali hii hufanya si tu utabiri kuwa mgumu, bali pia kutafsiri kwa nini utabiri ulitolewa.

Matatizo ya maisha-na-kifo kwa kawaida hulenga eneo dogo la ubao. Lengo ni kubaini kama kundi fulani la mawe linaweza kuishi chini ya mchezo kamili. Ingawa eneo la tatizo ni dogo, msingi wa mbinu za Go unabaki: pointi za nafasi huru, uundaji wa macho, mashindano ya kukamata, muunganiko, ko na pointi muhimu za hatua vinaweza kufanya kazi pamoja.

Figure 1 ya chanzo inaonyesha kwanza nafasi ya mwanzo ya tatizo la maisha-na-kifo la ndani, kisha hatua za suluhisho zilizowekewa namba. Mfano wa msingi wa kundi kuishi kwa usalama ni kuunda macho mawili halisi. Utafiti hutumia matatizo kama haya kuchunguza kama modeli ya mfuatano inakariri tu uhusiano wa tokeni au inaendeleza uwakilishi fiche uliopangwa zaidi unaofanana na hali ya ubao.

Uwakilishi wa dunia unamaanisha nini hapa?

Neno “World representation” katika utafiti huu halimaanishi kwamba modeli “inaelewa” ubao wa Go kwa ufahamu kama binadamu. Dhana hii inaeleza kwamba vipengele muhimu vya kimuundo vya mazingira ya nje vinawakilishwa katika uanzishaji fiche wa modeli kwa namna inayoweza kusomwa au kutolewa.

Kwa mfano, ikiwa kutoka katika hali fiche za LifeGo-GPT inawezekana kutabiri kwa kuaminika kundi la mawe lina nafasi huru ngapi, hali yake ya kuishi au muundo wake wa muunganiko, basi taarifa hiyo ipo katika nafasi ya uwakilishi wa modeli. Hata hivyo, uwezo wa kusoma taarifa kutoka uwakilishi fiche pekee hauonyeshi kwamba modeli inaitumia wakati wa kufanya uamuzi. Hii ndiyo sababu kuu ya kuongeza majaribio ya uingiliaji katika utafiti.

Ubao wa Go unageuzwaje kuwa ingizo la modeli ya lugha?

Kila mfano wa tsumego hapo awali huwa katika muundo wa SGF. Watafiti hubadilisha tatizo kuwa mfuatano wa tokeni wenye sehemu mbili:

1. mpangilio wa mwanzo wa ubao kuzunguka kundi lengwa la mawe,
2. mfuatano wa hatua za suluhisho la marejeo la tatizo.

Kwenye ubao wa kawaida wa Go wa 19 × 19 kuna makutano 361, na kila koordinati inapewa kitambulisho cha tokeni cha kipekee. Kwa hiyo, msamiati wa koordinati una nafasi msingi 361. Ili kutenganisha hali ya ubao na mfuatano wa suluhisho na kuonyesha mipaka ya mfuatano, tokeni maalumu kama <BOS>, <SEP> na <EOS> pia hutumiwa.

Ingawa koordinati zinawakilishwa kwa vitambulisho vya nambari kati ya 1–361, watafiti hawapachiki maana ya jiometri moja kwa moja kwa mpangilio huo wa nambari. Vitambulisho hupelekwa kama faharasa za kategoria katika embedding zinazoweza kujifunzwa zilizoanzishwa kwa nasibu. Hivyo, modeli haikusudiwi kutumia jiometri ya moja kwa moja ya nambari kama “361 iko karibu na 360 kama koordinati”; mpangilio wa nafasi lazima ujifunzwe kutoka data ya mafunzo.

Figure 2 ya chanzo inaonyesha kugeuzwa kwa ubao wa mawe wa Go kuwa uwakilishi huu wa mfuatano unaofanana na maandishi. Ubadilishaji huu ndio wazo kuu la majaribio ya utafiti: dunia ya kimkakati yenye vipimo viwili hupewa modeli ya mfuatano ya decoder-only kama mfuatano wa mstari wa tokeni.

LifeGo-GPT Inafunzwaje Bila Kupewa Kanuni za Go Moja kwa Moja?

Badala ya kupangwa kwa kanuni zilizo wazi kama “nafasi huru”, “jicho”, “ko” au “hatua hii hairuhusiwi”, LifeGo-GPT hufunzwa kwa lengo la kawaida la urekebishaji kiotomatiki la kujifunza kutabiri tokeni inayofuata katika tokeni za mfuatano za hali ya ubao na suluhisho; kanuni za kimkakati zinatarajiwa kujitokeza katika nafasi fiche ya uwakilishi kutoka data ya mafunzo.

Uwezekano wa tokeni inayofuata

Tatizo lililosawazishwa kama mfuatano huonyeshwa:

\[ x=(x_1,x_2,\ldots,x_n) \]

Modeli katika kila hatua \(t\) huhesabu uwezekano wa tokeni inayofuata kwa kuzingatia tokeni zilizotangulia:

\[ p_{\theta}(x_t\mid x_{

Hapa \(h_t\) ni uwakilishi fiche unaozalishwa na tabaka la mwisho la Transformer katika nafasi ya \(t\); \(W_o\) ni matriksi ya uchoraji inayobadilisha uwakilishi fiche kuwa logit za matokeo zenye ukubwa wa msamiati; na \(\theta\) inawakilisha vigezo vya modeli.

Mlinganyo huu haukodishi moja kwa moja hesabu ya “kanuni ya Go”. Kazi ya modeli ni kujifunza mgawanyo wa uwezekano wa tokeni inayofaa inayofuata kutoka katika tokeni zilizotangulia za ubao na hatua.

Hasara ya modeli ya lugha

Katika mafunzo, teacher forcing hutumiwa na hasara ya kawaida hasi ya log-uwezekano hupunguzwa:

\[ \mathcal{L}_{LM} = -\sum_{t=1}^{n} \log p_{\theta}(x_t\mid x_{

Hasara ndogo inamaanisha modeli inatoa uwezekano mkubwa zaidi kwa tokeni zinazofuata katika mfuatano wa suluhisho la chanzo. Lengo hili la mafunzo halina maagizo ya alama moja kwa moja kama “unda macho mawili”, “usifanye self-atari” au “hifadhi nafasi huru”.

Seti ya data iliundwaje?

Data ya chanzo ilikusanywa kutoka rasilimali za umma za Go mtandaoni kama 101 Weiqi, Xingzhen Go Platform na Jueyi Go Platform, pamoja na makusanyo ya matatizo kama Weiqi Life-and-Death Encyclopedia na Fayang Lun.

Seti ya data ina takriban matukio 10.000 ya maisha-na-kifo. Mgawanyo wa ugumu ni takriban:

Baadhi ya matatizo yanaweza kuwa na zaidi ya suluhisho moja halali. Kama lengo la mafunzo hutumiwa mfuatano wa suluhisho la kikanoni katika nyenzo ya chanzo; katika tathmini, njia mbadala zinazoleta matokeo yale yale ya mwisho ya maisha-na-kifo pia hukubaliwa ndani ya uhalali wa matokeo.

Uvujaji wa data ulijaribiwa kupunguzwaje?

Kabla ya kuongeza data, marudio kamili yaliondolewa katika kiwango cha tatizo. Hali za ubao zilizo sawa kijiometria kutokana na mzunguko au uakisi zilikadiriwa katika umbo la kikanoni ili kutambua marudio zaidi.

Mgawanyo wa mafunzo na uthibitishaji ulifanywa katika kiwango cha tatizo asilia, si katika kiwango cha mfano uliobadilishwa. Kwa njia hii, watafiti walijaribu kuzuia tofauti zilizobadilishwa za tatizo moja kuonekana katika mafunzo na uthibitishaji kwa wakati mmoja. Seti ya data iligawanywa kwa takriban uwiano wa 8:2 mafunzo/uthibitishaji.

Kugeuza rangi kulitumiwa tu katika hali ambazo maana ya tatizo haibadilishwi na kubadilisha rangi ya mchezaji. Watafiti pia wanasema walikagua mifano inayokaribiana sana ili kupunguza hatari ya uvujaji katika uthibitishaji na usahihi ulioongezwa kwa njia ya bandia.

Usanifu na mipangilio ya mafunzo ya LifeGo-GPT

Vigezo vyote vya tokeni na positional embedding vilianzishwa kwa nasibu. Modeli si uhamisho wa moja kwa moja wa GPT ya lugha asilia iliyofunzwa awali kwenda Go.

Figure 3 ya chanzo inaonyesha hasara ya mafunzo na uthibitishaji ikipungua kwa utaratibu katika epoch. Kwa kuwa mfululizo wa nambari ghafi wa mchoro haujatolewa pia kama jedwali, Verianla haikukadiria thamani za kati kwa usahihi kutoka kwenye grafu.

Maelezo ya istilahi ya chanzo: Maandishi ya mbinu yanaeleza modeli kama decoder-only Transformer ya aina ya GPT, wakati Jedwali 1 linaelezea idadi ya tabaka kama “Transformer encoder depth”. Hapa ufafanuzi wa decoder-only katika maelezo ya mbinu umehifadhiwa, na usemi wa jedwali umechukuliwa kama tofauti ya istilahi ndani ya chanzo.

Utendaji wa Modeli Unapimwaje?

Utafiti unatathmini LifeGo-GPT kwa vipimo vitatu tofauti: Move Legality hupima kama hatua iliyotabiriwa ni halali katika hali hiyo, Sequence Correctness hupima kama mfuatano wa hatua uliozalishwa unalingana na suluhisho la kikanoni, na Outcome Validity hupima kama hali ya mwisho inafikia matokeo sahihi ya maisha-na-kifo.

Move Legality

Ikiwa koordinati inayozalishwa na modeli inalingana na hatua halali ya Go katika hali ya sasa ya ubao, huhesabiwa kuwa halali. Kipimo hiki ni kiashiria cha kwanza cha kama modeli imejifunza kwa njia isiyo ya moja kwa moja muundo msingi wa kanuni.

Sequence Correctness

Mfuatano wa suluhisho uliozalishwa unalinganishwa na suluhisho la kikanoni katika tatizo la chanzo. Kulingana na maelezo ya chanzo, njia mbadala zisizolingana kikamilifu na mfuatano wa kikanoni huhesabiwa kuwa si sahihi chini ya kipimo hiki.

Outcome Validity

Hatua zilizotabiriwa hutekelezwa kwenye ubao, na hali ya mwisho ya maisha-na-kifo ya kundi lengwa huthibitishwa kwa kutumia injini ya nje ya KataGo. Hata kama suluhisho mbadala ni tofauti na mfuatano wa kikanoni, linaweza kuhesabiwa kuwa halali katika kipimo hiki ikiwa linafikia hali ile ile sahihi ya maisha-na-kifo.

Maelezo ya tafsiri: Chini ya ufafanuzi huu, Outcome Validity inaweza kutarajiwa kuwa pana zaidi kuliko Sequence Correctness; hata hivyo, chanzo kinaripoti %94,7 Sequence Correctness na %92,1 Outcome Validity kwa LifeGo-GPT. Kwa kuwa chanzo hakielezi sababu ya uhusiano huu, Verianla haikadirii sababu.

Mbinu na Matokeo ya Utafiti

Matokeo linganishi ya LifeGo-GPT

LifeGo-GPT inapita kwa mbali mstari wa msingi wa Transformer isiyofunzwa. Katika kazi ya ndani ya tsumego, usahihi wa mfuatano wa LifeGo-GPT umeripotiwa kuwa juu kuliko Leela Zero na RZS, karibu sana na ANN na chini ya KataGo.

KataGo ina thamani za juu kuliko LifeGo-GPT katika vipimo vyote vitatu kuu. Kwa hiyo matokeo hayawezi kutafsiriwa kama “LifeGo-GPT ina nguvu kuliko injini za kitaalamu za Go”. Chanzo pia kinasema wazi kwamba injini za kitaalamu huwa na nguvu zaidi hasa katika hali ngumu na za ubao kamili.

Umuhimu wa kisayansi wa LifeGo-GPT ni tofauti: modeli imejifunza kutokana na data ya mfuatano wa matatizo pekee kutoa mfululizo wa hatua za ndani kwa kiwango kikubwa halali na sahihi bila kupewa kanuni za Go kama mfumo tofauti wa alama. Sehemu zinazofuata za utafiti huchunguza muundo wa uwakilishi fiche ulio chini ya mafanikio haya.

Mifano ya makosa hukusanyika katika hali zipi?

Chanzo kinabainisha madarasa matatu makuu ya matatizo katika uchanganuzi wa makosa:

1. matatizo magumu ya maisha-na-kifo yanayohitaji hoja za hatua nyingi,
2. mifuatano mirefu ya suluhisho yenye utegemezi wa kimkakati wa kina zaidi,
3. nafasi zenye utata ambapo hatua kadhaa zinaweza kutoa matokeo yanayofanana.

Muundo huu wa makosa unaonyesha kwamba ingawa modeli hushika vizuri kanuni za kimkakati za ndani, inaendelea kuwa na mipaka chini ya utegemezi wa masafa marefu na kutokuwa na uhakika mkubwa.

Multi-Aspect World Probe (MAWP) ni Nini?

Multi-Aspect World Probe (MAWP) ni mfumo wa probing wa moduli unaojaribu kutatua kwa sambamba vipengele vitano tofauti vya kimkakati kupitia kisimbaji cha vipengele cha pamoja, badala ya kutoa lebo moja ya jumla ya “hali ya ubao” kutoka katika uwakilishi fiche wa Transformer wa LifeGo-GPT.

Kwa nini MAWP hutumia vipimo vingi badala ya prob moja?

Hali ya kuishi ya kundi la mawe ya Go haitegemei jambo moja. Nafasi huru, muunganiko wa kundi, hali ya ko na matokeo ya kimkakati yanayojitokeza vinahusiana. Prob yenye kichwa kimoja inaweza kuwa na ugumu kutenganisha ni dhana ipi ndogo iliyopo kweli katika uwakilishi fiche.

Kwa hiyo MAWP hutuma matokeo ya kichimbaji cha vipengele kinachotegemea MLP kwenda kwenye vichwa vitano vya uainishaji vinavyoenda sambamba:

Figure 4 ya chanzo inaonyesha wazi kwamba hali fiche iliyochaguliwa kutoka LifeGo-GPT inaingia kwenye kisimbaji cha vipengele cha MLP cha pamoja na kutoka hapo kusambazwa kwenda kwenye vichwa vitano tofauti vya MAWP.

Maelezo ya dhana ndani ya chanzo: Katika utangulizi, muhtasari na hitimisho la makala, “eyes”, yaani muundo wa macho, hutajwa miongoni mwa uwakilishi muhimu unaojitokeza, na katika maelezo ya dhana ya MAWP mfano wa “eye structure” pia unatolewa. Hata hivyo, katika Figure 4 na orodha ya vichwa vitano vilivyo wazi hakuna kichwa huru cha prob cha “Eye Structure”. Kwa hiyo Verianla haiongezi muundo wa macho kama matokeo ya sita ya MAWP.

Uwakilishi wa kihisabati wa hali fiche

Uwakilishi katika tabaka la Transformer lililochaguliwa hutolewa kama:

\[ x_t^{(l)}\in\mathbb{R}^{N\times d} \tag{3} \]

Hapa \(l\) inaonyesha tabaka lililochaguliwa, \(N\) idadi ya pointi za ubao wa ndani, na \(d\) kipimo cha uwakilishi fiche.

Baada ya kutumia kichimbaji cha vipengele cha pamoja \(\phi(x)\), kiainishaji tofauti cha softmax hufanya kazi kwa kila kipimo cha kisemantiki:

\[ h_i(\phi(x)) = \operatorname{softmax}\left(W_i\phi(x)\right), \qquad i=1,\ldots,5. \tag{4} \]

Kwa kila pointi ya ubao \(p\), uwakilishi fiche wa pamoja ni:

\[ z_{t,p} = \phi\left(x_{t,p}^{(l)}\right), \qquad p\in\{1,\ldots,N\} \tag{5} \]

na utabiri wa kipimo cha kimkakati cha \(i\) ni:

\[ \hat y_{t,p}^{(i)} = h_i(z_{t,p}) \tag{6} \]

.

Hasara ya jumla ya MAWP

Hasara za cross-entropy za kazi tano za probing hujumlishwa kwa uzito:

\[ \mathcal{L}_{probe} = \sum_{i=1}^{5} \lambda_i \cdot \mathcal{L}_{CE} \left( h_i(\phi(x)), y^{(i)} \right). \tag{7} \]

Chanzo kwa chaguo-msingi hutoa uzito sawa kwa vichwa vyote:

\[ \lambda_i=\frac{1}{5}. \]

Chaguo hili linategemea dhana kwamba prob tano za kisemantiki zinachangia kwa usawa uelewa wa hali ya ubao wa modeli. Watafiti wanasema uzito tofauti unawezekana kulingana na ugumu wa kazi au kutokuwiana kwa madarasa, lakini katika utafiti uzito sawa ulitumika.

Lebo za MAWP zinaundwaje?

Lebo za prob hazijumuishi tu tafsiri zilizotolewa kwa mkono. Watafiti huunganisha uchanganuzi unaotegemea KataGo na kanuni za baada ya uchakataji zenye uamuzi wa moja kwa moja.

Kwanza kundi lengwa la mawe hutambuliwa na sehemu iliyounganishwa ya mawe ya rangi moja huhesabiwa. Idadi ya nafasi huru hupatikana kwa kuhesabu makutano tofauti yaliyo wazi katika ujirani wa kundi hili lililounganishwa.

Hali ya kuishi huthibitishwa kwa injini yenye nguvu ya Go chini ya bajeti ya utafutaji iliyowekwa. Chanzo katika sehemu ya uundaji wa lebo kiotomatiki kinasema matokeo ya injini huwekwa kwenye lebo alive, dead, seki na unresolved. Matokeo ya injini yasiyo thabiti au yenye utata huondolewa kutoka seti ya data ya probing.

Muunganiko hufafanuliwa kwa uhusiano wa ujirani wa pande nne wa mawe ya rangi moja kwenye ubao wa ndani. Lebo za Ko hupewa tu pale ambapo principal variation ya injini pamoja na ukaguzi wa kanuni za ndani unathibitisha muundo wa explicit ko. Matokeo ya kimkakati huamuliwa kwa kutathmini tena hali ya mwisho ya maisha-na-kifo ya kundi lengwa baada ya kutumia suluhisho la marejeo.

Hapa pia kuna tofauti ndogo ndani ya chanzo: ufafanuzi wa kichwa A1 unatoa madarasa dead/live/undetermined, wakati maandishi ya kuweka lebo kiotomatiki hutumia seti ya alive/dead/seki/unresolved. Chanzo hakifafanui jinsi skimu hizi mbili za lebo zinavyolinganishwa; Verianla haitabiri ulinganifu huo.

Je, Kusoma Kipengele kutoka Uwakilishi Fiche Kunathibitisha kuwa Modeli Inakitumia?

Hapana. Ikiwa kiainishaji cha probing kinaweza kutoa taarifa ya nafasi huru au hali ya kuishi kutoka katika uanzishaji fiche, hii inaonyesha kuwa taarifa hiyo ipo ndani ya uwakilishi; lakini yenyewe haithibitishi kwamba LifeGo-GPT hufanya uamuzi wa hatua kwa kutumia kipengele hicho. Kwa hiyo utafiti huongeza uingiliaji lengwa wa uwakilishi kwenye probing ya uchunguzi.

Benchmark ya uingiliaji

Watafiti waliunda benchmark tofauti ya tathmini yenye hali 1000 za maisha-na-kifo kwa ajili ya majaribio ya uingiliaji. Kila hali ina nafasi za mwanzo za mawe meusi na meupe, lengo la uingiliaji na mfuatano sahihi wa hatua.

Uingiliaji haubadilishi moja kwa moja ubao wa ingizo. Watafiti hubadilisha nafasi lengwa katika nafasi fiche ya uwakilishi wa LifeGo-GPT na kutumia mabadiliko ambayo, kwa mfano, yanaiga kisemantiki kubadilisha rangi ya jiwe.

Uingiliaji wote ulifanywa katika tabaka la 6. Sababu za waandishi ni hizi:

• katika tabaka za chini, uanzishaji unahusiana zaidi na mahusiano ya juu juu ya tokeni na mifumo ya ndani;
• tabaka za juu kabisa zinaweza kuwa zimebobea kupita kiasi katika utabiri wa mwisho;
• tabaka la 6 lilichaguliwa kama kiwango cha kati ambapo taarifa za muundo wa ubao/mbinu zinaanza kuundwa lakini bado hazijatenganishwa kabisa na matokeo ya uamuzi.

Mlinganyo wa uingiliaji

Uingiliaji katika uwakilishi fiche lengwa umeandikwa katika chanzo kama:

\[ \widetilde{x}_t^{(l)} = do\left( x_{t,g}^{(l)} \leftarrow \psi(x_{t,g}^{(l)},c) \right) \tag{8} \]

Hapa \(g\) ni nafasi ya ubao inayolengwa na uingiliaji; \(c\) ni kipengele kinachoigwa kisemantiki baada ya uingiliaji; na \(\psi\) ni badiliko katika nafasi ya uwakilishi.

Tofauti ya utabiri kabla na baada ya uingiliaji hutathminiwa kama:

\[ \Delta a = f_{\theta} \left( \widetilde{x}_t^{(l)} \right) - f_{\theta} \left( x_t^{(l)} \right) \tag{9} \]

. Lengo hapa si tu kuona kama utabiri umebadilika, bali pia kuchunguza kwa kiasi gani uingiliaji unasogeza logit za upendeleo wa hatua.

Figure 5 na Figure 6 zinaonyesha nini?

Figure 5 inaonyesha hali ya ndani ya ubao na ramani ya hatua-logit kabla ya uingiliaji. Katika kipimo cha rangi cha chanzo, rangi za joto zinawakilisha uwezekano mdogo wa utabiri, wakati rangi za baridi zinawakilisha alama za juu.

Figure 6 inaonyesha mfano huo huo baada ya uingiliaji. Imeonekana kuwa maeneo yenye alama za juu yanahama kuelekea nafasi za nje zilizo thabiti zaidi. Watafiti wanawasilisha hili kama mfano kwamba mabadiliko ya uwakilishi fiche yanaathiri kwa utaratibu mapendeleo ya kimkakati ya modeli.

Matokeo ya kiasi ya majaribio ya uingiliaji

Kwa kuwa uingiliaji unaolengwa kisemantiki husababisha mabadiliko makubwa zaidi ya tabia kuliko kelele nasibu na perturbation ya mwelekeo nasibu yenye ukubwa sawa, jambo hili linaunga mkono hoja kwamba athari haitokani tu na kuwa modeli ni nyeti kupita kiasi kwa mabadiliko yoyote ya hali fiche.

Je, Matokeo ya Uingiliaji ni Ushahidi Kamili wa Sababu?

Hapana. Chanzo kinachukulia mabadiliko makubwa zaidi ya utabiri yanayosababishwa na uingiliaji lengwa ikilinganishwa na udhibiti wa nasibu kama ushahidi unaounga mkono uhusiano wa kiutendaji kati ya uwakilishi wa ndani na mchakato wa uamuzi; hata hivyo kinakubali wazi kwamba mabadiliko makubwa ya utabiri hayathibitishi kwa hakika kuwa kigezo fulani cha kisemantiki kimedhibitiwa kwa usahihi na kwa kujitegemea.

Modeli yenye nguvu ya mfuatano inaweza kwa ujumla kuonyesha unyeti mkubwa kwa mabadiliko yaliyoandaliwa katika maeneo muhimu yenye maana ya kisemantiki. Katika hali kama hiyo, athari ya uingiliaji inaweza kutoka si tu kwenye “udhibiti wa kisababishi wa kigezo cha hali ya kuishi”, bali pia kwenye kuvurugika kwa upana zaidi kwa uwakilishi.

Udhibiti wa perturbation nasibu hupunguza maelezo haya kwa kiasi, lakini hauyaondoi kabisa. Kwa hiyo hitimisho salama zaidi la makala ni:

Matokeo ya probe yanaonyesha kwamba taarifa za kimkakati zimekodishwa katika uwakilishi fiche; matokeo ya uingiliaji yanaonyesha kwamba vipengele hivi vilivyopangwa vya uwakilishi vina uhusiano wa kiutendaji na tabia ya utabiri. Udhibiti sahihi na huru wa kisababishi wa vigezo maalumu vya kisemantiki bado haujathibitishwa.

Ablation ya kina cha modeli

Watafiti walifundisha tofauti za LifeGo-GPT zenye tabaka 2, 4, 6 na 8 za Transformer na kulinganisha mbinu tatu za probing katika kila modeli:

• linear probe,
• standard nonlinear probe,
• MAWP.

Matokeo makuu ya ubora ya Figure 7 katika chanzo ni kwamba MAWP ina usahihi wa prob wa juu kuliko linear probe katika kina zote zilizochunguzwa, na kwa ujumla pia juu kuliko standard nonlinear probe. Tofauti hiyo inaonekana zaidi katika tabaka za kati na za kina zaidi.

Waandishi wanatafsiri kwamba tabaka za kina zaidi za Transformer huhama kutoka mahusiano ya tokeni ya kiwango cha chini kwenda uwakilishi wa nafasi na kimkakati uliounganishwa zaidi. Tafsiri hii inahusishwa na uwezo bora wa kutoa dhana kama nafasi huru na muunganiko kutoka tabaka za kina zaidi.

Kikomo cha tafsiri ya grafu: Maandishi yanasema kwamba usahihi wa prob “uliongezeka kwa uthabiti” pamoja na kina cha modeli katika mbinu zote. Hata hivyo, ukichunguza kwa macho nguzo za Figure 7, safu za nonlinear na MAWP haziongezeki kwa namna ya monotoni kabisa hadi tabaka 8. Kwa kuwa jedwali la nambari ghafi halikutolewa, Verianla haikutoa thamani sahihi kutoka grafu na imewasilisha tu mwelekeo wa ubora unaoaminika wazi.

Ablation ya kuongeza data

Figure 8 huchunguza athari ya kuongeza data inayotegemea ulinganifu wa kiwango cha ubao. Chanzo kinaonyesha hali tatu:

• bila kuongeza,
• mzunguko,
• uakisi/flip.

Kulingana na tafsiri ya waandishi, usahihi wa prob hupungua hasa katika tabaka za kina zaidi wakati kuongeza data kunaondolewa. Kuongeza data inayozingatia ulinganifu huchochea modeli kujifunza sifa za kimuundo za pamoja hata wakati muundo ule ule wa maisha-na-kifo unaonekana katika mielekeo tofauti.

Matokeo haya hayahusu utendaji wa mwisho wa hatua pekee. Waandishi pia wanadai kwamba kuongeza data huunga mkono uthabiti wa uwakilishi wa ndani na ujifunzaji wa vipengele vilivyo thabiti zaidi dhidi ya mabadiliko.

Matokeo yanayoungwa mkono na utafiti

Utafiti unaunga mkono kwamba modeli ya aina ya GPT iliyofunzwa kutoka mifuatano ya ndani ya maisha-na-kifo ya Go inaweza kuendeleza uhalali mkubwa wa hatua na utendaji mzuri wa suluhisho.

Majaribio ya MAWP yanaunga mkono kwamba kutoka katika uwakilishi fiche wa LifeGo-GPT inaweza kutolewa taarifa iliyopangwa kama hali ya kuishi, idadi ya nafasi huru, ko, muunganiko na matokeo ya kimkakati.

Kwamba uingiliaji lengwa wa uwakilishi husababisha mabadiliko makubwa zaidi ya upendeleo wa hatua kuliko perturbation nasibu kunatoa ushahidi kwamba vipengele hivi vilivyopangwa huenda visiwe tu vihusishi visivyotenda katika tabia ya modeli na vinaweza kuwa na umuhimu wa kiutendaji.

Majaribio ya kina cha modeli na kuongeza data inayotegemea ulinganifu yanaonyesha kwamba ubora wa uwakilishi wa ndani huathiriwa si tu na utendaji wa mwisho wa utabiri, bali pia na kina cha usanifu na muundo wa mabadiliko katika data ya mafunzo.

Matokeo ambayo utafiti hauungi mkono

Utafiti hauthibitishi kwamba LifeGo-GPT “inaelewa” mchezo wa Go kama binadamu au ina dhana za kimkakati zenye ufahamu. Matokeo ya probing yanaonyesha tu kwamba taarifa fulani inaweza kutolewa kutoka katika uanzishaji fiche.

Utafiti pia hauthibitishi kwamba kipengele fulani cha kisemantiki kimetengwa kikamilifu na kudhibitiwa kwa usahihi kisababishi. Waandishi wanapunguza madai ya matokeo ya uingiliaji kuwa ushahidi wa causal relevance, si causal identification kamili.

Mafanikio ya LifeGo-GPT hayawezi kuhamishwa moja kwa moja kwenda Go ya ubao kamili. Majaribio yamelenga matatizo ya ndani ya maisha-na-kifo; chanzo kinasema wazi kwamba injini za kitaalamu kama KataGo zina nguvu zaidi katika mchezo wa ubao kamili.

Seti ya data yenye takriban matatizo 10.000 imekusanywa kutoka vyanzo mbalimbali vya umma na makusanyo ya kale ya matatizo. Utafiti huu haujaonyesha kwamba matokeo yatatoa thamani zile zile katika makusanyo mengine ya matatizo ya Go, katika mgawanyo tofauti wa ugumu au katika mchakato wa kujitegemea kabisa wa kutengeneza data.

Kwa kuwa mfululizo wa nambari ghafi wa matokeo ya probe/augmentation katika Figure 7 na Figure 8 haukutolewa kama jedwali katika makala, Verianla haikutoa nambari sahihi kutoka grafu hizo.

Kuongeza hadi Go ya ubao kamili kunafikiriwaje?

Katika sehemu ya hitimisho, waandishi wanajadili kama mwelekeo wa baadaye wa utafiti jinsi uwakilishi wa ndani wa maisha-na-kifo unaweza kuunganishwa katika mchezo kamili wa Go. Njia ya dhana inayopendekezwa ni kutumia modeli ya ndani ya maisha-na-kifo kama moduli ndogo ya kimkakati ya mfumo wa maamuzi wa jumla, badala ya kuifanya wakala anayesimamia mchezo wote peke yake.

Katika mfumo huu, moduli ya ndani huwakilisha “uhalisia wa hali ya ndani” kama nafasi huru, macho, muunganiko na hali za maisha-na-kifo, wakati mfumo mpana huunganisha taarifa kama utabiri wa maeneo, vipaumbele vya mashambulizi-ulinzi na thamani ya kimkakati ya jumla.

Kwamba umbo lile lile la ndani linaweza kuwa na umuhimu tofauti wa kimkakati katika miktadha tofauti ya ubao kamili kunaonyesha kwa nini utenganisho huu ni muhimu. Sehemu hii si matokeo ya majaribio ya utafiti, bali ni mtazamo wa usanifu wa baadaye uliopendekezwa na waandishi.

Kuunganisha modeli za lugha na Go siku zijazo

Chanzo pia kinapendekeza kuunganisha Transformer za lugha nyingi zilizofunzwa awali na mazingira ya michezo ya alama kama eneo la utafiti wa baadaye. Kuchakata mifuatano ya ubao pamoja na maoni ya binadamu, nukuu za mchezo au maelezo ya kimkakati kunaweza kuchunguzwa kwa upande wa uelezekaji na kufanya maamuzi katika nafasi zenye utata.

Waandishi pia wanapendekeza kwamba mbinu za uingiliaji katika nafasi fiche zinaweza kuwa msingi wa siku zijazo kwa mawakala wa michezo wanaoweza kudhibitiwa ambapo binadamu anaweza kuelekeza tabia ya modeli, kutatua hitilafu au kubadilisha vipengele maalumu. Mapendekezo haya si mifumo iliyotekelezwa katika jaribio la sasa.

Maelezo ya Chanzo na Mbinu

Utafiti asilia: Probing Emergent World Representations in Go Life-and-Death Problems

Waandishi: Zhikai Yang; Zhigang Meng; Zhiqiang Wen.

Mwandishi anayewajibika: Zhigang Meng.

Taasisi: School of Computer Science and Artificial Intelligence, Hunan University of Technology, Zhuzhou, China; Hunan Provincial Video Cultural and Creative Research Base, Changsha, China; School of Computer Science and Engineering, Changsha University, Changsha, China.

Jarida: AI.

Mchapishaji: MDPI.

Aina ya chanzo: Makala asilia ya utafiti iliyopitiwa na wataalamu; utafiti wa kihesabu unaojumuisha uundaji wa mfuatano unaotegemea Transformer, akili bandia inayoelezeka, probing na uingiliaji wa uwakilishi.

Taarifa ya uchapishaji: AI 2026, juzuu 7, toleo 5, makala 170.

DOI: 10.3390/ai7050170

Iliwasilishwa: 10 Machi 2026.

Marekebisho: 22 Aprili 2026.

Imekubaliwa: 7 Mei 2026.

Imechapishwa: 14 Mei 2026.

Maelezo ya toleo: Historia rasmi ya matoleo ya MDPI inaonyesha kuwa rekodi za HTML/PDF za makala zilisasishwa tarehe 20 Mei 2026; tarehe ya bibliografia ya uchapishaji inabaki 14 Mei 2026.

Leseni: Creative Commons Attribution (CC BY), ufikiaji wazi.

Ufadhili: Utafiti uliungwa mkono na Natural Science Foundation of Hunan Province, China (Grant No. 2024JJ7149), Hunan Provincial Video Cultural and Creative Research Base na Hunan Provincial Education Department Scientific Research Fund (Grant No. 22A0414).

Kamati ya maadili ya taasisi: Haitumiki.

Ridhaa yenye taarifa: Haitumiki.

Upatikanaji wa data: Waandishi wanasema data iliyowasilishwa katika utafiti imo ndani ya makala na kwamba maelezo ya ziada yanaweza kuombwa kwa mwandishi anayewajibika.

Shukrani: Waandishi wanashukuru Hunan University of Technology, Hunan Provincial Video Cultural and Creative Research Base na Changsha University kwa msaada wao.

Mgongano wa maslahi: Waandishi wametangaza kwamba hakuna mgongano wa maslahi.

Michango ya waandishi: Uundaji wa dhana Zhikai Yang na Zhigang Meng; programu Zhikai Yang; mbinu Zhiqiang Wen na Zhikai Yang; uthibitishaji, uchunguzi na rasilimali Zhikai Yang na Zhigang Meng; rasimu ya kwanza Zhikai Yang na Zhigang Meng; ukaguzi na uhariri Zhigang Meng na Zhiqiang Wen.

Vikomo vikuu vya kimetodolojia: Majaribio yamewekewa mipaka kwa takriban matatizo 10.000 ya ndani ya tsumego; tathmini ya Go ya ubao kamili haikufanywa. Uwezo wa MAWP kutoa taarifa kutoka uwakilishi fiche pekee si ushahidi wa matumizi ya kisababishi katika utaratibu wa uamuzi. Ingawa majaribio ya uingiliaji yalitoa tofauti kubwa zinazounga mkono umuhimu wa kiutendaji, waandishi hawadai udhibiti sahihi wa kigezo cha kisemantiki. Hakuna majedwali ya nambari ghafi yaliyotolewa kwa Figure 7–8. Utafiti huu haukuchunguza kwa upana kama LifeGo-GPT inadumisha utendaji ule ule katika makusanyo ya matatizo ya nje au migawanyo tofauti ya data.

Maelezo ya kutokulingana ndani ya chanzo: Mbinu inaeleza modeli kama decoder-only Transformer, wakati Jedwali 1 linaeleza kina cha tabaka kwa kauli “Transformer encoder”. Ingawa muundo wa macho unatajwa kama dhana kuu katika maelezo ya MAWP, hakuna kichwa huru cha Eye Structure kati ya vichwa vitano vya wazi vya MAWP. Seti za madarasa katika kichwa cha Life Status na sehemu ya uwekaji lebo kiotomatiki hazijaandikwa kwa njia ile ile. Maandishi ya Figure 7 yanasema usahihi wa prob uliongezeka kwa uthabiti pamoja na kina, lakini mchoro hauonyeshi ongezeko linaloendelea kabisa katika mbinu zote. Aidha, licha ya uhusiano wa upeo wa ufafanuzi wa Sequence Correctness na Outcome Validity, chanzo hakielezi kwa nini kwa LifeGo-GPT thamani za %94,7 na %92,1 ziko katika mpangilio huo.

Maelezo ya mbinu ya Verianla: Maudhui haya si tafsiri ya mstari kwa mstari ya makala ya chanzo. Ufafanuzi wa tatizo, maandalizi ya data, mafunzo ya urekebishaji kiotomatiki, usanifu wa LifeGo-GPT, vipimo vya tathmini, muundo wa probing wa MAWP, Milinganyo (1)–(9), jaribio la uingiliaji, ablation, ujumbe wa kisayansi wa grafu na mipaka ya tafsiri vimehifadhiwa huku muundo huru na wa kielimu wa Kiswahili ukijengwa. Hakuna thamani ya mafanikio, usahihi wa prob au hitimisho la kisababishi lisilokuwapo katika chanzo lililoongezwa.