Тадқиқоти академӣ, забони фаҳмо

Verianla | Тадқиқоти академӣ ва илм ба забони тоҷикӣ

02 октябр 2026, ҷумъа
VERİANLAНашри мустақили илмӣ
Кушодан ё бастани меню
...
Саҳифаи асосӣ / Илмҳои амалӣ / Илми компютер / TechDocRAG: Retrieval-Augmented Generation (RAG)-и Ҳифзкунандаи Робитаҳо барои Ҳуҷҷатҳои Техникӣ
Илми компютер

TechDocRAG: Retrieval-Augmented Generation (RAG)-и Ҳифзкунандаи Робитаҳо барои Ҳуҷҷатҳои Техникӣ

TechDocRAG чаҳорчӯбаи retrieval-augmented generation (RAG) мебошад, ки ҳуҷҷатҳои техникиро на ҳамчун маҷмӯи ҳамвори пораҳои мустақили матн, балки ҳамчун графи гетерогении унсурҳо муаррифӣ мекунад, ки робитаҳои байни бандҳо, параграфҳо, ҷадвалҳо, шаклҳо, зернависҳо, бахшҳо ва қадамҳои расмиро нигоҳ медорад.

02/10/2026  Veri Anla 24 боздид
TechDocRAG: Retrieval-Augmented Generation (RAG)-и Ҳифзкунандаи Робитаҳо барои Ҳуҷҷатҳои Техникӣ

TechDocRAG чаҳорчӯбаи retrieval-augmented generation (RAG) мебошад, ки ҳуҷҷатҳои техникиро на ҳамчун маҷмӯи ҳамвори пораҳои мустақили матн, балки ҳамчун графи гетерогении унсурҳо муаррифӣ мекунад, ки робитаҳои байни бандҳо, параграфҳо, ҷадвалҳо, шаклҳо, зернависҳо, бахшҳо ва қадамҳои расмиро нигоҳ медорад. Система ҳар унсури ҳуҷҷатро бо се намуди ҳамоҳанг индекс мекунад: идентификаторҳои техникӣ, хулосаи семантикӣ ва далели хом. Ҳангоми дархост аввал унсурҳои номзад тавассути идентификаторҳои техникӣ ёфта мешаванд, сипас вобаста ба нияти дархост тавсеа ба унсурҳои алоқаманд тавассути граф анҷом дода мешавад, хулосаҳои семантикӣ аз нав рейтинг мешаванд ва дар марҳилаи ниҳоӣ объектҳои далели хоми ба ҳам пайваст дар як бастаи контекстӣ ба модели тавлидкунанда фиристода мешаванд.

Таҳқиқот TechDocRAG-ро дар чаҳор benchmark — MPMQA, DesignQA, MMLongBench-Doc ва LongDocURL — бо зиёда аз 7500 ҷуфти мувозинатшудаи саволу ҷавоб арзёбӣ кардааст. Дар озмоишҳое, ки як тавлидкунандаи ҷавоб ва буҷетҳои муқоисашавандаи контекст истифода шуданд, TechDocRAG дар MPMQA ба 68,5, дар DesignQA ба 62,2, дар MMLongBench-Doc ба 58,4 ва дар LongDocURL ба 55,2 хол расид. Дар миёнаи чаҳор benchmark нисбат ба қавитарин равиши flat — Hybrid Dense+BM25 — 20,3 хол ва нисбат ба қавитарин равиши non-flat — VisRAG — 9,3 хол натиҷаи баландтар гузориш шудааст.

Дар самти пайгирии далел фарқ боз ҳам равшантар аст. Дар сахттарин арзёбии Raw Evidence Hit Rate (REHR), ки exact identifier matching-ро истифода мебарад, Hybrid RAG 0,510 буд, дар ҳоле ки TechDocRAG ба 0,942 расид. Озмоишҳои аблятсионӣ нишон медиҳанд, ки ҳангоми хориҷ кардани identifier-aware recall дастрасӣ ба далели хом, ҳангоми хориҷ кардани relation edge пайвастагии далел ва ҳангоми хориҷ кардани raw bundling дастгирии иддаоҳои тавлидшуда бо далели хом ба таври назаррас осеб мебинад.

Бо вуҷуди ин, система аз сифати parsing-и ҳуҷҷатҳои техникӣ вобаста аст. Хусусан вайроншавии ҷиддии идентификаторҳои техникӣ, ба мисли рақами банд, номи параметр, нишонаи шакл ё ҷадвал, марҳилаи аввалини retrieval-ро аз кор мебарорад. Аз ин рӯ, натиҷаҳоро набояд ба шакли “ҳар RAG-е, ки граф истифода мекунад, беҳтар аст” шарҳ дод; онҳо бояд ҳамчун далели таҷрибавӣ дар бораи аҳамияти нигоҳ доштани робитаҳои сохторӣ ва истинодии дохили ҳуҷҷат барои расидан ба далели дуруст дар ҳуҷҷатҳои техникӣ фаҳмида шаванд.

Чаро RAG-и ҳуҷҷатҳои техникӣ аз RAG-и матни оддӣ фарқ мекунад?

Мушаххасоти техникӣ, дастурҳои истифода, ҳуҷҷатҳои нигоҳдорӣ ва стандартҳои муҳандисӣ одатан як матни пайвастаи ривоятӣ нестанд. Таърифи як талабот метавонад дар Бахши 4.2, арзиши ҳаддӣ дар Ҷадвали 7, тарҳи пайвастшавӣ дар Шакли 3 ва огоҳии ҳолати махсус дар қадами навбатии расмӣ ҷойгир бошад.

Аз ин рӯ, танҳо ёфтани параграфи аз ҷиҳати семантикӣ монанд метавонад барои тавлиди ҷавоби дуруст кофӣ набошад. Ҳатто агар система банди дурустро ёбад, агар ҷадвал, шакл ё қадами ҳамсояи расмиро, ки банд ба он истинод мекунад, оварда натавонад, занҷири далел нопурра мемонад.

Масъалаи асосии TechDocRAG маҳз ҳамин аст: ёфтани матни марбут ва ёфтани далели пурраю пайваст, ки ҷавобро дастгирӣ мекунад, як вазифа нест.

TechDocRAG Аз RAG-и Стандартӣ Чӣ Фарқ Дорад?

RAG-и стандартии chunk-based ҳуҷҷатро асосан ба пораҳои матнии дарозии собит ё семантикӣ ҷудо мекунад ва ин пораҳоро ҳамчун воҳидҳои мустақили retrieval коркард менамояд. TechDocRAG бошад объектҳои аслии ҳуҷҷат, ба мисли банд, ҷадвал, шакл, caption, қадами расмӣ ва иттилооти версияро нигоҳ медорад; робитаҳои байни онҳо, аз ҷумла table_ref, figure_ref, caption_of, step_next, version_of ва монанди инҳоро ҳамчун канорҳои граф нигоҳ медорад. Ҳамин тавр retrieval на танҳо ба саволи “кадом мундариҷа монанд аст?”, балки ба саволи “ин далел бояд бо кадом далелҳои дигар якҷо хонда шавад?” низ ҷавоб медиҳад.

Ҳуҷҷат ба графи гетерогении унсурҳо табдил дода мешавад

Як ҳуҷҷати техникӣ \(d\) дар таҳқиқот бо графи зерин муаррифӣ мешавад:

\[ G_d=(V_d,E_d) \]

Дар ин ҷо \(V_d\) гиреҳҳои унсурҳои ҳуҷҷат ва \(E_d\) робитаҳои байни ин унсурҳоро ифода мекунад.

Ҳар гиреҳ:

\[ v=(\tau_v,r_v,k_v,s_v,m_v) \]

ба чунин шакл муайян мешавад.

  • \(\tau_v\): Навъи унсур; масалан, банд, параграф, ҷадвал, шакл, caption ё қадами расмӣ.
  • \(r_v\): Объекти хоми ҳуҷҷат.
  • \(k_v\): Идентификаторҳои техникӣ ва калимаҳои калидӣ.
  • \(s_v\): Хулосаи семантикӣ.
  • \(m_v\): Индекси саҳифа, bounding box, роҳи бахш, навъи ҳуҷҷат, версия ва metadata ба мисли normative label.

Ин сохтор шахсияти ҳуҷҷатро, ки ҳангоми flat chunking метавонад гум шавад, нигоҳ медорад.

Канорҳои граф кадом робитаҳоро ифода мекунанд?

РобитаМаъно
containsБахш ё унсури болоӣ унсурҳои зериро дар бар мегирад
precedesДар тартиби хондани маҳаллӣ як унсур пеш аз унсури дигар меояд
same_sectionДар ҳамон бахш ё зербахш ҷойгир будан
step_nextПайвасти пайдарпайи қадамҳои расмӣ
clause_refИстиноди ошкори як банд ба банди дигар
table_refИстинод аз матн ба ҷадвал
figure_refИстинод аз матн ба шакл
caption_ofПайваст байни шакл ё ҷадвал ва caption
same_identifierИстифодаи такрории ҳамон идентификатори техникӣ дар унсурҳои гуногун
version_of / supersedesРобитаи байни версияҳои гуногуни ҳуҷҷат

Ҳадафи retrieval танҳо “пораи аз ҳама мувофиқ” нест

Таҳқиқот масъалаи retrieval-ро ҳамчун масъалаи ёфтани зерграфи далели алоқаманд муайян мекунад:

\[ H_q^*=\arg\max_{H\subseteq G} \left[ Rel(q,H)+\lambda Conn(H)+\gamma Valid(q,H)-\mu Cost(H) \right] \]

Дар ин функсияи ҳадаф:

  • \(Rel(q,H)\) мувофиқати лексикӣ ва семантикии байни дархост ва зерграфи далелро;
  • \(Conn(H)\) пайвастагӣ ва комилии гиреҳҳои далелро;
  • \(Valid(q,H)\) мутобиқати metadata, ба мисли версия ё навъи ҳуҷҷатро;
  • \(Cost(H)\) хароҷоти retrieval ва сохтани контекстро

ифода мекунад.

\(\lambda\), \(\gamma\) ва \(\mu\) вазнҳои ин ҷузъҳо дар функсияи ҳадаф мебошанд. Ҳадафи математикӣ танҳо ҷамъ кардани гиреҳҳои аз ҳама монанд нест, балки сохтани зерграфи далели ба қадри кофӣ пайваст ва аз ҷиҳати metadata эътиборнок мебошад.

Зерграфи интихобшуда сипас ба тавлидкунандаи ҷавоб дода мешавад:

\[ (y_q,\Pi_q)=f_\theta(q,H_q^*) \]

Дар ин ҷо \(y_q\) ҷавоби тавлидшуда ва \(\Pi_q\) пайвандҳои provenance-ро аз иддаоҳои тавлидшуда то гиреҳҳои далели хом ифода мекунад.

Сохтори Сегонаи “Identifier–Summary–Raw” Барои Чӣ Хизмат Мекунад?

TechDocRAG ҳар унсури ҳуҷҷатро дар се намуди retrieval, ки ба як шахсияти ягона пайвастанд, нигоҳ медорад: намуди identifier барои ёфтани anchor-ҳои дақиқи техникӣ, намуди summary барои арзёбии мувофиқати семантикӣ бо дархост ва намуди raw evidence барои интиқоли матн, ҷадвал, шакл ё расмиёти аслӣ, ки ҷавоби ниҳоӣ воқеан ба он такя мекунад, ба модели тавлидкунанда истифода мешавад. Ин ҷудокунӣ намегузорад, ки хулосаҳои аз ҷиҳати семантикӣ муфид, вале ба манбаъ мустақиман пайгиришаванда набошанд, ҷойи далели хомро гиранд.

Identifier ва хулоса чӣ гуна тавлид мешаванд?

Барои ҳар гиреҳ маҷмӯи identifier-и техникӣ ва хулосаи семантикӣ:

\[ k_v=ExtractId(r_v,m_v), \qquad s_v=Summarize(r_v,N(v)) \]

ба ин шакл муайян мешавад.

\(N(v)\) ҳамсоягии робитавии маҳаллии гиреҳ аст. Хулоса метавонад на танҳо аз мундариҷаи хоми худи унсур, балки аз контексти наздики ҳуҷҷат, ки ба фаҳмиши он кумак мекунад, истифода барад.

Муаррифии ҳамоҳанги ҳар гиреҳ:

\[ \phi(v)=\{k_v,s_v,r_v,m_v\} \]

ба чунин шакл аст.

Пойгоҳи додаҳо дар сатҳи корпус бошад:

\[ D=(I_{id},I_{sum},R,G) \]

ба ин шакл муайян мешавад.

  • \(I_{id}\): Индекси identifier-и техникӣ.
  • \(I_{sum}\): Индекси хулосаи семантикӣ.
  • \(R\): Анбори далели хом.
  • \(G\): Графи робитаҳо.

Чаро индекси Identifier муҳим аст?

Дар ҳуҷҷатҳои техникӣ “Section 4.2”, “Table 7”, “parameter Z”, “error E105”, як фармони API ё нишонаи версия метавонад аз ҷиҳати семантикӣ нисбат ба як калимаи оддӣ anchor-и хеле қавитар бошад.

Аз ин рӯ TechDocRAG дар қабати аввали retrieval ба идентификаторҳои техникӣ вазни махсус медиҳад. Дар озмоиши аблятсионӣ ҳангоми хориҷ кардани identifier-aware recall арзиши REHR@10 аз 0,94 дар модели пурра то 0,65 коҳиш меёбад. Ин нишон медиҳад, ки яке аз манбаъҳои муҳими самаранокии система ёфтани anchor-и дурусти техникӣ дар марҳилаи барвақт аст.

Дархост аввал таҳлил мешавад

Ҳар дархост ба се ҷузъ ҷудо мешавад:

\[ (k_q,e_q,z_q)=Analyze(q) \]

  • \(k_q\): Identifier ва калимаҳои калидии техникӣ дар дархост.
  • \(e_q\): Муаррифии семантикии дархост.
  • \(z_q\): Нияти дархост.

Навъҳои ният дар манбаъ ҷустуҷӯи таъриф/талабот, расмиёт ё troubleshooting, reasoning-и матн-ҷадвал, grounding-и матн-шакл, ҳалли cross-reference ва дархостҳои ҳассос ба версияро дар бар мегиранд.

Барои ҳар савол як сиёсати retrieval истифода намешавад

Навъи дархостРобитаҳои муҳимМаксимуми hopҲадафи асосӣ
Таъриф / талаботcontains, same_identifier, clause_ref1-2Банд ё параграф
Расмиёт / troubleshootingstep_next, contains, same_section2Қадамҳои расмӣ
Матн-ҷадвалtable_ref, caption_of, same_identifier2Сатри ҷадвал / роҳи сарлавҳа
Матн-шаклfigure_ref, caption_of, same_section2Ҷуфти шакл-caption
Cross-referenceclause_ref, table_ref, figure_ref2Унсури истинодшуда
Дархости ҳассос ба версияversion_of, supersedes, same_identifier1Гиреҳҳои ревизияи фаъол

Мантиқи ин сиёсат чунин аст: робитаҳои ҳуҷҷатие, ки барои саволи “Параметр чист?” лозиманд, бо робитаҳое, ки барои саволи “Сенсори Y чӣ гуна аз нав калибр карда мешавад?” лозиманд, яксон нестанд.

TechDocRAG Як Дархостро Қадам Ба Қадам Чӣ Гуна Коркард Мекунад?

Занҷири online retrieval бо identifier-aware recall оғоз мешавад, бо тавсеаи граф мувофиқи нияти дархост идома меёбад, номзадҳои тавсеашуда дар фазои хулосаи семантикӣ аз нав рейтинг мешаванд, гиреҳҳои интихобшуда ба объектҳои далели хом ҳал карда мешаванд ва далелҳои алоқаманд дар доираи буҷети контекст ба як баста ҷамъ карда мешаванд. Ҷавоби ниҳоӣ танҳо аз ҳамин баста тавлид мешавад ва иддаоҳо тавассути пайвандҳои provenance ба далели хом пайваст мешаванд.

1. Identifier-aware recall

Маҷмӯи аввали номзадҳо дар манбаъ чунин муайян мешавад:

\[ C_{id}= TopK_{v\in V} \left[ \lambda_1 BM25(q,k_v) +\lambda_2 IdMatch(k_q,k_v) +\lambda_3 MetaMatch(q,m_v) \right] \]

BM25 мутобиқати лексикӣ, IdMatch мутобиқати identifier-и техникӣ ва MetaMatch мутобиқати metadata бо дархостро арзёбӣ мекунад.

2. Тавсеа дар графи робитаҳо

Ҳамсояҳои номзадҳои аввал, ки ба нияти дархост мувофиқанд, илова мешаванд:

\[ C_{id}^{e}=C_{id}\cup Expand(C_{id},\Omega(z_q)) \]

\(\Omega(z_q)\) сиёсатест, ки муайян мекунад барои нияти дахлдори дархост кадом навъҳои робита пайгирӣ мешаванд.

3. Summary-level reranking

Унсурҳои тавсеашуда дар фазои хулосаи семантикӣ аз нав рейтинг мешаванд:

\[ C_{sum}=TopL_{v\in C_{id}^{e}} \left[ \alpha \cos(e_q,e_v) +\beta RelScore(v,C_{id}) +\gamma TypePrior(z_q,\tau_v) \right] \]

Идеяи асосӣ ин аст, ки қабати аввал барои exact technical anchors recall-и баланд фароҳам меорад; қабати дуюм бошад ин номзадҳоро аз рӯйи ҳадафи воқеии семантикии дархост танг мекунад.

4. Бастабандии далели хом

Гиреҳҳои аз нав рейтингшуда ба далели хом табдил дода мешаванд:

\[ C_{raw}=\bigcup_{v\in C_{sum}}Bundle(v) \]

Як Bundle метавонад зиёда аз як пораи матнро дар бар гирад. Масалан, як банд + ҷадвале, ки ба он истинод мекунад; ё буридаи шакл + caption + параграфе, ки ба шакл истинод мекунад, метавонанд дар як бастаи далел нигоҳ дошта шаванд.

5. Буҷети контекст

Далелҳои хом дар доираи буҷети контекст \(B\) бастабандӣ мешаванд:

\[ E_q=Pack(C_{raw},B) \]

Дар протоколи озмоишӣ буҷети контекст ба 2048 токени матн ва барои усулҳои multimodal ба 10 минтақаи визуалӣ нормализатсия шудааст.

6. Grounded generation ва provenance

Ҷавоби ниҳоӣ:

\[ (\hat{y}_q,\Pi_q)=g_\theta(q,E_q) \]

тавассути ин тавлид мешавад.

Provenance дар сатҳи иддао бошад:

\[ \Pi_q=\{(c_i,U_i)\}_{i=1}^{M}, \qquad U_i\subseteq C_{raw} \]

ба ин шакл муайян мешавад. Дар ин ҷо ҳар \(c_i\) як иддаои тавлидшуда ва \(U_i\) объектҳои далели хоме мебошанд, ки ин иддаоро дастгирӣ мекунанд.

Шакли 1 дар PDF чиро нишон медиҳад?

Шакли 1 дар манбаъ меъмориро ба ду қисми асосӣ ҷудо мекунад. Дар тарафи Offline index construction ҳуҷҷатҳои техникӣ parse ва canonicalize мешаванд, графи гетерогении унсурҳо сохта мешавад ва identifier index, summary index, raw store ва relation store бо ҳам ҳамоҳанг карда мешаванд. Дар тарафи Online query-time дархости корбар таҳлил мешавад, identifier-aware recall иҷро мегардад, тавсеаи робита ва summary reranking татбиқ мешаванд, бастаи далели хом сохта мешавад ва ҷавобе бо provenance тавлид мегардад.

Шакли 2 дар PDF чӣ илова мекунад?

Шакли 2 махсусан ба ҷараёни қароргирии online тамаркуз мекунад. Он нишон медиҳад, ки ҷудо кардани дархост ба ҷузъҳои identifier ва ният муайян мекунад кадом relation policy интихоб шавад, пас аз retrieval ҳамсояҳои алоқаманд гирифта мешаванд ва ба модели тавлидкунанда ба ҷойи фрагментҳои мустақил бастаҳои далели хоми алоқаманд фиристода мешаванд.

Оё Нигоҳ Доштани Робитаҳо Воқеан Самаранокиро Баланд Кард?

Дар озмоишҳои манбаъ TechDocRAG дар ҳамаи чаҳор benchmark нисбат ба системаҳои муқоисашуда холи баландтари end-to-end додааст. Фарқи калонтарин танҳо дар ҷустуҷӯҳои оддии бандҳо не, балки дар саволҳои расмиёт, матн-ҷадвал, cross-reference ва ҳассос ба версия пайдо шудааст. Ин намуна бо гипотезаи асосии таҳқиқот мувофиқ аст: арзиши бузургтарини робитаҳои сохторӣ дар дархостҳое зоҳир мешавад, ки ҷавоб ба чанд объекти ба ҳам пайвасти ҳуҷҷат такя мекунад.

Чаҳор benchmark

  • MPMQA: Саволу ҷавоби multimodal дар дастурҳои маҳсулот; корпуси PM209 аз 209 дастур ва 22.021 ҷуфти саволу ҷавоби бо инсон нишонагузоришуда иборат аст.
  • DesignQA: Фаҳмиши grounded дар қоидаҳои Formula SAE, тасвирҳои CAD ва нақшаҳои муҳандисӣ.
  • MMLongBench-Doc: 1062 саволи аз ҷониби коршиносон нишонагузоришуда дар 130 PDF-и дароз; дарозии миёнаи ҳуҷҷат 49,4 саҳифа.
  • LongDocURL: 2325 ҷуфти саволу ҷавоб, ки зиёда аз 33.000 саҳифаро фаро мегирад; вазифаҳои фаҳмиш, reasoning ва ёфтани ҷойгиршавӣ.

Арзёбии назоратшаванда зиёда аз 7500 ҷуфти мувозинатшудаи саволу ҷавобро, ки аз ин чаҳор benchmark интихоб шудаанд, истифода кардааст.

Усулҳои муқоисашудаи RAG

TechDocRAG бо Dense Chunk RAG, Hybrid Dense+BM25, Self-RAG, CRAG, RAPTOR, GraphRAG, LightRAG, HippoRAG 2 ва VisRAG муқоиса шудааст.

Барои муқоисаи одилона дар ҳамаи усулҳо то ҳадди имкон як тавлидкунандаи ҷавоб истифода шудааст: Gemini-3.1-Flash-Lite-Preview. Дастрасии берунии веб хомӯш карда шудааст, CRAG бо retrieval-и танҳо дохили corpus маҳдуд шудааст ва буҷетҳои контекст нормализатсия шудаанд.

Тафсилоти татбиқи TechDocRAG

ҶузъТанзимот
Parser-и ҳуҷҷатParser-и multimodal-и асосёфта ба OCR, ки Layout segmentation, figure-caption alignment ва typed element extraction-ро истифода мебарад
Identifier canonicalizationНормализатсияи rule-based барои ID-и бандҳо, нишонаҳои ҷадвал/шакл, номҳои параметр ва нишонаҳои версия; fuzzy matching ҳангоми дархост
Identifier indexBM25 бар identifier-и нормализатсияшуда, рақами банд, нишона ва калимаҳои калидии соҳа
Summary vector indexall-MiniLM-L6-v2
Query analyzerTinyLlama-1.1B-Chat-v1.0; batch size 16
Answer generatorGemini-3.1-Flash-Lite-Preview
Relation extractionCross-reference parsing-и ошкор + layout heuristics
RetrievalTop-10 identifier recall, 2-hop graph expansion, top-5 summary reranking
Context budget2048 токени матн + 10 visual region
СахтафзорSingle-GPU inference

Усул ва Натиҷаҳои Таҳқиқот

Натиҷаҳои end-to-end

УсулMPMQADesignQAMMLongLongDoc
Dense Chunk RAG44,840,533,231,4
Hybrid Dense+BM2548,244,136,534,2
Self-RAG51,847,539,837,5
CRAG52,448,840,538,2
RAPTOR50,546,241,438,8
GraphRAG54,850,544,842,4
LightRAG55,651,246,143,8
HippoRAG 256,552,847,545,2
VisRAG54,257,548,846,5
TechDocRAG68,562,258,455,2

Манбаъ дар миёнаи чаҳор benchmark нисбат ба Hybrid Dense+BM25 фарқи 20,3 хол ва нисбат ба VisRAG фарқи 9,3 холро гузориш мекунад. Инҳо фарқҳои мутлақи холҳои benchmark мебошанд; тағйири фоизӣ нестанд.

Чаро Raw Evidence Hit Rate муҳим аст?

Raw Evidence Hit Rate (REHR) чен мекунад, ки система ҳадди ақал яке аз гиреҳҳои ҳақиқии gold-standard-и далели хомро дар натиҷаи retrieval гирифтааст ё не:

\[ REHR@K= \frac{1}{|Q|} \sum_{q\in Q} \mathbf{1} \left[ V_q^*\cap\hat{V}_q^{(K)}\neq\varnothing \right] \]

Натиҷаҳо дар сатҳи L0, ки exact identifier matching-ро талаб мекунад, чунинанд:

УсулStrict REHR
Dense0,452
Hybrid0,510
TechDocRAG0,942

Вақте меъёр ба ҳамсоягии 1-hop, 2-hop, 3-hop ва 4-hop суст карда мешавад, TechDocRAG REHR мутаносибан ба 0,965, 0,984, 0,992 ва 1,000 мерасад.

Метрикаҳои grounding

Таҳқиқот дар баробари Recall@10 ва Mean Reciprocal Rank-и классикӣ барои арзёбии робитаҳои ҳуҷҷатҳои техникӣ метрикаҳои махсусро муайян мекунад.

Summary-to-Raw Trace Accuracy (SRTA) чен мекунад, ки гиреҳи хулосаи бозёфтшуда то далели хоми дуруст пайгирӣ мешавад ё не.

Evidence Connectivity Recall (ECR):

\[ ECR= \frac{1}{|Q|} \sum_{q\in Q} \frac{|\hat{E}_q\cap E_q^*|}{|E_q^*|} \]

чен мекунад, ки ҳангоми retrieval чӣ қадар аз relation edge-ҳои зарурӣ бозёфт шудаанд.

Version Consistency Score (VCS) ҳиссаи иддаоҳои тавлидшударо, ки ба версияи дурусти ҳуҷҷати марбут ба дархост такя мекунанд, арзёбӣ мекунад.

Procedure Order Accuracy (POA) нигоҳ доштани тартиби дурусти қадамҳоро дар саволҳои расмӣ чен мекунад.

Claim Support Rate (CSR) ҳиссаи иддаоҳои тавлидшударо, ки ҳадди ақал аз ҷониби як бастаи далели хом дастгирӣ мешаванд, чен мекунад.

УсулRecall@10MRRREHR@10SRTAECRCSR
Hybrid Dense+BM2545,80,310,5100,4850,4250,512
HippoRAG 258,50,450,7210,6850,6520,704
VisRAG54,20,400,6540,6110,5820,625
TechDocRAG69,20,560,9420,9140,8520,942

Самаранокӣ аз рӯйи навъи дархост

Бартарии TechDocRAG дар дархостҳои оддии clause ё parameter маҳдудтар, вале дар дархостҳое, ки нигоҳ доштани робитаҳои ҳуҷҷатро талаб мекунанд, хеле бештар аст.

Навъи дархостHybrid Chunk RAGTechDocRAG
Clause52,165,8
Parameter48,464,2
Procedure35,262,1
Text–Table31,460,5
Text–Figure28,558,4
Cross-Reference25,157,2
Version22,454,1
Macro Average34,760,3

Озмоишҳои аблятсионӣ чиро нишон медиҳанд?

ВариантMain ScoreREHR@10ECRCSRVCSPOA
Модели пурра62,50,940,850,820,780,75
Relation edge нест51,20,880,420,650,740,48
Identifier recall нест54,80,650,720,750,680,65
Summary routing нест56,40,910,810,780,720,70
Raw bundling нест58,20,920,830,450,750,72
Intent-aware expansion нест55,60,900,580,720,740,61
Version metadata нест59,40,930,840,810,320,74

Ин ҷадвал нишон медиҳад, ки ҷузъҳои система вазифаҳои гуногун доранд. Хориҷ кардани relation edge ECR-ро аз 0,85 то 0,42 паст мекунад. Хориҷ кардани identifier recall REHR-ро аз 0,94 то 0,65 коҳиш медиҳад. Ҳангоми хориҷ кардани raw bundling CSR аз 0,82 то 0,45 паст мешавад. Ҳангоми хориҷ кардани version metadata бошад VCS аз 0,78 то 0,32 поён меравад.

Пас, бурди система аз як ҷузъ намеояд; exact anchor finding, пайвасти сохторӣ, азнаврейтингкунии семантикӣ, бастабандии далели хом ва version metadata намудҳои гуногуни хатоҳоро ҳадаф мегиранд.

Оё самаранокӣ аз буҷети калонтари ҳисоббарорӣ меояд?

Профилинг дар манбаъ инро ҳамчун ягона тавзеҳ дастгирӣ намекунад.

УсулOffline indexingАндозаи индексТаъхири миёнаи дархостPeak GPU хотира
Dense Chunk RAG2,5 s2,0 MB5,2 ms~150 MB
Hybrid Dense+BM253,8 s3,5 MB7,8 ms~180 MB
HippoRAG 212,4 s8,2 MB45,6 ms~450 MB
TechDocRAG6,36 s2,28 MB8,3 ms314,4 MB

Сохтани индекси offline-и TechDocRAG нисбат ба Hybrid RAG гаронтар аст, зеро граф ва муаррифии сегона сохта мешаванд. Аммо query latency-и миёна 8,3 ms буда, ба арзиши 7,8 ms-и Hybrid наздик ва аз 45,6 ms-и HippoRAG 2 ба таври назаррас пасттар аст.

Устуворӣ ба вайроншавии Identifier

Дар озмоиши robustness-и таҳқиқот вайроншавиҳои монанд ба OCR ба рақамҳои банд, номҳои параметр ва нишонаҳои ҷадвал/шакл ворид карда шудаанд.

Меъёри вайроншавӣ / талафREHR: identifier corruptionECR: relation dropout
%01,00000,9875
%51,00000,9825
%101,00000,9725
%200,07000,9525
%30Гузориш нашудааст0,9310

Натиҷа асимметрӣ аст. Аз даст рафтани қисми relation edge-ҳо самаранокии системаро тадриҷан коҳиш медиҳад, аммо вайроншавии шадиди identifier-ҳои техникӣ хатои хеле тезтар ба вуҷуд меорад. Ин нишон медиҳад, ки система аз ҷиҳати робитаҳои граф то андозае redundancy дорад, вале ба parse шудани дурусти anchor-и retrieval-и аввалия сахт вобаста мемонад.

Маҳдудиятҳои таҳқиқот

  • TechDocRAG аз сифати parser-и ҳуҷҷат вобаста аст.
  • Хатоҳои table extraction, caption alignment ва clause numbering метавонанд relation graph-ро вайрон кунанд.
  • Cross-reference-ҳои ошкор нисбат ба истинодҳои ғайримустақим боэътимодтар коркард мешаванд.
  • Layout-и ғайристандартӣ ва нишонаҳои шаклие, ки барои инсон фаҳмо, вале барои мошин ғайриошкоранд, метавонанд мушкил эҷод кунанд.
  • Дар версияҳои гуногуни ҳуҷҷат ҳамон identifier метавонад бо шартҳои гуногун дубора истифода шавад.
  • Метрикаҳои relation-aware grounding аннотатсияи дастии далелро талаб мекунанд.
  • Натиҷаҳои самаранокӣ дар benchmark-ҳо, танзимоти retrieval ва тавлидкунандаи умумии ҷавоби мушаххас гирифта шудаанд.
  • Дар ҷадвалҳои асосии натиҷаҳои манбаъ вариатсияи таҷрибаҳои такрорӣ, фосилаи эътимод ё санҷиши классикии аҳамиятнокӣ гузориш нашудааст; аз ин рӯ фарқи холҳо набояд ҳамчун аҳамиятнокии оморӣ васеъ карда шавад.

Тавсияҳои амалӣ барои коҳиши хато

Муаллифон тавсия медиҳанд саҳифаҳои OCR-и пастсифат бо confidence-based filtering нишонагузорӣ шаванд, минтақаҳои мушкил интихобан аз нав parse карда шаванд ва барои ID-и банд, нишонаи ҷадвал, нишонаи шакл ва tag-ҳои версия санҷиши rule-based истифода шавад.

Ба ҷойи татбиқи амалиёти гаронтари vision/OCR ба ҳамаи саҳифаҳо, равона кардани онҳо ба минтақаҳои дорои эътимоди паст низ аз ҷиҳати хароҷот тавсия мешавад. Агар эътимод ҳанӯз паст бошад, система метавонад ба page-level ё region-level retrieval баргардад ва provenance-ро ҳамчун номуайян нишонагузорӣ кунад.

Таҳқиқот чӣ мегӯяд?

Муваффақияти RAG дар ҳуҷҷатҳои техникӣ танҳо бо retrieval кардани пораҳои бештари матн шарҳ дода намешавад. Нигоҳ доштани робитаҳо ба мисли ҷадвале, ки банд ба он истинод мекунад, caption-и шакл, тартиби қадамҳои расмӣ ё версияи дурусти ҳуҷҷат метавонад аз ҷиҳати answer grounding ва evidence traceability беҳбудии назарраси самаранокӣ диҳад.

Таҳқиқот чӣ намегӯяд?

Нишон дода нашудааст, ки TechDocRAG дар ҳамаи вазифаҳои RAG мутлақан беҳтарин усул аст. Натиҷаҳоро ба web QA-и умумӣ, ҷустуҷӯи озоди иттилоот ё маҷмӯаҳои матнии берабт мустақиман умумӣ кардан мумкин нест. Инчунин система масъалаи OCR ё parsing-и комилро ҳал намекунад; баръакс, бо озмоиши мустақим нишон дода шудааст, ки ҳангоми вайроншавии шадиди identifier самаранокии он якбора паст мешавад.

Ёддошт оид ба Манбаъ ва Усул

Таҳқиқоти аслӣ: TechDocRAG: Relation-Preserving Retrieval-Augmented Generation (RAG) for Technical Documents

Муаллифон: Seungjoon Lee; Myungryul Choi.

Муаллифи масъул: Myungryul Choi.

Муассисаҳо: Department of EECI Engineering, Hanyang University; Division of Electrical Engineering, Hanyang University, Seoul, Republic of Korea.

Маҷалла: AI.

Ношир: MDPI.

Сабти библиографӣ: AI 2026, 7(5), 161.

DOI: 10.3390/ai7050161

Навъи манбаъ: Мақолаи таҳқиқотӣ.

Раванди нашр: Қабул шуд 15 Март 2026; бозбинӣ шуд 21 Апрел 2026; пазируфта шуд 27 Апрел 2026; нашр шуд 6 Май 2026.

Иҷозатнома: Creative Commons Attribution (CC BY).

Маблағгузорӣ: Таҳқиқот маблағгузории беруна нагирифтааст.

Дастрасии додаҳо: Маҷмӯаҳои кушодаи benchmark бо номи MPMQA, DesignQA, MMLongBench-Doc ва LongDocURL истифода шудаанд. Benchmark-и нави калонҳаҷм сохта нашудааст. Аннотатсияҳои ҳосилшуда, prompt-ҳо ва тафсилоти татбиқро аз муаллифи аввал дархост кардан мумкин аст.

Бархӯрди манфиатҳо: Муаллифон бархӯрди манфиатҳоро гузориш намекунанд.

Саҳми муаллифон: Seungjoon Lee консептуализатсия, методология, нармафзор, тасдиқ, таҳлили формалӣ, таҳқиқ, захираҳо, куратсияи додаҳо, тарҳи аввал ва визуализатсияро анҷом додааст. Seungjoon Lee ва Myungryul Choi бозбинӣ ва таҳрирро муштарак анҷом додаанд; Myungryul Choi барои супервизия ва идоракунии лоиҳа масъул буд.

Усули муқоиса: Flat retrieval, adaptive/corrective RAG, hierarchical RAG, graph RAG, memory-oriented RAG ва multimodal retrieval муқоиса шудаанд. То ҳадди имкон як тавлидкунандаи ҷавоб ва буҷети эквивалентии далел истифода шудааст. CRAG дар режими corpus-only бидуни дастрасии берунии веб арзёбӣ шудааст.

Маҳдудияти асосии методологӣ: Дар гузориш санҷишҳои классикии аҳамиятнокии оморӣ, confidence interval ё run-to-run variance барои холҳои benchmark гузориш нашудаанд. Аз ин рӯ, ҷадвалҳои самаранокӣ бояд ҳамчун натиҷаҳои муқоисавии benchmark, ки дар доираи протоколи таҳқиқот мушоҳида шудаанд, баррасӣ шаванд.

Усули мундариҷаи Verianla: Ин матни тоҷикӣ тарҷумаи ҷумла ба ҷумлаи мақолаи манбаъ нест. Бо нигоҳ доштани таърифи масъала, графи гетерогении унсурҳо, меъмории identifier-summary-raw, формулировкаи математикии retrieval, сиёсатҳои query intent, тарҳи benchmark, метрикаҳои evaluation, аблятсияҳо, хароҷоти захира, озмоишҳои robustness ва маҳдудиятҳои методологӣ, баёни мустақили илмии тоҷикӣ таҳия шудааст. Ягон самаранокӣ, омор ё хусусияти система, ки дар манбаъ нест, илова нашудааст.


Мубодила:

Шарҳҳо пас аз баррасӣ нашр мешаванд.Шарҳи шумо ба раванди тасдиқ фиристода шуда, пас аз пазируфта шудан намоён мегардад.

Шарҳ гузоред

Нишонии почтаи электронии шумо нашр намешавад. Майдонҳои ҳатмӣ бо * нишон дода шудаанд

Иҷозат додан ба кукиҳо таҷрибаи шуморо дар ин сомона беҳтар мекунад. Сиёсати кукиҳо