RAG چیست؟ راهنمای معماری تولید تقویت‌شده با بازیابی

اگر یک مدل زبانی پاسخ روانی تولید می‌کند، اما برای پاسخ‌دادن به اسناد داخلی شرکت، دستورالعمل‌های تازه یا اطلاعاتی که پس از زمان آموزش آن تغییر کرده‌اند به مشکل می‌خورد، «تولید تقویت‌شده با بازیابی» یا RAG (Retrieval-Augmented Generation) می‌تواند راه‌حل مناسبی باشد. در این روش، برنامه پیش از تولید پاسخ، اطلاعات مرتبط را از یک منبع بیرونی بازیابی می‌کند و همراه پرسش در اختیار مدل قرار می‌دهد.

RAG به‌خودی‌خود مدل را دوباره آموزش نمی‌دهد و صحت پاسخ را هم تضمین نمی‌کند. ارزش اصلی آن این است که پاسخ‌گویی مدل را به مجموعه‌ای از اسناد قابل‌به‌روزرسانی و قابل‌ردیابی متصل می‌کند؛ به شرط آنکه داده، جست‌وجو، کنترل دسترسی و ارزیابی درست طراحی شوند.

RAG چیست؟

RAG معماری‌ای برای ترکیب دو قابلیت است: بازیابی اطلاعات از یک منبع دانش و تولید پاسخ با مدل زبانی بزرگ. در یک سامانهٔ معمولی، مدل بیشتر به دانشی تکیه می‌کند که هنگام آموزش در پارامترهایش آموخته است. در سامانهٔ RAG، برنامه می‌تواند هنگام دریافت پرسش، بخش‌هایی از اسناد، پایگاه دانش، راهنماها یا داده‌های سازمانی را پیدا کند و آن‌ها را به‌عنوان زمینهٔ پاسخ در اختیار مدل بگذارد.

برای مثال، فرض کنید کارمند یک شرکت می‌پرسد «فرایند بازپرداخت هزینهٔ سفر چیست؟». مدل عمومی ممکن است از سیاست داخلی شرکت خبر نداشته باشد. سامانهٔ RAG ابتدا نسخهٔ مرتبط از آیین‌نامهٔ منابع انسانی را پیدا می‌کند، بخش‌های مناسب را به پرسش اضافه می‌کند و سپس از مدل می‌خواهد بر اساس همان اطلاعات پاسخ دهد.

نام این رویکرد از مقالهٔ پژوهشی سال ۲۰۲۰ دربارهٔ ترکیب حافظهٔ پارامتری مدل با حافظهٔ غیرپارامتری و قابل‌بازیابی گرفته شده است. مقالهٔ اصلی RAG در arXiv توضیح می‌دهد که اتصال مدل مولد به یک منبع دانش بیرونی می‌تواند برای وظایف دانش‌محور مفید باشد.

RAG چگونه کار می‌کند؟

پیاده‌سازی RAG معمولاً دو مسیر دارد: آماده‌سازی و نمایه‌سازی دانش که پیش از پرسش انجام می‌شود، و بازیابی و تولید پاسخ که هنگام پرسش کاربر رخ می‌دهد.

۱. گردآوری و آماده‌سازی داده

ابتدا منابعی مانند فایل‌های PDF، صفحات راهنما، پایگاه دانش، اسناد سازمانی یا داده‌های ساخت‌یافته انتخاب می‌شوند. فایل‌ها باید استخراج، پاک‌سازی و به قالبی قابل‌جست‌وجو تبدیل شوند. حذف متن‌های تکراری، حفظ عنوان و نشانی سند، ثبت تاریخ به‌روزرسانی و نگهداری شناسهٔ منبع، کیفیت مراحل بعدی را بهتر می‌کند.

۲. تقسیم محتوا به بخش‌های قابل‌بازیابی

اسناد بلند معمولاً به قطعه‌های کوچک‌تر یا Chunk تقسیم می‌شوند. اگر قطعه بیش از حد بزرگ باشد، اطلاعات نامرتبط وارد زمینهٔ مدل می‌شود؛ اگر بیش از حد کوچک باشد، ارتباط میان جمله‌ها و توضیحات از بین می‌رود. اندازهٔ مناسب به نوع سند، زبان، ساختار متن و پرسش‌های مورد انتظار بستگی دارد. نگهداری عنوان بخش، شمارهٔ صفحه و شناسهٔ سند در کنار هر قطعه، ارجاع به منبع را آسان‌تر می‌کند.

۳. ساخت نمایه و بردارهای معنایی

در بسیاری از سامانه‌ها، یک مدل تعبیه‌سازی یا Embedding متن هر قطعه را به برداری عددی تبدیل می‌کند تا بتوان قطعه‌های دارای معنای نزدیک را پیدا کرد. این بردارها ممکن است در پایگاه دادهٔ برداری یا یک موتور جست‌وجوی مجهز به جست‌وجوی برداری ذخیره شوند. بااین‌حال، RAG الزاماً به پایگاه دادهٔ برداری وابسته نیست؛ جست‌وجوی کلیدواژه‌ای، معنایی یا ترکیبی نیز می‌تواند بخشی از معماری باشد.

۴. بازیابی اطلاعات مرتبط با پرسش

وقتی کاربر پرسشی می‌فرستد، سامانه آن را تحلیل می‌کند و از نمایه، چند قطعهٔ مرتبط را می‌یابد. جست‌وجوی ترکیبی می‌تواند تطبیق واژه‌های دقیق را با شباهت معنایی ترکیب کند. در سامانه‌های پیچیده‌تر، مرحلهٔ رتبه‌بندی مجدد یا Reranking قطعه‌ها را بر اساس ارتباط واقعی با پرسش مرتب می‌کند تا متن کم‌ربط وارد زمینه نشود.

۵. افزودن زمینه و تولید پاسخ

برنامه پرسش کاربر، قطعه‌های بازیابی‌شده و دستورالعمل‌های لازم را در یک ورودی منظم کنار هم قرار می‌دهد. سپس مدل پاسخ را تولید می‌کند. اگر شناسه یا نشانی منبع همراه قطعه‌ها نگهداری شده باشد، برنامه می‌تواند پیوند سند یا ارجاعی برای بررسی بیشتر نمایش دهد. وجود ارجاع مفید است، اما به‌تنهایی ثابت نمی‌کند که پاسخ یا برداشت مدل درست است.

۶. ارزیابی و پایش

RAG پس از راه‌اندازی به ارزیابی مستمر نیاز دارد. باید جداگانه بررسی شود که آیا اسناد درست بازیابی می‌شوند، آیا پاسخ واقعاً از شواهد استفاده می‌کند، آیا ارجاع‌ها به بخش درست اشاره دارند و زمان و هزینهٔ پاسخ‌گویی قابل‌قبول است یا نه. تغییر در اسناد، روش قطعه‌بندی، مدل تعبیه‌سازی یا تنظیمات جست‌وجو می‌تواند کیفیت را تغییر دهد.

اجزای اصلی یک معماری RAG

  • منابع دانش: اسناد، پایگاه داده، صفحات وب داخلی، راهنماها یا APIهای مجاز.
  • خط لولهٔ ورود داده: استخراج متن، پاک‌سازی، قطعه‌بندی، افزودن فراداده و به‌روزرسانی نمایه.
  • مدل تعبیه‌سازی و نمایه: برای جست‌وجوی معنایی یا ترکیبی در میان قطعه‌ها.
  • بازیاب و رتبه‌بند: برای یافتن و مرتب‌کردن شواهد مرتبط.
  • مدل زبانی و قالب پرسش: برای تولید پاسخ با استفاده از زمینهٔ بازیابی‌شده.
  • لایهٔ امنیت و مشاهده‌پذیری: برای کنترل مجوزها، ثبت خطاها، پایش کیفیت، هزینه و زمان پاسخ.

این اجزا الزاماً محصولات جداگانه نیستند. بعضی پلتفرم‌ها چند مرحله را در یک سرویس ارائه می‌کنند و بعضی تیم‌ها آن‌ها را با ابزارهای متن‌باز یا زیرساخت اختصاصی می‌سازند. راهنمای معماری Google Cloud دربارهٔ معماری‌های RAG نمونه‌هایی از انتخاب‌های زیرساختی و الگوهای استقرار را نشان می‌دهد.

یک مثال عملی: پاسخ‌گویی به اسناد شرکت

فرض کنید یک شرکت صدها سند دربارهٔ منابع انسانی، پشتیبانی محصول و رویه‌های امنیتی دارد. برای ساخت دستیار داخلی، ابتدا اسناد مجاز استخراج و به قطعه‌های معنادار تقسیم می‌شوند. برای هر قطعه، عنوان سند، واحد مالک، تاریخ اعتبار و سطح دسترسی ثبت می‌شود. سپس قطعه‌ها در نمایه قرار می‌گیرند.

وقتی کاربر دربارهٔ مرخصی سؤال می‌کند، سامانه فقط اسنادی را جست‌وجو می‌کند که کاربر اجازهٔ دیدن آن‌ها را دارد. بخش‌های مرتبط بازیابی می‌شوند و همراه پرسش به مدل داده می‌شوند. پاسخ نهایی می‌تواند خلاصه‌ای از رویه و پیوند به سند مرجع باشد. اگر سند منقضی شده یا پاسخ در منابع پیدا نشود، سامانه باید این محدودیت را روشن بیان کند؛ نه اینکه برای پرکردن خلأ، پاسخ حدسی بسازد.

تفاوت RAG با Fine-tuning چیست؟

RAG و تنظیم دقیق یا Fine-tuning دو روش متفاوت‌اند و لزوماً جایگزین یکدیگر نیستند.

معیار RAG Fine-tuning
هدف اصلی افزودن اطلاعات مرتبط هنگام پاسخ‌گویی تغییر رفتار، سبک یا توانایی مدل از طریق آموزش بیشتر
به‌روزرسانی دانش با به‌روزرسانی منبع یا نمایه، بدون آموزش مجدد مدل ممکن است به اجرای دوبارهٔ فرایند آموزش نیاز داشته باشد
ارجاع به سند در صورت طراحی مناسب، امکان ارائهٔ منبع وجود دارد به‌تنهایی سازوکار بازیابی و ارجاع سند فراهم نمی‌کند
هزینه و پیچیدگی هزینهٔ نمایه‌سازی، بازیابی و زمینهٔ اضافی در هر درخواست هزینهٔ آماده‌سازی داده و آموزش یا تنظیم مدل
کاربرد معمول پاسخ بر اساس دانش خصوصی یا متغیر تطبیق مدل با قالب، لحن یا الگوی وظیفه‌ای مشخص

اگر مسئله، دسترسی به دستورالعمل‌های تازه یا اسناد خصوصی است، RAG معمولاً نقطهٔ شروع طبیعی‌تری است. اگر هدف، تغییر پایدار سبک پاسخ یا بهبود رفتار مدل در یک وظیفهٔ مشخص باشد، Fine-tuning ممکن است مناسب‌تر باشد. در برخی پروژه‌ها ترکیب این دو روش نتیجهٔ بهتری می‌دهد. مستندات Microsoft دربارهٔ RAG و نمایه‌ها نیز تفاوت کاربرد RAG، جست‌وجو و تنظیم دقیق را شرح می‌دهد.

مزایای RAG

  • اتصال به دانش اختصاصی: مدل می‌تواند از اسناد داخلی یا منابعی استفاده کند که در داده‌های آموزش اولیهٔ آن وجود نداشته‌اند.
  • به‌روزرسانی مستقل از مدل: با اصلاح اسناد و نمایه، دانش قابل‌بازیابی تازه می‌شود؛ البته تازگی پاسخ به زمان‌بندی ورود داده وابسته است.
  • قابلیت ردیابی بهتر: نگهداری شناسه و نشانی منبع امکان نمایش ارجاع و بررسی پاسخ را فراهم می‌کند.
  • کنترل بیشتر بر دامنهٔ پاسخ: می‌توان منابع مجاز، نسخهٔ معتبر اسناد و محدودهٔ اطلاعات را مشخص کرد.
  • کاهش نیاز به آموزش مجدد برای هر تغییر سند: اصلاح یک راهنما معمولاً به بازآموزی مدل پایه نیاز ندارد.

محدودیت‌ها و خطاهای رایج RAG

RAG یک راه‌حل جادویی برای توهم مدل نیست. اگر سند مناسب بازیابی نشود، مدل همچنان ممکن است پاسخ ناقص یا نادرست بسازد. چند خطای رایج عبارت‌اند از:

  • قطعه‌بندی نامناسب: شکستن جدول، فهرست یا توضیح چندمرحله‌ای می‌تواند معنای سند را از بین ببرد.
  • بازیابی کم‌ربط: شباهت برداری همیشه معادل ارتباط واقعی با پرسش نیست؛ جست‌وجوی ترکیبی و رتبه‌بندی مجدد می‌توانند کمک کنند.
  • اسناد قدیمی یا متناقض: اگر نسخه‌های منسوخ در نمایه باقی بمانند، مدل ممکن است اطلاعات متعارض دریافت کند.
  • زمینهٔ بیش از حد: افزودن قطعه‌های زیاد، هزینه و تأخیر را افزایش می‌دهد و می‌تواند توجه مدل را از شواهد اصلی منحرف کند.
  • ارجاع ظاهری: ممکن است پاسخ به سندی پیوند داده شود که واقعاً ادعای مطرح‌شده را پشتیبانی نمی‌کند؛ ارجاع باید از نظر انطباق بررسی شود.
  • نادیده‌گرفتن مجوزها: بازیابی سند محرمانه برای کاربر فاقد دسترسی می‌تواند نشت اطلاعات ایجاد کند.

امنیت و حریم خصوصی در سامانه‌های RAG

در معماری امن، مجوز دسترسی باید پیش از بازیابی یا در همان مرحله اعمال شود؛ پنهان‌کردن پیوند سند پس از بازیابی کافی نیست. سطح دسترسی کاربر، گروه سازمانی، مالک سند و وضعیت اعتبار آن باید در فراداده یا لایهٔ کنترل دسترسی لحاظ شود.

محتوای بازیابی‌شده نیز باید دادهٔ غیرقابل‌اعتماد تلقی شود. یک سند آلوده می‌تواند دستورهای مخرب یا متن فریبنده داشته باشد و تلاش کند مدل را از وظیفهٔ اصلی منحرف کند. سامانه باید بین دستورهای معتبر برنامه و محتوای سند تمایز بگذارد، دسترسی ابزارها را محدود کند و پیش از اجرای هر اقدام حساس، کنترل‌های مستقل داشته باشد. برای جزئیات بیشتر دربارهٔ ریسک‌های استفاده از مدل‌های مولد، راهنمای امنیت و حریم خصوصی هوش مصنوعی مولد در TechEdge را ببینید.

چک‌لیست انتخاب و پیاده‌سازی RAG

  1. یک مسئلهٔ مشخص و قابل‌اندازه‌گیری انتخاب کنید؛ مثلاً پاسخ‌گویی به پرسش‌های پشتیبانی یا جست‌وجو در اسناد فنی.
  2. منابع معتبر، مالک هر منبع و تناوب به‌روزرسانی را مشخص کنید.
  3. برای هر سند، فرادادهٔ لازم مانند تاریخ، نسخه، واحد مالک و سطح دسترسی را نگه دارید.
  4. چند روش قطعه‌بندی و جست‌وجو را روی مجموعه‌ای از پرسش‌های واقعی مقایسه کنید.
  5. کیفیت بازیابی را جدا از کیفیت پاسخ بسنجید؛ برای نمونه، بررسی کنید آیا شواهد مرتبط در میان نتایج اول قرار می‌گیرند.
  6. پاسخ‌ها را از نظر صحت، وفاداری به منبع، کیفیت ارجاع، زمان و هزینه ارزیابی کنید.
  7. برای سند قدیمی، نبود شواهد، خطای بازیابی و پرسش خارج از دامنه، رفتار مشخصی تعریف کنید.
  8. پیش از استفادهٔ واقعی، کنترل دسترسی، حفاظت از داده و آزمون تزریق دستور را بررسی کنید.

چه زمانی RAG انتخاب مناسبی نیست؟

اگر مجموعهٔ داده بسیار کوچک، ثابت و از پیش در ورودی برنامه قابل‌استفاده است، ساخت خط لولهٔ کامل RAG ممکن است پیچیدگی غیرضروری ایجاد کند. برای محاسبات دقیق، تراکنش‌های حساس یا تصمیم‌هایی که باید با قواعد قطعی اجرا شوند نیز نباید تولید متن مدل را جایگزین منطق نرم‌افزار و کنترل‌های اعتبارسنجی کرد. همچنین اگر اسناد بی‌کیفیت، متناقض یا فاقد مجوز روشن باشند، افزودن یک موتور بازیابی مشکل بنیادی داده را حل نمی‌کند.

جمع‌بندی

RAG روشی برای پیوند دادن مدل زبانی به دانش بیرونی و قابل‌به‌روزرسانی است. این معماری با آماده‌سازی اسناد، نمایه‌سازی، بازیابی شواهد و افزودن آن‌ها به ورودی مدل کار می‌کند. مزیت آن دسترسی به اطلاعات اختصاصی و امکان ارجاع بهتر است؛ اما کیفیت نهایی به داده، بازیابی، کنترل دسترسی و ارزیابی وابسته می‌ماند. پیش از انتخاب ابزار یا پایگاه داده، یک مسئلهٔ محدود را با پرسش‌های واقعی آزمایش کنید و کیفیت شواهد و پاسخ را جداگانه بسنجید.

مطالعهٔ بیشتر در TechEdge

برای آشنایی با مبانی مدل‌های زبانی، مقالهٔ مدل‌های زبانی بزرگ چیست؟ را بخوانید. اگر می‌خواهید جایگاه RAG را در سامانه‌های خودکار بدانید، راهنمای ساخت عامل هوش مصنوعی را ببینید. همچنین راهنمای هوش مصنوعی مولد و روش ارزیابی خروجی هوش مصنوعی مولد به تکمیل این مسیر کمک می‌کنند.

منابع معتبر

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *