مدل‌های زبانی بزرگ یا LLMها به ابزارهایی کاربردی برای تولید محتوا، تحلیل اسناد، برنامه‌نویسی، پاسخ‌گویی به مشتریان و خودکارسازی فعالیت‌های روزمره تبدیل شده‌اند. بااین‌حال، استفاده از این فناوری فقط به کیفیت پاسخ‌ها محدود نمی‌شود. نحوه جمع‌آوری، پردازش و نگهداری اطلاعات، سطح دسترسی ابزارها و احتمال افشای داده‌های حساس نیز اهمیت زیادی دارند.
برای مثال، کارمندی که یک قرارداد محرمانه را برای خلاصه‌سازی در یک ابزار هوش مصنوعی بارگذاری می‌کند، ممکن است بدون بررسی شرایط سرویس، اطلاعاتی را در اختیار یک سامانه خارجی قرار دهد. همچنین، اتصال یک مدل زبانی به ایمیل یا پایگاه داده سازمانی می‌تواند در صورت طراحی نامناسب، خطرهای امنیتی بیشتری ایجاد کند.
بنابراین، امنیت و حریم خصوصی LLM باید از همان مرحله انتخاب ابزار و طراحی فرایند استفاده مورد توجه قرار گیرد.
در این مقاله، مهم‌ترین تهدیدهای امنیتی مدل‌های زبانی بزرگ، روش‌های حفاظت از اطلاعات و راهکارهای استفاده امن از هوش مصنوعی را بررسی می‌کنیم.
مدل‌های زبانی بزرگ چه خطرات امنیتی و حریم خصوصی دارند؟
مدل‌های زبانی بزرگ به‌خودی‌خود یک نوع خطر واحد ایجاد نمی‌کنند؛ ریسک‌ها به نحوه استفاده، نوع داده‌های ورودی، امکانات سرویس و سطح دسترسی آن بستگی دارند.
مهم‌ترین خطرهای احتمالی عبارت‌اند از:
- افشای اطلاعات شخصی یا سازمانی
- نگهداری یا پردازش داده‌ها برخلاف انتظار کاربر
- دسترسی غیرمجاز به اطلاعات متصل به مدل
- حملات تزریق پرامپت
- تولید کد یا توصیه‌های امنیتی نادرست
- افشای اطلاعات از طریق افزونه‌ها و ابزارهای متصل
- سوءاستفاده از حساب‌های کاربری یا کلیدهای API
- ایجاد اعتماد بیش از حد به پاسخ‌های مدل
- ارسال اطلاعات به سرویس‌های شخص ثالث بدون ارزیابی کافی
برای مدیریت این خطرها، ابتدا باید بدانیم اطلاعات هنگام استفاده از یک مدل زبانی چگونه ممکن است در معرض ریسک قرار بگیرند.
۱. اطلاعات محرمانه را بدون بررسی وارد مدل نکنید
یکی از رایج‌ترین اشتباهات کاربران، وارد کردن اطلاعات حساس در ابزارهای هوش مصنوعی بدون مطالعه سیاست‌های حریم خصوصی و شرایط استفاده است.
این اطلاعات ممکن است شامل داده‌های شخصی، اسناد تجاری، اطلاعات مشتریان یا جزئیات زیرساخت فناوری اطلاعات باشد.
چه اطلاعاتی حساس محسوب می‌شوند؟
| نوع اطلاعات | نمونه‌ها |
|---|---|
| اطلاعات هویتی | شماره شناسایی، نشانی، شماره تلفن |
| اطلاعات مالی | شماره حساب، اطلاعات پرداخت و گزارش‌های مالی محرمانه |
| اطلاعات احراز هویت | رمز عبور، کلید API، توکن دسترسی |
| اطلاعات سازمانی | قراردادها، گزارش‌های داخلی و اسناد راهبردی |
| اطلاعات فنی | تنظیمات سرور، فایل‌های پیکربندی و جزئیات آسیب‌پذیری‌های کشف‌نشده |
| اطلاعات مشتریان | سوابق پشتیبانی، مشخصات تماس و اطلاعات اختصاصی کاربران |
| اطلاعات کارکنان | پرونده‌های پرسنلی و ارزیابی‌های محرمانه |
وجود هر یک از این اطلاعات در یک درخواست هوش مصنوعی باید با توجه به سیاست سازمان و شرایط سرویس بررسی شود.
آیا تمام سرویس‌های هوش مصنوعی از اطلاعات کاربران برای آموزش استفاده می‌کنند؟
خیر. نحوه استفاده از داده‌ها به سرویس، نوع حساب، تنظیمات حریم خصوصی و شرایط قرارداد بستگی دارد. برخی سرویس‌ها ممکن است داده‌های کاربران را برای بهبود مدل‌ها استفاده کنند، درحالی‌که برخی طرح‌های سازمانی یا APIها شرایط متفاوتی دارند.
نباید فرض کرد که همه ابزارها داده‌ها را به یک شکل ذخیره یا پردازش می‌کنند. همچنین، غیرفعال بودن استفاده از داده‌ها برای آموزش لزوماً به معنای حذف فوری داده‌ها یا نبود هرگونه نگهداری عملیاتی نیست.
اقدام پیشنهادی: پیش از ارسال اطلاعات حساس، سیاست نگهداری داده، شرایط استفاده از داده برای آموزش، محل پردازش و گزینه‌های حذف اطلاعات را بررسی کنید.
۲. پیش از انتخاب ابزار، سیاست حریم خصوصی آن را بررسی کنید
ظاهر ساده یک ابزار هوش مصنوعی نباید باعث شود شرایط استفاده از آن نادیده گرفته شود. اگر قرار است از مدل برای کارهای شخصی یا سازمانی استفاده کنید، باید بدانید داده‌های شما چگونه پردازش می‌شوند.
هنگام ارزیابی یک سرویس، به این پرسش‌ها پاسخ دهید:
- آیا داده‌های ورودی برای آموزش یا بهبود مدل استفاده می‌شوند؟
- چه مدت اطلاعات ذخیره می‌شوند؟
- چه افرادی یا سامانه‌هایی امکان دسترسی به داده‌ها را دارند؟
- آیا امکان حذف تاریخچه یا فایل‌های بارگذاری‌شده وجود دارد؟
- آیا اطلاعات با شرکت‌های دیگر به اشتراک گذاشته می‌شوند؟
- آیا شرایط ویژه‌ای برای داده‌های سازمانی وجود دارد؟
- آیا ابزار از احراز هویت چندمرحله‌ای پشتیبانی می‌کند؟
- آیا امکان کنترل دسترسی و مدیریت کاربران فراهم است؟
برای سازمان‌ها، بررسی قرارداد پردازش داده، تعهدات محرمانگی و الزامات قانونی نیز اهمیت دارد.
چرا استفاده از حساب سازمانی می‌تواند مفید باشد؟
حساب‌های سازمانی ممکن است امکاناتی مانند مدیریت متمرکز کاربران، کنترل دسترسی، سیاست‌های نگهداری داده و تنظیمات مدیریتی بیشتری ارائه دهند. بااین‌حال، صرف سازمانی بودن یک حساب تضمین‌کننده امنیت کامل نیست؛ قابلیت‌های دقیق باید در مستندات همان سرویس بررسی شوند.
۳. خطر نشت اطلاعات در مدل‌های زبانی بزرگ
نشت اطلاعات زمانی رخ می‌دهد که داده‌ای حساس در اختیار فرد، سامانه یا مقصدی قرار گیرد که مجاز به دسترسی به آن نیست.
این اتفاق الزاماً به معنای هک شدن مدل نیست. گاهی خود کاربر اطلاعات را در درخواست وارد می‌کند، گاهی مجوزهای دسترسی اشتباه تنظیم شده‌اند و گاهی یک فرایند خودکار داده‌ها را به مقصد نامناسب ارسال می‌کند.
نمونه‌هایی از نشت اطلاعات
- کارمند یک گزارش مالی محرمانه را در حساب شخصی هوش مصنوعی بارگذاری می‌کند.
- یک برنامه مبتنی بر LLM پاسخ کاربران قبلی را به کاربر جدید نمایش می‌دهد.
- ابزار متصل به پایگاه داده، اطلاعات بیشتری از حد نیاز در اختیار مدل قرار می‌دهد.
- کلید API در کد عمومی یا مخزن کد منتشر می‌شود.
- گزارش خطای یک برنامه، اطلاعات شخصی یا توکن‌های دسترسی را ثبت می‌کند.
چگونه احتمال نشت اطلاعات را کاهش دهیم؟
۱. اطلاعات غیرضروری را از ورودی حذف کنید.
۲. داده‌های شخصی را در صورت امکان ناشناس‌سازی کنید.
۳. مجوزهای دسترسی مدل و ابزارهای متصل را محدود نگه دارید.
۴. از قرار دادن رمز عبور و کلیدهای دسترسی در پرامپت خودداری کنید.
۵. دسترسی به فایل‌ها و تاریخچه مکالمات را کنترل کنید.
۶. گزارش‌های سامانه را از نظر وجود اطلاعات حساس بررسی کنید.
۷. برای داده‌های مهم، سیاست نگهداری و حذف مشخصی تعریف کنید.
ناشناس‌سازی باید با دقت انجام شود؛ حذف نام به‌تنهایی همیشه برای جلوگیری از شناسایی دوباره افراد کافی نیست.
۴. تزریق پرامپت چیست و چرا تهدید مهمی محسوب می‌شود؟
تزریق پرامپت یا Prompt Injection نوعی حمله است که در آن محتوای مخرب تلاش می‌کند رفتار مدل را تغییر دهد یا آن را به انجام کاری برخلاف هدف اصلی وادار کند.
این حمله ممکن است از طریق متن مستقیم کاربر یا محتوای خارجی مانند یک صفحه وب، فایل، ایمیل یا سند انجام شود.
برای مثال، تصور کنید یک دستیار هوش مصنوعی برای خلاصه‌سازی ایمیل‌ها طراحی شده است. اگر یکی از ایمیل‌ها حاوی دستورهای مخرب باشد و سامانه به ابزارهای ارسال ایمیل یا دسترسی به فایل‌ها متصل باشد، طراحی نامناسب می‌تواند باعث اجرای اقدامات ناخواسته شود.
انواع رایج تزریق پرامپت
تزریق مستقیم: کاربر یا مهاجم دستورهایی در ورودی قرار می‌دهد که هدفشان تغییر رفتار مورد انتظار مدل است.
تزریق غیرمستقیم: دستور مخرب در یک سند، صفحه وب یا منبع خارجی قرار می‌گیرد که مدل آن را پردازش می‌کند.
سوءاستفاده از ابزارها: مهاجم تلاش می‌کند مدل را به استفاده نامناسب از ابزارهای متصل، مانند ارسال پیام یا دسترسی به اطلاعات، سوق دهد.
راهکارهای مقابله با تزریق پرامپت
- محتوای خارجی را داده غیرقابل اعتماد در نظر بگیرید.
- اطلاعات محرمانه را از محتوایی که مدل پردازش می‌کند جدا نگه دارید.
- دسترسی مدل به ابزارها را به حداقل موردنیاز محدود کنید.
- عملیات حساس را به تأیید انسانی وابسته کنید.
- برای هر ابزار، ورودی‌ها و مجوزهای مجاز را کنترل کنید.
- آزمون‌های امنیتی مخصوص تزریق پرامپت طراحی کنید.
نکته مهم این است که صرفاً افزودن یک دستور متنی مانند «دستورهای مخرب را نادیده بگیر» دفاع کافی نیست. امنیت باید در معماری نرم‌افزار، کنترل دسترسی و اعتبارسنجی عملیات نیز پیاده‌سازی شود.
۵. دسترسی مدل به فایل‌ها، ایمیل‌ها و پایگاه‌های داده را محدود کنید
مدل‌های زبانی به‌تنهایی ممکن است به داده‌های خارجی دسترسی نداشته باشند؛ اما هنگامی که به ابزارها، APIها، افزونه‌ها یا پایگاه‌های داده متصل می‌شوند، دامنه خطر تغییر می‌کند.
برای نمونه، یک دستیار سازمانی ممکن است بتواند اسناد داخلی را جست‌وجو کند یا اطلاعات مشتریان را از پایگاه داده دریافت کند. اگر مجوزها به‌درستی تنظیم نشده باشند، مدل ممکن است اطلاعاتی را بازیابی کند که کاربر فعلی مجاز به مشاهده آن‌ها نیست.
اصل حداقل دسترسی
هر کاربر، سرویس یا مدل باید فقط به اطلاعات و عملیاتی دسترسی داشته باشد که برای انجام وظیفه‌اش ضروری هستند.
برای اجرای این اصل:
- دسترسی خواندن و نوشتن را از یکدیگر جدا کنید.
- برای عملیات حساس از حساب‌های دارای دسترسی محدود استفاده کنید.
- اجازه حذف یا تغییر گسترده اطلاعات را بدون تأیید فراهم نکنید.
- دسترسی هر کاربر را بر اساس نقش او تنظیم کنید.
- دسترسی‌های غیرضروری را به‌صورت دوره‌ای حذف کنید.
- عملیات مهم را ثبت و قابل پیگیری نگه دارید.
اگر مدل فقط باید یک سند را خلاصه کند، معمولاً نیازی نیست مجوز حذف فایل‌ها یا تغییر اطلاعات پایگاه داده را داشته باشد.
۶. امنیت کلیدهای API و اطلاعات احراز هویت
در برنامه‌هایی که از API مدل‌های زبانی استفاده می‌کنند، کلیدهای دسترسی اهمیت زیادی دارند. افشای یک کلید ممکن است به استفاده غیرمجاز از سرویس، افزایش هزینه، دسترسی به منابع یا نقض سیاست‌های امنیتی منجر شود.
اشتباهات رایج
- قرار دادن کلید API در کد سمت کاربر
- انتشار کلید در مخزن عمومی کد
- ارسال کلید در پیام یا پرامپت
- استفاده مشترک چند نفر از یک کلید بدون کنترل
- نداشتن محدودیت مصرف یا هشدار هزینه
- استفاده طولانی‌مدت از کلیدهایی که باید تعویض شوند
روش‌های حفاظت از کلیدها
۱. کلیدها را در متغیرهای محیطی یا سامانه مدیریت اسرار نگهداری کنید.
۲. از قراردادن کلید در کد قابل مشاهده مرورگر خودداری کنید.
۳. برای هر برنامه یا محیط، دسترسی جداگانه و محدود تعریف کنید.
۴. محدودیت مصرف و هشدار هزینه تنظیم کنید.
۵. کلیدهای افشاشده را فوراً باطل و جایگزین کنید.
۶. گزارش مصرف و رویدادهای غیرعادی را بررسی کنید.
۷. کلیدها را به‌صورت دوره‌ای و مطابق سیاست امنیتی تعویض کنید.
اگر یک کلید در مخزن عمومی منتشر شد، حذف آن از آخرین نسخه فایل به‌تنهایی کافی نیست؛ باید کلید قبلی باطل شود، زیرا ممکن است در تاریخچه مخزن باقی مانده باشد.
۷. اطلاعات نادرست تولیدشده توسط مدل و خطر تصمیم‌گیری اشتباه
امنیت فقط به محرمانگی اطلاعات محدود نمی‌شود. پاسخ نادرست مدل نیز می‌تواند خطر ایجاد کند، به‌خصوص هنگامی که کاربران آن را بدون بررسی اجرا می‌کنند.
مدل ممکن است:
- تنظیمات امنیتی نامناسب پیشنهاد دهد.
- کد دارای آسیب‌پذیری تولید کند.
- درباره یک آسیب‌پذیری نرم‌افزاری اطلاعات اشتباه ارائه دهد.
- دستوری مخرب یا پرخطر را به‌عنوان راهکار معرفی کند.
- درباره مجوزهای دسترسی یا سازگاری نرم‌افزارها نتیجه نادرست بگیرد.
چگونه از این خطاها جلوگیری کنیم؟
برای اقدامات امنیتی، پاسخ مدل را با مستندات رسمی سازنده و منابع معتبر مقایسه کنید. کد و فرمان‌های پیشنهادی را ابتدا در محیط آزمایشی اجرا کنید و قبل از اعمال تغییر در محیط عملیاتی، پیامدهای آن را بررسی کنید.
به‌ویژه برای دستورهایی که فایل‌ها را حذف می‌کنند، مجوزها را تغییر می‌دهند یا اطلاعات را از سامانه خارج می‌کنند، تأیید انسانی و امکان بازگشت به وضعیت قبلی ضروری است.
۸. حریم خصوصی هنگام استفاده از افزونه‌ها و ابزارهای جانبی
بسیاری از ابزارهای هوش مصنوعی قابلیت اتصال به سرویس‌های دیگر را دارند؛ از جمله فضای ذخیره‌سازی ابری، ایمیل، تقویم، ابزارهای مدیریت پروژه و سامانه‌های سازمانی.
این اتصال می‌تواند بهره‌وری را افزایش دهد، اما در عین حال ممکن است داده‌ها از چند سامانه عبور کنند و سطح ریسک را افزایش دهند.
پیش از اتصال یک ابزار جانبی، موارد زیر را بررسی کنید:
- ابزار به چه داده‌هایی دسترسی می‌گیرد؟
- آیا امکان محدود کردن دسترسی وجود دارد؟
- اطلاعات به کدام سرویس‌ها ارسال می‌شوند؟
- آیا داده‌ها ذخیره یا برای هدف دیگری استفاده می‌شوند؟
- امکان لغو مجوز و قطع اتصال چگونه است؟
- آیا عملیات انجام‌شده توسط ابزار ثبت می‌شوند؟
از اتصال ابزارهایی که ناشر، سیاست حریم خصوصی یا دامنه دسترسی آن‌ها مشخص نیست، به حساب‌های حساس خودداری کنید.
۹. استفاده امن از LLM در محیط سازمانی
سازمان‌هایی که از مدل‌های زبانی برای پردازش اسناد، پشتیبانی مشتریان یا توسعه نرم‌افزار استفاده می‌کنند، باید علاوه بر آموزش کارکنان، کنترل‌های فنی و مدیریتی نیز داشته باشند.
سیاست استفاده از هوش مصنوعی
یک سیاست روشن باید مشخص کند:
- چه ابزارهایی مجاز هستند؟
- چه نوع داده‌هایی را می‌توان وارد کرد؟
- چه اطلاعاتی محرمانه محسوب می‌شوند؟
- چه افرادی اجازه استفاده از قابلیت‌های پیشرفته را دارند؟
- چه خروجی‌هایی نیازمند تأیید انسانی هستند؟
- مسئول رسیدگی به رخدادهای امنیتی چه کسی است؟
کنترل دسترسی و ثبت رویدادها
برای کاربردهای سازمانی، احراز هویت چندمرحله‌ای، مدیریت متمرکز کاربران، محدودیت دسترسی بر اساس نقش و ثبت عملیات حساس می‌توانند مفید باشند.
البته ثبت رویدادها نیز باید با رعایت حریم خصوصی انجام شود؛ زیرا گزارش‌ها ممکن است خودشان حاوی اطلاعات محرمانه باشند.
آموزش کارکنان
کاربران باید بدانند که پاسخ‌های مدل ممکن است اشتباه باشند، اطلاعات حساس نباید بدون مجوز ارسال شوند و پیوندها یا فایل‌های پردازش‌شده ممکن است حاوی محتوای مخرب باشند.
آموزش منظم می‌تواند از بسیاری از خطاهای ناشی از استفاده ناآگاهانه جلوگیری کند.
۱۰. آیا اجرای مدل زبانی به‌صورت محلی امنیت بیشتری دارد؟
اجرای مدل روی رایانه یا سرور شخصی، که معمولاً با عنوان Local LLM شناخته می‌شود، می‌تواند کنترل بیشتری بر محل پردازش داده‌ها فراهم کند. بااین‌حال، اجرای محلی به‌تنهایی تضمین‌کننده امنیت کامل نیست.
مزایای احتمالی اجرای محلی
- امکان نگهداری داده‌ها در زیرساخت تحت کنترل سازمان
- کاهش نیاز به ارسال برخی اطلاعات به سرویس‌های خارجی
- کنترل بیشتر بر نسخه مدل و محیط اجرا
- امکان تنظیم محدودیت‌های دسترسی متناسب با نیاز سازمان
محدودیت‌ها و خطرهای اجرای محلی
- نیاز به به‌روزرسانی و نگهداری زیرساخت
- احتمال دسترسی غیرمجاز به سرور یا فایل‌ها
- خطر نصب مدل یا نرم‌افزار آلوده از منبع نامعتبر
- نیاز به حفاظت از شبکه، ذخیره‌سازی و پشتیبان‌ها
- احتمال ثبت ناخواسته اطلاعات در گزارش‌های برنامه
- نیاز به مدیریت مجوزها و دسترسی کاربران
اگر هدف حفاظت از اطلاعات محرمانه است، اجرای محلی باید همراه با رمزگذاری، کنترل دسترسی، به‌روزرسانی منظم و سیاست مشخص نگهداری داده باشد.
۱۱. چارچوب پیشنهادی برای ارزیابی امنیت یک ابزار LLM
پیش از انتخاب ابزار هوش مصنوعی برای استفاده شخصی یا سازمانی، می‌توانید آن را با یک چک‌لیست ارزیابی کنید.
| معیار | پرسش اصلی |
|---|---|
| حریم خصوصی | داده‌های ورودی چگونه پردازش و نگهداری می‌شوند؟ |
| آموزش مدل | آیا داده‌ها برای آموزش یا بهبود مدل استفاده می‌شوند؟ |
| حذف داده | آیا امکان حذف داده و تاریخچه وجود دارد؟ |
| احراز هویت | آیا احراز هویت چندمرحله‌ای پشتیبانی می‌شود؟ |
| مدیریت دسترسی | آیا می‌توان مجوز کاربران و ابزارها را محدود کرد؟ |
| امنیت API | آیا کلیدها و دسترسی‌ها قابل مدیریت هستند؟ |
| اتصال ابزارها | مدل به چه سرویس‌ها و اطلاعاتی دسترسی دارد؟ |
| ثبت رویدادها | آیا عملیات مهم قابل پیگیری هستند؟ |
| مدیریت رخداد | آیا فرایند روشنی برای گزارش و رسیدگی به رخداد وجود دارد؟ |
| انطباق | آیا سرویس با الزامات قانونی و سازمانی موردنیاز سازگار است؟ |
هیچ‌یک از این معیارها به‌تنهایی برای تأیید امنیت کافی نیستند. نتیجه باید با توجه به حساسیت داده‌ها، کاربرد موردنظر و الزامات قانونی تفسیر شود.
۱۲. چک‌لیست سریع استفاده امن از مدل‌های زبانی بزرگ
پیش از ارسال درخواست یا استفاده از خروجی مدل، موارد زیر را بررسی کنید:
-
آیا ابزار مورد استفاده معتبر و مورد تأیید است؟
-
آیا اطلاعات حساس غیرضروری از ورودی حذف شده‌اند؟
-
آیا سیاست حریم خصوصی و نگهداری داده بررسی شده است؟
-
آیا هیچ رمز عبور، کلید API یا توکن محرمانه‌ای در پرامپت وجود ندارد؟
-
آیا دسترسی ابزارهای متصل به حداقل موردنیاز محدود شده است؟
-
آیا محتوای خارجی به‌عنوان داده غیرقابل اعتماد در نظر گرفته می‌شود؟
-
آیا خروجی‌های مهم از نظر صحت و امنیت بررسی شده‌اند؟
-
آیا عملیات حساس به تأیید انسانی نیاز دارند؟
-
آیا راهی برای گزارش رخداد امنیتی وجود دارد؟
-
آیا اطلاعات ثبت‌شده در گزارش‌ها و تاریخچه نیز محافظت می‌شوند؟
برای استفاده روزمره، این فهرست را متناسب با ابزار و نوع اطلاعات کوتاه کنید. برای سامانه‌های سازمانی، بهتر است نسخه کامل‌تری از آن در فرایند ارزیابی امنیتی قرار گیرد.
پرسش‌های متداول درباره امنیت و حریم خصوصی LLM
آیا استفاده از مدل‌های زبانی بزرگ امن است؟
امنیت به ابزار، تنظیمات، نوع داده و شیوه استفاده بستگی دارد. استفاده از یک سرویس معتبر با تنظیمات مناسب و کنترل دسترسی می‌تواند ریسک را کاهش دهد، اما هیچ سامانه‌ای بدون ارزیابی و مدیریت مداوم، کاملاً مصون از خطر نیست.
آیا باید اطلاعات شخصی را در پرامپت وارد کنیم؟
فقط زمانی که ضرورت داشته باشد و شرایط سرویس و مجوزهای مربوط اجازه دهند. بهتر است اطلاعات غیرضروری حذف شوند و در صورت امکان از داده‌های ناشناس‌سازی‌شده استفاده شود.
آیا گفت‌وگوهای هوش مصنوعی همیشه محرمانه هستند؟
خیر؛ محرمانگی به سیاست‌ها و تنظیمات سرویس بستگی دارد. پیش از ارسال داده‌های حساس، شرایط پردازش، نگهداری، دسترسی و حذف اطلاعات را بررسی کنید.
تزریق پرامپت چه خطری دارد؟
تزریق پرامپت می‌تواند تلاش کند مدل را به نادیده گرفتن هدف اصلی یا استفاده نامناسب از ابزارهای متصل وادار کند. این خطر در سامانه‌هایی که به فایل‌ها، ایمیل‌ها یا اطلاعات سازمانی دسترسی دارند جدی‌تر است.
آیا اجرای محلی مدل، خطر نشت اطلاعات را از بین می‌برد؟
خیر. اجرای محلی می‌تواند کنترل بیشتری بر محل پردازش داده فراهم کند، اما خطرهایی مانند دسترسی غیرمجاز، نرم‌افزار آلوده، پیکربندی نامناسب و افشای اطلاعات در گزارش‌ها همچنان وجود دارند.
آیا می‌توان از LLM برای بررسی امنیت کد استفاده کرد؟
بله، مدل می‌تواند در شناسایی برخی مشکلات احتمالی و توضیح کد کمک کند؛ اما نتیجه آن جایگزین بررسی متخصص، ابزارهای تحلیل ایستا، آزمون‌های امنیتی و فرایندهای استاندارد ارزیابی آسیب‌پذیری نیست.
برای استفاده سازمانی از LLM چه اقداماتی ضروری است؟
تعریف سیاست استفاده، انتخاب سرویس متناسب با حساسیت داده‌ها، محدود کردن دسترسی، حفاظت از کلیدهای API، آموزش کارکنان، ثبت مناسب رویدادها و تعیین فرایند رسیدگی به رخدادهای امنیتی از اقدامات مهم هستند.
جمع‌بندی
مدل‌های زبانی بزرگ می‌توانند بهره‌وری را افزایش دهند، اما استفاده از آن‌ها بدون توجه به امنیت و حریم خصوصی ممکن است اطلاعات حساس را در معرض خطر قرار دهد. نشت داده، تزریق پرامپت، دسترسی بیش از حد ابزارها، افشای کلیدهای API و اعتماد به خروجی‌های نادرست از جمله مسائلی هستند که باید جدی گرفته شوند.
برای استفاده امن، پیش از هر چیز نوع داده‌های ورودی را کنترل کنید، سیاست‌های سرویس را بخوانید، دسترسی ابزارها را محدود نگه دارید و پاسخ‌های مهم را مستقل بررسی کنید. در محیط سازمانی نیز باید مسئولیت‌ها، مجوزها و فرایند مدیریت رخدادها به‌روشنی تعریف شوند.
اصل اساسی این است که امنیت هوش مصنوعی تنها به خود مدل وابسته نیست؛ انتخاب ابزار، نحوه اتصال به داده‌ها، سطح دسترسی و رفتار کاربران همگی در حفاظت از اطلاعات نقش دارند.