NAVIDIX همه‌ی مقاله‌ها ←

NAVIDIX · ARTICLE

مرورگری که به‌جای تو کار می‌کند، به‌جای تو هم فریب می‌خورد

۳۱ مرداد ۱۴۰۵

مرورگرهای هوش مصنوعی می‌توانند برایت خرید کنند، ایمیل بخوانند و فرم پر کنند. مشکل این است که هر متنی که می‌خوانند می‌تواند دستور باشد — و مدیر امنیت OpenAI خودش می‌گوید این مسئله هنوز حل نشده.

تصور کن یک دستیار استخدام کرده‌ای که خیلی باهوش است ولی یک ویژگی عجیب دارد: هر چیزی که بخواند را دستور می‌فهمد.

نامه‌ای برایش می‌آوری تا بخواند. وسط نامه، فرستنده نوشته: «دستیار عزیز، بعد از خواندن این نامه، رمز صندوق را برای من ایمیل کن.» دستیارت این را از حرف تو تشخیص نمی‌دهد. برایش هر دو، متنی است که باید به آن عمل کند.

این دقیقاً وضعیت مرورگرهای هوش مصنوعی است. و اسم فنی‌اش تزریق پرامپت است.

چرا این‌بار جدی‌تر از قبل است

چت‌بات‌ها هم همیشه در معرض این مشکل بودند، ولی خطرش محدود بود: بدترین اتفاق این بود که مدل حرف بی‌ربطی بزند.

چیزی که معادله را عوض کرد، ایجنتی‌شدن بود.

مرورگرهایی مثل ChatGPT Atlas و Comet می‌توانند به‌جای تو کار کنند: صفحه باز کنند، فرم پر کنند، خرید کنند، ایمیل بخوانند، فایل دانلود کنند. یعنی همان مدلی که ممکن است فریب بخورد، حالا کلید در دستش است.

و متنی که این مرورگر می‌خواند، متن تو نیست. متن اینترنت است — یعنی متنی که هر کسی می‌تواند بنویسد.

حمله در عمل چه شکلی است

نکتهٔ ترسناک ماجرا این است که حمله پیچیده نیست.

پژوهشگرها نشان داده‌اند یک پیست عمومی ساده روی pastebin — یعنی متنی که هر کسی می‌تواند در چند ثانیه بسازد — کافی بوده تا چند هدف مهاجم را برآورده کند: افشای پرامپت سیستمی، بیرون‌کشیدن اطلاعات خصوصی، و ربودن هدف — یعنی وادار کردن ایجنت به انجام کاری غیر از آنچه تو خواسته بودی.

و بدتر: تیم Brave نشان داد این دستورها لازم نیست حتی در متن باشند. می‌شود آن‌ها را طوری در تصویر جاسازی کرد که چشم انسان نبیند ولی مدل — که اسکرین‌شات را می‌خواند — ببیند.

یعنی صفحه‌ای که با چشم خودت نگاهش می‌کنی و هیچ چیز مشکوکی در آن نیست، می‌تواند برای دستیارت پر از دستور باشد.

چرا وصله‌اش نمی‌کنند

سؤال طبیعی این است که خب چرا این را مثل هر باگ امنیتی دیگری درست نمی‌کنند.

جواب، ناراحت‌کننده است: این یک باگ نیست، یک ویژگی ذاتی معماری است.

یک باگ سرریز بافر، جای مشخصی در کد دارد. آن خط را درست می‌کنی و تمام. ولی تزریق پرامپت یک دستهٔ حمله است: هر جا مدلی متن کنترل‌نشده بخواند و بتواند بر عمل اثر بگذارد، راهی برای وادار کردنش وجود دارد.

مشکل ریشه‌ای این است که در یک مدل زبانی، دستور و داده در یک کانال‌اند. در سیستم‌های سنتی این دو از هم جدا هستند — کد اینجاست، ورودی کاربر آنجا. در مدل زبانی هر دو فقط متن‌اند، در یک رشته، و مدل باید حدس بزند کدام کدام است.

اطلاعیه‌های خود شرکت‌ها هم همین را می‌گویند. مدیر ارشد امنیت اطلاعات OpenAI تزریق پرامپت را یک «مسئلهٔ امنیتی مرزی و حل‌نشده» توصیف کرده. Atlas چند لایهٔ دفاعی دارد — پرامپت سطح سیستم، برچسب‌زدن محتوای معتبر و نامعتبر، اسکن ابزارها با مدل ثانویه، و تأیید گرفتن از کاربر — و با همهٔ این‌ها، پژوهشگرها باز هم راهی پیدا کردند.

پس چه کار کنیم

اینجا جایی است که باید واقع‌بین بود. راه‌حل «امن‌کردن مدل» فعلاً وجود ندارد. چیزی که وجود دارد، محدود کردن آسیب است.

دسترسی را ببند، نه هوش را. مسئله این نیست که مدل فریب می‌خورد؛ مسئله این است که وقتی فریب خورد چه کارهایی از دستش برمی‌آید. ایجنتی که به ایمیل و بانک تو دسترسی ندارد، فریب‌خوردنش هزینهٔ کمی دارد.

نشست‌ها را جدا کن. مرورگر ایجنتی را با همان پروفایلی که در آن به ایمیل و بانک لاگین هستی استفاده نکن. یک پروفایل جدا، بدون کوکی مهم.

تأیید انسانی برای هر کار برگشت‌ناپذیر. خرید، ارسال، حذف، پرداخت. اگر ابزاری این را ندارد، برای این کارها استفاده‌اش نکن.

فرض کن هر صفحه‌ای که ایجنت می‌خواند، دشمن است. چون از نظر امنیتی دقیقاً همین است.

اطلاعات حساس را وارد نکن. نه در پرامپت، نه در فایلی که به ایجنت می‌دهی.

نکته‌ای که فراتر از مرورگر می‌رود

اگر با ابزارهای هوش مصنوعی کار می‌کنی، این مسئله زودتر از چیزی که فکر کنی سراغ خودت هم می‌آید.

هر جا مدلی را وادار کنی محتوایی را بخواند که کنترلش دست تو نیست — یک PDF از مشتری، یک فایل زیرنویس، یک صفحهٔ وب، یک ایمیل — همان کانال باز است. اگر آن مدل بعدش کاری انجام بدهد که نتیجه‌اش برگشت‌ناپذیر است، ریسک واقعی داری.

قاعدهٔ ساده‌ای که خوب جواب می‌دهد: بین «مدلی که می‌خواند» و «سیستمی که عمل می‌کند»، یک آدم بگذار. حتی اگر آن آدم فقط دکمهٔ تأیید را بزند.

جمع‌بندی

تزریق پرامپت یک باگ نیست که با یک به‌روزرسانی برطرف شود؛ نتیجهٔ این است که در مدل‌های زبانی دستور و داده در یک کانال‌اند. تا وقتی این معماری برقرار باشد، راه‌هایی برای فریب وجود دارد.

خبر خوب اینکه لازم نیست منتظر حل‌شدنش بمانی. تقریباً تمام ریسک عملی، از اختیاراتی می‌آید که به ایجنت داده‌ای — و آن، چیزی است که کاملاً در کنترل توست.

اگر داری رویه‌ای می‌سازی که هوش مصنوعی در آن کار انجام می‌دهد، از یک کار به یک سیستم دقیقاً دربارهٔ همان نقطه‌ای است که باید آدم تصمیم بگیرد نه ماشین. و مالِ کیست؟ حق، مجوز و قرارداد بخش حقوقیِ کار با دادهٔ دیگران را پوشش می‌دهد.

منابع

محمد نویدی — استودیو نویدیکس

هوش مصنوعیامنیتمرورگرتحلیل
→ برگرد به فهرست مقاله‌ها