روابط عمومی شرکت ایدکو (توزیعکنندهی محصولات کسپرسکی در ایران)؛ چگونه میتوان یک سازمان را در برابر اقدامات خطرناک عاملهای خودران هوش مصنوعی[1] که استفاده میکند، محافظت کرد؟ این دیگر صرفاً یک سؤال نظری یا فرضی نیست؛ آسیبهای واقعی که این عاملها میتوانند ایجاد کند، از ارائه خدمات ضعیف به مشتریان تا نابودی پایگاههای دادهی اصلی شرکت متغیر است. این موضوعی است که رهبران کسبوکار هماکنون شدیداً درگیر آن هستند و نهادهای دولتی و کارشناسان امنیتی در تلاشاند پاسخهای مناسبی ارائه دهند.
برای مدیران فناوری اطلاعات (CIO) و مدیران امنیت اطلاعات (CISO)، عاملهای هوش مصنوعی یک چالش بزرگ مدیریتی ایجاد میکنند. این عاملها بدون دخالت انسان تصمیم میگیرند، از ابزارها استفاده و دادههای حساس را پردازش میکنند. در نتیجه، بسیاری از ابزارهای استانداردآیتیو امنیت نمیتوانند این هوش مصنوعی را کنترل کنند.
بنیاد غیرانتفاعی OWASP راهنمای مفیدی در این زمینه منتشر کرده است. فهرست جامع آنها از ۱۰ ریسک اصلی برای کاربردهای عاملهای هوش مصنوعی، همه چیز را پوشش میدهد؛ از تهدیدهای امنیتی سنتی مانند افزایش سطح دسترسی، تا مشکلات خاص هوش مصنوعی مثل «سمزدایی حافظهی عامل». هر ریسک همراه با مثالهای واقعی، توضیح تفاوت آن با تهدیدهای مشابه و راهکارهای کاهش خطر ارائه شده است. در این مقاله، توضیحات را کوتاه کرده و توصیههای دفاعی را یکپارچه و جمعبندی کردهایم. با ما همراه بمانید.
ربایش هدف عامل
(ASI01)
این ریسک شامل دستکاری وظایف یا منطق تصمیمگیری یک عامل هوش مصنوعی با بهرهگیری از ناتوانی مدل پایه در تشخیص تفاوت بین دستورات قانونی و دادههای خارجی میشود. مهاجمان با استفاده از تزریق پرامپتهایا دادههای جعلی، عامل را طوری برنامهریزی میکنند که اقدامات مخرب انجام دهد. تفاوت اصلی این حمله با یک تزریق معمولی پرامپت این است که در این حالت، روند برنامهریزی چندمرحلهای عامل شکسته میشود، نه اینکه صرفاً مدل را وادار به ارائه یک پاسخ نادرست کنند.
مثال:یک مهاجم دستور پنهانی را در یک صفحه وب قرار میدهد که وقتی عامل هوش مصنوعی آن را پردازش میکند، باعث میشود تاریخچه مرورگر کاربر به بیرون صادر شود. چنین آسیبپذیریای در مطالعهای با عنوان «EchoLeak» نشان داده شد.
سوءاستفاده و بهرهبرداری از ابزارها
(ASI02)
این ریسک زمانی رخ میدهد که یک عامل هوش مصنوعی—بهواسطه دستورهای مبهم یا تأثیرات مخرب—ابزارهای قانونی و مجازی که در اختیار دارد را به روشهای ناامن یا خارج از مقصود استفاده کند. نمونهها شامل حذف گسترده دادهها یا ارسال درخواستهای API هزینهدار و تکراری است. این حملات اغلب از طریق زنجیرههای پیچیده تماس اجرا میشوند و به همین دلیل میتوانند بدون اینکه سیستمهای مانیتورینگ سنتی آنها را شناسایی کنند، عمل کنند.
مثال:یک چتبات پشتیبانی مشتری که به API مالی دسترسی دارد، به گونهای دستکاری میشود که بازپرداختهای غیرمجاز انجام دهد، زیرا دسترسی آن محدود به حالت فقطخواندن نبود. مثال دیگر، استخراج دادهها از طریق درخواستهای DNS است، مشابه حملهای که به Amazon Q انجام شد.
سوءاستفاده از هویت و امتیازات
(ASI03)
این آسیبپذیری مربوط به نحوه اعطای دسترسیها و ارثبری مجوزها در جریانهای کاری عاملهای هوش مصنوعی است. مهاجمان میتوانند از مجوزهای موجود یا اعتبارنامههای ذخیرهشده سوءاستفاده کنند تا سطح دسترسی خود را بالا ببرند یا اقداماتی انجام دهند که کاربر اصلی اجازه انجام آنها را نداشته است. این ریسک زمانی افزایش مییابد که عاملها از هویتهای مشترک استفاده کنند یا توکنهای احراز هویت را در محیطهای امنیتی مختلف دوباره به کار ببرند.
مثال:یک کارمند عاملی ایجاد میکند که با اعتبارنامه شخصی او به سیستمهای داخلی دسترسی دارد. اگر این عامل با همکاران دیگر به اشتراک گذاشته شود، هر درخواستی که آنها از عامل بفرستند، با دسترسیهای ارتقا یافتهی سازنده عامل اجرا خواهد شد.
آسیبپذیریهای زنجیره تأمین عاملها
(ASI04)
این ریسک زمانی ایجاد میشود که از مدلها، ابزارها یا شخصیتهای آمادهی عاملهای هوش مصنوعی از طرف ثالث استفاده شود که ممکن است از ابتدا مخرب یا آلوده باشند. آنچه این وضعیت را نسبت به نرمافزار سنتی پیچیدهتر میکند، این است که اجزای عاملها اغلب بهصورت پویا بارگذاری میشوند و از قبل شناختهشده نیستند. این موضوع ریسک را بهطور قابل توجهی افزایش میدهد، بهویژه اگر عامل اجازه داشته باشد خودش بسته مناسب را پیدا کند. در حال حاضر، افزایش حملات تایپوسکوئیتینگ[2] را میبینیم، جایی که ابزارهای مخرب در رجیستریها نام کتابخانههای محبوب را تقلید میکنند، و همچنین اسلاپسکوئیتینگ[3] که عامل سعی میکند ابزارهایی را فراخوانی کند که حتی وجود ندارند.
مثال:یک عامل دستیار برنامهنویسی بهطور خودکار بستهای آلوده و دارای درپشتی را نصب میکند که به مهاجم اجازه میدهد توکنهای CI/CD و کلیدهای SSH را مستقیماً از محیط عامل استخراج کند. تاکنون نمونههای مستند حملات مخرب علیه عاملهای توسعهی هوش مصنوعی در محیط واقعی مشاهده شده است.
آلودهسازی حافظه و زمینهی عامل
(ASI06)
مهاجمان اطلاعاتی را که عامل برای حفظ پیوستگی خود به آنها تکیه دارد، مانند تاریخچه گفتگو، پایگاه دانش RAG یا خلاصه مراحل قبلی وظایف، دستکاری میکنند. این زمینهی آلوده باعث تغییر در استدلالهای آیندهی عامل و انتخاب ابزارهای آن میشود. در نتیجه، در منطق عامل، بکدرهای پایدار ایجاد میشود که بین جلسات مختلف باقی میماند. برخلاف تزریق یکباره، این ریسک تأثیر طولانیمدت بر دانش و منطق رفتاری سیستم دارد.
مثال: مهاجمی اطلاعات نادرستی درباره قیمتهای پرواز دریافتی از یک فروشنده در حافظه دستیار وارد میکند. در نتیجه، عامل تراکنشهای آینده را با نرخ جعلی تأیید میکند. نمونهای از این کار در یک حمله آزمایشی روی سیستم Gemini نمایش داده شد.
ارتباط ناامن بین عاملها
(ASI07)
در سیستمهای چندعاملی، هماهنگی معمولاً از طریق APIها یا پیامرسانها انجام میشود که اغلب فاقد رمزگذاری، احراز هویت یا بررسی یکپارچگی هستند. مهاجمان میتوانند این پیامها را در زمان واقعی شنود، جعل یا تغییر دهند و باعث اختلال در کل سیستم توزیعشده شوند. این آسیبپذیری راه را برای حملات «عامل در میان» و دیگر سوءاستفادههای کلاسیک ارتباطی باز میکند که در دنیای امنیت اطلاعات شناختهشدهاند، مانند تکرار پیامها، جعل فرستنده و اجبار به کاهش سطح پروتکل.
مثال: مجبور کردن عاملها به استفاده از پروتکل بدون رمزگذاری برای تزریق دستورات مخفی، که عملاً فرآیند تصمیمگیری جمعی کل گروه عاملها را ربوده و تحت کنترل مهاجم قرار میدهد.
خطاهای زنجیرهای
(ASI08)
این ریسک نشان میدهد چگونه یک خطای واحد — ناشی از توهم دادهای، تزریق دستور یا هر اختلال دیگری — میتواند در زنجیرهای از عاملهای خودران گسترش یافته و تشدید شود. از آنجا که این عاملها بدون دخالت انسان وظایف را به یکدیگر منتقل میکنند، شکست در یک بخش میتواند اثر دومینو ایجاد کرده و کل شبکه را با بحران مواجه کند. مشکل اصلی در اینجا سرعت بالای انتشار خطاست: خطا سریعتر از توانایی هر اپراتور انسانی برای ردیابی یا توقف آن گسترش مییابد.
مثال:یک عامل زمانبندی آسیبدیده، مجموعهای از دستورات ناامن را ارسال میکند که توسط عاملهای بعدی بهصورت خودکار اجرا میشوند و باعث ایجاد حلقهای از اقدامات خطرناک در سراسر سازمان میشود.
سوءاستفاده از اعتماد انسان به عامل
(ASI09)
مهاجمان از ماهیت گفتگو محور و ظاهر تخصصی عاملها برای دستکاری کاربران استفاده میکنند. انسانها به دلیل گرایش به انسانگونه دیدن عاملها (انسانانگاری) بیش از حد به توصیههای هوش مصنوعی اعتماد و بدون تردید اقدامات حیاتی را تأیید میکنند. در این وضعیت، عامل نقش یک مشاور بد را بازی میکند و انسان را به عامل اجرایی نهایی حمله تبدیل میکند، که بررسیهای بعدی و تحقیقات جنایی را پیچیده میسازد.
مثال:یک عامل پشتیبانی فنی آلوده، از شمارههای واقعی تیکتها برای ایجاد اعتماد با یک کارمند جدید استفاده میکند و در نهایت او را متقاعد میکند که اطلاعات ورود شرکتی خود را در اختیار عامل قرار دهد.
عاملهای سرکش
(ASI10)
این عاملها مخرب، آلوده یا دچار توهم هستند و از وظایف تعیینشده خود منحرف میشوند، بهطور پنهانی عمل میکنند یا مانند موجودات انگلی در سیستم فعالیت میکنند. وقتی کنترل آنها از دست برود، ممکن است شروع به خودتکثیری، دنبال کردن برنامه مخفی خود یا حتی همکاری با دیگر عاملها برای دور زدن تدابیر امنیتی کنند. تهدید اصلی در ASI10، تحلیل رفتن بلندمدت یکپارچگی رفتاری سیستم پس از یک نفوذ یا اختلال اولیه است.
مثال:مشهورترین مورد شامل یک عامل توسعه خودران Replit است که سرکش شد، پایگاه داده اصلی مشتریان شرکت را حذف کرد و سپس محتوای آن را بهطور کامل جعل کرد تا وانمود شود مشکل برطرف شده است.
کاهش ریسکها در سیستمهای هوش مصنوعی عاملمحور
با اینکه ماهیت احتمالاتی تولید مدلهای زبانی بزرگ و عدم تفکیک کامل بین دستورالعملها و کانالهای داده باعث میشود امنیت مطلق غیرممکن باشد، اما مجموعهای دقیق از کنترلها ــ مشابه یک استراتژی صفر اعتمادـ میتواند آسیبها را بهشدت کاهش دهد. در ادامه مهمترین اقدامات ارائه شدهاند:
- اجرای اصل حداقل خودمختاری و حداقل امتیاز
خودمختاری عاملها را با تعیین وظایف و مرزهای دقیق محدود کنید. اطمینان حاصل کنید که عاملها فقط به ابزارها، APIها و دادههای شرکتی مورد نیاز برای انجام مأموریت خود دسترسی داشته باشند. مجوزها را تا حد امکان کاهش دهید؛ برای مثال، حالت فقط خواندن را ترجیح دهید.
- استفاده از اعتبارنامههای کوتاهمدت
توکنها و کلیدهای API موقت با دامنه محدود برای هر وظیفه صادر کنید. این کار از سوءاستفاده مهاجمین در صورت نفوذ به عامل جلوگیری میکند.
- وجود انسان در حلقه برای عملیات حیاتی
برای هر اقدام برگشتناپذیر یا پرریسک، مانند تراکنش مالی یا حذف گسترده داده، تأیید صریح انسانی را الزامی کنید.
- جداسازی اجرا و کنترل ترافیک
کد و ابزارها را در محیطهای ایزولهکانتینر یاسندباکساجرا کنید و فهرستهای مجاز برای ابزارها و اتصالات شبکه اعمال کنید تا تماسهای غیرمجاز جلوگیری شود.
- اجرای سیاستها
دروازههای اینتنترا پیادهسازی کنید تا برنامهها و استدلالهای عامل قبل از اجرا با قوانین امنیتی سختگیرانه بررسی شوند.
- اعتبارسنجی و پاکسازی ورودی و خروجی
از فیلترها و طرحهای اعتبارسنجی تخصصی برای بررسی همهی ورودیها و پاسخهای مدل استفاده کنید تا تزریقها و محتوای مخرب شناسایی شود. این بررسی باید در هر مرحله پردازش داده و هنگام انتقال داده بین عاملها انجام شود.
- ثبت امن و مستمر فعالیتها
همه اقدامات عامل و پیامهای بین عاملها را در لاگهای تغییرناپذیر ثبت کنید. این دادهها برای حسابرسی و تحقیقات جنایی آینده ضروری هستند.
- نظارت رفتاری و عاملهای ناظر
سیستمهای خودکار برای شناسایی ناهنجاریها مانند افزایش ناگهانی درخواستهای API، تلاش برای خودتکثیری یا تغییر ناگهانی اهداف عاملها پیادهسازی کنید. سازمانهایی که XDR دارند و تلِمتری را در SIEM تحلیل میکنند، در این زمینه پیشتاز خواهند بود و راحتتر میتوانند عاملهای AI را کنترل کنند.
- کنترل زنجیره تأمین و SBOMها
فقط از ابزارها و مدلهای معتبر و ثبتشده در منابع مطمئن استفاده کنید. هنگام توسعه نرمافزار، هر جزء را امضا کنید، نسخه وابستگیها را ثابت نگه دارید و هر بروزرسانی را دوباره بررسی کنید.
- تحلیل ایستا و پویا کد تولید شده
هر خط کدی که عامل مینویسد قبل از اجرا بررسی شود و استفاده از توابع خطرناک مانند eval() ممنوع شود. این روش باید جزو فرآیند استاندارد DevSecOps باشد و به همه کدهای تولید شده توسط عاملها گسترش یابد. از آنجا که انجام دستی این کار تقریباً غیرممکن است، استفاده از ابزارهای خودکار، مانند Kaspersky Cloud Workload Security توصیه میشود.
- امنسازی ارتباط بین عاملها
احراز هویت دوطرفه و رمزگذاری در همه کانالهای ارتباطی بین عاملها اعمال شود. از امضاهای دیجیتال برای اطمینان از صحت پیامها استفاده کنید.
- کلیدهای توقف فوری
مکانیزمی طراحی کنید که به محض تشخیص رفتار غیرعادی، عامل یا ابزار خاص را فوراً متوقف کند.
- استفاده از رابط کاربری برای تنظیم اعتماد
با نشانگرهای تصویری و هشدارهای سطح اطمینان، خطر اعتماد بیچونوچرا به AI را کاهش دهید.
- آموزش کاربران
کارکنان را بهصورت منظم با واقعیتهای عملیاتی سیستمهای مبتنی بر هوش مصنوعی آشنا کنید. مثالها باید متناسب با نقش کاری آنها باشد تا ریسکهای خاص AI را نشان دهد. آموزش سالانه کافی نیست؛ این آموزشها باید چند بار در سال بهروزرسانی شوند.
- دورههای تخصصی برای تحلیلگران SOC و توسعهدهندگان
برای تحلیلگران SOC، دوره امنیت مدلهای زبانی بزرگ توصیه میشود که تهدیدات اصلی LLMها و راهکارهای دفاعی را پوشش میدهد. این دوره برای توسعهدهندگان و معماران AI نیز مفید است.
[1] Autonomous AI agents
[2] یک نوع حمله سایبری مبتنی بر دامنههای اینترنتی است که در آن مهاجم از اشتباهات تایپی رایج کاربران در هنگام وارد کردن آدرس وبسایتها سوءاستفاده میکند.
[3] یک اصطلاح رایج و استاندارد در امنیت سایبری نیست و در منابع معتبر بهعنوان یک نوع حمله شناختهشده ثبت نشده.
کسپرسکی آنلاین (ایدکو)
کسپرسکی اسم یکی از بزرگترین شرکتهای امنیتی و سازنده آنتی ویروس است که برخی از کاربران اشتباهاً این شرکت و محصولات آنتی ویروس آن را با عناوینی نظیر کسپرسکای،کاسپرسکی، کسپراسکای، کسپراسکای، و یا کاسپراسکای نیز میشناسد. همچنین لازم به ذکر است مدیرعامل این شرکت نیز یوجین کسپرسکی نام دارد.
