چگونه امنیت عامل‌های هوش مصنوعی را در سازمان تأمین کنیم؟

30 آبان 1405 چگونه امنیت عامل‌های هوش مصنوعی را در سازمان تأمین کنیم؟

خطرات استفاده از هوش مصنوعی در محیط کار مدت‌هاست شناخته شده‌اند، اما شواهد جدید درباره این خطرات همچنان در حال افزایش است.

با گسترش استفاده از عامل‌های هوش مصنوعی (AI Agents) که کارکنان برای انجام وظایف مختلف روی کامپیوترهای سازمان راه‌اندازی می‌کنند، وضعیت امنیتی پیچیده‌تر شده است؛ زیرا مهاجمان از همین حالا این عامل‌ها را هدف قرار داده‌اند.

مهاجمان دیگر لزوماً نیازی ندارند با استفاده از بدافزارهای خاص، خطر شناسایی شدن را بپذیرند. آن‌ها اکنون می‌توانند صرفاً با ارسال پرامپت‌های متنی به یک عامل هوش مصنوعی، آن را وادار کنند اقداماتی را که می‌خواهند انجام دهد؛ برای مثال، اطلاعات محرمانه موجود در کامپیوتر را پیدا کند یا داده‌ها را به مقصدی خارج از سازمان ارسال کند.

در چنین شرایطی، هر قابلیت کاربردی یک دستیار هوش مصنوعی می‌تواند به فرصتی برای سوءاستفاده مهاجمان تبدیل شود.

برای تیم‌های امنیتی، صرفاً اطلاع از اینکه چه ابزارهای هوش مصنوعی در سازمان استفاده می‌شوند کافی نیست. آن‌ها باید مجوزهای دسترسی این ابزارها، منابع دستورالعمل‌هایشان، اجزای متصل به آن‌ها و اقداماتی را که واقعاً انجام می‌دهند نیز زیر نظر داشته باشند.

اما برای انجام این کار لزوماً نیازی به افزودن محصولات امنیتی بیشتر نیست. بسیاری از این وظایف را می‌توان با ابزارهای امنیتی شناخته‌شده انجام داد؛ ابزارهایی مانند کنترل برنامه‌ها (Application Control)، فیلترینگ وب، EDR، تحلیل فایل و هوش تهدید (Threat Intelligence) به‌روز.

توضیحات کامل سازوکارهای حفاظتی مرتبط در راهنمای Securelist درباره استقرار امن عامل‌های هوش مصنوعی ارائه شده است. آن مقاله جزئیات فنی فراوانی دارد، اما در این مطلب مهم‌ترین خطرات استفاده سازمانی از هوش مصنوعی و اقدامات امنیتی متداولی را بررسی می‌کنیم که به کاهش این خطرات کمک می‌کنند.

دستیار هوش مصنوعی تأییدنشده

اصطلاح Shadow AI به سرویس‌ها و برنامه‌های هوش مصنوعی اشاره دارد که کارکنان بدون تأیید واحدهای امنیت و فناوری اطلاعات سازمان از آن‌ها استفاده می‌کنند.

خود برنامه یا سرویس معمولاً قانونی و معتبر است، اما سازمان نمی‌داند چه داده‌هایی را پردازش می‌کند، آن‌ها را به کجا ارسال می‌کند یا قادر به انجام چه اقداماتی است.

برای جلوگیری از استفاده از چنین ابزارهایی، باید فهرستی از برنامه‌ها و سرویس‌های آنلاین هوش مصنوعی مورد تأیید سازمان تهیه و به‌طور مستمر به‌روزرسانی شود.

برای محدود کردن دسترسی به سرویس‌های هوش مصنوعی که طبق سیاست‌های امنیتی سازمان مجاز نیستند، می‌توان از راهکارهای محافظت از Endpoint کسپرسکی که از طریق Kaspersky Security Center مدیریت می‌شوند استفاده کرد.

این محدودیت از طریق ماژول Application Control اعمال می‌شود که دارای دسته‌بندی اختصاصی AI Tools است.

این ماژول می‌تواند در دو حالت اجرا شود:

  • Denylist: مسدود کردن برنامه‌های ممنوع‌شده

  • Allowlist: حالت سخت‌گیرانه‌تر که تنها به برنامه‌های صراحتاً تأییدشده اجازه اجرا می‌دهد

دسترسی به سرویس‌های هوش مصنوعی مبتنی بر وب نیز از طریق ابزار مشابهی به نام Web Control مدیریت می‌شود.

برای سرویس‌های تأییدشده نیز باید به‌صورت دقیق مشخص شود که پردازش چه نوع داده‌هایی در آن‌ها مجاز است. همچنین لازم است تعهدات قراردادی ارائه‌دهندگان این سرویس‌ها در زمینه حفاظت از داده‌ها به‌طور مشخص بررسی شود.

نصب‌کننده‌های جعلی به‌جای ابزارهای هوش مصنوعی

این تهدید تنها به‌صورت غیرمستقیم با هوش مصنوعی ارتباط دارد، اما به دلیل استقبال گسترده مهاجمان از آن در سال ۲۰۲۶، ارزش بررسی دارد.

کاربر برای پیدا کردن لینک دانلود یا دستورالعمل نصب یک عامل هوش مصنوعی جست‌وجو می‌کند، روی یک تبلیغ کلیک می‌کند و وارد صفحه‌ای می‌شود که تقریباً کاملاً شبیه وب‌سایت رسمی توسعه‌دهنده است.

این صفحه از کاربر می‌خواهد یک دستور را کپی کرده و در Terminal اجرا کند؛ نتیجه نیز قابل پیش‌بینی است.

در ماه مارس، نمونه‌ای از این کلاهبرداری را بررسی کردیم که از صفحات نصب جعلی Claude Code و OpenClaw استفاده می‌کرد. در این حملات، کاربران به‌جای دریافت یک ابزار کاربردی، یک بدافزار سرقت اطلاعات (Infostealer) دریافت می‌کردند.

برای مقابله با این حملات که با نام ClickFix شناخته می‌شوند، باید از چندین لایه حفاظتی استفاده کرد.

بسته‌های نصب و دستورالعمل‌های مربوط به ابزارهای تأییدشده باید از طریق کاتالوگ نرم‌افزاری سازمان در اختیار کارکنان قرار گیرند.

سازوکارهای فیلترینگ وب و ضد‌فیشینگ باید به مسدودسازی صفحات جعلی شناخته‌شده کمک کنند. در همین حال، راهکار محافظت از Endpoint باید Payloadهای مخرب و زنجیره‌های اجرای مشکوک را شناسایی کند.

مجوزهای دسترسی بیش از حد عامل‌ها

برنامه‌های دسکتاپ، مانند نسخه رسمی ChatGPT، اغلب صرفاً همان چت‌بات در یک پنجره جداگانه تصور می‌شوند.

اما در واقع، این برنامه‌ها می‌توانند عامل‌های هوش مصنوعی کاملی باشند که با فایل‌ها کار می‌کنند و در محدوده مجوزهای اعطاشده، برنامه‌های مختلف را اجرا می‌کنند.

در عمل، یک عامل اغلب تمام مجوزهای کاربر فعلی را در اختیار دارد. اگر تأیید اقدامات و سازوکارهای ایزوله‌سازی نیز غیرفعال باشند، یک دستور اشتباه یا مخرب می‌تواند پیامدهای بسیار جدی ایجاد کند.

در سپتامبر ۲۰۲۶، پژوهشگران موردی از ربودن نشست فعال یک دستیار هوش مصنوعی را در یک ارائه‌دهنده خدمات SaaS تشریح کردند.

در ابتدا، عامل هوش مصنوعی نرم‌افزاری آلوده را از مخزن PyPI پیشنهاد داد و سپس خودش آن را نصب کرد.

مهاجمان به توکن‌های GitHub OAuth دسترسی پیدا کردند و از آن‌ها برای گسترش بیشتر کرم Shai-Hulud استفاده کردند.

حمله s1ngularity در سال گذشته نمونه حتی قابل‌توجه‌تری است.

اسکریپت مخرب، ابزارهای هوش مصنوعی نصب‌شده را جست‌وجو می‌کرد و آن‌ها را در حالتی اجرا می‌کرد که درخواست‌های تأیید اقدامات را نادیده می‌گرفت.

سپس به عامل‌ها دستور داده می‌شد که به دنبال کلیدهای SSH، فایل‌های .env و کیف پول‌های رمزارزی بگردند.

برای انجام این کار حتی نیازی به هک کردن خود مدل نبود.

این موضوع یک عامل هوش مصنوعی محلی را به ابزاری بسیار قدرتمند در حملات Living-off-the-Land تبدیل می‌کند؛ حملاتی که در آن‌ها مهاجمان از ابزارها و قابلیت‌های موجود در سیستم برای اجرای فعالیت‌های مخرب استفاده می‌کنند.

برای شناسایی استفاده نادرست از یک عامل، باید پارامترهای اجرای آن، دسترسی به مخازن اعتبارنامه و فرایندهای فرزند (Child Processes) با دقت پایش شوند.

برای مقابله با این تهدید، کاربران Kaspersky NEXT EDR Optimum به قوانین اختصاصی برای شناسایی حالت‌های اجرای خطرناک دسترسی دارند.

مجموعه دیگری از قوانین نیز دسترسی عامل‌ها به فایل‌های حاوی اعتبارنامه‌ها، توکن‌ها و کلیدها را ردیابی می‌کند.

بسته به شرایط، اقدامات پاسخ‌گویی می‌توانند شامل متوقف کردن فرایند عامل هوش مصنوعی یا حتی ایزوله کردن میزبان باشند.

سرورهای MCP خطرناک

پروتکل MCP امکان اتصال ابزارها و منابع داده اضافی را به برنامه‌های هوش مصنوعی فراهم می‌کند.

برای مثال، یک سرور MCP می‌تواند اسناد را جست‌وجو کند، APIها را فراخوانی کند یا با فایل‌ها کار کند.

بااین‌حال، Sandbox و سیاست‌های محدودکننده‌ای که برای عامل هوش مصنوعی اعمال می‌شوند، به‌طور خودکار به MCP گسترش پیدا نمی‌کنند.

به همین دلیل، اتصال یک سرور MCP می‌تواند تقریباً به اندازه نصب یک مؤلفه نرم‌افزاری جدید خطرناک باشد.

در فوریه ۲۰۲۶، کارشناسان امنیت سایبری کمپینی به نام SANDWORM_MODE را کشف کردند.

در این کمپین، ماژول McpInject یک سرور MCP مخرب را در دایرکتوری مخفی قرار می‌داد و آن را به تنظیمات ابزارهای Claude Code، Cursor، Continue و Windsurf اضافه می‌کرد.

توضیحات ابزارها حاوی دستورالعمل‌های تزریق‌شده‌ای بودند که از عامل می‌خواستند اطلاعات محرمانه، مانند کلیدهای SSH و اعتبارنامه‌های سرویس‌های ابری، را جست‌وجو کند.

برای کنترل ریسک‌های MCP، سازمان باید فهرستی از سرورهای MCP مجاز (Allowlist) نگهداری کند، تغییرات پیکربندی آن‌ها را زیر نظر داشته باشد و اتصالات شبکه را محدود کند.

سرورهای محلی باید مانند هر نرم‌افزار اجرایی دیگری از نظر امنیتی بررسی شوند و سرورهای راه دور نیز باید همانند سرویس‌های خارجی دارای دسترسی به اطلاعات سازمان ارزیابی شوند.

راهکار Kaspersky EDR دارای قوانین اختصاصی برای شناسایی اسکریپت‌های مشکوک سرورهای MCP است که در دایرکتوری‌های مخفی یا موقت ایجاد یا تغییر داده می‌شوند.

البته قرار گرفتن یک مؤلفه در چنین مسیری لزوماً به معنای مخرب بودن آن نیست، اما دلیل مناسبی برای بررسی منشأ آن و شناسایی فرایندی است که آن را نصب کرده است.

بدافزارهایی که مستقیماً LLMها را فراخوانی می‌کنند

مهاجمان یاد گرفته‌اند از مدل‌های زبانی بزرگ برای تولید کد و اسکریپت در لحظه استفاده کنند و آنچه را نیاز دارند، مستقیماً از سیستم آلوده درخواست کنند.

گزارش‌های Google دو خانواده بدافزاری به نام‌های PROMPTSTEAL و HONESTCUE را معرفی کرده‌اند که در حملات واقعی مشاهده شده‌اند.

بدافزار اول از طریق Hugging Face API از یک مدل درخواست می‌کرد دستورات Windows را تولید کند.

بدافزار دوم نیز کد C# را از Gemini دریافت کرده و آن را مستقیماً در حافظه کامپایل می‌کرد.

از دیدگاه پایش شبکه، در هر دو مورد اتصال به یک سرویس قانونی هوش مصنوعی برقرار می‌شود.

به همین دلیل، بررسی صرف آدرس مقصد کافی نیست. ضروری است مشخص شود کدام فرایند اتصال را برقرار می‌کند و با پاسخ دریافتی چه کاری انجام می‌دهد.

یکی از اقدامات عملی این است که دسترسی به APIهای مدل‌های هوش مصنوعی فقط برای برنامه‌ها و گردش‌کارهایی مجاز باشد که واقعاً به آن نیاز دارند. همچنین هر درخواست غیرمنتظره باید در کنار رویدادهای Endpoint بررسی شود.

در Kaspersky EDR، دو قانون می‌توانند به شناسایی برنامه‌های غیرمعمولی که به APIهای شناخته‌شده مدل‌های زبانی خارجی متصل می‌شوند و همچنین شناسایی فایل‌های مدل‌های محلی کمک کنند.

پیدا شدن این موارد لزوماً به معنای آلوده بودن دستگاه نیست، اما می‌تواند به کشف ابزار هوش مصنوعی‌ای کمک کند که پیش‌تر در فهرست ابزارهای سازمان ثبت نشده است.

Skillهای مخرب

قابلیت‌های یک عامل هوش مصنوعی اغلب با استفاده از Skillهای آماده گسترش پیدا می‌کنند؛ مجموعه‌هایی شامل دستورالعمل‌ها، اسکریپت‌ها و فایل‌های کمکی.

نصب این Skillها عملاً یک زنجیره تأمین جدید به مجموعه مواردی اضافه می‌کند که تیم امنیتی باید مدیریت کند.

در فوریه ۲۰۲۶، پژوهشگران ۳۴۱ Skill مخرب را در کاتالوگ ClawHub شناسایی کردند.

بسیاری از این Skillها به کاربران پیشنهاد می‌کردند مؤلفه‌هایی را که ظاهراً ضروری بودند نصب کنند؛ اما کاربرانی که این کار را انجام می‌دادند، در واقع بدافزار سرقت اطلاعات AMOS را اجرا می‌کردند.

بعدها، تیم Unit 42 روش‌های دیگری را نیز تشریح کرد که مهاجمان برای دور زدن بررسی‌های امنیتی به کار گرفته بودند؛ از جمله افزایش عمدی حجم بسته‌ها تا جایی که از محدودیت اسکنر فراتر بروند.

Skillها باید همراه با اسکریپت‌ها، مؤلفه‌ها و فایل‌های آرشیو مرتبط، پیش از تحویل به عامل بررسی شوند.

این کار را می‌توان با استفاده از Kaspersky Scan Engine انجام داد؛ به‌گونه‌ای که موتور اسکن مستقیماً در فرایند پذیرش و راه‌اندازی افزونه‌ها یکپارچه شود.

همچنین لازم است بررسی‌های استاندارد مربوط به منبع بسته، نسخه و محتوای آن نیز انجام شوند.

چگونه تأثیر یک حمله را محدود کنیم؟

تشخیص تهدیدات و پاسخ‌گویی به آن‌ها ضروری است، اما پیاده‌سازی هوش مصنوعی بر اساس اصول Secure by Design باید حتی پیش از فعال شدن سازوکارهای حفاظتی، خسارت احتمالی را کاهش دهد.

اصل حداقل سطح دسترسی

تا حد امکان، عامل را با یک حساب کاربری جداگانه یا در یک محیط ایزوله اجرا کنید.

دسترسی آن را به دایرکتوری‌های پروژه و سرویس‌هایی محدود کنید که واقعاً برای انجام وظیفه به آن‌ها نیاز دارد.

نوشتن یک دستور متنی برای ممنوع کردن یک اقدام، جایگزین ایزوله‌سازی واقعی نیست.

اعتبارنامه‌ها باید خارج از دسترس عامل باشند

توکن‌ها و کلیدهای بلندمدت را در فایل‌های پیکربندی‌ای که عامل قادر به خواندن آن‌هاست نگهداری نکنید.

تا حد امکان از مخزن امن اسرار (Secrets Vault)، اعتبارنامه‌های کوتاه‌مدت و سرویس واسطی استفاده کنید که عملیات درخواستی را به‌صورت سخت‌گیرانه انجام می‌دهد، بدون اینکه اطلاعات محرمانه را در اختیار عامل قرار دهد.

وابستگی‌های تأییدشده

Skillها، بسته‌های نرم‌افزاری و مدل‌ها را از طریق یک مخزن داخلی یا پروکسی کنترل‌شده دریافت کنید.

نسخه‌های تأییدشده را ثابت نگه دارید و Checksum آن‌ها را با یک مرجع قابل‌اعتماد مقایسه کنید.

محدودسازی ارتباطات خروجی

تنها دسترسی به APIهای مدل‌ها، سرورهای MCP و سایر منابعی را مجاز کنید که عامل واقعاً به آن‌ها نیاز دارد.

فرایندهای فرزند (Child Processes) را نیز فراموش نکنید.

مسدود کردن ارتباطات فرایند اصلی عامل چندان مؤثر نخواهد بود، اگر Shell اجراشده توسط آن همچنان به اینترنت بدون محدودیت دسترسی داشته باشد.

Playbook اختصاصی برای پاسخ‌گویی به رخدادها

پس از وقوع نفوذ، پیکربندی عامل‌ها و محیط‌های توسعه، مدیریت‌کننده‌های رویداد (Event Handlers) و سرورهای MCP متصل را بررسی کنید.

توکن‌ها و نشست‌های فعال تحت تأثیر را باطل کنید و هر کلیدی را که احتمال افشای آن وجود دارد، جایگزین کنید.

ارائه جایگزین تأییدشده به‌جای ممنوعیت کامل

به‌جای ممنوع کردن تمام ابزارهای هوش مصنوعی، یک ابزار مورد تأیید سازمان در اختیار کارکنان قرار دهید.

همچنین قوانین شفافی برای نحوه کار با داده‌ها و فرایندی سریع برای تأیید قابلیت‌های جدید تعریف کنید.

در غیر این صورت، حتی سیاستی که روی کاغذ بسیار سخت‌گیرانه به نظر می‌رسد نیز فقط کارکنان را به سمت استفاده از Shadow AI سوق خواهد داد.

محصولات مرتبط

  • Kaspersky Cloud Password Manager

    Kaspersky Cloud Password Manager ابزار مدیریت کلمه عبور ابری کسپرسکی (KCPM) ضمن ذخیره ایمن تمامی کلمات عبور مورد استفاده شما برای وبسایت‌ها، اپلیکیشن‌ها، و شبکه‌های اجتماعی آنها را در تمامی ...

    25,971,000 ریال43,285,000 ریال
    خرید
  • Kaspersky Safe Kids

    اپلیکیشن همه‌کاره برای فرزندپروریِ دیجیتال و سلامت خانواده نرم افزار امنیت کودکان کسپرسکی، نظارت‌های والدین را آسان می‌کند. ردیابی مکان و عادات دستگاه، محدودسازی محتوا، متعادل‌سازی ...

    25,971,000 ریال43,285,000 ریال
    خرید
  • Kaspersky Total Security

    با توجه به اینکه اعضای خانواده از برنامه‌ها و دستگاه‌های گوناگونی استفاده می‌کنند و از وب‌سایت‌های گوناگونی بازدید دارند، محافظت از آنها در برابر هکرها، مهاجمان و باج‌افزارها، کار چندان ساده‌ای ...

    230,862,500 ریال
    خرید
  • Kaspersky Security Cloud Personal

    تمام اپ‌های امنیتیِ ما در دستانتان. به کل خانواده‌ی اپ‌های ما برای دسکتاپ و موبایل دسترسی پیدا کنید. از آنتی‌ویروس گرفته تا ابزارهای حریم خصوصی و اجرایی، هر کدام را به میل ...

    288,722,500 ریال
    خرید
  • Kaspersky Standard

    سیستم امنیتی بهبودیافته به همراه تقویت‌کننده عمکرد دستگاه طرح امنیتی استاندارد ما، نه تنها سیستم امنیتی قدرتمندی را برای انواع ویروس‌ها، بدفزارها و باج‌افزارها ارائه می‌دهد ...

    49,005,000 ریال81,675,000 ریال
    خرید
  • Kaspersky Plus

    امنیت. کارایی. حریم خصوصی. همه در یک برنامه با کاربری آسان کسپرسکی پلاس با ارائه امنیت سایبری نسل بعد، شما در برابر ویروس‌ها، باج‌افزارها و بدافزارهای جدید محافظت کند - بدون ...

    70,273,500 ریال117,122,500 ریال
    خرید
  • Kaspersky Premium

    حفاظت کامل از دستگاه ها، حریم خصوصی و هویت شما با محصول Kaspersky Premium تمام نیازهای امنیتی خود و خانواده‌تان را پوشش دهید. حفاظت پیشرفته ...

    75,174,000 ریال125,290,000 ریال
    خرید
  • Kaspersky Small Office Security

    محافظت در حین کار Kaspersky Small Office Security به طور خاص برای سازمان‌هایی طراحی شده است که 5 تا 50 دستگاه کامپیوتر در خود جای داده‌اند. نصب آن بسیار آسان است؛ مدیریت آن ...

    519,750,000 ریال
    خرید
  • Kaspersky Small Office Security

    امنیت ادارات کوچک

    831,572,500 ریال
    خرید
  • Kaspersky Small Office Security

    امنیت ادارات کوچک

    623,672,500 ریال
    خرید
  • Kaspersky Small Office Security

    999,047,500 ریال
    خرید
  • Kaspersky Small Office Security

    727,622,500 ریال
    خرید
  • Kaspersky Small Office Security

    1,163,635,000 ریال
    خرید
  • Kaspersky Small Office Security

    831,572,500 ریال
    خرید
  • Kaspersky Small Office Security

    1,331,110,000 ریال
    خرید
  • Kaspersky Small Office Security

    935,522,500 ریال
    خرید
  • Kaspersky Small Office Security

    1,495,697,500 ریال
    خرید
  • Kaspersky Small Office Security

    952,847,500 ریال
    خرید
  • Kaspersky Small Office Security

    1,524,572,500 ریال
    خرید
  • Kaspersky Small Office Security

    1,342,660,000 ریال
    خرید
  • Kaspersky Small Office Security

    2,148,272,500 ریال
    خرید
  • Kaspersky Small Office Security

    1,732,472,500 ریال
    خرید
  • Kaspersky Small Office Security

    2,771,972,500 ریال
    خرید
  • Kaspersky Small Office Security

    2,093,410,000 ریال
    خرید
  • Kaspersky Small Office Security

    3,349,472,500 ریال
    خرید
  • Kaspersky Small Office Security

    3,970,285,000 ریال
    خرید
  • Kaspersky Small Office Security

    6,352,472,500 ریال
    خرید
  • Kaspersky Standard For Mobile

    امنیت موبایل خود را در تمامی دستگاه‌ها به‌طور کامل سامان‌دهی کنید. دستگاه‌های هوشمند خود را با یک موبایل سکیوریتی، در برابر جدیدترین تهدیدات دیجیتال محافظت کنید — تا خیال‌تان ...

    49,005,000 ریال
    خرید

نظر خودتان را ارسال کنید


کاربر گرامی چنانچه تمایل دارید، نقد یا نظر شما به نام خودتان در سایت ثبت شود، لطفاً وارد سایت شوید.
*نظر
کلیه حقوق مادی و معنوی این سایت محفوظ و متعلق به شرکت گسترش خدمات تجارت الکترونیک ایرانیان است و هر گونه کپی برداری از آن پیگرد قانونی دارد