گزارشی جدید نشان می‌دهد که هوش مصنوعی می‌تواند نسل جدیدی از تهدیدات مخرب را ایجاد کند، تهدیداتی که حتی از “اسکریپت کیدیز” (هکرهای تازه‌کار) نیز دانش کمتری دارند، اما قادر به تولید ابزارهای هک حرفه‌ای هستند.
بر اساس گزارش منتشر شده توسط Cato CTRL، بخش اطلاعات تهدیدات شرکت امنیت سایبری Cato Networks، محققان این شرکت بدون داشتن تجربه کدنویسی بدافزار، توانسته‌اند با استفاده از تکنیک “دنیای فراگیر”، چت‌بات‌های هوش مصنوعی DeepSeek، Microsoft Copilot و ChatGPT را فریب داده و نرم‌افزارهای مخرب برای سرقت اطلاعات ورود به گوگل کروم تولید کنند.
این تکنیک “شکستن قفل” (jailbreaking) با ایجاد یک داستان خیالی به نام “ولورا” انجام می‌شود، جایی که توسعه بدافزار به عنوان یک هنر قانونی تلقی می‌شود. محقق Cato، ویتالی سیمونوویچ، با ایجاد یک شخصیت مخرب به نام “داکس” و وادار کردن هوش مصنوعی به ایفای نقش “جکسون”، بهترین توسعه‌دهنده بدافزار در ولورا، توانسته است محدودیت‌های امنیتی چت‌بات‌ها را دور بزند.
این گزارش نشان می‌دهد که حتی با وجود وجود “محافظ‌های امنیتی” در مدل‌های زبان بزرگ (LLM)، تکنیک‌های شکستن قفل جدید می‌توانند این محافظ‌ها را دور زده و چت‌بات‌ها را به ابزارهای مخرب تبدیل کنند.
کارشناسان امنیت سایبری هشدار می‌دهند که قرار دادن سیستم‌های مبتنی بر هوش مصنوعی در معرض ورودی‌های ناشناخته یا خصمانه، آسیب‌پذیری آن‌ها را افزایش می‌دهد، زیرا داده‌های تأیید نشده می‌توانند رفتارهای ناخواسته را تحریک کرده و پروتکل‌های امنیتی را به خطر بیندازند.
تکنیک‌های شکستن قفل می‌توانند با دور زدن فیلترهای امنیتی و تزریق ورودی‌های خصمانه، مکانیزم‌های امنیتی داخلی مدل‌های زبان بزرگ را تضعیف کنند. حتی تغییر ساده دیدگاه در ارائه ورودی‌ها می‌تواند باعث شود هوش مصنوعی رفتارهای ناخواسته از خود نشان دهد.
تحقیقات نشان می‌دهد که ۲۰ درصد از تلاش‌های شکستن قفل در سیستم‌های هوش مصنوعی مولد موفقیت‌آمیز است و مجرمان سایبری می‌توانند با استفاده از تکنیک‌های مختلف، از جمله ایجاد شخصیت‌های جایگزین برای مدل‌های زبان بزرگ، محافظ‌های امنیتی آن‌ها را دور بزنند.
کارشناسان توصیه می‌کنند سازمان‌ها برای مقابله با این تهدیدات، مجموعه‌ای از ورودی‌ها و خروجی‌های مورد انتظار را برای مدل‌های زبان بزرگ خود ایجاد کرده و آن‌ها را به طور منظم آزمایش کنند. همچنین، استفاده از تکنیک‌های “فازینگ” (fuzzing) و “تیم قرمز” (red teaming) برای شناسایی آسیب‌پذیری‌ها و ارزیابی استحکام مدل‌های هوش مصنوعی ضروری است.
با توجه به افزایش تهدیدات مبتنی بر هوش مصنوعی، سازمان‌ها باید به طور مداوم روش‌های امنیتی خود را به‌روزرسانی کرده و برای مقابله با این تهدیدات جدید آماده باشند.
اخبار تکنولوژی را در مجله تکنولوژی بخوانید
