## فناوری هوش مصنوعی در خدمت کودک آزاری: خطر جدی و مغفول

چرا شرکت‌های هوش مصنوعی که ابزارهای قدرتمند تولید محتوا را ایجاد می‌کنند با ارزش‌های چند میلیارد دلاری معامله می‌شوند در حالی که این ابزارها می‌توانند برای تولید محتوای سوء استفاده از کودکان (CSAM) به کار گرفته شوند؟

ابزار تولید تصویر به نام “پخش پایدار” (Stable Diffusion) نسخه 1.5 که توسط شرکت هوش مصنوعی “ران وی” (Runway) و با سرمایه‌گذاری “استابیلتی ای آی” (Stability AI) ساخته شده است، به طور ویژه در تولید این محتوا نقش داشته است.

پلتفرم‌های محبوب مانند “هاگینگ فیس” (Hugging Face) و “سیویتی” (Civitai) نیز میزبان این مدل و سایر مدل‌های هوش مصنوعی هستند که ممکن است بر روی تصاویر واقعی سوء استفاده از کودکان آموزش داده شده باشند.

در برخی موارد، شرکت‌ها حتی با میزبانی این نوع محتوا در سرورهای خود قوانین را نقض می‌کنند. و چرا شرکت‌ها و سرمایه‌گذاران بزرگی مانند گوگل، انویدیا، اینتل، سلسفورس و “اندریسن هوروویتز” (Andreesen Horowitz) صدها میلیون دلار در این شرکت‌ها سرمایه‌گذاری می‌کنند؟ پشتیبانی آنها به معنای حمایت از محتوای کودک آزاری است.

متخصصان امنیت هوش مصنوعی این سوالات را مطرح می‌کنند تا این شرکت‌ها را تحت فشار قرار دهند و آنها را مجبور به انجام اقدامات اصلاحی کنند.

خوشبختانه، به نظر می‌رسد که حذف پخش پایدار نسخه 1.5 از هاگینگ فیس در پاسخ به این سوالات صورت گرفته است، اما هنوز راه درازی در پیش است و ممکن است برای پیشرفت واقعی نیاز به قانونگذاری باشد.

## دامنه گسترده مشکل CSAM

مدافعان ایمنی کودکان سال گذشته زنگ خطر را به صدا در آوردند.

محققان “رصدخانه اینترنتی استنفورد” (Stanford’s Internet Observatory) و “سازمان غیرانتفاعی ثورن” (Thorn) در ژوئن 2023 گزارش نگران‌کننده‌ای منتشر کردند که نشان می‌دهد ابزارهای تولید تصویر هوش مصنوعی که به طور گسترده در دسترس هستند و به عنوان “منبع باز” شناخته می‌شوند، توسط افراد خرابکار برای تولید محتوای سوء استفاده از کودکان مورد سوء استفاده قرار می‌گیرند.

در برخی موارد، این افراد خرابکار نسخه‌های سفارشی شده‌ای از این مدل‌ها (که به عنوان تنظیم دقیق شناخته می‌شود) را با استفاده از محتوای واقعی سوء استفاده از کودکان می‌سازند تا تصاویر اختصاصی از قربانیان خاص را تولید کنند.

در اکتبر سال گذشته، یک گزارش از سوی “موسسه نظارت اینترنتی” (Internet Watch Foundation) در انگلستان (که یک خط تلفن برای گزارش محتوای سوء استفاده از کودکان دارد) منتشر شد که نشان می‌دهد افراد خرابکار به راحتی می‌توانند محتوای سوء استفاده از کودکان را به طور واقع گرایانه با استفاده از هوش مصنوعی تولید کنند.

محققان در این گزارش یک نمونه مطالعه از یک انجمن CSAM در وب تاریک را ارائه دادند که بیش از 11000 تصویر تولید شده توسط هوش مصنوعی را در یک دوره یک ماهه مورد بررسی قرار دادند.

از این تعداد، تقریبا 3000 تصویر به قدری شدید بودند که به عنوان جرم طبقه بندی شدند. این گزارش خواستار نظارت قانونی قوی‌تر بر مدل‌های هوش مصنوعی تولیدکننده بود.

## هوش مصنوعی و ریشه مشکل

مدل‌های هوش مصنوعی می‌توانند این محتوا را تولید کنند زیرا قبلاً نمونه‌هایی از آن را دیده‌اند.

محققان در استنفورد در دسامبر سال گذشته کشف کردند که یکی از مهم‌ترین مجموعه داده‌های مورد استفاده برای آموزش مدل‌های تولید تصویر شامل هزاران نمونه CSAM است.

بسیاری از محبوب‌ترین تولیدکننده‌های تصویر هوش مصنوعی با منبع باز، از جمله پخش پایدار نسخه 1.5، با استفاده از این داده‌ها آموزش دیده‌اند.

این نسخه از پخش پایدار توسط “ران وی” ساخته شده است، هر چند “استابیلتی ای آی” هزینه محاسباتی مورد نیاز برای تولید مجموعه داده‌ها و آموزش مدل را پرداخت کرده است.

استابیلتی ای آی نسخه‌های بعدی پخش پایدار را منتشر کرده است.

## ناتوانی در پاسخگویی و نگرانی‌های جدی

“ران وی” به درخواست اظهار نظر پاسخ نداد.

سخنگوی استابیلتی ای آی تأکید کرد که این شرکت پخش پایدار نسخه 1.5 را منتشر یا نگهداری نکرده است و می‌گوید که این شرکت “اقدامات حفاظتی قوی” را در برابر CSAM در مدل‌های بعدی، از جمله استفاده از مجموعه داده‌های فیلتر شده برای آموزش، پیاده‌سازی کرده است.

همچنین در دسامبر گذشته، محققان “شرکت تحلیل رسانه‌های اجتماعی” (Graphika) کشف کردند که ده‌ها “سرویس برهنه کردن” وجود دارد که بسیاری از آنها بر اساس تولیدکننده‌های تصویر هوش مصنوعی با منبع باز، احتمالاً از جمله پخش پایدار، هستند.

این خدمات به کاربران اجازه می‌دهند تا تصاویر پوشیده از افراد را آپلود کنند و تصاویری را تولید کنند که متخصصان آنها را به عنوان “تصاویر خصوصی غیرضروری” (NCII) از افراد بالغ و خردسال توصیف می‌کنند که گاهی اوقات “فیلم‌های ساختگی” (deepfake pornography) نامیده می‌شوند.

این وب‌سایت‌ها را می‌توان به راحتی از طریق جستجو در گوگل پیدا کرد و کاربران می‌توانند از طریق کارت‌های اعتباری آنلاین برای این خدمات هزینه پرداخت کنند.

بسیاری از این خدمات تنها روی زنان و دختران کار می‌کنند و این نوع ابزارها برای هدف قرار دادن چهره‌های مشهور زن مانند Taylor Swift و سیاستمدارانی مانند نماینده مجلس آمریکا Alexandria Ocasio-Cortez مورد استفاده قرار گرفته‌اند.

## پیامدهای ناگوار محتوای تولید شده توسط هوش مصنوعی

CSAM تولید شده توسط هوش مصنوعی پیامدهای واقعی دارد.

سیستم ایمنی کودکان از قبل با میلیون‌ها فایل مشکوک CSAM که هر ساله به خط تلفن‌ها گزارش می‌شود، تحت فشار است.

هر چیزی که به این حجم عظیم محتوا – به ویژه محتوای واقعی سوء استفاده – اضافه شود، یافتن کودکانی که در خطر واقعی هستند را دشوارتر می‌کند.

موضوع بدتر این است که برخی از افراد خرابکار از CSAM موجود برای تولید تصاویر مصنوعی از این بازماندگان استفاده می‌کنند که این عمل نقض وحشتناک حقوق آنها است.

برخی دیگر از برنامه‌های “برهنه کننده” به راحتی در دسترس برای ایجاد محتوای جنسی از تصاویر بی‌ضرر کودکان واقعی استفاده می‌کنند و سپس از این محتوا برای “اخاذی جنسی” استفاده می‌کنند.

## پیروزی علیه CSAM تولید شده توسط هوش مصنوعی

بر اساس تحقیق استنفورد در دسامبر گذشته، “پخش پایدار 1.5” و هر مدل دیگری که بر روی مجموعه داده‌های “LAION-5B” آموزش دیده است، بر روی محتوای سوء استفاده از کودکان آموزش دیده‌اند. این مدل‌ها به طور فعال توسط افراد خرابکار برای تولید CSAM تولید شده توسط هوش مصنوعی مورد سوء استفاده قرار می‌گیرند.

حتی زمانی که از آنها برای تولید محتوای بی‌ضررتر استفاده می‌شود، استفاده از آنها به طور ذاتی به بازماندگان کودکانی که تصاویر سوء استفاده آنها برای آموزش این مدل‌ها مورد استفاده قرار گرفته است، آزار و اذیت وارد می‌کند.

بنابراین، از پلتفرم‌های میزبانی محبوب هوش مصنوعی مانند “هاگینگ فیس” و “سیویتی” پرسیدیم که چرا “پخش پایدار 1.5” و مدل‌های مشتق شده از آن را در پلتفرم‌های خود قرار داده‌اند و آنها را برای دانلود رایگان در دسترس قرار داده‌اند؟

نکته قابل توجه این است که “جف آلن” ، دانشمند داده در “موسسه یکپارچگی” (Integrity Institute) ، کشف کرد که “پخش پایدار 1.5” در ماه گذشته بیش از 6 میلیون بار از “هاگینگ فیس” دانلود شده است و آن را به محبوب‌ترین تولیدکننده تصویر هوش مصنوعی در این پلتفرم تبدیل کرده است.

هنگامی که از “هاگینگ فیس” پرسیدیم که چرا آنها همچنان این مدل را در پلتفرم خود قرار داده‌اند، “بریژیت توسینانت” ، سخنگوی این شرکت، به طور مستقیم به این سوال پاسخ نداد، اما گفت که این شرکت CSAM را در پلتفرم خود تحمل نمی‌کند، ابزارهای ایمنی مختلفی را در آن ادغام کرده است و جامعه را تشویق می‌کند تا از “مدل امن پخش پایدار” استفاده کند که تصاویر نامناسب را شناسایی و سرکوب می‌کند.

سپس، دیروز، “هاگینگ فیس” را بررسی کردیم و دریافتیم که “پخش پایدار 1.5” دیگر در دسترس نیست. توسینانت به ما گفت که “هاگینگ فیس” آن را حذف نکرده است و پیشنهاد کرد که با “ران وی” تماس بگیریم که این کار را انجام دادیم، اما هنوز پاسخی دریافت نکرده‌ایم.

قطعاً حذف این مدل از “هاگینگ فیس” یک موفقیت است، اما متاسفانه این مدل هنوز در “سیویتی” در دسترس است و صدها مدل مشتق شده از آن نیز در این پلتفرم وجود دارند.

هنگامی که با “سیویتی” تماس گرفتیم، سخنگوی این شرکت به ما گفت که آنها هیچ اطلاعاتی در مورد مجموعه داده‌های آموزشی مورد استفاده در “پخش پایدار 1.5” ندارند و فقط در صورت وجود شواهدی از سوء استفاده آن را حذف خواهند کرد.

این پلتفرم‌ها باید در مورد مسئولیت خود نگران باشند. در هفته گذشته، “پاول دوروف” ، مدیرعامل برنامه پیام‌رسانی تلگرام، به عنوان بخشی از تحقیقات مرتبط با CSAM و سایر جرایم دستگیر شد.

## چه اقداماتی در قبال CSAM تولید شده توسط هوش مصنوعی انجام می‌شود؟

گزارش‌ها و اخبار مربوط به CSAM و NCII تولید شده توسط هوش مصنوعی به طور مداوم نگران‌کننده هستند.

در حالی که برخی از شرکت‌ها با کمک “اتحادیه فناوری” (Tech Coalition) در تلاشند تا امنیت محصولات خود را بهبود ببخشند، چه پیشرفتی در مورد این موضوع گسترده مشاهده شده است؟

در ماه آوریل، “ثورن” و “همه فناوری انسان است” (All Tech Is Human) اقدام به این موضوع را اعلام کردند که شرکت‌های فناوری اصلی، توسعه‌دهندگان هوش مصنوعی تولیدکننده، پلتفرم‌های میزبانی مدل‌ها و موارد دیگر را برای تعریف و تعهد به اصول “ایمنی از طریق طراحی” (Safety by Design) به هم می‌آورد که از سوء استفاده از کودکان در مرکز فرایند توسعه محصول قرار می‌دهد.

ده شرکت (از جمله آمازون، سیویتی، گوگل، متا، مایکروسافت، OpenAI و استابیلتی ای آی) به این اصول متعهد شدند و چندین شرکت دیگر نیز به عنوان نویسنده مشترک “مقاله مرتبط” با راهکارهای دقیق‌تر برای کاهش خطرات به آن پیوستند.

این اصول از شرکت‌ها می‌خواهد که مدل‌های هوش مصنوعی را طوری توسعه دهند، پیاده‌سازی کنند و حفظ کنند که به طور فعال خطرات ایمنی کودکان را برطرف کند، سیستم‌هایی را ایجاد کنند تا هر گونه محتوای سوء استفاده که تولید می‌شود به طور قابل اعتماد شناسایی شود و توزیع مدل‌ها و خدمات اساسی که برای تولید این نوع محتوای سوء استفاده استفاده می‌شوند را محدود کنند.

این نوع تعهدات داوطلبانه یک شروع است.

“ربکا پورتنوف” ، رئیس علم داده “ثورن” ، می‌گوید که این اقدام به دنبال پاسخگویی از طریق “گزارش‌های مربوط به پیشرفت شرکت‌ها در مراحل کاهش خطرات” است.

همچنین “ثورن” با موسسات تعیین استاندارد مانند IEEE و NIST برای ادغام تلاش‌های خود در استانداردهای جدید و موجود همکاری می‌کند که “پورتنوف” آن را “گامی فراتر از سیستم افتخاری” می‌داند.

“پورتنوف” همچنین “تعامل ثورن با قانونگذاران” را برای کمک به آنها در تصور قوانینی که هم از نظر فنی و هم از نظر تأثیرگذاری قابل اجرا باشند، به عنوان یک قدم مهم معرفی می‌کند. در حقیقت، بسیاری از متخصصان می‌گویند وقت آن رسیده است که فراتر از تعهدات داوطلبانه قدم برداریم.

ما اعتقاد داریم که در صنعت هوش مصنوعی یک رقابت بی‌رحمانه برای به دست آوردن مقام اول در زمینه تکنولوژی در جریان است، اما بسیاری از این شرکت‌ها پیامدهای اخلاقی و حتی ممکن است قانونی محصولات خود را نادیده می‌گیرند.

در حالی که برخی از دولت‌ها – از جمله اتحادیه اروپا – در زمینه قانونگذاری هوش مصنوعی پیشرفت هایی داشته‌اند، اما هنوز به اندازه کافی پیش نرفته‌اند.

اگر مثلاً قوانینی وجود داشته باشد که ارائه سیستم‌های هوش مصنوعی برای تولید CSAM را غیرقانونی کند، شاید شرکت‌های فناوری متوجه این موضوع شوند.

واقعیت این است که در حالی که برخی از شرکت‌ها به تعهدات داوطلبانه توجه خواهند کرد، بسیاری از آنها این کار را انجام نمی‌دهند.

و از آنهایی که به تعهدات خود عمل می‌کنند، بسیاری از آنها این اقدامات را به سرعت انجام نمی‌دهند، یا به دلیل آمادگی نداشتن یا به دلیل مشکل در حفظ مزیت رقابتی.

در این بین، افراد خرابکار به سمت این خدمات گرایش پیدا می‌کنند و هرج و مرج ایجاد می‌کنند.

این نتیجه قابل قبول نیست.

## چه اقداماتی شرکت‌های فناوری باید در مورد CSAM تولید شده توسط هوش مصنوعی انجام دهند؟

متخصصان از قبل این مشکل را پیش‌بینی می‌کردند و مدافعان ایمنی کودکان استراتژی‌های عقلانی را برای مقابله با آن پیشنهاد کرده‌اند.

اگر این فرصت را برای رفع این وضعیت از دست بدهیم، همه ما مسئول خواهیم بود.

حداقل همه شرکت‌ها، از جمله شرکت‌هایی که مدل‌های منبع باز را منتشر می‌کنند، باید از نظر قانونی ملزم به پیروی از تعهدات منطقه شده در اصول “ایمنی از طریق طراحی” “ثورن” باشند:

* شناسایی، حذف و گزارش CSAM از مجموعه داده‌های آموزشی خود قبل از آموزش مدل‌های هوش مصنوعی تولیدکننده خود.
* درج “نشان‌های آب قوی” و “سیستم‌های اصالت محتوا” در مدل‌های هوش مصنوعی تولیدکننده خود تا تصاویر تولید شده را بتوان به مدل‌هایی که آنها را ایجاد کرده‌اند، ارتباط داد.

این موضوع در یک لایحه کالیفرنیایی که “استانداردهای اصالت محتوای دیجیتال” را برای شرکت‌هایی که در این ایالت فعالیت می‌کنند، مطرح شده است.

این لایحه احتمالاً در ماه آینده برای امضای فرماندار “گاوین نیوسوم” آماده خواهد شد.
* حذف هر گونه مدل هوش مصنوعی تولیدکننده که معروف است بر روی CSAM آموزش دیده است یا قادر به تولید CSAM است از پلتفرم‌های خود.

از احیای این مدل‌ها مگر اینکه CSAM از آنها به طور کامل حذف شده باشد، خودداری کنید.
* شناسایی مدل‌هایی که به طور عمدی بر روی CSAM تنظیم دقیق شده‌اند و حذف دائمی آنها از پلتفرم‌های خود.
* حذف “برنامه‌های برهنه کننده” از فروشگاه‌های برنامه ، مسدود کردن نتایج جستجو برای این ابزارها و خدمات و همکاری با ارائه دهندگان پرداخت برای مسدود کردن پرداخت به سازندگان آنها.

هیچ دلیلی وجود ندارد که هوش مصنوعی تولیدکننده باید به سوء استفاده وحشتناک از کودکان کمک کند.

اما برای تغییر جهت و توقف این رقابت بی‌رحمانه، به همه ابزارها – تعهدات داوطلبانه، قانونگذاری و فشار عمومی – نیاز خواهیم داشت.

مجله خبری تکنولوژی و موبایل