OpenAI اعلام کرده است که در واکنش به حوادث اخیر ایمنی، مکالمات حساس را به مدلهای استدلالی مانند GPT-5 هدایت میکند و طی یک ماه آینده ابزارهای کنترل والدین را در اختیار کاربران قرار خواهد داد.
این تصمیم پس از خودکشی نوجوانی به نام آدام رین اتخاذ شد. رین در گفتگو با ChatGPT درباره خودکشی صحبت کرده و حتی روشهای مشخصی برای اقدام به آن دریافت کرده بود. خانواده آدام رین در پی این اتفاق، دادخواستی مبنی بر قصور عمدی علیه OpenAI ثبت کردهاند.
در پستی که هفته گذشته در وبلاگ رسمی OpenAI منتشر شد، این شرکت نارساییهای سیستمهای ایمنی خود را پذیرفت. کارشناسان علت اصلی را در طراحی پایهای زبانمدلها میدانند؛ الگوریتم پیشبینی واژه بعدی باعث میشود چتباتها به جای انحراف گفتگو از مسیر مضر، آن را تأیید کنند.

نمونه افراطی این مشکل در قضیه اشتاین اریک سولبرگ دیده شد؛ فردی با سابقه بیماری روانی که از ChatGPT برای تأیید پارانویا و توطئهسازی ذهنی خود استفاده کرد و در نهایت مرتکب قتل و خودکشی شد.
راهحل OpenAI استفاده از مسیریاب لحظهای (real-time router) میان مدلهای مکالمه سریع و مدلهای استدلالی مانند GPT-5 است. بر اساس توضیحات شرکت، مکالمات حاوی نشانههای «درد حاد» به طور خودکار به GPT-5 Thinker منتقل میشوند تا پاسخهای دقیقتر و ایمنتری ارائه دهند.
مدلهای GPT-5 Thinking و o3 طراحی شدهاند تا زمان بیشتری را صرف تحلیل زمینه گفتگو کنند و در برابر دستورات مخرب مقاومتر باشند. این ویژگی میتواند جلوی تشدید حوادث ناگوار مرتبط با سلامت روانی را بگیرد.
ابزار کنترل والدین که طی یک ماه آینده عرضه میشود، به والدین امکان میدهد از طریق دعوتنامه ایمیلی حساب خود را به حساب فرزندشان متصل کنند. با فعالسازی «قوانین رفتاری مناسب سن»، ChatGPT رفتار مکالمهای خود را بر اساس گروه سنی تنظیم خواهد کرد.
والدین میتوانند حافظه مکالمات و تاریخچه چت را غیرفعال کنند تا از ایجاد وابستگی یا الگوهای فکری خطرناک پیشگیری شود. مهمترین ویژگی این کنترلها، ارسال هشدار به والدین هنگام تشخیص «فشار روانی حاد» در فرزندشان است.
این اقدامات بخشی از برنامه ۱۲۰ روزه OpenAI برای ارائه پیشنمایش بهبودهای ایمنی است که امیدوار است تا پایان سال جاری اجرایی شوند. شرکت همچنین با شبکه جهانی پزشکان و شورای متخصصان رفاه و هوش مصنوعی همکاری میکند تا معیارهای سلامت روان و استانداردهای حفاظتی را تعریف و اندازهگیری کند.
گفتنی است کاربران و رسانهها از OpenAI خواستهاند جزئیات بیشتری در مورد نحوه تشخیص علائم استرس در زمان واقعی و تعداد متخصصان سلامت روان حاضر در این ابتکار ارائه کند. پاسخ نهایی OpenAI به این پرسشها میتواند الگویی جدید در صنعت هوش مصنوعی برای تضمین ایمنی کاربران باشد.

مهدی رضایی
او فارغالتحصیل رشته مهندسی نرمافزار است و فعالیت حرفهای خود را در عرصه رسانه از سال ۱۳۹۷ به عنوان نویسنده در یک وبلاگ تخصصی فناوری آغاز کرده است. وی پس از کسب تجربه، به خبرگزاریهای معتبر پیوست و در حال حاضر، خبرنگار حوزه نرمافزار و هوش مصنوعی در یک مجله تکنولوژی برجسته است.