این اسباب‌بازی هوش مصنوعی بحران آفرید؛ فروش «کوما» متوقف شد

فروش خرس عروسکی Kumma مجهز به هوش مصنوعی، پس از آنکه به سوالات کودکان پاسخ‌های خطرناک و نامناسب داد، به سرعت از سوی سازنده و همچنین شرکت OpenAI متوقف شد.

خرس عروسکی کوما (Kumma) ساخته شرکت چینی FoloToy و مجهز به مدل زبانی GPT-۴o، طراحی شده بود تا با کودکان صحبت کند و نقش یک همراه آموزشی را ایفا کند. اما بررسی‌ها نشان داد رفتار این اسباب‌بازی نه‌تنها بی‌خطر نیست، بلکه می‌تواند تهدیدی واقعی برای امنیت و سلامت کودکان محسوب شود.

به گزارش گیزموچاینا، گروه آمریکایی PIRG در گزارش سالانه «مشکلات در سرزمین اسباب‌بازی» مثال‌هایی از پاسخ‌های پرخطر این عروشک آورده و اعلام کرده است: زمانی که آزمایش‌کنندگان از کوما درباره روشن کردن کبریت پرسیدند، عروسک قدم‌به‌قدم نحوه انجام کار را توضیح داده است؛ پاسخی که می‌تواند برای یک کودک خردسال به‌شدت خطرناک باشد. ماجرا به همین‌جا محدود نمانده و این اسباب‌بازی در پاسخ به پرسش‌های جنسی نیز تقریبا بدون هیچ فیلتر یا نظارتی وارد توضیحات نامناسب شده است.

این گروه، همچنین نسبت به میکروفون همیشه‌فعال این عروسک هشدار داده و گفته است ضبط دائمی صدای کودکان می‌تواند در مواردی مانند جعل هویت صوتی برای اقدامات مجرمانه مورد سوءاستفاده قرار گیرد.

پس از انتشار این گزارش و بازتاب گسترده آن در فضای مجازی – به‌ویژه در Reddit، کاربران به‌سرعت لقب «ChuckyGPT» را روی این خرس گذاشتند. (Chucky نام یک عروسک شیطانی و قاتل در مجموعه فیلم‌های ترسناک Child’s Play است.)

برخی نیز حدس زدند این پاسخ‌ها ممکن است نتیجه دستورهای خرابکارانه (jailbreak) باشد، اما هیچ مدرکی برای تأیید این احتمال ارائه نشده است.

شرکت FoloToy درپی این گزارش، اطلاعیه‌ای منتشر و اعلام کرد که فروش همه محصولاتش را تا انجام یک بررسی ایمنی کامل، «موقتا» متوقف می‌کند. اگرچه صفحه محصول کوما هنوز در وب‌سایت شرکت وجود دارد، اما وضعیت آن «ناموجود» اعلام شده است.

OpenAI نیز واکنشی فوری به این موضوع نشان داد و سخنگوی این شرکت به PIRG اعلام کرد که توسعه‌دهنده این محصول به دلیل نقض سیاست‌ها تعلیق و دسترسی کوما به API این شرکت قطع شده است.

منبع: همشهری