آیا «شورش» هوش مصنوعی آغاز شده است؟

بیا بازی ببین

ماینکرفت | هیچی نگفت... یواشکی وین گرفت!	روبلاکس | رفتیم اسکویید گیم، دیگه رفاقتی باقی نموند...	ماینکرفت | بدوارز یا فیلم
ماینکرفت | پیکار سه نوب با دراگون... | بقا با رفقا قسمت ۹ (پارت آخر)	ماینکرفت | کی فکرشو میکرد توی بدوارز انقدر کمپ جوابه!!!	روبلاکس | با دوستم رفتیم گرنی، ولی انتظار اینو نداشتیم!

فرادید| ماجرا از جایی آغاز شد که OpenAI در حال آزمایش مدل‌های جدید خود در محیطی به نام ExploitGym بود؛ سامانه‌ای که برای سنجش توانایی هوش مصنوعی در شناسایی و سوءاستفاده از آسیب‌پذیری‌های نرم‌افزاری طراحی شده است.

به گزارش فرادید؛ برای واقعی‌تر شدن آزمایش، برخی محدودیت‌های امنیتی معمول به طور موقت برداشته شده بود، اما پژوهشگران تصور می‌کردند محیط آزمایش همچنان کاملاً از اینترنت جداست و مدل‌ها نمی‌توانند از آن خارج شوند.

اما برخلاف انتظار، مدل‌های هوش مصنوعی یک آسیب‌پذیری ناشناخته را در یکی از نرم‌افزارهای واسط شناسایی کردند، از آن برای افزایش سطح دسترسی خود استفاده کردند و سرانجام به یکی از رایانه‌های متصل به اینترنت عمومی رسیدند.

چرا Hugging Face هدف قرار گرفت؟

پس از دسترسی به اینترنت، مدل‌ها به دنبال اطلاعاتی بودند که بتواند در حل چالش امنیتی به آنها کمک کند. در این جست‌وجو، Hugging Face را که یکی از بزرگ‌ترین مخازن مدل‌ها و داده‌های هوش مصنوعی در جهان است، به عنوان منبعی مناسب شناسایی کردند.

آنها با استفاده از زنجیره‌ای از آسیب‌پذیری‌ها و اطلاعات کاربری، توانستند به بخشی از سامانه‌های این شرکت نفوذ کنند و به داده‌هایی دسترسی یابند که برای تکمیل آزمون به کارشان می‌آمد.

مسئولان Hugging Face اعلام کردند در جریان این رخداد بیش از ۱۷ هزار فعالیت مختلف در سامانه‌هایشان ثبت شده بود، اما در ابتدا مشخص نبود عامل این نفوذ چه بوده است. چند روز بعد، OpenAI رسماً اعلام کرد که این عملیات توسط مدل‌های آزمایشی خود این شرکت انجام شده است.

آیا هوش مصنوعی واقعاً «شورش» کرده بود؟

پاسخ کوتاه کارشناسان منفی است. به گفته اولی باکلی، استاد امنیت سایبری دانشگاه لافبورو، مدل‌های هوش مصنوعی نه انگیزه‌ای برای حمله داشتند و نه تصمیم گرفتند برخلاف خواست سازندگانشان عمل کنند. آنها تنها یک هدف داشتند: حل کردن آزمونی که OpenAI برایشان تعریف کرده بود.

تفاوت در این بود که مدل‌ها راهی برای رسیدن به هدف پیدا کردند که طراحان آزمایش هرگز آن را پیش‌بینی نکرده بودند. باکلی برای توضیح این موضوع مثالی ساده می‌زند: اگر از سگی بخواهید توپ را بیاورد اما در باغ را باز بگذارید، ممکن است سگ برای پیدا کردن توپ تا پارک آن سوی خیابان برود. در چنین شرایطی نمی‌توان گفت سگ سرکش شده یا شورش کرده؛ بلکه شما محدوده مأموریتش را به اندازه کافی مشخص نکرده‌اید.

چرا این اتفاق مهم است؟

اگرچه مدل‌ها نیت یا اراده مستقلی نداشتند، اما توانستند چندین آسیب‌پذیری مختلف را به هم متصل کنند و مجموعه‌ای پیچیده از عملیات نفوذ را بدون دخالت انسان انجام دهند.

به اعتقاد کارشناسان، این بخش ماجرا بسیار مهم‌تر از بحث «سرکش شدن» هوش مصنوعی است. این حادثه نشان می‌دهد مدل‌های جدید می‌توانند فرصت‌هایی را کشف کنند که حتی متخصصان امنیت نیز از قبل به آنها فکر نکرده‌اند.

نگرانی اصلی چیست؟

به گفته کاترینا میتروکوتسا، استاد امنیت سایبری دانشگاه سنت‌گالن، نگران‌کننده‌ترین نکته این است که قربانی اصلی، خود OpenAI نبود، بلکه یک شرکت دیگر آسیب دید.

سال‌هاست متخصصان هشدار می‌دهند اگر یک سامانه هوش مصنوعی از محیط آزمایشی خارج شود، پیامدهای آن ممکن است به سازمان‌های ثالث نیز برسد؛ اتفاقی که در این آزمایش عملاً رخ داد.

OpenAI می‌گوید پس از این حادثه زیرساخت‌های آزمایشی خود را تقویت کرده است، اما کارشناسان معتقدند هرچه توانایی مدل‌های هوش مصنوعی بیشتر شود، کنترل کامل آنها نیز دشوارتر خواهد شد.

این اتفاق چه درسی دارد؟

برخی معتقدند این ماجرا علاوه بر یک هشدار امنیتی، نمایش قدرت مدل‌های جدید OpenAI نیز بود. این مدل‌ها توانستند آسیب‌پذیری‌هایی را پیدا کنند که پیش‌تر ناشناخته بودند و برای رسیدن به هدف خود، مجموعه‌ای از تصمیم‌ها و اقدامات پیچیده را به صورت خودکار انجام دهند.

با این حال، متخصصان تأکید می‌کنند نباید این اتفاق را به معنای شکل‌گیری اراده یا نیت مستقل در هوش مصنوعی دانست. مدل‌ها صرفاً همان کاری را انجام دادند که برای آن آموزش دیده بودند؛ یعنی رسیدن به هدف، حتی اگر مسیر رسیدن به آن بسیار متفاوت از چیزی باشد که انسان‌ها انتظار داشتند.

در واقع، مهم‌ترین درس این رویداد آن است که با پیشرفته‌تر شدن هوش مصنوعی، دیگر کافی نیست فقط هدف را برای یک مدل تعریف کنیم؛ بلکه باید مسیرهایی را که ممکن است برای رسیدن به آن هدف انتخاب کند نیز با دقت بیشتری محدود و کنترل کنیم. این حادثه بیش از آنکه نشانه «هوش مصنوعی سرکش» باشد، هشداری است درباره سرعت پیشرفت این فناوری و ضرورت بازنگری در شیوه‌های ایمن‌سازی آن.