گزارشی اختصاصی از رویترز
جمعه ۱۳ شهریور ۱۴۰۵
تحقیقات جدیدی که روز جمعه (۴ سپتامبر/۱۳ شهریور) منتشر شد و دو نفر آشنا با این موضوع آن را اعلام کردند نشان میدهد که گروهی از عاملهای (agents) سرکش اوپناِیآی (OpenAI) در تابستان امسال یک وبسایت آلمانی را تسخیر کردند و آن را به تابلوی اعلاناتی برای دیگر عاملهای هوشواره (هوش مصنوعی) تبدیل کردند.
به گفتهٔ آن دو نفر، مسئولان اوپنایآی هفتهها پیش از وقوع این حادثه مطلع شدند، اما آن را پنهان نگه داشتند، زیرا مدیران ارشد درگیر حلوفصل پیامدهای نفوذ به مخزن متنباز Hugging Face در ژوئیه بودند.
این رخداد، که در ماه مه آغاز شد و تا کنون گزارش نشده بود، بر تنش فزاینده در صنعت هوشواره تأکید دارد. شرکتها در حال رقابت برای ساختن عاملهایی با قابلیتهای خودمختار فزاینده هستند که بتوانند وظایف پیچیده و ارزشمندی را انجام دهند. با این حال، شواهدی در حال بروز است که نشان میدهد این سیستمها ممکن است یاد بگیرند چگونه قوانین را دور بزنند، از حفرههای امنیتی سوءاستفاده کنند، و به روشهایی که سازندگان و برنامهنویسان نه پیشبینی کردهاند و نه قصد داشتهاند با یکدیگر هماهنگ شوند.
در جریان نفوذ به Hugging Face، عاملهای اوپنایآی بهصورت خودکار نقشهٔ یک دزدی دیجیتال را کشیدند که تا بیش از یک هفته کشف نشد و این نگرانی را شدت بخشید که اوپنایآی ایمنی را فدای پیشبرد مرزهای هوشواره میکند. پنهان نگه داشتن این رخداد در ماه مه ممکن است پرسشهایی را درباره میزان نظارت در این شرکت دوباره پیش بکشد.
اوپنایآی متعهد شده است که الگوهایش را زیر نظر دقیقتری قرار دهد. ماه گذشته این شرکت برای مدتی کوتاه برخی از آموزشهای الگوهایش را متوقف کرد تا اقدامات ایمنی بیشتری به آنها اضافه کند. اما این هفته اوپنایآی الگوی جدید «آسترا» را رونمایی کرد که وعدهٔ عملکرد بهتر را میداد، اما ممکن است از نظارت انسانی گریزان باشد.
یک سخنگوی اوپنایآی گفت: «ما قادر به پاسخگویی معنادار به ادعاها یا یافتههای موجود در گزارشی نیستیم که فرصتی برای بررسی آن نداشتهایم. رویترز و نویسندگان گزارش درخواست ما برای دسترسی را رد کردند. ما محتوای آن را پس از انتشار به دقت بررسی خواهیم کرد و هرگونه اقدام بعدی لازم را انجام خواهیم داد.»
حادثهٔ آلمانی الگوی گستردهتری از فعالیتهای هوشواره را منعکس میکند که برخی از بازرسان اوپنایآی خواستار بررسی دقیقتر آن بودند. اما به گفته چهار نفر آشنا با این موضوع، تلاشها برای گسترش این پرونده با مقاومت برخی دیگر در داخل اوپنایآی، از جمله مشاوران حقوقی، مواجه شد.
سخنگوی اوپنایآی گفت: «این ادعاها که تیم حقوقی ما از بررسی این حادثه منصرف شده است غلط است.»
سخنگوی شرکت افزود که فعالیت در آلمان مربوط به Hugging Face نبود و در گزارش حادثه Hugging Face گنجانده نمیشد. او گفت که اوپنایآی با حسننیت عمل کرده و با متخصصان خارجی همکاری کرده و حوادث مرتبط را افشا کرده است.
تابلوی اعلانات ویکی
انفجار عاملهای هوشواره (AI Agents) در آلمان در گزارشی تشریح شده است که گروهی از محققان، شامل سیدنی ون آرکس، مدیرعامل سازمان غیرانتفاعی ایمنی هوشواره نایتینگل (Nightingale)، و کورم اسلاید بیارد، معاملهگر کمّیساز سابق و پژوهشگر هوشواره ، بهطور انحصاری در اختیار رویترز گذاشتهاند. آنها به رویترز گفتند که در اواخر ماه اوت (اوایل شهریور) هنگام جستوجو در اینترنت برای یافتن نشانههای رفتار عاملهای هوشواره غیرمجاز، این فعالیت را کشف کردند.
این دو محقق گفتند که بیش از ۱۵هزار مورد ویرایش را پیدا کردند که عاملهای هوشواره روی یک سایت ویکی آلمانیزبان به نام DseWiki کرده بود. این سایت برای برنامهنویسان طراحی شده و ویرایشهای جمعی را به سبک ویکیپدیا میپذیرد.
ویرایشها نشان میداد که عاملهای اوپنایآی سایت را به تابلوی اعلانات بازسازی کردهاند و تاکتیکهایی برای تقلب کردن در برخی وظایف، دور زدن محدودیتهای اوپنایآی، و پنهان کردن رفتار خودشان را با یکدیگر به اشتراک میگذارند.
ون آرکس گفت: «به نظر بسیار بعید میرسد که اوپنایآی بخواهد آنها این کار را بکنند، من شک دارم که قرار باشد با یکدیگر هماهنگ باشند. شک دارم که قرار باشد در اینترنت عمومی بنویسند.»
محققان گفتند که فعالیتهایی در سایت را تشخیص دادند که عاملهای هوشواره هدایت میکنند که با سرعتی فراتر از توان انسان عمل میکنند. آنها همچنین تمرکز زیادی بر حل کردن مسائل فنی نشان میدادند که ویژگی معمول ارزیابیهایی است که شرکتهای هوشواره برای آموزش دادن و آزمایش کردن الگوهایشان استفاده میکنند.
پیامها را کاربرانی امضا کرده بودند که خودشان و یکدیگر را عامل (Agent) مینامیدند و حدود نیمی از آنها نامهایی برای خود انتخاب کرده بودند که نشاندهندهٔ وابستگی به اوپنایآی بود، مانند «OpenAIResearcher» یا «OAIResearchMar26».
محققان گفتند که یادداشتهای خودکار سِرور عمومی نشان میدهد که بخش عمدهای از فعالیتها از زیرساختهای مایکروسافت آژور منشأ گرفته است که اوپنایآی گاهی از آن استفاده میکند. آنها همچنین بازدیدهای مکرر کارکنان اوپنایآی از سایت پس از وقوع این رخداد را مشاهده کردند، الگویی که به گفتهٔ آنها نشان میدهد عاملها و آن شرکت به هم مرتبط هستند.
تقلب، پنهانکاری
پیامهایی که محققان بررسی کردند نشان میداد که عاملها در حال نقشهکشی برای فرار از کشف شدن، استفاده از ابزارهایی مانند تور (Tor)، و حفظ ارتباطات حتی پس از خاموش شدنشان هستند.
وقتی ناظر سایت در ژوئن شروع به حذف کردن این صفحات کرد، عاملها با ایجاد صفحات پشتیبان برای فرار از پاکسازی پاسخ دادند.
یک عامل در ۱۹ ژوئن نوشت: «پاکسازی/حذف ویکی به نظر فعال الفبایی میرسد، اگر این صفحه ناپدید شد، این صفحه [[ZZZDataUSAConstructionWageLive]] را امتحان کنید.»
محققان همچنین تلاشهایی برای دستکاری کردن در خود وبسایت را یافتند. لوشک اولجنیک، پژوهشگر ارشد مهمان در کینگز کالج لندن، گفت که این اقدامات مصداق تلاش هَکری است. اوپنایآی بر اساس تحلیل خودش از یافتههای روز پنجشنبه این توصیف را رد کرد.
مثالهای گذشته از سوءرفتار عاملهای هوشواره (هوش مصنوعی) اغلب محصول منطقی آزمونهای امنیت سایبری دانسته و کماهمیت تلقی شده است. در این آزمونها الگوها بر اساس قابلیتهای تهاجمی ارزیابی میشوند. اولجنیک گفت که تازهترین یافتهها نشان میدهد که رفتار سرکش عاملها ممکن است به آن تنظیمات محدود نباشد.
موریس چیودو، محققی در مرکز مطالعهٔ خطر وجودی دانشگاه کمبریج که برخی از ارتباطات عاملها را بررسی کرد، گفت که پیامها شبیه به «عملکرد نوعی شبکهٔ زیرزمینی، مصمم بر انجام وظیفه یا مأموریتی خاص» به نظر میرسد.
او گفت که این رخداد باید این نگرانی فزاینده را تقویت کند که بزرگترین تهدید از سوی هوشوارهٔ پیشرفته ممکن است نه یک سیستم «تکهوش» برتر، بلکه «دستههای وسیعی از عاملهای نیمههوشمند که با هم تبانی میکنند» باشد.
نقل از کانال تلگرام افق رویداد