نوشتهٔ: جیمز اُ دانل در MIT Technology Review
ترجمهٔ مینا آگاه
سهشنبه ۲۳ تیر ۱۴۰۵
کشف تازهٔ آنتروپیک دربارهٔ «فضای جی» (J Space) نشان میدهد که الگوهای زبانی در درون خودشان مجموعهای از کلمات پنهان دارند که هرگز در خروجی آنها دیده نمیشوند، اما بر روند استدلال، تصمیمگیری، و حتی رفتارهای ناخواستهٔ الگو اثر میگذارند. این کلمات گاهی نقش برچسبهای درونی یا مسیرهای استدلال را بازی میکنند و پژوهشگران میتوانند آنها را مشاهده و تا حدی دستکاری کنند. این کشف نه اثبات وجود «مغز» در الگوهاست و نه نشانهٔ آگاهی آنها، بلکه صرفاً گامی مهم برای فهم بهتر سازوکارهای داخلی الگوهای زبانی است و شاید ابزاری بالقوه برای شناسایی رفتارهای پنهان مانند سوگیری یا تصمیمهای نامطلوب باشد.
شرکت آنتروپیک۱، که در حال حاضر با ارزشی نزدیک به یکتریلیون دلار ارزشمندترین شرکت هوشواره (هوش مصنوعی) جهان است، به انتشار پژوهشهای عجیب و بلندپروازانه شهرت دارد. این شرکت، برای مثال، در حال بررسی این موضوع است که آیا الگوهای (مدلهای) هوشواره میتوانند درد را احساس کنند یا نه. و نیز اگر گمان کند کاربران در حال «بدرفتاری» با الگو هستند، گفتوگوهای چتبات را قطع میکند.
یکی از حوزههایی که آنتروپیک در مقایسه با دیگر شرکتهای هوشواره زمان و هزینهٔ بیشتری صرف آن میکند «تفسیرپذیری مکانیکی» (mechanistic interpretability) نام دارد. منظور از این حوزه بررسی درون ساختار پیچیدهٔ ریاضی یک الگوی هوشواره برای فهم این است که چرا الگو به یک خروجی مشخص رسیده و نه به خروجی دیگر. این کار بسیار پیچیده است. میلیونها نقطهٔ داده ممکن است در شکلگیری هر نتیجه نقش داشته باشند و بررسی آنها اغلب بیش از آنکه به چیزی مفید شباهت داشته باشد، مانند انبوهی از واژههای نامرتبط به نظر میرسد. این حوزه همچنین بحثبرانگیز است. توصیف الگوهای هوشواره با استفاده از اصطلاحاتی که از روانشناسی و علوم اعصاب وام گرفته شدهاند میتواند رفتار آنها را پیچیدهتر و پیشرفتهتر از آنچه در غیر این صورت ارزیابی میکردیم جلوه دهد.
به همین دلیل، وقتی آنتروپیک هفتهٔ گذشته اعلام کرد که راه تازهای برای مشاهدهٔ «فرایندهای فکری درونی» الگوهایش هنگام استدلال برای رسیدن به پاسخها پیدا کرده است، به فکر یک همکارم افتادم که حتماً باید با او صحبت میکردم. ویل داگلاس هیون، سردبیر، علاوه بر اینکه دکتری علوم کامپیوتر دارد، مدت زیادی را صرف بررسی این موضوع کرده است که تا چه اندازه میتوان دربارهٔ نحوهٔ کار الگوهای هوشواره با اطمینان سخن گفت. با او دربارهٔ این موضوع صحبت کردم که از پژوهش جدید آنتروپیک، که مانند همیشه رنگوبویی نامتعارف دارد، چه برداشتی باید داشته باشیم.
آنتروپیک دقیقاً چه چیزی را کشف کرده است؟
داگلاس هیون: شرکت آنتروپیک چند سالی است که تلاش میکند بفهمد الگوهای زبانی بزرگ (Large Language Models, LLM) چگونه کار میکنند. البته این شرکت تنها گروهی نیست که روی این موضوع کار میکند، اما به نظر من آنتروپیک بیش از اکثر شرکتها این موضوع را به بخشی از مأموریت اصلیاش تبدیل کرده است. داریو آمودی، مدیرعامل آنتروپیک، گفته است که تا زمانی که درک بهتری از نحوهٔ کار الگوهای زبانی بزرگ به دست نیاوریم، نخواهیم توانست آنها را بهطور کامل کنترل کنیم.
بنابراین، این پژوهش جدید دقیقاً در همین چارچوب قرار میگیرد. این تحقیق بیش از هر زمان دیگری به سازوکارهای عجیب درون الگوهای زبانی بزرگ نفوذ میکند. چیزی که آنتروپیک کشف کرده این است که درون الگوهای زبانی بزرگ فضایی وجود دارد که این شرکت آن را (فضای جی، J Space)۲ مینامد، فضایی مملو از واژههایی که در خروجی نهایی الگو ظاهر نمیشوند، اما به نظر میرسد بر شیوهای که الگو برای حل مسائل طی میکند تأثیر میگذارند. تمام این موارد تا زمانی که آنتروپیک روش جدیدی برای کاوش در کلود (Claude) ابداع نکرده بود پنهان مانده بودند؛ بنابراین، این واقعاً یک کشف جدید محسوب میشود.
گاهی این واژهها نشان میدهند که الگو در انجام یک وظیفهٔ مشخص تا چه مرحلهای پیش رفته است؛ گاهی بیشتر شبیه جرقهای از تشخیص یا شناخت هستند (برای مثال، اگر فقط حروف تشکیلدهندهٔ یک توالی پروتئینی را به الگو بدهید، ممکن است واژهٔ «پروتئین» در این فضا ظاهر شود)؛ و گاهی نیز نوعی تفسیر یا توضیح درونی دربارهٔ فرایند تصمیمگیری الگو را بازنمایی میکنند. نمونهٔ مورد علاقهٔ من این بود که کلود زمانی تصمیم گرفت در یک آزمون برنامهنویسی تقلب کند که واژهٔ «وحشت» (panic) در این فضا ظاهر شد.
آنتروپیک همچنین دریافت که الگوهای زبانی بزرگ میتوانند واژههای موجود در این فضا را توصیف کنند و روی آنها دستکاری کنند. بنابراین، به نحوی از این فضا استفاده میکنند.
اجازه دهید یک قدم به عقب برگردیم. من الگوهای زبانی بزرگ را ساده نمیدانم، اما آنها جادو هم نیستند. در نهایت مجموعهای از روابط ریاضی میان واژهها را یاد میگیرند، درست است؟ پس چرا اینقدر سخت است که بتوان به درون یک الگوی زبانی بزرگ «سرک کشید» و فهمید چه اتفاقی در آن میافتد؟
هیون: بله، جادو نیستند! به نظرم همین که هنوز آنها را کاملاً درک نکردهایم به شکلگیری این افسانهپردازیها دامن زده است. همچنین، بد نیست توجه کنیم که روایت کلیای که آنتروپیک در اینجا بر آن تکیه میکند این تصویر است که آنها فناوریای اسرارآمیز ساختهاند، اما نباید نگران بود، زیرا خودشان مأموریت دارند رازهای آن را کشف کنند، کاملاً با روایتی که آنتروپیک از خود میسازد و حالوهوای فکری این شرکت همخوان است. [برای نمونه، به یاد بیاورید که آنتروپیک هشدار داده بود الگوهای جدیدش آنقدر در برنامهنویسی توانمندند که خطری جهانی برای امنیت سایبری به شمار میروند، اما اندکی بعد دولت آمریکا استفاده از آنها را متوقف کرد.]
بنابراین، بله؛ الگوهای زبانی بزرگ چیزی جز ریاضیات نیستند. اما این ریاضیات فوقالعاده پیچیده است. الگوهای زبانی بزرگ امروزی نهتنها از صدها میلیارد عدد تشکیل شدهاند، بلکه اجرای آنها زنجیرهای از میلیونها و میلیونها محاسبه را به راه میاندازد. سال گذشته نوشتم که اگر حتی یک الگوی زبانی بزرگ با اندازهٔ متوسط را روی برگههای کاغذ چاپ کنید، مساحتی به اندازهٔ شهر سان فرانسیسکو را خواهد پوشاند. درک این حجم از محاسبات ریاضی بدون ابزارهای تخصصی که بتوانند در زمانهای مشخص بخشهای خاصی از یک الگوی زبانی بزرگ را برجسته کنند ناممکن است. باید بدانید کجا را نگاه کنید و چگونه نگاه کنید. و ساختن چنین ابزارهایی نیز خود مستلزم آن است که از پیش تا حدی این ریاضیات پیچیده را درک کرده باشید.
شما در جاهای دیگر دربارهٔ این ایده نوشتهاید که الگوهای زبانی بزرگ را میتوان شبیه به مطالعهٔ مغز یک موجود زنده بررسی کرد. آیا استفاده از اصطلاحاتی شبیه به مفاهیم مربوط به «مغز» هنگام توضیح نحوهٔ کار یک الگوی زبانی بزرگ کار درستی است؟
هیون: من چندان علاقهای به استفاده از اینگونه اصطلاحات ندارم. الگوهای زبانی بزرگ مغز نیستند. چنین شیوهٔ صحبت کردن گمراهکننده است، زیرا ممکن است این تصور را ایجاد کند که این الگوها تواناییهایی انسانیتر از آنچه واقعاً دارند دارند، یا اینکه میتوان دربارهٔ نحوهٔ رفتارشان فرضهایی کرد که نباید کرد. علاوه بر این، کل موضوع انسانانگاری نیز با مجموعهای از مواضع ایدئولوژیکِ پررنگ دربارهٔ ماهیت این فناوری و مسیری که قرار است در آینده طی کند گره خورده است.
با این حال، ما واژگان جایگزین مناسبی برای توصیف آنچه این الگوها انجام میدهند در اختیار نداریم. میتوانم درک کنم چرا مردم به سراغ واژههایی مانند «فکر کردن»، «فهمیدن»، و «شبیه به مغز» میروند؛ اینها میانبُرهای زبانیِ مناسبی هستند.
آنتروپیک فضای جدیدی را که در درون الگوهای زبانی بزرگ کشف کرده است با فضایی مقایسه میکند که برخی از عصبشناسان معتقدند مغز انسان برای دنبال کردن افکار آگاهانه از آن استفاده میکند. من از این شرکت پرسیدم که این مقایسه را تا چه اندازه باید جدّی گرفت. در بیانیهای پاسخ دادند:
«این قیاسها برای طراحی آزمایشهای ما مفید بودند، زیرا به ما امکان دادند پیشبینیهای تجربی متعددی دربارهٔ فضای جی (J) بکنیم که بدیهی نبودند و در نهایت درست از آب درآمدند. با این حال، باید توجه داشت که تفاوتهای مهمی میان فضای J (و بهطور کلی الگوهای زبانی) و مغز انسان وجود دارد؛ بنابراین، منظور ما این نیست که میان آنها تطابقی کامل وجود دارد.»
این مفهوم جدیدِ فضای جی میتواند برای حل چه مشکلی در حوزهٔ هوشواره (هوش مصنوعی) به کار رود؟
هیون: آنتروپیک گفته است که پایش این فضا میتواند راهی برای شناسایی مواقعی باشد که الگوها کاری را میکنند که نباید بکنند. از آنجا که در این فضا واژههایی ظاهر میشوند که در خروجی نهایی الگو دیده نمیشوند، این واژهها میتوانند اطلاعاتی دربارهٔ رفتار الگو در اختیار شما بگذارند که در غیر این صورت ممکن بود متوجه آنها نشوید. برای مثال، زمانی که الگو پاسخهای جانبدارانه میدهد یا هنگامی که در حال سبکسنگین کردن مزایا و معایب تقلب است.
البته این فعلاً در حد نظریه است. به نظر من بهتر است این دستاورد را نه چیزی که بهتنهایی کاربرد عملی خواهد داشت، بلکه گامی دیگر در مسیر فهم کلی این فناوری در نظر بگیریم.
۱. آنتروپیک پیبیسی (Anthropic PBC) یک شرکت آمریکایی در حوزهٔ هوشواره (هوش مصنوعی یا AI) است که در سال ۲۰۲۱ تأسیس شد. این شرکت خانوادهای از الگوهای زبانی بزرگ (LLMs) به نام کلود (Claude) ساخته است.
۲. فضای ژاکوبین (Jacobian Space)، لایهٔ استدلالیِ درونی و خاموشی که بهطور خودجوش درون الگوهای هوشوارهٔ کلود پدیدار شد.