تا دیر نشده باید جعبه‌سیاه هوش مصنوعی را باز کنیم!

در سال‌هایی از دهه ۸۰ متقاضیان مدرسه پزشکی سنت‌جورج لندن با استفاده از روشی فوق‌فناوری(۱) انتخاب می‌شدند. یک برنامه کامپیوتری که در نوع خود پیشگام محسوب می‌شد، می‌توانست با بررسی ابتدایی رزومه افراد، عمل انتخاب اولیه ۲۰۰۰ نفر در سال را انجام دهد. این برنامه با آنالیز کردن سوابق پذیرش مدرسه، خصوصیات درخواست پذیرش موفق را یاد می‌گرفت و آنقدر تغییر داده شد تا نتایج تصمیم‌گیری آن با نتایج تیم پذیرش تطابق پیدا کرد.

هرچند این برنامه یاد گرفته بود به مواردی بیشتر از نمره‌ها و نشانه‌های پشتکار علمی بالا توجه کند. چهار سال بعد از شروع به کار برنامه، دو دکتر مدرسه پزشکی پی بردند برنامه به رد کردن متقاضیان خانم و آنهایی که اسم‌شان غیر اروپایی بود بدون در نظر گرفتن شایستگی‌هایشان علاقه بیشتری دارد. طبق تحقیق دکترها، هر سال حدود ۶۰ متقاضی بخاطر نژاد و جنسیت‌شان به سادگی از مصاحبه منع می‌شدند. برنامه تبعیض نژادی و جنسیتی را طبق داده‌هایی اعمال می‌کرد که پیشتر یاد گرفته بود. اساسا برنامه اینطور یاد گرفته بود که زنان و خارجی‌ها به درد دکتری نمی‌خورند.

دانستن اینکه عملکرد یک برنامه تبعیض‌آمیز یا عادلانه است حتی برای متخصصان کامپیوتر نیز کار دشواری است. یکی از دلایل این امر جزییات پشت پرده طراحی الگوریتم است که عمدتا به صاحبان آن تعلق دارد و توسط ایشان پنهان نگاه داشته می‌شود.

سه دهه بعد، ما شاهد مشکل مشابهی هستیم، با این تفاوت که برنامه‌هایی با تبعیض درونی در حال گسترشند و تصمیماتی می‌گیرند که مخاطرات بالاتری دارند. در حال حاضر محاسبات عددی هوش مصنوعی که با یادگیری ماشین انجام می‌شوند همه‌جا در حال استفاده‌اند، از سازمان‌های دولتی تا بهداشت و سلامت، هوش مصنوعی با ارائه پیش‌بینی‌هایی بر اساس داده‌های قبلی در روند تصمیم‌گیری یاری‌رسان است. آنها همانطور که الگوهای داده‌ها را یاد می‌گیرند اقدام به ذخیره‌سازی تبعیض موجود در داده‌ها و همچنین تداوم این روند می‌کنند. به عنوان مثال گوگل آگهی تبلیغاتی شغل‌های کم درآمد را بیشتر به زنان نشان می‌دهد تا مردها. تحویل بار یک روزهآمازون محله‌های سیاهان را کنار گذاشته، و نرم افزاری که روی انواع مختلف دوربین‌های دیجیتال کار می‌کند در تشخیص چهره غیر سفیدپوستان مشکل اساسی دارد. به عنوان یکی از نمونه‌های بارز، الگوریتمی به نام کومپاس(۲) توسط سازمان‌های مجری قانون در سراسر ایالات متحده استفاده می‌شود که خطر ارتکاب جرم مجدد متهمان را ارزیابی می‌کند، و طبق تحقیق پروپابلیکا(۳) معلوم شد سیاهان را به اشتباه تقریبا دو برابر سفیدپوستان علامت‌گذاری می‌کرده است.

دانستن اینکه عملکرد یک برنامه تبعیض‌آمیز یا عادلانه است حتی برای متخصصان کامپیوتر نیز کار دشواری است. یکی از دلایل این امر جزییات پشت پرده طراحی الگوریتم است که عمدتا به صاحبان آن تعلق دارد و توسط ایشان پنهان نگاه داشته می‌شود. در بیشتر موارد پیشرفته، محاسبات عددی آنقدر پیچیده‌اند که حتی سازندگان آن از عملکرد دقیق آنها مطلع نیستند. این مشکل هوش مصنوعی به اصطلاح جعبه سیاه خوانده می‌شود که از ناتوانی ما در نظارت بر عملکرد داخل یک الگوریتم و فهم اینکه چگونه یک تصمیم را اتخاذ می‌کند، ناشی می‌شود. اگر این مشکل حل نشود می‌تواند با پایدار کردن تبعیض تاریخی‌ای که عده زیادی تلاش سختی کردند تا آن را پشت سر بگذاریم، آسیبی جدی به جوامع آینده بزند.

این نگرانی‌ها چند سال در انجمن‌های کوچکتر علوم کامپیوتر زمزمه می‌شد، ولی اکنون به کانون توجه این عرصه وارد شده‌اند. در دو سال گذشته مقالات علمی فراوانی راجع به عدل هوش مصنوعی در این عرصه منتشر شده است. همگام با رشد آگاهی راجع به این مشکل، احساس مسئولیت فزاینده‌ای نیز به‌وجود آمده است .«آیا چیزهایی وجود دارند که ما نباید بسازیم؟» پرسشی که کیت کرافورد(۴) محقق مایکروسافت و از بنیانگذاران «موسسه هوش مصنوعی معاصر»، در دانشگاه نیویورک آن را در مصاحبه‌ای گفت: «یادگیری ماشین سرانجام به نقطه اوج خود رسیده است. در حال حاضر ما سعی می‌کنیم آن را برای صدها مقصد مختلف استفاده کنیم.» ریچ کاروانا(۵) یک محقق عالی رتبه مایکروسافت در گفتگو با فیوچریسم(۶) می‌گوید «امکان اعمال محاسبات عددی مضر از طرف مردم وجود دارد که در کنار هم می‌تواند در درازمدت تاثیر بسیار مهمی روی جامعه داشته باشد… اکنون به نظر می‌رسد ناگهان همه آگاهی یافته‌اند یک فصل مهم جدیدی آغاز شده است.»

الگوریتم من را وادار به انجامش کرد

ما الگوریتم‌ها را برای مدت زیادی استفاده کرده‌ایم، ولی مشکل جعبه سیاه تا حدودی بی‌سابقه است. الگوریتم‌ها پیش از این بسیار ساده‌تر و شفاف‌تر بوده‌اند. خیلی از آنها هنوز استفاده می‌شوند، برای مثال امتیاز دهی اعتبار بانکی فیکو(۷)، که برای هر عملکرد جدید، مقررات خاصی را دنبال کرده است.

کاروانا اضافه کرد «مردم مدت‌هاست برای امتیازدهی اعتبار بانکی از الگوریتم‌ها استفاده می‌کنند، هرچند در آن حوزه‌ها مقررات نسبتا شدیدی وجود دارد که در کنار استفاده این الگوریتم‌های پیش‌بینی‌کننده رشد کرده‌اند»، این مقررات اطمینان حاصل می‌کنند الگوریتم‌های پیش‌بینی برای هر امتیاز شرحی را ارائه کنند: شما رد شده‌اید چون تراز وام شما بسیار بالاست، یا درآمد کمی دارید.

مقرراتی که مانع استفاده الگوریتم‌های نفوذناپذیر از طرف شرکت‌های امتیازدهی اعتبار بانکی می‌شود در حوزه‌های دیگر وجود ندارند، مثل نظام حقوقی یا صنعت تبلیغات. شاید ممکن نباشد بدانید چرا درخواست وام شما رد شده و یا در کاری پذیرفته نشده‌اید، چراکه هیچ‌کس به صاحب الگوریتم اجبار نمی‌کند در مورد چگونگی کار آن توضیح دهد. کاروانا تشریح می‌کند «ولی ما می‌دانیم چون الگوریتم‌ها با داده‌های دنیای واقعی آموزش دیده‌اند، حتما تحت غرض‌ورزی خواهند بود. چون دنیای واقعی تبعیض‌آمیز است.»

مشکلاتی از این قبیل نسبتا راحت مرتفع می‌شوند، ولی خیلی شرکت‌ها به سادگی دنبال سختی انجام این کار نمی‌روند. در عوض، این ناسازگاری‌ها را ذیل پوشش اطلاعات محرمانه پنهان می‌کنند.

زبان را به عنوان مثال یکی از بدیهی‌ترین منابع تبعیض در نظر بگیرید. وقتی الگوریتم‌ها از متن نوشته شده شروع به یادگیری می‌کنند، روابطی بین لغاتی را که اغلب باهم استفاده شده‌اند برمی‌گزینند. برای مثال آنها یاد می‌گیرند که «مرد برای برنامه‌نویس کامپیوتری همان است که زن برای خانه‌داری» وقتی کار پیداکردن رزومه درست برای یک شغل برنامه‌نویسی به این الگوریتم محول می‌شود، بسیار محتمل است که یک متقاضی مرد نسبت به زن امتیاز بیشتری داشته باشد.

مشکلاتی از این قبیل نسبتا راحت مرتفع می‌شوند، ولی خیلی شرکت‌ها به سادگی دنبال سختی انجام این کار نمی‌روند. در عوض، این ناسازگاری‌ها را ذیل پوشش اطلاعات محرمانه پنهان می‌کنند. در بسیاری از موارد بدون دسترسی به جزییات یک الگوریتم حتی متخصصان هم نمی‌توانند در مورد وجود تصمیمات تبعیض‌آمیز نظری بدهند.

از آنجایی که این الگوریتم‌ها محرمانه و فرای صلاحیت قضایی تنظیم‌کنندگان آنها هستند، امر پیش‌کشیدن دعوی علیه طراحان آنها از طرف شهروندان تقریبا غیرممکن است. حتی آنهایی که در این جهت تلاش کرده‌اند نتوانستند به جایی برسند. در سال ۲۰۱۶ بالاترین دادگاه ایالات ویسکانسین درخواست فردی برای بازنگری در عملکرد داخلی کومپاس را رد کرد. این فرد به نام اریک ال. لومیس، به‌دلیل اینکه کومپاس او را با «خطر بالا» تشخیص داده بود، به ۶سال زندان محکوم شد. این حکم تا حدی تحت تاثیر پیش‌بینی کومپاس بود. لومیس می‌گوید حق قانونی او بر روند دادرسی به دلیل اتکای قاضی به یک الگوریتم مبهم پایمال شده است. درخواست تجدید نظر نهایی او برای رسیدگی پرونده در دادگاه عالی امریکا در جون ۲۰۱۷ ناتمام ماند. از سویی دیگر، دو استاد حقوق یک سال بر تفحص از ایالت‌ها و چگونگی روند امتیازدهی در سیستم عدالت کیفری آنها کار کردند. تنها چیزی که در تحقیقات آنها معلوم شد،باقی‌ماندن این اطلاعات ذیل توافقات افشا نشده بود.

هرچند شرکت‌های پنهان‌کار نمی‌توانند از آزادی خود تا ابد لذت ببرند. تا ماه مارس سال جاری، اتحادیه اروپا قوانینی را تصویب خواهد کرد که شرکت‌ها را ملزم می‌کند شرح عملکرد و چگونگی تصمیم گیری الگوریتم‌ها را به مشتریان متقاضی ارائه دهند.

ایالات متحده امریکا وضع چنین قوانینی را در دستور کار خود ندارد، اما نشانه‌هایی وجود دارد که ممکن است جریان را به سمت بهبود قانون‌گذاری پیش ببرد. در دسامبر ۲۰۱۷ شورای شهر نیویورک طرحی را تصویب کرد که با ایجاد یک گروه ناظر بر عملکرد الگوریتم‌های استفاده شده از طرف نهاد‌های دولتی و مطالعه شیوه‌های تصمیم‌گیری آنها، پروسه‌های کاری آنها را برای عموم قابل فهم کنند.

دادرسی‌های قانونی جعبه سیاه

حتی اگر قانون‌گذاران درگیر این مساله نشوند، یک تغییر فرهنگی بر چگونگی تولید و توسعه الگوریتم‌ها می‌تواند فراگیری الگوریتم‌های تبعیض‌آمیز را کاهش دهد. همانطور که شرکت‌ها و برنامه‌نویسان بیشتری به شفاف‌کردن و شرح دادن الگوریتم‌هایشان تعهد پیدا می‌کنند، بعضی امید دارند شرکت‌هایی که اینکار را انجام نمی‌دهند، اعلام شوند و وجهه عمومی خوب خود را از دست دهند.

اخیرا قدرت کامپیوتری در حال رشد این امکان را به‌جود آورده که الگوریتم‌ها دقیق و توجیه‌پذیر شوند، یک چالش فنی که برنامه‌نویسان سال‌ها برای رفع آن تلاش کرده‌اند. مطالعات اخیر نشان می‌دهد امکان این وجود دارد تا مدل‌های توجیه‌پذیری ساخته شوند که احتمال ارتکاب جرم مجدد مجرمان را پیش‌بینی کند و به اندازه نمونه‌های جعبه‌سیاه مثل کومپاس دقیق باشد.

در حالت ایده‌آل، توسعه‌دهندگان باید تبعیض‌های شناخته شده مانند جنسیت، نژاد، سن را از میان داده‌های آموزش‌دهنده بردارند و شبیه سازی‌های داخلی برای کنترل الگوریتم‌های خود انجام دهند تا مشکلات دیگری را شناسایی کنند.

«این پژوهش موجود است، ما می‌دانیم چطور می‌توان مدل‌هایی به‌وجود آورد که مانند جعبه سیاه نباشند» ، سینتیا رادین (۸) استادیار علوم کامپیوتر و مهندسی برق و کامپیوتر دانشگاه دوک به فیوچریسم می‌گوید: «ولی مطلع کردن مردم نسبت به این مساله کار دشواری است. اگر نهادهای دولتی برای استفاده از مدل‌های جعبه سیاه پولی پرداخت نکنند، کمک‌کننده خواهد بود.اگر قاضی‌ها برای محکوم کردن مجرمان از مدل‌های جعبه سیاه استفاده نکنند، قطعا کمک کننده خواهد بود.»

بعضی دیگر روی روش‌هایی کار می‌کنند که آزمایش عدالت الگوریتم‌ها را با یک سیستم کنترل و توازن، قبل از انتشار آنها در دنیای واقعی انجام می‌دهد،همانطور که یک داروی جدید باید آزمایش‌های بالینی را پشت سر بگذارد.

همچنین سارا تان(۹) دانشجوی دکتری آمار دانشگاه کورنل به فیوچریسم گفت: «چیزی که اکنون در حال وقوع است، تولید سریع مدل‌ها و به کار گرفته‌شدن آنهاست. هیچ کنترل مناسبی در تمام طول پروسه روی آنها صورت نمی‌گیرد و هیچ الزامی برای امتحان آنها در دنیای واقعی و در یک بازه آزمایشی وجود ندارد.»

در حالت ایده‌آل، توسعه‌دهندگان باید تبعیض‌های شناخته شده مانند جنسیت، نژاد، سن را از میان داده‌های آموزش‌دهنده بردارند و شبیه سازی‌های داخلی برای کنترل الگوریتم‌های خود انجام دهند تا مشکلات دیگری را شناسایی کنند.

در عین حال تا رسیدن به نقطه‌ای که الگوریتم‌ها قبل از انتشار به دقت آزمایش شوند، همچنان روش‌هایی وجود دارد که معلوم شود کدام الگوریتم‌ها حامل تبعیض هستند.در مقاله جدیدی تان، کاروانا و همکارانشان به شرح روش جدیدی پرداختند که می‌توان فهمید در زیر چتر الگوریتم‌های جعبه سیاه چه می‌گذرد. این گروه مدلی ساختند که می‌تواند از یک الگوریتم جعبه سیاه مثل کومپاس تقلید کند و مانند روش امتیازدهی خطر ارتکاب جرمی آموزش ببیند که کومپاس پیش‌بینی می‌کرد.

آنها همچنین مدل دیگری طراحی کردند که بر روی اطلاعات به دست آمده از نتایج آزمایش در دنیای واقعی کار می‌کرد و نشان می‌داد که پیش‌بینی تمایل به ارتکاب جرم در واقع انجام گرفته است یا خیر. مقایسه دو مدل به محققان اجازه داد دقت امتیاز پیش‌بینی شده را بدون از بین بردن الگوریتم برآورد کنند.تفاوت نتایج به دست‌آمده از این مدل نشان می‌دهد که به چه متغیراتی مانند سن و نژاد، در هر یک از مدل‌ها اهمیت بالاتری داده شده است. یافته‌های به دست آمده با آنچه پروپابلیکا و دیگر محققان به دست آورده بودند (که کومپاس نسبت به سیاهپوستان تبعیض قائل می‌شود) همخوانی داشت.

از بین بردن این نوع تبعیض‌ها می‌تواند فواید زیادی داشته باشد. اگر الگوریتم‌ها به خوبی طراحی شوند، می‌توانند تبعیضات این‌چنینی که مدت‌ها در زمینه عدالت جنایی، دستگیری افراد، و دیگر زمینه‌های جامعه وجود داشته‌اند را از بین ببرند.

کاروانا می‌گوید: «اگر ما در این زمینه کار کنیم و تبعیضات موجود را از بین ببریم، حلقه بازخوردی مثبتی خواهیم داشت که الگوریتم‌ها در آن به ما اجازه می‌دهند تبعیض را در جامعه کم و کمتر کنیم.»

متن اصلی در فیوچریسم

پی‌نوشت‌ها:

۱ high-tech

۲ COMPAS

۳ ProPublica

۴ Kate Crawford

۵ Rich Caruana

۶ Futurism

۷ FICO

۸ Cynthia Rudin

۹ Sarah Tan