انتقاد از Epoch AI به دلیل عدم افشای بودجه OpenAI

سازمان غیرانتفاعی Epoch AI که در حال توسعه معیارهایی برای ارزیابی قابلیت‌های هوش مصنوعی است، به دلیل عدم افشای حمایت مالی OpenAI تا به تازگی، تحت انتقاد شدید قرار گرفته است. این سازمان که عمدتاً توسط Open Philanthropy تأمین مالی می‌شود، در ۲۰ دسامبر اعلام کرد که OpenAI از ایجاد FrontierMath، یک معیار برای سنجش مهارت‌های ریاضی هوش مصنوعی با استفاده از مسائل سطح متخصص، حمایت کرده است.

FrontierMath یکی از معیارهایی بود که OpenAI برای نشان دادن قابلیت‌های هوش مصنوعی پرچمدار خود، o3، از آن استفاده کرد. تأخیر در افشای این موضوع، اتهاماتی مبنی بر نادرستی و نگرانی‌هایی درباره بی‌طرفی این معیار ایجاد کرده است.  

انتقادات از عدم شفافیت 

این جنجال زمانی آغاز شد که یک پیمانکار Epoch AI با نام کاربری «Meemi» در فروم LessWrong پستی منتشر کرد و این سازمان را به دلیل عدم شفافیت مورد انتقاد قرار داد. Meemi اعلام کرد که بسیاری از مشارکت‌کنندگان در معیار FrontierMath تا زمان افشای عمومی، از مشارکت OpenAI بی‌خبر بودند. او نوشت: «ارتباطات درباره این موضوع غیرشفاف بوده است. به نظر من، Epoch AI باید حمایت مالی OpenAI را افشا می‌کرد و پیمانکاران باید اطلاعات شفافی درباره امکان استفاده از کارشان برای قابلیت‌ها در هنگام انتخاب کار روی یک معیار می‌داشتند.»  

در شبکه‌های اجتماعی، کاربران نگرانی‌هایی را بیان کردند که محرمانه بودن مشارکت OpenAI می‌تواند اعتبار FrontierMath به عنوان یک معیار بی‌طرف را تضعیف کند. OpenAI نه تنها از ایجاد FrontierMath حمایت کرد، بلکه به بسیاری از مسائل و راه‌حل‌های موجود در این معیار دسترسی داشت، موضوعی که Epoch AI تا ۲۰ دسامبر، زمانی که o3 معرفی شد، آن را افشا نکرده بود. کارینا هونگ، دانشجوی دکترای ریاضیات در دانشگاه استنفورد، در X ادعا کرد که OpenAI به دلیل توافق با Epoch AI، دسترسی ویژه‌ای به FrontierMath داشته است، موضوعی که برخی از مشارکت‌کنندگان را ناراحت کرد.  

هونگ گفت: «شش ریاضیدانی که به طور قابل توجهی به معیار FrontierMath کمک کردند، تأیید کردند که از دسترسی انحصاری OpenAI به این معیار (و عدم دسترسی دیگران) بی‌خبر بودند. اکثر آن‌ها اظهار داشتند که اگر از این موضوع اطلاع داشتند، ممکن بود مشارکت نکنند.»  

پاسخ Epoch AI 

در پاسخ به این انتقادات، تامای بشیراوغلو، مدیر ارشد Epoch AI و یکی از بنیان‌گذاران آن، اذعان کرد که سازمان در شفاف‌نبودن اشتباه کرده است. او نوشت: «ما از افشای این مشارکت تا زمان راه‌اندازی o3 منع شده بودیم و در hindsight باید سخت‌تر برای امکان شفافیت با مشارکت‌کنندگان معیار مذاکره می‌کردیم. ریاضیدانان ما سزاوار بودند بدانند که چه کسانی ممکن است به کار آن‌ها دسترسی داشته باشند. حتی اگر از نظر قراردادی محدود بودیم، باید شفافیت با مشارکت‌کنندگان را بخش غیرقابل مذاکره توافق خود با OpenAI می‌کردیم.»  

بشیراوغلو همچنین توضیح داد که OpenAI با Epoch AI یک «توافق شفاهی» دارد که از مجموعه مسائل FrontierMath برای آموزش هوش مصنوعی خود استفاده نکند، زیرا این کار شبیه به «آموزش برای آزمون» است. علاوه بر این، Epoch AI یک «مجموعه مسائل جداگانه» نگه می‌دارد تا اطمینان حاصل کند که نتایج معیار به طور مستقل تأیید می‌شوند. او نوشت: «OpenAI از تصمیم ما برای حفظ یک مجموعه مسائل جداگانه و دیده‌نشده کاملاً حمایت کرده است.»  

چالش‌های مستقل‌سازی نتایج

با این حال، وضعیت همچنان پیچیده است. الیوت گلیزر، ریاضیدان ارشد Epoch AI، در Reddit اشاره کرد که این سازمان هنوز نتوانسته است نتایج FrontierMath o3 OpenAI را به طور مستقل تأیید کند. او گفت: «نظر شخصی من این است که امتیاز OpenAI معتبر است (یعنی آن‌ها روی مجموعه داده‌ها آموزش ندیده‌اند) و آن‌ها انگیزه‌ای برای دروغ گفتن درباره عملکردهای داخلی معیار ندارند. با این حال، تا زمانی که ارزیابی مستقل ما کامل نشود، نمی‌توانیم از آن‌ها حمایت کنیم.»  

این جنجال چالش‌های توسعه معیارهای تجربی برای ارزیابی سیستم‌های هوش مصنوعی را در حالی که منابع لازم را بدون ایجاد تصورات از تعارض منافع تأمین می‌کند، برجسته می‌سازد. با پیشرفت فناوری هوش مصنوعی، نیاز به فرآیندهای معیارسنجی شفاف و بی‌طرف بیشتر خواهد شد. تجربه Epoch AI به عنوان یک داستان هشداردهنده درباره اهمیت ارتباطات شفاف و ملاحظات اخلاقی در تحقیقات و توسعه هوش مصنوعی عمل می‌کند.