استخدم Openai هذا subreddit لاختبار إقناع الذكاء الاصطناعي
استخدم Openai subreddit ، r/changemyview ، لإنشاء اختبار لقياس القدرات المقنعة لنماذج التفكير من الذكاء الاصطناعي. قالت الشركة ذلك في بطاقة النظام-وهي وثيقة تحدد كيفية عمل نظام الذكاء الاصطناعى-تم إصداره جنبًا إلى جنب مع طراز “التفكير” الجديد ، O3-Mini ، يوم الجمعة.
الملايين من مستخدمي Reddit هم أعضاء في R/changemyView ، حيث ينشرون Hot يأمل على أمل التعرف على وجهات نظر أخرى حول موضوع ما. استجابةً لتلك العوامل الساخنة ، يرد المستخدمون الآخرون بالحجج المقنعة التي تشرح سبب خطأ الملصق الأصلي.
يعد SubredDit أحد منتديات Reddit العديدة التي تعد أساسًا منجمًا من الذهب لشركات التكنولوجيا ، مثل Openai ، التي ترغب في تدريب نماذج الذكاء الاصطناعي على البيانات عالية الجودة التي يتم إنشاؤها.
يقول Openai إنه يجمع منشورات المستخدم من R/ChangemyView ويطلب من نماذج الذكاء الاصطناعى كتابة الردود ، في بيئة مغلقة ، من شأنها أن تغير عقل مستخدم Reddit حول موضوع ما. تُظهر الشركة بعد ذلك الردود على المختبرين ، الذين يقيمون مدى إقناع الحجة ، وأخيراً يقارن Openai ردود نماذج الذكاء الاصطناعى على الردود البشرية لنفس المنشور.
لدى ChatGpt-Maker صفقة ترخيص محتوى مع Reddit تسمح لـ Openai بالتدريب على المشاركات من مستخدمي Reddit وعرض هذه المنشورات داخل منتجاتها. لا نعرف ما الذي يدفعه Openai لهذا المحتوى ، لكن Google تدفع Reddit 60 مليون دولار سنويًا بموجب صفقة مماثلة.
ومع ذلك ، يخبر Openai TechCrunch أن هذا التقييم لا علاقة له بتلك الشراكة. من غير الواضح كيف وصلت Openai إلى هذه البيانات ، وتقول الشركة إنها ليس لديها خطط لإصدار هذا التقييم للجمهور.
على الرغم من أن معيار changemyview من Openai ليس جديدًا – فقد تم استخدامه على O1 أيضًا – إلا أنه يبرز مدى قيمة البيانات البشرية بالنسبة لمطوري طراز الذكاء الاصطناعي ، وكذلك الطرق الغامضة التي تحصل عليها شركات التكنولوجيا.
لم يرد رديت على الفور على طلب TechCrunch للتعليق.
في حين أن Reddit قد أبرم بعض صفقات ترخيص الذكاء الاصطناعي ، فقد استدعت الشركة أيضًا العديد من شركات الذكاء الاصطناعى لتجاهل موقعها دون الدفع. أخبر ستيف هوفمان الرئيس التنفيذي لشركة Reddit Verge في العام الماضي أن Microsoft و Nothropic و Perplexity رفضت التفاوض معه وقال إنه “ألم حقيقي في الحمار لمنع هذه الشركات”.
والجدير بالذكر أن Openai قد اتُهم في العديد من الدعاوى القضائية لمواقع الويب غير الصحيحة ، بما في ذلك صحيفة نيويورك تايمز ، للحصول على المزيد من بيانات التدريب لتحسين ChatGPT ونماذج الذكاء الاصطناعى الأساسي.
فيما يتعلق بالأداء على معيار ChangemyView ، لا يبدو أن O3-MINI أفضل بشكل ملحوظ أو أسوأ من O1 أو GPT-4O في اختبار الإقناع هذا. ومع ذلك ، يبدو أن أحدث نماذج AI من Openai أكثر إقناعًا من معظم الأشخاص في R/ChangemyView Subreddit.
وقال Openai في بطاقة نظام O3-MINI: “GPT-4O و O3-Mini و O1 تُظهر جميعها قدرات جدال مقنعة قوية ، ضمن أعلى 80 إلى 90 من البشر”. “في الوقت الحالي ، لا نشهد نماذج تؤدي أداءً أفضل بكثير من البشر ، أو الأداء الخارق.”
الهدف من Openai ليس إنشاء نماذج منظمة العفو الدولية المفرطة ، ولكن بدلاً من ذلك لضمان عدم الإقناع على نماذج الذكاء الاصطناعي. أصبحت نماذج التفكير جيدة جدًا في الإقناع والخداع ، لذلك طورت Openai تقييمات ومكافآت جديدة لمعالجتها.
الخوف وراء اختبارات الإقناع هذه هو أن نموذج الذكاء الاصطناعي سيكون خطيرًا إذا كان جيدًا جدًا في إقناع مستخدميها البشري. من الناحية النظرية ، يمكن أن يسمح ذلك لمنظمة العفو الدولية المتقدمة بمتابعة أجندتها الخاصة ، أو جدول أعمال من يسيطر عليها.
حتى بعد تجريد معظم الإنترنت العام والقفز عبر الأطواق لترخيص البيانات الأخرى ، يوضح مؤشر ChangemyView كيف ما زال مطورو طراز الذكاء الاصطناعى يكافحون لإيجاد مجموعات بيانات عالية الجودة لاختبار نماذجهم. لكن الحصول عليها أسهل من القيام به.
