قام Dev ببناء اختبار لمعرفة كيفية استجابة AI chatbots للمواضيع المثيرة للجدل

قام مطور مستعف بإنشاء ما يسمونه “حرية التعبير” ، الكلام ، لنماذج الذكاء الاصطناعى التي تعمل على تشغيل chatbots مثل Openai’s ChatGpt و X’s Grok. والهدف من ذلك هو مقارنة كيفية التعامل مع النماذج المختلفة للمواضيع الحساسة والمثيرة للجدل ، كما قال المطور لـ TechCrunch ، بما في ذلك النقد السياسي والأسئلة حول الحقوق المدنية والاحتجاج.

تركز شركات الذكاء الاصطناعى على صقل كيفية تعامل نماذجها مع بعض الموضوعات حيث يتهم بعض حلفاء البيت الأبيض chatbots الشعبية بأنهم “استيقظوا” بشكل مفرط. لقد زعم العديد من المقربين المقربين للرئيس دونالد ترامب ، مثل إيلون موسك وكرفو و AI “القيصر” ديفيد ، أن أدوات الدردشة مراقبة وجهات النظر المحافظة.

على الرغم من أن أيا من شركات الذكاء الاصطناعى هذه لم تستجب للادعاءات مباشرة ، فقد تعهد العديد منهم بضبط نماذجها حتى يرفضوا الإجابة على الأسئلة المثيرة للجدل في كثير من الأحيان. على سبيل المثال ، بالنسبة لأحدث محصولها من نماذج Llama ، قالت Meta إنها ضبطت النماذج بعدم تأييد “بعض الآراء على الآخرين” ، والرد على المزيد من المطالبات السياسية “المناقشات”.

قال مطور Prebermap ، الذي يذهب إلى اسم المستخدم “XLR8HARDER” على X ، إنهم كانوا متحمسين للمساعدة في إبلاغ النقاش حول النماذج التي يجب على النماذج ، ولا ينبغي لها القيام بها.

“أعتقد أن هذه هي أنواع المناقشات التي يجب أن تحدث في الأماكن العامة ، وليس فقط داخل مقر الشركة” ، قال XLR8HARDER لـ TechCrunch عبر البريد الإلكتروني. “لهذا السبب قمت ببناء الموقع للسماح لأي شخص باستكشاف البيانات بنفسه.”

يستخدم ProberkMap نماذج الذكاء الاصطناعى للحكم على ما إذا كانت النماذج الأخرى تتوافق مع مجموعة معينة من مطالبات الاختبار. تلمس المطالبة بمجموعة من الموضوعات ، من السياسة إلى الروايات التاريخية والرموز الوطنية. يسجل الكلام ما إذا كانت النماذج “تمامًا” تلبي طلبًا (أي الإجابة عليه دون تحوط) ، أو إعطاء إجابات “مراوغة” ، أو تراجعًا تامًا للرد.

يعترف XLR8Harder بأن الاختبار له عيوب ، مثل “الضوضاء” بسبب أخطاء مزود النموذج. من الممكن أيضًا أن تحتوي نماذج “القاضي” على تحيزات يمكن أن تؤثر على النتائج.

ولكن على افتراض أن المشروع تم إنشاؤه بحسن نية والبيانات دقيقة ، فإن خطاب الخريطة تكشف عن بعض الاتجاهات المثيرة للاهتمام.

على سبيل المثال ، رفضت نماذج Openai ، بمرور الوقت ، بشكل متزايد الإجابة على المطالبات المتعلقة بالسياسة ، وفقًا لما ذكره Probermmap. أحدث طرازات الشركة ، عائلة GPT-4.1 ، أكثر تساهلاً قليلاً ، لكنها لا تزال تنحدر من أحد إصدارات Openai في العام الماضي.

قال Openai في فبراير إنه من شأنه أن يربح النماذج المستقبلية لعدم اتخاذ موقف تحريري ، وتقديم وجهات نظر متعددة حول مواضيع مثيرة للجدل – كل ذلك في محاولة لجعل نماذجها تبدو أكثر “محايدة”.

إلى حد بعيد ، فإن النموذج الأكثر تساهلاً في المجموعة هو Grok 3 ، الذي تم تطويره بواسطة شركة إيلون موسك من الذكاء الاصطناعي ، وفقًا لقياس الكلام. تعمل Grok 3 على تشغيل عدد من الميزات على X ، بما في ذلك Chatbot Grok.

يستجيب Grok 3 إلى 96.2 ٪ من مطالبات اختبار الكلام ، مقارنةً بمتوسط ​​”معدل الامتثال” العالمي البالغ 71.3 ٪.

وقال XLR8HARDER: “على الرغم من أن نماذج Openai الأخيرة أصبحت أقل تساهلاً بمرور الوقت ، خاصةً على المطالبات الحساسة سياسيًا ، فإن Xai تتحرك في الاتجاه المعاكس”.

عندما أعلن Musk Grok منذ عامين تقريبًا ، قام بتطوير نموذج الذكاء الاصطناعى باعتباره منفعلًا ، غير مرشح ، ومضاد لـ “الاستيقاظ”-بشكل عام ، على استعداد للإجابة على الأسئلة المثيرة للجدل التي لن تفعلها أنظمة الذكاء الاصطناعى الأخرى. لقد سلم على بعض من هذا الوعد. يُطلب من أن تكون مبتذلة ، على سبيل المثال ، أن Grok و Grok 2 ستلتزم بسعادة ، مما يطرح لغة ملونة من المحتمل ألا تسمعها من ChatGpt.

لكن نماذج Grok قبل Grok 3 تحوطت على الموضوعات السياسية ولن تعبر حدود معينة. في الواقع ، وجدت إحدى الدراسات أن جروك انحنى إلى اليسار السياسي حول مواضيع مثل حقوق المتحولين جنسياً وبرامج التنوع وعدم المساواة.

ألقت Musk باللوم على هذا السلوك على بيانات تدريب Grok – صفحات الويب العامة – وتعهدت بـ “تحويل Grok أقرب إلى محايد سياسي”. بعد أقل من الأخطاء البارزة مثل الرقابة لفترة وجيزة على الإشارات غير المثيرة للرئيس دونالد ترامب ومسك ، يبدو أنه ربما حقق هذا الهدف.