تطلق ميسترال واجهة برمجة التطبيقات للإشراف

أطلقت شركة Mistral الناشئة للذكاء الاصطناعي واجهة برمجة تطبيقات جديدة للإشراف على المحتوى.

يقول ميسترال إن واجهة برمجة التطبيقات (API)، وهي نفس واجهة برمجة التطبيقات (API) التي تدعم الإشراف في منصة Le Chat chatbot الخاصة بشركة Mistral، يمكن تصميمها لتناسب تطبيقات ومعايير أمان محددة. إنه مدعوم بنموذج دقيق (Ministral 8B) تم تدريبه لتصنيف النص في مجموعة من اللغات، بما في ذلك الإنجليزية والفرنسية والألمانية، إلى واحدة من تسع فئات: المحتوى الجنسي والكراهية والتمييز والعنف والتهديدات والمحتوى الخطير والإجرامي. وإيذاء النفس والمعلومات الصحية والمالية والقانونية والمعلومات الشخصية.

يقول ميسترال إنه يمكن تطبيق واجهة برمجة تطبيقات الإشراف على النص الخام أو نص المحادثة.

وكتب ميسترال في منشور بالمدونة: “على مدى الأشهر القليلة الماضية، شهدنا حماسًا متزايدًا عبر مجتمع الصناعة والبحث لأنظمة الإشراف الجديدة القائمة على الذكاء الاصطناعي، والتي يمكن أن تساعد في جعل الإشراف أكثر قابلية للتطوير وقوة عبر التطبيقات”. “يستفيد مصنف الإشراف على المحتوى الخاص بنا من فئات السياسات الأكثر صلة من أجل حواجز الحماية الفعالة ويقدم نهجًا عمليًا لسلامة النماذج من خلال معالجة الأضرار الناتجة عن النماذج مثل النصائح غير المؤهلة ومعلومات تحديد الهوية الشخصية.”

تعتبر أنظمة الإشراف التي تعمل بالذكاء الاصطناعي مفيدة من حيث المبدأ. لكنهم أيضًا عرضة لنفس التحيزات والعيوب التقنية التي تعاني منها أنظمة الذكاء الاصطناعي الأخرى.

على سبيل المثال، ترى بعض النماذج التي تم تدريبها على اكتشاف السمية أن العبارات في اللغة الإنجليزية العامية الأمريكية الأفريقية (AAVE)، وهي القواعد النحوية غير الرسمية التي يستخدمها بعض الأمريكيين السود، تعتبر “سامة” بشكل غير متناسب. وجدت الدراسات أن المنشورات على وسائل التواصل الاجتماعي المتعلقة بالأشخاص ذوي الإعاقة يمكن أيضًا تصنيفها على أنها أكثر سلبية أو سامة من خلال المشاعر العامة ونماذج الكشف عن السمية شائعة الاستخدام.

تدعي شركة ميسترال أن نموذجها المعتدل دقيق للغاية، ولكنها تعترف أيضًا بأنه عمل قيد التقدم.

وقالت الشركة: “إننا نعمل مع عملائنا لبناء ومشاركة أدوات إشراف قابلة للتطوير وخفيفة الوزن وقابلة للتخصيص، وسنواصل التفاعل مع مجتمع البحث للمساهمة في تقدم السلامة في المجال الأوسع”.