يقوم إطار عمل Giskard مفتوح المصدر بتقييم نماذج الذكاء الاصطناعي قبل أن يتم دفعها إلى الإنتاج

Giskard هي شركة فرنسية ناشئة تعمل على إطار اختبار مفتوح المصدر لنماذج اللغات الكبيرة. ويمكنه تنبيه المطورين بمخاطر التحيزات والثغرات الأمنية وقدرة النموذج على إنشاء محتوى ضار أو سام.

في حين أن هناك الكثير من الضجيج حول نماذج الذكاء الاصطناعي، فإن أنظمة اختبار التعلم الآلي سرعان ما ستصبح موضوعًا ساخنًا حيث أن التنظيم على وشك أن يتم تطبيقه في الاتحاد الأوروبي من خلال قانون الذكاء الاصطناعي، وفي بلدان أخرى. سيتعين على الشركات التي تطور نماذج الذكاء الاصطناعي أن تثبت امتثالها لمجموعة من القواعد وتخفيف المخاطر حتى لا تضطر إلى دفع غرامات باهظة.

Giskard هي شركة ناشئة تعمل بالذكاء الاصطناعي وتتبنى التنظيم وواحدة من الأمثلة الأولى لأداة المطور التي تركز بشكل خاص على الاختبار بطريقة أكثر كفاءة.

“لقد عملت في Dataiku من قبل، لا سيما في مجال تكامل نماذج البرمجة اللغوية العصبية. ويمكنني أن أرى أنه عندما كنت مسؤولاً عن الاختبار، كان هناك أمران لم يعملا بشكل جيد عندما أردت تطبيقهما على حالات عملية، وكان من الصعب جدًا مقارنة أداء الموردين فيما بينهم. أخبرني أليكس كومبيسي، المؤسس المشارك والرئيس التنفيذي لشركة Giskard.

هناك ثلاثة مكونات وراء إطار اختبار Giskard. أولاً، أصدرت الشركة مكتبة بايثون مفتوحة المصدر يمكن دمجها في مشروع LLM – وبشكل أكثر تحديدًا في مشاريع توليد الاسترجاع المعزز (RAG). إنه يحظى بشعبية كبيرة على GitHub بالفعل وهو متوافق مع الأدوات الأخرى في أنظمة تعلم الآلة، مثل Hugging Face وMLFlow وWeights & Biases وPyTorch وTensorflow وLangchain.

بعد الإعداد الأولي، يساعدك Giskard على إنشاء مجموعة اختبار سيتم استخدامها بانتظام على النموذج الخاص بك. تغطي هذه الاختبارات مجموعة واسعة من المشكلات، مثل الأداء، والهلوسة، والمعلومات الخاطئة، والمخرجات غير الواقعية، والتحيزات، وتسرب البيانات، وتوليد المحتوى الضار، والحقن الفوري.

“وهناك عدة جوانب: سيكون لديك جانب الأداء، والذي سيكون أول ما يتبادر إلى ذهن عالم البيانات. وقال كومبيسي: “لكن أكثر فأكثر، لديك الجانب الأخلاقي، سواء من وجهة نظر صورة العلامة التجارية أو الآن من وجهة نظر تنظيمية”.

يمكن للمطورين بعد ذلك دمج الاختبارات في مسار التكامل المستمر والتسليم المستمر (CI/CD) بحيث يتم تشغيل الاختبارات في كل مرة يكون هناك تكرار جديد على قاعدة التعليمات البرمجية. إذا كان هناك خطأ ما، يتلقى المطورون تقرير فحص في مستودع GitHub الخاص بهم، على سبيل المثال.

يتم تخصيص الاختبارات بناءً على حالة الاستخدام النهائي للنموذج. يمكن للشركات التي تعمل على RAG منح حق الوصول إلى قواعد البيانات المتجهة ومستودعات المعرفة لـ Giskard بحيث تكون مجموعة الاختبار ذات صلة قدر الإمكان. على سبيل المثال، إذا كنت تقوم ببناء برنامج دردشة يمكنه تزويدك بمعلومات حول تغير المناخ بناءً على أحدث تقرير من الهيئة الحكومية الدولية المعنية بتغير المناخ واستخدام LLM من OpenAI، فإن اختبارات Giskard ستتحقق مما إذا كان النموذج يمكنه توليد معلومات خاطئة حول تغير المناخ، أو يناقض نفسه ، إلخ.

المنتج الثاني لـ Giskard هو مركز جودة الذكاء الاصطناعي الذي يساعدك على تصحيح أخطاء نموذج لغة كبير ومقارنته بالنماذج الأخرى. يعد مركز الجودة هذا جزءًا من عروض Giskard المتميزة. وفي المستقبل، تأمل الشركة الناشئة أن تكون قادرة على إنشاء وثائق تثبت امتثال النموذج للقواعد التنظيمية.

“لقد بدأنا في بيع AI Quality Hub لشركات مثل Banque de France وL’Oréal – لمساعدتهم على تصحيح الأخطاء والعثور على أسباب الأخطاء. وقال كومبيسي: “في المستقبل، هذا هو المكان الذي سنضع فيه جميع الميزات التنظيمية”.

المنتج الثالث للشركة يسمى LLMon. إنها أداة مراقبة في الوقت الفعلي يمكنها تقييم إجابات LLM للمشكلات الأكثر شيوعًا (السمية، والهلوسة، والتحقق من الحقائق…) قبل إرسال الرد مرة أخرى إلى المستخدم.

وهي تعمل حاليًا مع الشركات التي تستخدم واجهات برمجة التطبيقات (APIs) وLLMs الخاصة بـ OpenAI كنموذج أساسي لها، لكن الشركة تعمل على التكامل مع Hugging Face وAnthropic وما إلى ذلك.

تنظيم حالات الاستخدام

هناك عدة طرق لتنظيم نماذج الذكاء الاصطناعي. بناءً على المحادثات مع الأشخاص في النظام البيئي للذكاء الاصطناعي، لا يزال من غير الواضح ما إذا كان قانون الذكاء الاصطناعي سينطبق على النماذج الأساسية من OpenAI وAnthropic وMistral وغيرها، أو فقط على حالات الاستخدام التطبيقية.

في الحالة الأخيرة، يبدو جيسكارد في وضع جيد بشكل خاص لتنبيه المطورين بشأن إساءة الاستخدام المحتملة لـ LLMs المثرية بالبيانات الخارجية (أو كما يسميها باحثو الذكاء الاصطناعي، الجيل المعزز بالاسترجاع، RAG).

يوجد حاليًا 20 شخصًا يعملون في Giskard. وقال كومبيسي: “إننا نرى سوقًا واضحًا جدًا يتناسب مع عملاء LLM، لذلك سنقوم بمضاعفة حجم الفريق تقريبًا لنكون أفضل مضاد فيروسات LLM في السوق”.