تطلق Meta لعبة Llama 3، وتدعي أنها من بين أفضل النماذج المفتوحة المتاحة

أصدرت Meta أحدث إدخال في سلسلة Llama من نماذج الذكاء الاصطناعي التوليدية مفتوحة المصدر: Llama 3. أو بشكل أكثر دقة، قامت الشركة بفتح نموذجين في عائلة Llama 3 الجديدة، وسيأتي الباقي في تاريخ مستقبلي غير محدد.

تصف Meta النماذج الجديدة – Llama 3 8B، التي تحتوي على 8 مليار معلمة، وLlama 3 70B، التي تحتوي على 70 مليار معلمة – باعتبارها “قفزة كبيرة” مقارنة بنماذج Llama من الجيل السابق، Llama 2 8B وLlama 2 70B. أداء الحكمة. (تحدد المعلمات بشكل أساسي مهارة نموذج الذكاء الاصطناعي في حل مشكلة ما، مثل تحليل وإنشاء النص؛ والنماذج ذات عدد المعلمات الأعلى، بشكل عام، أكثر قدرة من النماذج ذات عدد المعلمات الأقل). عدد المعلمات الخاصة بكل منها، Llama 3 8B وLlama 3 70B — تم تدريبهم على مجموعتين من وحدات معالجة الرسومات المصممة خصيصًا والتي يبلغ عددها 24000 وحدة معالجة رسومية هي من بين أفضل نماذج الذكاء الاصطناعي التوليدي المتوفرة اليوم.

هذا ادعاء تماما. إذن كيف تدعمها Meta؟ حسنًا، تشير الشركة إلى نتائج نماذج Llama 3 في معايير الذكاء الاصطناعي الشائعة مثل MMLU (الذي يحاول قياس المعرفة)، وARC (الذي يحاول قياس اكتساب المهارات) وDROP (الذي يختبر منطق النموذج على أجزاء من النص). وكما كتبنا من قبل، فإن فائدة – وصحة – هذه المعايير مطروحة للنقاش. ولكن للأفضل أو للأسوأ، تظل هذه إحدى الطرق الموحدة القليلة التي يقوم لاعبو الذكاء الاصطناعي مثل Meta بتقييم نماذجهم من خلالها.

يتفوق Llama 3 8B على النماذج الأخرى مفتوحة المصدر مثل Mistral’s Mistral 7B وGemma 7B من Google، وكلاهما يحتوي على 7 مليارات معلمة، في تسعة معايير على الأقل: MMLU، وARC، وDROP، وGPQA (مجموعة من البيولوجيا والفيزياء والكيمياء- الأسئلة ذات الصلة)، HumanEval (اختبار توليد التعليمات البرمجية)، GSM-8K (المسائل الرياضية اللفظية)، MATH (معيار رياضي آخر)، AGIEval (مجموعة اختبار حل المشكلات) وBIG-Bench Hard (تقييم المنطق المنطقي).

الآن، Mistral 7B وGemma 7B ليسا على حافة النزيف تمامًا (تم إصدار Mistral 7B في سبتمبر الماضي)، وفي عدد قليل من المعايير التي تستشهد بها Meta، سجل Llama 3 8B نقاطًا مئوية قليلة فقط أعلى من أي منهما. لكن Meta تدعي أيضًا أن نموذج Llama 3 ذو عدد المعلمات الأكبر، Llama 3 70B، يتنافس مع نماذج الذكاء الاصطناعي التوليدية الرائدة بما في ذلك Gemini 1.5 Pro، الأحدث في سلسلة Gemini من Google.

يتفوق Llama 3 70B على Gemini 1.5 Pro في MMLU وHumanEval وGSM-8K، وعلى الرغم من أنه لا ينافس الطراز الأنثروبي الأكثر أداءً، Claude 3 Opus، إلا أن Llama 3 70B يحقق نتائج أفضل من أضعف نموذج في سلسلة Claude 3، Claude 3. Sonnet، على خمسة معايير (MMLU، GPQA، HumanEval، GSM-8K وMATH).

اعتمادات الصورة: ميتا

من أجل ما يستحق، طورت Meta أيضًا مجموعة اختبار خاصة بها تغطي حالات الاستخدام التي تتراوح من البرمجة وإنشاء الكتابة إلى التفكير والتلخيص، و- مفاجأة! — جاء Llama 3 70B في المقدمة أمام نموذج Mistral’s Mistral Medium، وGPT-3.5 من OpenAI، وClude Sonnet. تقول Meta إنها منعت فرق النمذجة الخاصة بها من الوصول إلى المجموعة للحفاظ على الموضوعية، ولكن من الواضح – نظرًا لأن Meta نفسها هي التي ابتكرت الاختبار – يجب أن تؤخذ النتائج بحذر.

اعتمادات الصورة: ميتا

ومن الناحية النوعية، تقول ميتا إن مستخدمي نماذج اللاما الجديدة يجب أن يتوقعوا المزيد من “قابلية التوجيه”، واحتمال أقل لرفض الإجابة على الأسئلة ودقة أعلى في الأسئلة التافهة، والأسئلة المتعلقة بالتاريخ ومجالات العلوم والتكنولوجيا والهندسة والرياضيات مثل الهندسة والعلوم وتوصيات الترميز العامة. . ويعود الفضل في ذلك جزئيًا إلى مجموعة بيانات أكبر بكثير: مجموعة مكونة من 15 تريليون رمز، أو ما يقرب من 750,000,000,000 كلمة مذهلة – أي سبعة أضعاف حجم مجموعة تدريب Llama 2. (في مجال الذكاء الاصطناعي، تشير كلمة “الرموز المميزة” إلى أجزاء مقسمة من البيانات الأولية، مثل المقاطع الصوتية “fan” و”tas” و”tic” في كلمة “fantastic”.)

من أين أتت هذه البيانات؟ سؤال جيد. لن تقول Meta ذلك، حيث كشفت فقط أنها مستمدة من “مصادر متاحة للعامة”، وتضمنت تعليمات برمجية أكثر بأربعة أضعاف مما كانت عليه في مجموعة بيانات تدريب Llama 2 وأن جزءًا من المجموعة – 5٪ – يحتوي على بيانات غير الإنجليزية (في ~ 30 لغة) لتحسين الأداء في اللغات الأخرى غير الإنجليزية. وقالت Meta أيضًا إنها استخدمت البيانات الاصطناعية – أي البيانات التي تم إنشاؤها بواسطة الذكاء الاصطناعي – لإنشاء مستندات أطول لنماذج Llama 3 للتدريب عليها، وهو نهج مثير للجدل إلى حد ما بسبب عيوب الأداء المحتملة.

“على الرغم من أن النماذج التي نطلقها اليوم تم ضبطها بشكل جيد فقط لمخرجات اللغة الإنجليزية، فإن تنوع البيانات المتزايد يساعد النماذج على التعرف بشكل أفضل على الفروق الدقيقة والأنماط، والأداء القوي عبر مجموعة متنوعة من المهام،” كتب ميتا في منشور مدونة تمت مشاركته مع TechCrunch.

يرى العديد من موردي الذكاء الاصطناعي الإبداعي أن بيانات التدريب هي ميزة تنافسية، وبالتالي يحتفظون بها والمعلومات المتعلقة بها بالقرب من الصندوق. لكن تفاصيل بيانات التدريب تشكل أيضًا مصدرًا محتملاً للدعاوى القضائية المتعلقة بالملكية الفكرية، وهو ما يشكل عائقًا آخر للكشف عن الكثير. كشفت التقارير الأخيرة أن شركة Meta، في سعيها لمواكبة منافسي الذكاء الاصطناعي، استخدمت في وقت ما كتبًا إلكترونية محمية بحقوق الطبع والنشر للتدريب على الذكاء الاصطناعي على الرغم من تحذيرات محامي الشركة؛ تعد Meta وOpenAI موضوع دعوى قضائية مستمرة رفعها مؤلفون، بما في ذلك الممثلة الكوميدية سارة سيلفرمان، بشأن الاستخدام غير المصرح به المزعوم من قبل البائعين للبيانات المحمية بحقوق الطبع والنشر لأغراض التدريب.

فماذا عن السمية والتحيز، وهما مشكلتان شائعتان أخريان في نماذج الذكاء الاصطناعي التوليدي (بما في ذلك اللاما 2)؟ هل يتحسن Llama 3 في تلك المناطق؟ نعم، يدعي ميتا.

تقول Meta إنها طورت خطوط أنابيب جديدة لتصفية البيانات لتعزيز جودة بيانات التدريب النموذجية الخاصة بها، وأنها قامت بتحديث مجموعتها من مجموعات أمان الذكاء الاصطناعي التوليدية، Llama Guard وCybersecEval، لمحاولة منع إساءة استخدام أجيال النص غير المرغوب فيها من Llama 3 نماذج وغيرها. تطلق الشركة أيضًا أداة جديدة، Code Shield، مصممة لاكتشاف التعليمات البرمجية من نماذج الذكاء الاصطناعي التوليدية التي قد تؤدي إلى ثغرات أمنية.

ومع ذلك، فإن التصفية ليست مضمونة – وأدوات مثل Llama Guard، وCybersecEval، وCode Shield لا تصل إلى هذا الحد. (انظر: ميل Llama 2 إلى اختلاق إجابات للأسئلة وتسريب معلومات صحية ومالية خاصة.) سيتعين علينا أن ننتظر ونرى كيفية أداء نماذج Llama 3 في البرية، بما في ذلك الاختبارات التي يجريها الأكاديميون على معايير بديلة.

تقول Meta إن نماذج Llama 3 – المتوفرة للتنزيل الآن، والتي تعمل على تشغيل مساعد Meta AI على Facebook وInstagram وWhatsApp وMessenger والويب – سيتم استضافتها قريبًا في شكل مُدار عبر مجموعة واسعة من المنصات السحابية بما في ذلك AWS، Databricks، وGoogle Cloud، وHugging Face، وKaggle، وWatsonX من IBM، وMicrosoft Azure، وNvidia’s NIM، وSnowflake. وفي المستقبل، سيتم أيضًا توفير إصدارات من النماذج المُحسّنة للأجهزة من AMD وAWS وDell وIntel وNvidia وQualcomm.

وهناك نماذج أكثر قدرة في الأفق.

تقول Meta إنها تقوم حاليًا بتدريب نماذج Llama 3 التي يزيد حجمها عن 400 مليار معلمة – وهي نماذج تتمتع بالقدرة على “التحدث بلغات متعددة”، والحصول على المزيد من البيانات وفهم الصور والطرائق الأخرى بالإضافة إلى النص، الأمر الذي من شأنه أن يجلب سلسلة Llama 3 تماشيًا مع الإصدارات المفتوحة مثل Hugging Face’s Idefics2.

اعتمادات الصورة: ميتا

“هدفنا في المستقبل القريب هو جعل Llama 3 متعددة اللغات ومتعددة الوسائط، ولها سياق أطول ومواصلة تحسين الأداء العام عبر العناصر الأساسية. [large language model] “قدرات مثل التفكير والترميز”، كتب ميتا في منشور بالمدونة. “هناك الكثير في المستقبل.”

بالفعل.