يتيح Tulu 3 مفتوح المصدر من AI2 لأي شخص لعب لعبة ما بعد التدريب الخاصة بالذكاء الاصطناعي

اسأل أي شخص في مجتمع الذكاء الاصطناعي مفتوح المصدر، وسيخبرك أن الفجوة بينهم وبين الشركات الخاصة الكبرى هي أكثر من مجرد قوة حاسوبية. تعمل AI2 على إصلاح ذلك، أولاً من خلال قواعد بيانات ونماذج مفتوحة المصدر بالكامل، والآن من خلال نظام ما بعد التدريب مفتوح وسهل التكيف لتحويل نماذج اللغة الكبيرة “الخام” إلى نماذج قابلة للاستخدام.

وعلى عكس ما يعتقده الكثيرون، فإن نماذج اللغة “الأساسية” لا تخرج من عملية التدريب وتكون جاهزة للبدء في العمل. إن عملية التدريب المسبق ضرورية بالطبع، ولكنها ليست كافية على الإطلاق. بل إن البعض يعتقد أن التدريب المسبق قد لا يصبح قريبًا الجزء الأكثر أهمية على الإطلاق.

وذلك لأن عملية ما بعد التدريب تظهر بشكل متزايد أنها المكان الذي يمكن فيه إنشاء قيمة حقيقية. هذا هو المكان الذي تم فيه تشكيل النموذج من شبكة عملاقة تعرف كل شيء والتي ستنتج بسهولة نقاط حوار لإنكار الهولوكوست كما ستنتج وصفات الكعك. أنت عموما لا تريد ذلك!

تتحفظ الشركات بشأن أنظمة ما بعد التدريب الخاصة بها، لأنه في حين يمكن لأي شخص أن يتصفح الويب ويصنع نموذجًا باستخدام أحدث الأساليب، فإن جعل هذا النموذج مفيدًا، على سبيل المثال، لمعالج أو محلل أبحاث يمثل تحديًا مختلفًا تمامًا.

لقد تحدث AI2 (المعروف سابقًا باسم معهد ألين للذكاء الاصطناعي) علنًا عن الافتقار إلى الانفتاح في مشاريع الذكاء الاصطناعي “المفتوحة” ظاهريًا، مثل Meta’s Llama. في حين أن النموذج مجاني بالفعل ويمكن لأي شخص استخدامه وتعديله، إلا أن مصادر وعملية صنع النموذج الأولي وطريقة تدريبه للاستخدام العام تظل أسرارًا محمية بعناية. إنه ليس سيئًا – ولكنه أيضًا ليس “مفتوحًا” حقًا.

من ناحية أخرى، تلتزم AI2 بأن تكون منفتحة قدر الإمكان، بدءًا من الكشف عن جمع البيانات وتنظيمها وتنظيفها وخطوط الأنابيب الأخرى إلى أساليب التدريب الدقيقة التي استخدمتها لإنتاج LLMs مثل OLMo.

لكن الحقيقة البسيطة هي أن عددًا قليلًا من المطورين لديهم المهارات اللازمة لتشغيل دورات LLM الخاصة بهم للبدء بها، وعدد أقل منهم يمكنهم القيام بالتدريب اللاحق بالطريقة التي تفعلها Meta أو OpenAI أو Anthropic – ويرجع ذلك جزئيًا إلى أنهم لا يعرفون، ولكن أيضًا لأنه معقدة من الناحية الفنية وتستغرق وقتا طويلا.

ولحسن الحظ، يريد AI2 إضفاء الطابع الديمقراطي على هذا الجانب من النظام البيئي للذكاء الاصطناعي أيضًا. وهنا يأتي دور Tulu 3. إنه تحسن كبير مقارنة بعملية ما بعد التدريب السابقة والأكثر بدائية (تسمى، كما خمنت، Tulu 2)؛ وفي اختبارات المنظمة غير الربحية، أدى ذلك إلى الحصول على درجات مساوية للنماذج “المفتوحة” الأكثر تقدمًا المتوفرة. إنه يعتمد على أشهر من التجارب والقراءة وتفسير ما يلمح إليه الكبار، والكثير من الدورات التدريبية المتكررة.

في الأساس، يغطي Tulu 3 كل شيء بدءًا من اختيار الموضوعات التي تريد أن يهتم بها نموذجك – على سبيل المثال، التقليل من أهمية القدرات المتعددة اللغات ولكن الاتصال بالرياضيات والبرمجة – ثم يأخذها عبر نظام طويل من تنظيم البيانات، والتعلم المعزز، والضبط الدقيق وضبط التفضيلات ، بالإضافة إلى التغيير والتبديل في مجموعة من المعلمات الوصفية وعمليات التدريب الأخرى التي لم أتمكن من وصفها لك بشكل كافٍ. ونأمل أن تكون النتيجة نموذجًا أكثر قدرة بكثير يركز على المهارات التي تحتاجها.

لكن النقطة الحقيقية هي إخراج لعبة أخرى من صندوق ألعاب الشركات الخاصة. في السابق، إذا كنت ترغب في إنشاء ماجستير إدارة أعمال (LLM) مُدرَّب خصيصًا، كان من الصعب جدًا تجنب استخدام موارد شركة كبرى بطريقة أو بأخرى، أو التعاقد مع وسيط يقوم بهذا العمل نيابةً عنك. وهذا ليس باهظ الثمن فحسب، بل إنه ينطوي على مخاطر لا تتحملها بعض الشركات.

على سبيل المثال، شركات الأبحاث والخدمات الطبية: بالتأكيد، يمكنك استخدام واجهة برمجة التطبيقات الخاصة بـ OpenAI، أو التحدث إلى Scale أو أي شخص آخر لتخصيص نموذج داخلي، ولكن كلاهما يتضمن شركات خارجية في بيانات المستخدم الحساسة. إذا كان الأمر لا مفر منه، فما عليك سوى أن تعض الرصاصة – ولكن إذا لم يكن الأمر كذلك؟ على سبيل المثال، إذا أصدرت إحدى المنظمات البحثية نظامًا متكاملًا قبل وبعد التدريب يمكنك تنفيذه داخل مقر العمل؟ وقد يكون ذلك بديلاً أفضل.

يستخدم AI2 هذا بنفسه، وهو أفضل تأييد يمكن للمرء تقديمه. على الرغم من أن نتائج الاختبار المنشورة اليوم تستخدم Llama كنموذج أساسي، إلا أنهم يخططون لطرح نموذج قائم على OLMo ومدرب على Tulu-3 قريبًا والذي من المفترض أن يقدم المزيد من التحسينات على خط الأساس ويكون أيضًا مفتوح المصدر بالكامل، طرف إلى ذيل.

إذا كنت مهتمًا بكيفية أداء النموذج حاليًا، فقم بتجربة العرض التجريبي المباشر.