يمكن لنموذج الذكاء الاصطناعي الجديد الخاص بـ AI21 Labs التعامل مع سياق أكثر من معظم النماذج الأخرى

تتجه صناعة الذكاء الاصطناعي على نحو متزايد نحو نماذج الذكاء الاصطناعي التوليدية ذات السياقات الأطول. لكن النماذج ذات نوافذ السياق الكبيرة تميل إلى أن تكون كثيفة الاستخدام للحوسبة. يؤكد أوري غوشين، الرئيس التنفيذي لشركة AI21 Labs الناشئة في مجال الذكاء الاصطناعي، أن هذا لا يجب أن يكون هو الحال، وشركته تطلق نموذجًا توليديًا لإثبات ذلك.

تشير السياقات، أو نوافذ السياق، إلى بيانات الإدخال (مثل النص) التي يأخذها النموذج في الاعتبار قبل إنشاء المخرجات (نص إضافي). تميل النماذج ذات نوافذ السياق الصغيرة إلى نسيان محتوى المحادثات الحديثة جدًا، في حين تتجنب النماذج ذات السياقات الأكبر هذا المأزق – وكميزة إضافية، فهم أفضل لتدفق البيانات التي تستقبلها.

يمكن لـ Jamba من AI21 Labs، وهو نموذج جديد لإنشاء النصوص وتحليلها، أن يؤدي العديد من نفس المهام التي يمكن لنماذج مثل ChatGPT من OpenAI وGemini من Google القيام بها. بعد تدريبه على مزيج من البيانات العامة والخاصة، يستطيع جامبا كتابة نص باللغات الإنجليزية والفرنسية والإسبانية والبرتغالية.

يمكن لـ Jamba التعامل مع ما يصل إلى 140.000 رمز أثناء التشغيل على وحدة معالجة رسومات واحدة بذاكرة لا تقل عن 80 جيجابايت (مثل Nvidia A100 المتطور). وهذا يُترجم إلى حوالي 105.000 كلمة، أو 210 صفحة، وهي رواية جيدة الحجم.

بالمقارنة، تحتوي لعبة Meta’s Llama 2 على نافذة سياق تحتوي على 32000 رمز مميز – على الجانب الأصغر وفقًا لمعايير اليوم – ولكنها تتطلب فقط وحدة معالجة رسومات (GPU) بذاكرة تصل إلى 12 جيجابايت تقريبًا من أجل التشغيل. (عادةً ما يتم قياس نوافذ السياق بالرموز المميزة، وهي عبارة عن أجزاء من النص الخام والبيانات الأخرى.)

في ظاهره، يبدو جامبا عاديًا. توجد الكثير من نماذج الذكاء الاصطناعي التوليدية المتاحة مجانًا والقابلة للتنزيل، بدءًا من DBRX التي أصدرتها Databricks مؤخرًا وحتى Llama 2 المذكورة أعلاه.

ولكن ما يجعل جامبا فريدة من نوعها هو ما يوجد تحت الغطاء. يستخدم مزيجًا من بنيتين نموذجيتين: المحولات ونماذج مساحة الحالة (SSMs).

المحولات هي البنية المفضلة لمهام التفكير المعقدة، مثل تشغيل نماذج مثل GPT-4 وGemini من Google، على سبيل المثال. إنها تتمتع بالعديد من الخصائص الفريدة، ولكن السمة المميزة للمحولات هي “آلية الانتباه” الخاصة بها. لكل جزء من بيانات الإدخال (مثل الجملة)، المحولات وزن أهمية كل المدخلات الأخرى (الجمل الأخرى) والاستفادة منها لتوليد المخرجات (جملة جديدة).

من ناحية أخرى، تجمع وحدات الخدمة الذاتية (SSMs) بين العديد من صفات الأنواع القديمة من نماذج الذكاء الاصطناعي، مثل الشبكات العصبية المتكررة والشبكات العصبية التلافيفية، لإنشاء بنية أكثر كفاءة من الناحية الحسابية قادرة على التعامل مع تسلسلات طويلة من البيانات.

الآن، أجهزة SSM لها حدودها. لكن بعض التجسيدات المبكرة، بما في ذلك نموذج مفتوح المصدر من باحثي برينستون وكارنيجي ميلون يسمى مامبا، يمكنه التعامل مع مدخلات أكبر من نظيراتها القائمة على المحولات بينما يتفوق عليها في مهام توليد اللغة.

في الواقع، يستخدم Jamba Mamba كنموذج أساسي – ويدعي Goshen أنه يوفر ثلاثة أضعاف الإنتاجية في السياقات الطويلة مقارنة بالنماذج القائمة على المحولات ذات الأحجام المماثلة.

وقال جوشين في مقابلة مع موقع TechCrunch: “على الرغم من وجود بعض الأمثلة الأكاديمية الأولية لنماذج SSM، إلا أن هذا هو أول نموذج تجاري على نطاق الإنتاج”. “هذه البنية، بالإضافة إلى كونها مبتكرة ومثيرة للاهتمام لمزيد من البحث من قبل المجتمع، تفتح كفاءة كبيرة وإمكانيات إنتاجية.”

الآن، بينما تم إصدار Jamba بموجب ترخيص Apache 2.0، وهو ترخيص مفتوح المصدر مع قيود استخدام قليلة نسبيًا، يؤكد Goshen أنه إصدار بحثي وليس المقصود استخدامه تجاريًا. لا يحتوي النموذج على ضمانات لمنعه من إنشاء نص سام أو عمليات تخفيف لمعالجة التحيز المحتمل؛ سيتم توفير نسخة مضبوطة ظاهريًا “أكثر أمانًا” في الأسابيع المقبلة.

لكن جوشين يؤكد أن جامبا يُظهر الوعد الذي توفره بنية SSM حتى في هذه المرحلة المبكرة.

وقال: “إن القيمة المضافة لهذا النموذج، سواء بسبب حجمه أو هندسته المبتكرة، هي أنه يمكن تركيبه بسهولة على وحدة معالجة رسومات واحدة”. “نعتقد أن الأداء سيتحسن بشكل أكبر مع حصول مامبا على تعديلات إضافية.”