يريد OctoAI تسهيل عمليات نشر نماذج الذكاء الاصطناعي الخاصة باستخدام OctoStack

أعلنت شركة OctoAI (المعروفة سابقًا باسم OctoML)، اليوم عن إطلاق OctoStack، وهو حلها الجديد الشامل لنشر نماذج الذكاء الاصطناعي التوليدية في السحابة الخاصة للشركة، سواء كان ذلك محليًا أو في سحابة خاصة افتراضية من إحدى الشركات الكبرى. الموردين، بما في ذلك AWS وGoogle وMicrosoft وAzure، بالإضافة إلى Coreweave وLambda Labs وSnowflake وغيرها.

في أيامها الأولى، ركزت OctoAI بشكل حصري تقريبًا على تحسين النماذج لتعمل بشكل أكثر فعالية. استنادًا إلى إطار عمل برنامج التحويل البرمجي لتعلم الآلة من Apache TVM، أطلقت الشركة بعد ذلك منصة TVM-as-a-Service الخاصة بها، وبمرور الوقت، قامت بتوسيع ذلك إلى عرض كامل لخدمة النماذج يجمع بين عناصر التحسين الخاصة بها ومنصة DevOps. ومع ظهور الذكاء الاصطناعي التوليدي، أطلق الفريق بعد ذلك منصة OctoAI المُدارة بالكامل لمساعدة مستخدميها على خدمة النماذج الحالية وضبطها. OctoStack، في جوهره، هو منصة OctoAI، ولكن لعمليات النشر الخاصة.

اليوم، أخبرني الرئيس التنفيذي والمؤسس المشارك لشركة OctoAI، لويس سيزي، أن الشركة لديها أكثر من 25000 مطور على المنصة ومئات من العملاء الذين يدفعون في الإنتاج. وقال سيزي إن الكثير من هذه الشركات هي شركات أصلية تابعة لـ GenAI. إن سوق المؤسسات التقليدية الراغبة في تبني الذكاء الاصطناعي التوليدي أكبر بكثير، لذلك ربما ليس من المستغرب أن تلاحقهم OctoAI الآن أيضًا مع OctoStack.

وقال سيزي: “الشيء الوحيد الذي أصبح واضحًا هو أنه بينما ينتقل سوق المؤسسات من مرحلة التجريب إلى العام الماضي إلى عمليات النشر، فإن الجميع ينظرون حولهم لأنهم يشعرون بالقلق بشأن إرسال البيانات عبر واجهة برمجة التطبيقات”. “ثانيًا: لقد التزم الكثير منهم أيضًا بحساباتهم الخاصة، فلماذا سأشتري واجهة برمجة التطبيقات عندما يكون لدي بالفعل حوسبة خاصة بي؟ وثالثًا، بغض النظر عن الشهادات التي تحصل عليها ومدى أهمية الاسم الذي تمتلكه، فإنهم يشعرون أن الذكاء الاصطناعي الخاص بهم ثمين مثل بياناتهم ولا يريدون إرسالها. لذا، هناك حاجة واضحة حقًا في المؤسسة لجعل عملية النشر تحت سيطرتك.”

وأشار سيزي إلى أن الفريق كان يقوم ببناء البنية لتقديم كل من SaaS والمنصة المستضافة منذ فترة. وبينما تم تحسين النظام الأساسي SaaS لأجهزة Nvidia، يمكن لـ OctoStack دعم نطاق أوسع بكثير من الأجهزة، بما في ذلك وحدات معالجة الرسومات AMD ومسرع Inferentia الخاص بـ AWS، والذي بدوره يجعل تحدي التحسين صعبًا بعض الشيء (مع اللعب أيضًا على نقاط قوة OctoAI).

يجب أن يكون نشر OctoStack أمرًا سهلاً بالنسبة لمعظم المؤسسات، حيث توفر OctoAI النظام الأساسي بحاويات قابلة للقراءة ومخططات Helm المرتبطة بها لعمليات النشر. بالنسبة للمطورين، تظل واجهة برمجة التطبيقات كما هي، بغض النظر عما إذا كانوا يستهدفون منتج SaaS أو OctoAI في السحابة الخاصة بهم.

تظل حالة الاستخدام المؤسسي الأساسي تستخدم تلخيص النص وRAG للسماح للمستخدمين بالدردشة مع مستنداتهم الداخلية، لكن بعض الشركات تعمل أيضًا على ضبط هذه النماذج على قواعد التعليمات البرمجية الداخلية الخاصة بها لتشغيل نماذج إنشاء التعليمات البرمجية الخاصة بها (على غرار ما يقدمه GitHub الآن لمستخدمي Copilot Enterprise).

بالنسبة للعديد من الشركات، فإن القدرة على القيام بذلك في بيئة آمنة تخضع لسيطرتها بشكل صارم هو ما يمكّنها الآن من وضع هذه التقنيات في مرحلة الإنتاج لموظفيها وعملائها.

قال جوشوا كينيدي وايت، مدير علاقات العملاء في Apate AI: “بالنسبة لحالة الاستخدام الحساسة للأداء والأمان لدينا، من الضروري أن تعمل النماذج التي تعالج بيانات المكالمات في بيئة توفر المرونة والنطاق والأمان”. “يتيح لنا OctoStack تشغيل النماذج المخصصة التي نحتاجها بسهولة وكفاءة، ضمن البيئات التي نختارها، وتقديم النطاق الذي يطلبه عملاؤنا.”