يستطيع Microsoft Copilot الآن قراءة شاشتك والتفكير بعمق والتحدث إليك بصوت عالٍ

بعد أسبوع من الإعلان عن موجة من التحديثات لمجموعة المؤسسات الخاصة بها من المنتجات التي تعمل بتقنية Copilot AI، تطلق Microsoft إمكانات Copilot جديدة على نظام التشغيل Windows لجميع المستخدمين، بما في ذلك أداة يمكنها فهم الأسئلة المتعلقة بما هو موجود على شاشتك والرد عليها.

يتم طرح تطبيقات Copilot المحدثة لأنظمة التشغيل iOS وAndroid وWindows والويب اليوم، وتتميز جميعها ببرنامج Copilot بأسلوب أكثر “دفئًا” و”تميزًا”، كما تصفه Microsoft. تقوم Microsoft أيضًا بإحضار chatbot إلى WhatsApp، مما يسمح للمستخدمين بالدردشة مع Copilot عبر DM، على غرار التجربة التي تحصل عليها مع الروبوتات الأخرى على منصة المراسلة Meta.

رؤية مساعد الطيار

يتمتع برنامج Copilot Vision برؤية لما تشاهده على جهاز الكمبيوتر الخاص بك – وبشكل أكثر تحديدًا، عدسة للمواقع التي تزورها باستخدام Microsoft Edge. خلف Copilot Labs، وهو برنامج اشتراك جديد وحصري لـ Copilot Pro لإمكانيات Copilot التجريبية، يستطيع Copilot Vision تحليل النصوص والصور على صفحات الويب والإجابة على الاستفسارات (على سبيل المثال، “ما هي وصفة الطعام في هذه الصورة؟”) حول هم.

الرؤية، التي يمكن سحبها عن طريق كتابة “@copilot” في شريط عناوين Edge، ليست أعجوبة تقنية تمامًا. تقدم Google تقنية بحث مماثلة على Android، وقد جلبت مؤخرًا أجزاء وأجزاء من هذه التقنية إلى Chrome أيضًا.

لكن مايكروسوفت تشير إلى أن برنامج Copilot Vision أكثر قوة ووعيًا بالخصوصية من ميزات تحليل الشاشة السابقة.

كتبت Microsoft في منشور مدونة تمت مشاركته مع TechCrunch: “يمكن لبرنامج Copilot Vision… اقتراح الخطوات التالية، والإجابة على الأسئلة، والمساعدة في التنقل في كل ما تريد القيام به، والمساعدة في المهام، كل ذلك أثناء التحدث إليه باللغة الطبيعية”. “تخيل أنك تحاول تأثيث شقة جديدة. يمكن أن تساعدك Copilot Vision في البحث عن الأثاث، والعثور على لوحة الألوان المناسبة، والتفكير في الخيارات المتاحة أمامك بشأن كل شيء بدءًا من السجاد وحتى الأغطية، وحتى اقتراح طرق لترتيب ما تبحث عنه.

لا شك أن مايكروسوفت حريصة على تجنب جولة أخرى من الصحافة السيئة من التحسس في خصوصية الذكاء الاصطناعي، وتؤكد مايكروسوفت أن برنامج Copilot Vision تم تصميمه لحذف البيانات مباشرة بعد المحادثات. لا يتم تخزين الصوت أو الصور أو النصوص المعالجة أو استخدامها لتدريب النماذج، كما تدعي الشركة – على الأقل ليس في إصدار المعاينة هذا.

Copilot Vision محدود أيضًا في أنواع مواقع الويب التي يمكنه تفسيرها. في الوقت الحالي، تمنع Microsoft هذه الميزة من العمل على المحتوى المحمي بنظام حظر الاشتراك غير المدفوع والمحتوى “الحساس”، مما يقصر Vision على قائمة معتمدة مسبقًا من خصائص الويب “الشهيرة”.

ما الذي يتضمنه المحتوى “الحساس” بالضبط؟ الإباحية؟ عنف؟ في هذه المرحلة، مايكروسوفت لن تقول.

أدت الاتهامات بالتحايل على نظام حظر الاشتراك غير المدفوع باستخدام أدوات الذكاء الاصطناعي إلى وصول شركة Microsoft إلى موقف قانوني ساخن في الماضي القريب. في دعوى قضائية مستمرة، زعمت صحيفة نيويورك تايمز أن مايكروسوفت سمحت للمستخدمين بالتحايل على نظام حظر الاشتراك غير المدفوع الخاص بها من خلال تقديم مقالات نيويورك تايمز من خلال برنامج Copilot chatbot على Bing. عندما يُطلب منك ذلك بطريقة معينة، فإن برنامج Copilot – الذي يتم تشغيله بواسطة نماذج OpenAI المتعاونة مع Microsoft – سيقدم مقتطفات حرفية (أو شبه حرفية) من القصص المدفوعة، وفقًا لصحيفة The Times.

قالت مايكروسوفت إن برنامج Copilot Vision، المخصص للولايات المتحدة فقط في الوقت الحالي، سيحترم “الضوابط التي يمكن قراءتها آليًا على الذكاء الاصطناعي” للمواقع – مثل القواعد التي تمنع الروبوتات من استخراج البيانات للتدريب على الذكاء الاصطناعي. لكن الشركة لم تقل بدقة الذي يتحكم في الرؤية سوف يحترم؛ هناك العديد منها قيد الاستخدام. لقد طلبنا من Microsoft التوضيح.

لقد اختار العديد من الناشرين الرئيسيين منع أدوات الذكاء الاصطناعي من البحث في مواقعهم الإلكترونية، ليس فقط خوفًا من استخدام بياناتهم دون إذن، ولكن أيضًا لمنع هذه الأدوات من ارتفاع تكاليف خوادمهم. إذا استمر الاتجاه الحالي، فقد لا يعمل برنامج Copilot Vision على بعض أهم مواقع الأخبار على الويب.

وقالت مايكروسوفت إنها ملتزمة بتلقي الملاحظات لتهدئة المخاوف.

وقالت مايكروسوفت في منشور بالمدونة: “قبل أن نطلق على نطاق واسع، سنستمر في تحسين إجراءات السلامة لدينا والحفاظ على الخصوصية والمسؤولية في قلب كل ما نقوم به”. “لا توجد معالجة محددة لمحتوى موقع الويب الذي تتصفحه [with Copilot]ولا أي تدريب على الذكاء الاصطناعي – تقوم Copilot Vision ببساطة بقراءة وتفسير الصور والنصوص التي تراها على الصفحة لأول مرة معك.

فكر بشكل أعمق

كما هو الحال مع Vision، تعد ميزة Think Deeper الجديدة من Copilot محاولة لجعل مساعد Microsoft أكثر تنوعًا.

وقالت مايكروسوفت إن برنامج Think Deeper يمنح برنامج Copilot القدرة على التفكير في المشكلات الأكثر تعقيدًا، وذلك بفضل “نماذج الاستدلال” التي تستغرق وقتًا أطول قبل الاستجابة بإجابات خطوة بخطوة.

ما هي نماذج الاستدلال؟ كانت مايكروسوفت حذرة بعض الشيء عندما سألتها، واكتفى بالقول إن برنامج Think Deeper يستخدم “أحدث النماذج من OpenAI، التي قامت مايكروسوفت بضبطها بدقة”. وبالقراءة بين السطور، فمن المؤكد أنها نسخة مخصصة من نموذج OpenAI’s o1.

وكتبت مايكروسوفت في منشور بالمدونة: “لقد صممنا برنامج Think Deeper ليكون مفيدًا لجميع أنواع التحديات العملية واليومية، مثل مقارنة خيارين معقدين جنبًا إلى جنب”. “يمكن لـ Think Deeper أن يساعد في أي شيء بدءًا من حل المسائل الرياضية الصعبة وحتى قياس تكاليف إدارة المشاريع المنزلية.”

تحدثت Microsoft عن إمكانات Think Deeper قليلاً في موادها الصحفية. لكن بافتراض أن النموذج أدناه هو o1، فمن المؤكد أنه سيفشل في بعض المجالات. يسعدنا أن نرى نوع التحسينات التي أجرتها Microsoft على النموذج الأساسي، ومدى نجاح Think Deeper فيما يتعلق بقيوده.

سيكون Think Deeper متاحًا اعتبارًا من اليوم لعدد محدود من مستخدمي Copilot Labs في أستراليا وكندا ونيوزيلندا والولايات المتحدة والمملكة المتحدة.

صوت مساعد الطيار

ميزة Copilot الجديدة المتوفرة بشكل عام اليوم هي Copilot Voice (يجب عدم الخلط بينها وبين Copilot Voice في GitHub). يتم إطلاق Voice باللغة الإنجليزية في نيوزيلندا وكندا وأستراليا والمملكة المتحدة والولايات المتحدة للبدء، ويضيف أربعة أصوات اصطناعية، مما يتيح لك التحدث إلى Copilot ونطق إجاباته بصوت عالٍ.

مثل وضع الصوت المتقدم الخاص بـ OpenAI لـ ChatGPT، يمكن لـ Copilot Voice التقاط نغمتك أثناء المحادثات والرد وفقًا لذلك، ويمكنك التدخل في أي وقت أثناء إجابة Copilot Voice. أخبرني متحدث باسم Microsoft أن الوضع يستخدم “أحدث التقنيات الصوتية مع نماذج جديدة تم ضبطها بدقة لتطبيق Copilot”. ما التكنولوجيا؟ أي النماذج؟ فيما يتعلق بالتفاصيل، أمي هي الكلمة.

شيء واحد يجب أن تكون على دراية به: لدى Copilot Voice حد استخدام يعتمد على الوقت. يحصل المشتركون في برنامج Copilot Pro على المزيد من الدقائق، لكن الرقم “متغير”، كما أخبرتني Microsoft، حسب الطلب.

التخصيص

قالت مايكروسوفت إن برنامج Copilot سيصبح قريبًا أكثر تصميمًا ليناسب تفضيلاتك وتفضيلاتك، وذلك بفضل إعداد التخصيص الجديد.

عند تمكين الإعداد، سيعتمد برنامج Copilot على تفاعلاتك السابقة وسجلك، بالإضافة إلى تفاعلاتك مع تطبيقات وخدمات Microsoft الأخرى (لن تذكر Microsoft أيًا منها) للتوصية بطرق لاستخدام Copilot.

كتبت Microsoft في منشور بالمدونة: “يساعدك هذا على المضي قدماً، حيث يقدم دليلاً مفيدًا لميزات Copilot المفيدة وبدء المحادثة.”

التخصيص في Copilot، والذي يمكن إيقاف تشغيله في قائمة إعدادات Copilot على نظام Windows، ليس متاحًا للمملكة المتحدة أو الاتحاد الأوروبي في أي وقت قريب. ولكن يجب أن يبدأ المستخدمون في أماكن أخرى في رؤية الإعداد بعد ظهر هذا اليوم.

كانت العلاقة بين مايكروسوفت والاتحاد الأوروبي متوترة فيما يتعلق بطرح منتجات الذكاء الاصطناعي للشركة. في مايو/أيار، حذر الاتحاد الأوروبي شركة مايكروسوفت من أنها قد تتعرض لغرامة تصل إلى 1% من إيراداتها السنوية العالمية بموجب نظام حوكمة الإنترنت الخاص بالكتلة، وهو قانون الخدمات الرقمية، بعد أن فشلت الشركة في الرد على طلب للحصول على معلومات ركزت على الذكاء الاصطناعي التوليدي. أدوات.

اتخذ عدد من عمالقة التكنولوجيا خارج مايكروسوفت، بما في ذلك Apple وMeta، نهجًا حذرًا لإطلاق أدوات الذكاء الاصطناعي في الاتحاد الأوروبي، خوفًا من مخالفة قوانين الكتلة التي تحكم خصوصية البيانات ونشر النماذج.

قال متحدث باسم Microsoft لـ TechCrunch: “بالنسبة للمستخدمين في المنطقة الاقتصادية الأوروبية (EEA) وعدد محدود من البلدان الأخرى، فإننا نقوم بتقييم الخيارات قبل تقديم هذا المستوى من تخصيص Copilot لهؤلاء المستخدمين”. “بعض الميزات لن تكون متاحة في المنطقة الاقتصادية الأوروبية حتى تاريخ لاحق.”