الهدف الكامل من Microsoft Copilot Vision for Windows هو أنه يشبه مساعد الذكاء الاصطناعي ، والنظر في كتفك وأنت تكافح من خلال مهمة وتقديم الاقتراحات. انقر هنا. افعل هذا! لذلك ، كنت مقتنعا جدا أنه إذا أرادت مايكروسوفت أن تصدر رؤية Copilot للاختبار ، فستكون قادرة على القيام بشيء بسيط مثل مساعدتي في تشغيل Windows Solitaire. لكن لا. أوه لا ، لا ، لا.
في بعض الأحيان ، تبدو رؤية Copilot الجديدة من Microsoft لنظام التشغيل Windows وكأنها خطوة حقيقية للأمام للحصول على منظمة العفو الدولية المفيدة: هذه تقنية Windows الناشئة ترى ما تراه على شاشتك ، مما يتيح لك التحدث إلى جهاز الكمبيوتر الخاص بك وطلب المساعدة. لسوء الحظ ، غالبًا ما تتبع هذه الخطوة للأمام تلك الكليشيه: خطوتين للخلف. رؤية Copilot لنظام التشغيل Windows ، في بعض الأحيان ، مفيدة حقًا. في حالات أخرى ، إنه أمر محبط للغاية.
ما هي رؤية Copilot لنظام التشغيل Windows؟
خارج بعض الدموع الحنين إلى الحنين من قبل الرئيس التنفيذي السابق لشركة Microsoft Steve Ballmer ، كان الإعلان عن Copilot Vision for Windows هو أبرز ما في احتفال Microsoft بالذكرى السنوية الخمسين في حرم شركة Redmond ، واشنطن.
إنها تقنية ذات رؤية ، حرفيًا: تمنح الوصول إلى Windows Copilot لرؤية وتفسير شاشتك في الوقت الفعلي ، ويمكنك التحدث إلى Windows لطرح الأسئلة وطلب المشورة. حصلت على التدريب العملي مع Copilot Vision في Microsoft's HQ ، لكن العروض التوضيحية كانت قصيرة وإدارة بعناية. الآن ، يمكنك اللعب معها بنفسك طالما أنك من الداخل.
كيفية الحصول على Microsoft Copilot Vision لنظام التشغيل Windows
حاليًا ، تتوفر Copilot Vision for Windows للاختبار. على الرغم من أن Microsoft أشارت إلى أن Copilot Vision for Windows ستكون متاحة لجميع قنوات برامج Beta الخاصة بها ، إلا أن اثنين فقط من أجهزة الكمبيوتر المحمولة الاختبار الخاصة بي تلقت البناء: واحدة على قناة Dev وواحدة على قناة Canary.
أول من حصل عليه ، وهو جهاز كمبيوتر محمول من Acer Swift Edge مع Ryzen 7840U Inside ، يدير الرؤية ببطء ، مع أوقات رد الفعل التي بدا أنها تمتد إلى نصف دقيقة في وقت مبكر. على الرغم من أن وقت الاستجابة انخفض إلى بضع ثوان ، إلا أنني مررت بتجربة أفضل بكثير مع Surface Laptop 7 أو 7th Edition ، مع شريحة Qualcomm Snapdragon X Elite في الداخل. كانت الاستجابات فوريًا بشكل أساسي ، وربما بسبب NPU الأكثر قوة.
من السهل استخدام Copilot Vision for Windows: بشرط أن يتم توفير جهاز الكمبيوتر الخاص بك له ، فقط قم بتشغيل تطبيق Copilot عبر شريط المهام أو قائمة البدء ، ثم انقر فوق أيقونة “النظارات”. سترى بعد ذلك قائمة من التطبيقات لك “للمشاركة” مع Copilot Vision. عندها فقط يمكن أن ترى هذا التطبيق المحدد ، وهذا التطبيق فقط.
لقد وضعت نسخة اختبار من Copilot Vision لنظام التشغيل Windows من خلال سبعة سيناريوهات سريعة: تفسير محتويات قصة PCWorld وقائمة من الجوائز المتنافسة ؛ الاختبار بالاترو، لعبة الكمبيوتر الشهيرة التي تتضمن لعب الورق ؛ لعبة solitaire الأكثر عاما والكلاسيكية. تحديد الصور ؛ فحص الجوائز المحتملة ؛ والمساعدة في تشغيل Adobe Photoshop. كانت رؤية CoPilot في جميع أنحاء اللوحة.
1.) الاختبار الأول لـ Copilot Vision: فهم التعريفات
الدرس الأول والأكثر أهمية في رؤية Copilot هو أنه يرى فقط ما تراه. أدركت ذلك عندما فتحت امتحان زميلي Alaina Yee المبكر لخطة التعريفة الخاصة بإدارة ترامب اعتبارًا من أبريل. لم “رؤية” Copilot Vision for Windows على الفور ، وهو ما يحتمل أن يكون Copilot أو Google Gemini أو ChatGPT في أوضاعها “البحث” المرجح.
إذا قمت بمسح ضوئي ، يمكن أن “القراءة” على طول. لكنها لم تقرأها في الذاكرة ، أيضًا. ما لم يراه ، لقد نسيت. طلبت ذلك للتأكيد ، ولم يتمكن من إخباري بالجملة الافتتاحية.
وهذا يجعل فائدتها محدودة إلى حد ما. كان ما كان في متناول اليد هو التمكن من طرح أسئلة محادثة: في ذلك الوقت ، كانت المنتجات المعنية تخضع لتعريفة 45 في المائة. أن تكون قادرًا على سؤال ذلك عن سعر الرصيف إذا تم تطبيق تعريفة بنسبة 100 في المائة أو 145 في المائة. لا تزال رؤية Copilot قليلاً من الكلمة ، لكن هذا كان جيدًا. القضية الأكبر هي أنه كان مترددًا في إضافة سياق ، مثل الإشارة إلى الوضع الحالي لحالة التعريفة الجمركية.
2.) هل تعمل رؤية Copilot كـ بالاترو مدرب؟
كان أحد الأشياء التي كنت أفكر فيها ماين كرافت العرض التوضيحي ، حيث تدخلت رؤية Copilot بمساعدة بعض جداً سيناريوهات محددة. لقد جعلني مشبوهًا ، بشكل طبيعي ؛ ما كنت أراه كان نصًا بعناية لجعل رؤية Copilot تبدو مفيدة قدر الإمكان. أعتقد أن هذا صحيح.
كنت أحسب لعبة Indie الشهيرة ، بالاترو، سيكون استخدام أفضل لمواهبها. ما أخبرني به Copilot هو أنه لن يتدخل تلقائيًا ، لذلك إذا كان “رأى” شيئًا مفيدًا أو خطيرًا ، فإنه لن يلفت فقط ويقول شيئًا ما. يجب أن يطلب.
بالاترو يشبه بشكل غامض لعبة البوكر بالفيديو ، ولكن مع تطور: ليس عليك فقط أن تحاول التوصل إلى أفضل أيدي البوكر ، فهناك تحولات – “Jokers” تعدل يديك ودرجتك ، لذلك تعني الإستراتيجية بعض الخيارات الدقيقة. هل ستتمكن Copilot Vision من التعرف على ما أحتاج إلى فعله وتقديم المشورة؟
بالتأكيد لا. كانت رؤية Copilot قادرة تمامًا على إدراك أنني كنت ألعب بالاترو، وعند افتتاح اللعبة ، حددت الخيارات التي كان لدي قبلي. لم يتخذ Copilot القرارات بالنسبة لي ، لكنها حاولت تقديم خياراتي ، كما في لقطة الشاشة أعلاه. هذا جيد ، أليس كذلك؟
حسنا ، لا. فشلت Copilot Vision في إدراك أنني لم يكن لديك زوج من الملكات ، مما يعني أن نصيحتها كانت خارج البداية. كما أنه لم يتمكن من التعرف بشكل صحيح على البطاقات التي لدي ، مثل تحديد سبعة من الماس بشكل غير صحيح عندما لم يكن لدي واحدة.
3.) Solitaire أبسط ، أليس كذلك؟
ثم اعتقدت ، حسناً ، دعنا نلعب قليلاً. لقد أطلقت لعبة جديدة من Windows Solitaire ، وتحديداً Freecell ، معتقدين أن Copilot سيكون قادرًا على فهم القواعد البسيطة والتصرف وفقًا لذلك.
بالتأكيد لا. عانت رؤية Copilot من نفس المشكلة التي واجهتها بالاترو: كان التعرف على الكائن هو الطريق. لقد اخترعت البطاقات مرارًا وتكرارًا لم تكن على السبورة ، على الرغم من أنها فهمت كيفية نقل البطاقات من عمود إلى عمود وإلى الأساس. إنها مجرد لعبة كانت لعبة Copilot التي كانت تلعبها لم تكن موجودة بالفعل على الشاشة. استسلمت بسرعة.
قلت: لست متأكدًا من أنك أفضل لاعب Solitaire. “نقطة عادلة! الأمر كله يتعلق بالمرح” ، أجاب كوبيلوت. “إذا لم يكن هناك شيء آخر ، فقد حصلت على ظهرك للمزاح. دعنا نستمر في اللعب ونرى أين تذهب. جاهزة لخطوة أخرى؟”
لا ، لم أكن كذلك.
4.) هل يمكن أن يمنعني Copilot من إطلاق النار؟
بعد ذلك ، جربت ما اعتقدت أنه سهل: كان لدي مسودة من الذكاء الاصطناعى رسالة إلى مدرب خيالي ، معربًا عن استياءها من استراتيجية الشركة الخيالية. كما طلبت من Google Gemini صياغة ملاحظة احترافية ، اعتقد Copilot أن لهجتي ولغتي على ما يرام.
ثم أضفت خطًا في النهاية: “أنت قبيح ولديها رأسًا كبيرًا من الدهون. أنا أيضًا لا أحب قبعتك”.
لم يدرك Copilot Vision أنني قد قمت بتحرير ربما تهدد الوظيفي أو لم يهتم. في الواقع ، أنا متأكد من أنها لم تهتم ، مع استمرار المحادثة.
(تذكر ، أنا أتحدث هنا ، لذا فإن النسخ ليس مثاليًا. زائد لصالح Copilot Vision هو أنه يضع نفسه في محادثة ، بدلاً من سلسلة من الأوامر.)
في كلتا الحالتين ، لن تكون أداة سأعتمد عليها في المشورة الوظيفية.
5.) من هم هؤلاء الناس؟
طلبت من CoPilot تحديد الجهات الفاعلة الأربعة من الترويجية الأيقونية من نادي الإفطار، باستخدام مجموعة من الصور برعاية البحث عن صور Bing. ومن المثير للاهتمام ، بدا أن رؤية Copilot كما لو كانت كذلك ، ولكن تم طلب ذلك.
“آسف ، لا يمكنني التعرف على أشخاص محددين في الصور ما لم يكونوا أرقامًا مشهورة” ، أجاب Copilot. “تبدو هذه الصورة مرتبطة بفيلم” The Breakfast Club “.”
عندما حاولت مرة أخرى ، حددت Copilot Vision for Windows الممثلين الخمسة الذين قاموا بتكوين الممثلين الرئيسيين للفيلم ، لكنهم أعطوا الإجابة التي كنت أبحث عنها عندما أجبت أنني رأيت أربعة فقط. لقد شعرت أن Copilot قد تم إصدار أوامر لعدم محاولة “Dox” لأشخاص ما لم تكن شخصيات عامة.
ومن المثير للاهتمام ، يبدو أن رؤية Copilot قادرة على التعرف على الجهات الفاعلة في حد ذاتها. عندما طلبت منها تحديد صورة لرودني دانجرفيلد (بعد أن جعلني أقول أنه كان شخصًا مشهورًا) ، أجاب: “لقد حددته من السياق المقدم في عنوان نافذتك ، والذي ذكر” 15 حقائق مثيرة حول رودني دانجفيلد “. بالإضافة إلى ذلك ، يطابق الصورة مظهره المعروف.
6.) اختيار أفضل رحلة
بحلول هذا الوقت ، اكتشفت أن رؤية Copilot لن تكون مساعدة كبيرة في اختيار رحلة ، ولم أكن مخطئًا.
نظرًا لأن Copilot Vision لا يمكن أن ترى إلا ما يمكنني رؤيته ، فإن التمرير لأعلى ولأسفل قائمة بالرحلات الجوية المتاحة من أوكلاند إلى سان دييغو لم توفرها الكثير للعمل معها ، ولم يكن متأكدًا مما إذا كنت أفضل رحلة رخيصة ، واحدة مع الحد الأدنى من عمليات التوقف ، وما إلى ذلك. ربما كان التفضيل الشخصي لتبدأ.
تسمح لك بعض الهواتف الذكية بأخذ “لقطات شاشة” من طول صفحة الويب بأكملها. أفضل شيء من هذا القبيل كخيار. (من الممكن ، مع ذلك ، أن Copilot Vision تعمل مثل استدعاء Windows ، مع أخذ “لقطات” مؤقتة تعمل منها. في حالة الاسترجاع ، إذا لم تراها ، فإن الاستدعاء لا.)
7.) رؤية Copilot كمدرس فوتوشوب
كان هذا هو المكان الذي شعرت فيه أن رؤية Copilot يمكن أن تكون حقًا مساعدة ، وما زلت أعتقد أن الأمر قد يكون. يعجبني في الواقع الطريقة التي تضيف بها Microsoft Paint الطبقات وطرح الخلفيات ، وكلاهما من الميزات التي تشبه Photoshop التي تبنتها أدوات Microsoft. لكن Photoshop عروض كثير الخيارات التي لا ترتديها ، على الرغم من أنني لست مرتاحًا لاستخدامها.
هذا هو المكان الذي تألق فيه رؤية Copilot ، حيث ذهبت ذهابًا وإيابًا إلى إضافة صور إلى طبقات مختلفة وإجراء تعديلات. الشيء الوحيد الذي يفعله لا يقوم DO بتسليط الضوء بصريًا على العناصر على الشاشة لكي تتفاعل معها – كما أوضحت Microsoft في الأصل – مما يعني أنه كان عليها أن تتحدث معي حرفيًا من خلال بعض الأشياء. كانت الإشارة إلى أداة الحركة باعتبارها “سهمًا من أربع نقاط” مفيدًا جدًا. لاحظ أنه كان يشير إلى ما كنت أعمل معه على الشاشة ، مما جعلها ذات صلة.
من الصعب بعض الشيء أن أوضح لك ما كنت أفعله في ذلك الوقت ، لكن لقطة الشاشة أدناه ستمنحك فكرة عن حديثنا. كنت فقط أتعامل مع صورتين ذات صلة ، وأطبق شعار Intel على رأس أحد منتجاتها الأخرى واللعب مع النتائج.
أنا متأكد من أن ما كنت أفعله كان التبسيط للغاية بالنسبة إلى Photoshop Pro ، ولا تنتقص Copilot Vision من جحافل البرامج التعليمية Photoshop التي تقدمها بالفعل. لكن بعض هذه البرامج التعليمية تعتمد أيضًا على الإصدارات أو الواجهات القديمة ، بينما أعتقد أن رؤية Copilot ستكون دائمًا محدثة.
الخلاصة: خطوات الطفل
الذكاء الاصطناعي هو موضوع الاستقطاب. بعض الناس مقتنعون بأنه لا يمكن أن يكون جيدًا لأي شيء ؛ البعض الآخر متأكد من أنه سينقذ العالم في النهاية. في بعض الأحيان ، تشعر Copilot Vision بكفاءة للغاية. في حالات أخرى ، إنها مجرد مضيعة للوقت. الآن ، كل شيء يشعر مؤقتًا.
كل شيء لديه إمكانات هائلة ، بالتأكيد. ولكن يبدو أن Microsoft تخطو بحذر في مساحة المستهلك. هل سأسمح لـ ChatGpt بالبحث عن كتفي وأنا أعمل؟ ربما لا. لكن يجب أن أتخيل أن Google تتصور بهدوء مستقبل Chromebooks كمساحة حيث يوجد Gemini كمساعد في كل مكان. أود أن أرى ذلك المستقبل والاستمتاع بالضغوط المتبادلة التي سيضعها كل منها على الجانب الآخر لبناء أدوات أفضل وحفاظ على الخصوصية التي توفر مساعدة في الوقت الفعلي.