كان ChatGPT يمثل بالفعل تهديدًا لبحث Google، ولكن كان من المفترض أن يحقق ChatGPT Search انتصاره، إلى جانب كونه إجابة لـ Perplexity AI. ولكن وفقا لدراسة صدرت حديثا من قبل مركز Tow للصحافة الرقمية في كولومبيا، فإن موقع ChatGPT Search يكافح من أجل تقديم إجابات دقيقة لاستفسارات مستخدميه.
اختار الباحثون 20 منشورًا من كل فئة من الفئات الثلاث: أولئك الذين دخلوا في شراكة مع OpenAI لاستخدام المحتوى الخاص بهم في نتائج بحث ChatGPT، والمتورطين في دعاوى قضائية ضد OpenAI، والناشرين غير التابعين الذين سمحوا أو حظروا زاحف ChatGPT.
وكتب الباحثون: “من كل ناشر، اخترنا 10 مقالات واستخرجنا اقتباسات محددة”. “تم اختيار هذه الاقتباسات لأنه عند إدخالها في محركات البحث مثل Google أو Bing، فإنها تعرض بشكل موثوق المقالة المصدر بين النتائج الثلاثة الأولى. قمنا بعد ذلك بتقييم ما إذا كانت أداة البحث الجديدة في ChatGPT قد حددت بدقة المصدر الأصلي لكل اقتباس.
أربعون اقتباسًا مأخوذة من المنشورات التي تستخدم OpenAI حاليًا ولم تسمح باستخلاص محتواها. لكن هذا لم يمنع ChatGPT Search من الهلوسة بثقة للإجابة على أي حال.
وجدت الدراسة: “في المجمل، أعاد ChatGPT استجابات غير صحيحة جزئيًا أو كليًا في مائة وثلاث وخمسين مناسبة، على الرغم من أنه اعترف فقط بعدم القدرة على الرد بدقة على استعلام سبع مرات”. “فقط في هذه المخرجات السبعة، استخدم برنامج الدردشة كلمات وعبارات مؤهلة مثل “يبدو” أو “من الممكن” أو “ربما” أو عبارات مثل “لم أتمكن من تحديد موقع المقالة بالضبط”.
إن موقف ChatGPT Search المتعجرف تجاه قول الحقيقة يمكن أن يضر ليس فقط بسمعته ولكن أيضًا بسمعة الناشرين الذين يستشهد بهم. في أحد الاختبارات أثناء الدراسة، أخطأ الذكاء الاصطناعي في نسب قصة لمجلة تايم على أنها كتبها أورلاندو سينتينل. وفي حالة أخرى، لم يرتبط الذكاء الاصطناعي مباشرة بمقال نشرته صحيفة نيويورك تايمز، بل بموقع ويب تابع لجهة خارجية قام بنسخ المقال الإخباري بالجملة.
ومن غير المستغرب أن تجادل شركة OpenAI بأن نتائج الدراسة كانت بسبب قيام جامعة كولومبيا بإجراء الاختبارات بطريقة خاطئة.
قالت OpenAI لمجلة Columbia Journalism Review دفاعًا عن نفسها: “من الصعب معالجة الإسناد الخاطئ بدون البيانات والمنهجية التي حجبها مركز Tow، وتمثل الدراسة اختبارًا غير عادي لمنتجنا”.
تعد الشركة “بمواصلة تحسين نتائج البحث”.