طورت شركة OpenAI مساعدًا للذكاء الاصطناعي، أطلق عليه اسم CriticGPT، لمساعدة المدربين الذين يعتمدون على الجمهور في تحسين نموذج GPT-4 بشكل أكبر. يكتشف المساعد أخطاء الترميز الدقيقة التي قد يغفل عنها البشر.
بعد تدريب نموذج لغوي كبير مثل GPT-4 في البداية، يخضع بعد ذلك لعملية مستمرة من التحسين، والمعروفة باسم التعلم التعزيزي من ردود الفعل البشرية (RLHF). يتفاعل المدربون البشريون مع النظام ويعلقون على الاستجابات للأسئلة المختلفة، فضلاً عن تقييم الاستجابات المختلفة مقابل بعضها البعض، بحيث يتعلم النظام إرجاع الاستجابة المفضلة ويزيد من دقة استجابة النموذج.
المشكلة هي أنه مع تحسن أداء النظام، فإنه يمكن أن يفوق مستوى خبرة مدربه، وتصبح عملية تحديد الأخطاء والأخطاء صعبة على نحو متزايد.
إن مدربي الذكاء الاصطناعي ليسوا خبراء في هذا المجال دائمًا. ففي العام الماضي، تم القبض على شركة OpenAI وهي تستعين بمصادر خارجية لجهود عمال كينيين ــ وتدفع لهم أقل من دولارين في الساعة ــ لتحسين أداء نماذجها.
تكون هذه المشكلة صعبة بشكل خاص عند تحسين إمكانيات إنشاء التعليمات البرمجية للنظام، وهنا يأتي دور CriticGPT.
وأوضحت الشركة في تدوينة يوم الخميس: “لقد قمنا بتدريب نموذج يعتمد على GPT-4، يسمى CriticGPT، لاكتشاف الأخطاء في إخراج كود ChatGPT”. “لقد وجدنا أنه عندما يحصل الأشخاص على مساعدة من CriticGPT لمراجعة كود ChatGPT، فإنهم يتفوقون في الأداء على أولئك الذين لا يحصلون على مساعدة بنسبة 60 بالمائة من الوقت.”
علاوة على ذلك، أصدرت الشركة ورقة عمل حول هذا الموضوع، بعنوان “نقاد LLM يساعدون في اكتشاف أخطاء LLM”، والتي وجدت أن “LLM يلتقطون عددًا أكبر بكثير من الأخطاء المدرجة مقارنة بالأشخاص المؤهلين الذين يدفعون مقابل مراجعة التعليمات البرمجية، علاوة على ذلك، تُفضل انتقادات النماذج على الانتقادات البشرية”. أكثر من 80% من الحالات.”
ومن المثير للاهتمام، أن الدراسة وجدت أيضًا أنه عندما تعاون البشر مع CriticGPT، كان معدل استجابات الهلوسة لدى الذكاء الاصطناعي أقل مما كان عليه عندما قام CriticGPT بالعمل بمفرده، لكن معدل الهلوسة هذا كان لا يزال أعلى مما لو قام الإنسان بالعمل بنفسه.