في محاولة لفهم الفروق الدقيقة في أسلوب الكتابة بين البشر والنماذج اللغوية الكبيرة، التي تعتمد عليها تقنيات وأدوات الذكاء الاصطناعي التوليدي، أجرى فريق من الباحثين في جامعة كارنيجي ميلون دراسة حديثة لتقييم قدرة هذه النماذج على محاكاة أساليب الكتابة البشرية في سياقات مختلفة.
وقال أليكس راينهارت، المؤلف الرئيسي للدراسة والأستاذ المشارك في قسم الإحصاء وعلوم البيانات في جامعة كارنيجي ميلون: “نتمتع نحن البشر بقدرة فريدة على تكييف أسلوب كتابتنا وحديثنا وفقًا للسياقات المحيطة بنا والمواقف، إذ ننتقل بسلاسة بين الرسمية والبساطة، ونجيد استخدام أساليب متنوعة تتناسب مع كل موقف”.
لذلك كان السؤال الذي طرحه الباحثون، هو: هل تتمتع نماذج الذكاء الاصطناعي التوليدي التي نستخدمها حاليًا في العمل والحياة الشخصية بالقدرة نفسها على التكيف؟
أسلوب مميز وغير قابل للتكيف:
كشفت الدراسة أن النماذج اللغوية الكبيرة، مثل: ChatGPT، و Llama، تتبنى أسلوبًا كتابيًا ثابتًا ومميزًا، ولا يمكنها التكيف بنحو كامل مع السياقات المختلفة كما يفعل البشر. ويؤكد راينهارت أن هذه الدراسة هي الأولى من نوعها التي تمكنت من قياس هذا الاختلاف وتحديده كميًا، وهو إنجاز لم يتحقق من قبل.
منهجية الدراسة واكتشاف الفروقات:
في إطار الدراسة؛ استخدم الباحثون النماذج اللغوية الكبيرة لتوليد نصوص لأنواع مختلفة من الكتابة، مثل: نصوص البرامج التلفزيونية والمقالات الأكاديمية، وباستخدام أداة تحليلية طورها ديفيد ويست براون، الأستاذ المساعد في قسم اللغة الإنجليزية في جامعة كارنيجي ميلون والمؤلف المشارك للدراسة، تمكنوا من تحليل السمات النحوية والمعجمية والأسلوبية للنصوص المولدة، ومقارنتها بالنصوص التي كتبها البشر، وكشفت النتائج عن اختلافات كبيرة بين النصوص التي أنتجتها النماذج اللغوية وتلك التي كتبها البشر.
وقد كانت هذه الاختلافات أكثر وضوحًا في النماذج المعدلة لتتبع التعليمات – مثل ChatGPT – التي تخضع لتدريب إضافي للإجابة عن الأسئلة واتباع التعليمات، ويشير ذلك إلى أن عملية الضبط بالتعليمات قد تؤثر في قدرة النماذج على محاكاة الأسلوب البشري المتغير.
فقد تبين أن النماذج اللغوية الكبيرة تفرط في استخدام جمل الفعل المضارع، إذ تظهر هذه الجمل في نصوصها بمعدل يتراوح بين ضعفين إلى خمسة أضعاف مقارنة بما نجده في الكتابات البشرية.
بالإضافة إلى ذلك، كشفت الدراسة عن ميل ملحوظ لدى النماذج نحو استخدام (التصنيفات الاسمية) nominalizations – وهي عملية تحويل الأفعال أو الصفات أو غيرها من أجزاء الكلام إلى أسماء – إذ تظهر هذه الصيغ بمعدل يتراوح بين 1.5 إلى ضعفي المعدل الذي يستخدمه البشر، مما يؤثر في أسلوب كتابتها، إذ تساهم هذه التراكيب اللغوية في جعل النص أكثر كثافة بالمعلومات وأقل سلاسة.
كما أظهرت الدراسة وجود انخفاض ملحوظ في استخدام الصيغة المبنية للمجهول بدون فاعل في نموذج GPT-4o، إذ تبلغ نسبتها نصف ما هو معهود في الكتابة البشرية.
وتعكس هذه النتائج أن النماذج اللغوية الكبيرة قد صُممت ودُربت لتتبع أسلوب كتابة غني بالمعلومات ومكدس بالأسماء، مما يجعلها أقل مرونة في تقليد الأساليب الكتابية المتنوعة التي يبدعها البشر.
النماذج اللغوية الكبيرة تتميز ببصمة لغوية:
كشفت الدراسة أيضًا عن وجود بصمة لغوية مميزة لدى النماذج المعدلة لتتبع التعليمات، تتجلى في استخدام بعض الكلمات بتواتر ملحوظ مقارنة بالنصوص التي ينتجها البشر في السياق الأدبي نفسه، فعلى سبيل المثال، استخدمت إصدارات (ChatGPT) كلمتي (رفقة) camaraderie، و(نسيج) tapestry، بتكرار يصل إلى 150 ضعفًا مقارنة بالكتابة البشرية.
وبالمثل، أظهرت متغيرات نموذج (Llama) تفضيلًا ملحوظًا لكلمة (قلق) unease، إذ بلغ تكرارها ما بين 60 إلى 100 ضعف ما هو معهود في النصوص البشرية.
بالإضافة إلى ذلك، كشفت الدراسة عن وجود تفضيلات لغوية مشتركة بين النماذج اللغوية الكبيرة، إذ أظهرت كل من نماذج ChatGPT و Llama ميلًا قويًا لاستخدام كلمتي (ملموس) palpable، و(معقد) intricate.
ما الآثار المترتبة على التعليم والكتابة؟
أثارت نتائج هذه الدراسة قلقًا بين المعلمين، وقد أوضح ذلك براون، قائلًا: “كان هناك الكثير من القلق بين المعلمين، وفكرت كشخص يعمل في علوم البيانات داخل قسم اللغة الإنجليزية أن هذا ليس ما يفعله الكُتاب فعليًا، فالكتابة ليست مجرد إنتاج نص لمرة واحدة، بل هي عملية تكرارية تتضمن مراجعات وتنقيحات مستمرة”. وفي هذا السياق، طرح براون سؤالًا محوريًا: “هل يمكن لهذه النماذج أن تنتج نصًا لمرة واحدة يبدو مقنعًا؟
وأكد براون أن الهدف الأساسي من الدراسة هو توعية الجمهور بالظروف التي يمكن فيها استخدام نماذج اللغة الكبيرة بنحو مناسب. وأوضح أن الدقة هي الأهم في بعض الحالات، مثل: تدوين ملاحظات الطبيب، حيث لا يهم الأسلوب بقدر ما تهم صحة المعلومات.
وفي المقابل، أكد براون أهمية الأسلوب والتميز في كتابات أخرى، مثل: رسائل طلب الوظائف، وشدد على ضرورة أن يكون المعلمون والكتاب والمترجمون على دراية بخصائص النماذج اللغوية الكبيرة وعيوبها.
ومن جانبه، أعرب أليكس راينهارت، عن قلقه بشأن استخدام الطلاب للنماذج اللغوية الكبيرة في إكمال المهام الدراسية، ورفض تشبيه هذه النماذج بالآلات الحاسبة، مؤكدًا أنها لا تنتج النتائج نفسها التي ينتجها البشر، وأوضح أن الآلة الحاسبة تقوم بالعمليات الحسابية نفسها التي يقوم بها الإنسان، ولكنها لا تخطئ، أما هذه النماذج فهي تنتج نصوصًا مختلفة عن تلك التي يكتبها البشر.
آفاق مستقبلية:
أشار الباحثون إلى الحاجة الماسة إلى إجراء المزيد من الدراسات لفهم تأثير ضبط التعليمات على النماذج اللغوية الكبيرة. وفي هذا السياق، يقود طالب الدكتوراه بن ماركي مشروعًا بحثيًا يهدف إلى تقييم قدرة هذه النماذج على تقييم الكتابة البشرية، مثل مقالات الطلاب، وتحديد مدى اتساق تقييماتها.
الخلاصة:
تكشف هذه الدراسة عن قيود النماذج اللغوية الكبيرة في محاكاة الكتابة البشرية، وتثير تساؤلات حول استخدامها في مختلف المجالات. وبينما يمكن أن تكون هذه النماذج أدوات مفيدة، يجب أن نكون على دراية بخصائصها وقيودها، وأن نستخدمها بحذر ووعي خاصة في السياقات التي تتطلب الإبداع والمرونة في الأسلوب التي يتميز بها البشر.