شئنا أم لا ، أصبحت نماذج اللغة الكبيرة مضمنة بسرعة في حياتنا. وبسبب احتياجاتهم المكثفة للطاقة والمياه ، قد تسبب لنا أيضًا أن نتحمل بشكل أسرع في الفوضى المناخية. بعض LLMS ، على الرغم من ذلك ، قد تصدر تلوثًا أكثر دقة من الكوكب أكثر من غيرها ، حسبما وجدت دراسة جديدة.
تولد الاستعلامات التي تم إجراؤها لبعض النماذج ما يصل إلى 50 مرة من انبعاثات الكربون أكثر من غيرها ، وفقًا لدراسة جديدة نشرت في الحدود في التواصل. لسوء الحظ ، وربما لا يثير الدهشة ، تميل النماذج الأكثر دقة إلى الحصول على أكبر تكاليف الطاقة.
من الصعب تقدير مدى سوء LLMs للبيئة ، ولكن بعض الدراسات اقترحت أن تدريب ChatGPT استخدم ما يصل إلى 30 مرة من الطاقة من استخدامات الأمريكية المتوسطة في السنة. ما لم يكن معروفًا هو ما إذا كانت بعض النماذج لديها تكاليف طاقة أكثر انحدارًا من أقرانها أثناء الإجابة على الأسئلة.
قام باحثون من جامعة Hochschule München للعلوم التطبيقية في ألمانيا بتقييم 14 LLMs تتراوح من 7 إلى 72 مليار معلمة-الرافعات والاتصالات التي تحمل فهم النموذج وتوليد اللغات-على 1000 سؤال مؤيدي حول مختلف الموضوعات.
LLMS تحويل كل كلمة أو أجزاء من الكلمات في موجه إلى سلسلة من الأرقام تسمى رمز الرمز المميز. تقوم بعض LLMS ، وخاصة LLMS ، أيضًا بإدخال “الرموز المميزة للتفكير” الخاصة في تسلسل الإدخال للسماح بحساب داخلي إضافي وتفكير قبل إنشاء الإخراج. يستخدم هذا التحويل والحسابات اللاحقة التي تقوم بها LLM على الرموز الطاقة وتؤدي إلى CO2.
قارن العلماء عدد الرموز الناتجة عن كل من النماذج التي اختبرها. ووجدت الدراسة أن نماذج التفكير ، في المتوسط ، قد أنشأت 543.5 رموز تفكير لكل سؤال ، في حين أن النماذج الموجزة تتطلب 37.7 رمزًا لكل سؤال. في عالم ChatGPT ، على سبيل المثال ، يعد GPT-3.5 نموذجًا موجزًا ، في حين أن GPT-4O هو نموذج التفكير.
ووجد المؤلفون أن عملية التفكير هذه تؤدي إلى زيادة احتياجات الطاقة. وقال مؤلف الدراسة في بيان “التأثير البيئي للاستجواب LLMs المدربة من خلال نهجها المنطقي”. “لقد وجدنا أن النماذج التي تدعم المنطق تنتج ما يصل إلى 50 مرة من انبعاثات ثاني أكسيد الكربون أكثر من نماذج الاستجابة الموجزة.”
ووجدت الدراسة أن النماذج أكثر دقة ، وكلما زادت انبعاثات الكربون التي أنتجتها. وصلت طراز التفكير Cogito ، الذي يحتوي على 70 مليار معلمة ، إلى ما يصل إلى 84.9 ٪ – لكنه أنتج أيضًا بثلاث مرات أكثر من انبعاثات ثاني أكسيد الكربون أكثر من النماذج المماثلة التي تولد إجابات أكثر وفرة.
وقال دوونر: “في الوقت الحالي ، نرى مقايضة واضحة للاستدامة المتأصلة في تقنيات LLM”. “لم تحقق أي من النماذج التي أبقت الانبعاثات أقل من 500 جرام من مكافئ ثاني أكسيد الكربون دقة أعلى من 80 ٪ على الإجابة على 1000 سؤال بشكل صحيح.” مكافئ ثاني أكسيد الكربون هو الوحدة المستخدمة لقياس التأثير المناخي لمختلف غازات الدفيئة.
كان هناك عامل آخر موضوع. أدت الأسئلة التي تتطلب التفكير التفصيلي أو المعقد ، على سبيل المثال الجبر أو الفلسفة المجردة ، إلى انبعاثات أعلى بست مرات من الموضوعات الأكثر وضوحا ، وفقا للدراسة.
هناك بعض التحذيرات. تعتمد الانبعاثات بشدة على كيفية تنظيم شبكات الطاقة المحلية والنماذج التي تدرسها ، لذلك من غير الواضح مدى تعميم هذه النتائج. ومع ذلك ، قال مؤلفو الدراسة إنهم يأملون في أن يشجع العمل الناس على أن يكونوا “انتقائيين ومدربين” بشأن استخدام LLM.
وقال دوونر في بيان “يمكن للمستخدمين تقليل الانبعاثات بشكل كبير عن طريق دفع الذكاء الاصطناعي إلى إنشاء إجابات موجزة أو الحد من استخدام نماذج ذات سعة عالية للمهام التي تتطلب هذه القوة حقًا”.