كتب – رامز يوسف:
في دراسة جديدة نُشرت في قاعدة بيانات arXiv preprint، وجد العلماء في معهد ماساتشوستس للتكنولوجيا وهارفارد وكورنيل أن نماذج اللغة الكبيرة (LLMs)، مثل GPT-4 أو Claude 3 Opus من Anthropic، تفشل في إنتاج نماذج أساسية تمثل العالم الحقيقي بدقة.
عند تكليفها بتوفير اتجاهات القيادة خطوة بخطوة في مدينة نيويورك، على سبيل المثال، قدمتها نماذج اللغة الكبيرة بدقة تقترب من 100٪. لكن الخرائط الأساسية المستخدمة كانت مليئة بالشوارع والطرق غير الموجودة عندما استخرجها العلماء.
وجد الباحثون أنه عند إضافة تغييرات غير متوقعة إلى التوجيه (مثل الطرق الالتفافية والشوارع المغلقة)، انخفضت دقة الاتجاهات التي قدمتها نماذج اللغة الكبيرة. في بعض الحالات، أدى ذلك إلى فشل تام. وعلى هذا النحو، يثير هذا مخاوف من أن أنظمة الذكاء الاصطناعي المنتشرة في العالم الحقيقي، على سبيل المثال في سيارة بدون سائق، قد تتعطل عند تقديم بيئات أو مهام ديناميكية.
“الأمل الوحيد هو أنه نظرًا لأن طلاب الماجستير في القانون يمكنهم إنجاز كل هذه الأشياء المذهلة في اللغة، فربما يمكننا استخدام نفس هذه الأدوات في أجزاء أخرى من العلوم أيضًا. لكن السؤال حول ما إذا كان طلاب الماجستير في القانون يتعلمون نماذج عالمية متماسكة مهم للغاية إذا أردنا استخدام هذه التقنيات لإجراء اكتشافات جديدة”، يقول قال المؤلف الرئيسي آشيش رامباتشان، الأستاذ المساعد في الاقتصاد والمحقق الرئيسي في مختبر معهد ماساتشوستس للتكنولوجيا لأنظمة المعلومات واتخاذ القرار (LIDS)، في بيان.
نظرية نماذج العالم
جوهر الذكاء الاصطناعي التوليدي يعتمد على قدرة طلاب الماجستير في القانون على التعلم من كميات هائلة من البيانات والمعلمات بالتوازي. وللقيام بذلك، يعتمدون على نماذج المحولات، وهي المجموعة الأساسية من الشبكات العصبية التي تعالج البيانات وتمكن جانب التعلم الذاتي في برامج التعلم الذاتي. وتخلق هذه العملية ما يسمى “نموذج العالم” الذي يمكن لبرنامج التعلم الذاتي المدرب استخدامه لاستنتاج الإجابات وإنتاج مخرجات للاستعلامات والمهام.
وأحد الاستخدامات النظرية لنماذج العالم هو أخذ البيانات من رحلات سيارات الأجرة عبر المدينة لتوليد خريطة دون الحاجة إلى رسم كل طريق بعناية شديدة، كما هو مطلوب من أدوات الملاحة الحالية. ولكن إذا لم تكن هذه الخريطة دقيقة، فإن الانحرافات التي تُجرى على الطريق من شأنها أن تتسبب في ضعف أداء الملاحة القائمة على الذكاء الاصطناعي أو فشلها.
لتقييم دقة وتماسك محولات التعلم الآلي المحدودة عندما يتعلق الأمر بفهم قواعد وبيئات العالم الحقيقي، اختبرها الباحثون باستخدام فئة من المشكلات تسمى الأتمتة المحدودة الحتمية (DFAs). هذه هي المشكلات المتعلقة بتسلسل الحالات مثل قواعد اللعبة أو التقاطعات في طريق على الطريق إلى وجهة. في هذه الحالة، استخدم الباحثون الأتمتة المحدودة الحتمية.
لاختبار المحولات باستخدام الأتمتة المحدودة الحتمية، نظر الباحثون إلى مقياسين. كان المعيار الأول هو “تحديد التسلسل”، والذي يقيم ما إذا كان المحول LLM قد شكل نموذجًا عالميًا متماسكًا إذا رأى حالتين مختلفتين لنفس الشيء: لوحتان من لعبة Othello أو خريطة لمدينة بها طرق مغلقة وأخرى بدونها.
وكان المعيار الثاني هو “ضغط التسلسل” – وهو تسلسل (في هذه الحالة قائمة مرتبة من نقاط البيانات المستخدمة لتوليد المخرجات) والذي يجب أن يُظهر أن LLM مع نموذج عالمي متماسك يمكنه فهم أن حالتين متطابقتين (على سبيل المثال لوحتان من لعبة Othello متماثلتان تمامًا) لهما نفس تسلسل الخطوات الممكنة التي يجب اتباعها.
الاعتماد على LLMs محفوف بالمخاطر
واختبرت فئتان شائعتان من LLMs على هذه المقاييس. دُرب أحدهما على البيانات الناتجة عن تسلسلات منتجة عشوائيًا بينما دُرب الآخر على البيانات الناتجة عن اتباع العمليات الاستراتيجية.
وجد العلماء أن المحولات المدربة على بيانات عشوائية شكلت نموذجًا عالميًا أكثر دقة، وربما كان هذا بسبب رؤية LLM لمجموعة متنوعة أكبر من الخطوات الممكنة. وأوضح المؤلف الرئيسي كيون فافا، وهو باحث في جامعة هارفارد، في بيان: “في لعبة أوتيلو، إذا رأيت جهازي كمبيوتر عشوائيين يلعبان بدلاً من اللاعبين الأبطال، فمن الناحية النظرية سترى المجموعة الكاملة من التحركات المحتملة، حتى التحركات السيئة التي لن يقوم بها اللاعبون الأبطال”. ومن خلال رؤية المزيد من التحركات المحتملة، حتى لو كانت سيئة، كانت أجهزة الكمبيوتر المكتبية أكثر استعدادًا من الناحية النظرية للتكيف مع التغييرات العشوائية.
ومع ذلك، وعلى الرغم من توليد تحركات أوتيلو صالحة واتجاهات دقيقة، فإن محولًا واحدًا فقط أنتج نموذجًا عالميًا متماسكًا لأوتيلو، ولم ينتج أي نوع خريطة دقيقة لنيويورك. وعندما قدم الباحثون أشياء مثل الطرق الالتفافية، فشلت جميع نماذج الملاحة التي تستخدمها أجهزة الكمبيوتر المكتبية.
وأضاف فافا: “فوجئت بمدى سرعة تدهور الأداء بمجرد إضافة طريق التفافية. فإذا أغلقنا 1% فقط من الشوارع المحتملة، تنخفض الدقة على الفور من نحو 100% إلى 67% فقط”.
وقال الباحثون إن هذا يوضح أن هناك حاجة إلى طرق مختلفة لاستخدام أجهزة الكمبيوتر المكتبية لإنتاج نماذج عالمية دقيقة. إن ما قد تكون عليه هذه الأساليب ليس واضحاً، ولكنها تسلط الضوء على هشاشة نماذج المحولات عندما تواجه بيئات ديناميكية.
واختتم رامباتشان حديثه قائلاً: “في كثير من الأحيان، نرى هذه النماذج تقوم بأشياء مثيرة للإعجاب ونعتقد أنها لابد وأن تكون قد فهمت شيئاً ما عن العالم. وآمل أن نتمكن من إقناع الناس بأن هذا سؤال يجب التفكير فيه بعناية شديدة، ولا يتعين علينا الاعتماد على حدسنا للإجابة عليه”.
اقرأ أيضا
