تدقيق معيار LLM متعدد اللغات: تحقق من الحقائق

حالة التحقق: ادعاء تدقيق Microsoft غير مدعوم

تنسب المسودة الأصلية تدقيقاً تفصيلياً لتقييم نماذج اللغة الكبيرة متعددة اللغات إلى Microsoft Research India. وتذكر مسحاً قيد المراجعة، وتحدد تاريخاً للوثيقة، وتورد أعداداً ونسباً مئوية دقيقة. ولا يدعم أي من هذه الادعاءات السياق المتحقق منه المقدم لهذه المراجعة.

وعلى وجه التحديد، لا تتضمن مجموعة المصادر ورقة من Microsoft Research India بعنوان حالة ومصير التقييم متعدد اللغات والقائم على السياق في عالم NLP. كما لا تثبت أن Microsoft Research راجعت ٥١ معياراً متعدد اللغات، أو ٢٤٢ مجموعة بيانات، أو ٢١٩ لغة. ولا تدعم الادعاءات القائلة إن ٣٦٪ من اللغات ظهرت في معيار واحد، أو أن اللغات محدودة الموارد تلقت من ١ إلى ٣ فئات مهام بينما تلقت اللغات الأعلى موارد ١٤ فئة، أو أن ٥٦٪ من حالات مجموعة البيانات-اللغة تُرجمت من الإنجليزية.

كذلك لا يتحقق السياق المقدم من تصريحات المسودة بشأن تغطية معيارية تكاد تنعدم في أوقيانوسيا والأمريكيتين وآسيا الوسطى؛ أو تاريخ وثيقة من Microsoft في أبريل ٢٠٢٦؛ أو نتائج تلوث المعايير المنسوبة إلى المسح المزعوم؛ أو أي استنتاج بشأن حالة التقييم متعدد اللغات توصلت إليه Microsoft Research. هذه ادعاءات جوهرية وليست إضافات تحريرية، وتتطلب مصدراً أولياً قبل النشر.

لذلك، لا تكرر هذه المقالة النتائج الرقمية الواردة في المسودة بوصفها حقائق. قد يبدو الادعاء الرقمي موثوقاً لأنه محدد، لكن التحديد ليس تحققاً. وإلى أن تُقدَّم ورقة أصلية أو منشور رسمي من Microsoft Research ويجري فحصه، ينبغي للقراء التعامل مع التدقيق المقترح ومنهجيته وإحصاءاته واستنتاجاته باعتبارها غير متحققة.

ما الذي يتضمنه السجل المتحقق منه فعلياً؟

يدعم السجل المتحقق منه ثلاث نقاط أكثر محدودية. أولاً، نشرت Google DeepMind مراجعة استرجاعية بعنوان ٢٠٢٣: عام من الإنجازات الرائدة في الذكاء الاصطناعي والحوسبة في ٢٢ ديسمبر ٢٠٢٣. يصف المنشور التقدم في أبحاث الذكاء الاصطناعي والتطبيقات العملية، ويشير إلى منظور Google لتطوير تطبيقات مفيدة ونافعة مع تخفيف المخاطر. وهو ليس تدقيقاً لمعايير LLM متعددة اللغات، ولا ينبغي الاستشهاد به دليلاً على ذلك.

ثانياً، نشر المعهد الوطني للمعايير والتكنولوجيا التعلّم الآلي الخصومي: تصنيف ومصطلحات الهجمات وتدابير التخفيف، NIST AI ١٠٠-٢e٢٠٢٥، في مارس ٢٠٢٥. والوثيقة منشور موثوق حول الذكاء الاصطناعي المسؤول يتناول هجمات التعلّم الآلي الخصومية وتدابير التخفيف منها. ونطاقها المتحقق منه هو مصطلحات وتصنيف أمن الذكاء الاصطناعي؛ وهي لا تثبت أرقام أداء للنماذج متعددة اللغات ولا تتحقق من الادعاءات المرتبطة بـ Microsoft في المسودة.

ثالثاً، نشرت G٤٢ تقرير شفافية الذكاء الاصطناعي المسؤول في أكتوبر ٢٠٢٥. يوثق التقرير استراتيجية للذكاء الاصطناعي المسؤول ونهجاً للحوكمة يشمل السياسات والإرشادات، وسياسة للذكاء الاصطناعي التوليدي، وسياسة بيانات وإطار حوكمة للبيانات، وإطار سلامة للذكاء الاصطناعي المتقدم، وتقييم المخاطر والأثر، وتقييم مخاطر المشتريات، وفرق الاختبار الهجومي، ومستودعات التوثيق، وبطاقات النماذج. كما يذكر التقرير المواءمة مع استراتيجية الإمارات للذكاء الاصطناعي والإرشادات السياسية الإماراتية ذات الصلة.

هذه المصادر مفيدة لأنها توضح أن العمل في مجال الذكاء الاصطناعي المسؤول أوسع من درجة معيار واحدة. لكنها لا تستطيع سد فجوة الأدلة الخاصة بمسح Microsoft المزعوم. ينبغي استخدام المصدر لإثبات الادعاء الذي يدعمه فعلياً، لا لادعاء أكثر جاذبية أو اتساعاً يظهر بجواره في نقاش حول الذكاء الاصطناعي.

لماذا يهم الانضباط في الأدلة للذكاء الاصطناعي متعدد اللغات؟

يمكن لادعاءات الذكاء الاصطناعي متعدد اللغات أن تؤثر في المشتريات وتصميم المنتجات وتخطيط القطاع العام وقرارات المخاطر. وقد تكون العبارة القائلة إن نظاماً يدعم لغات عديدة ذات صلة، لكنها لا تصف بمفردها كيفية تقييم ذلك الدعم، أو ما إذا كان الاختبار ملائماً لمهمة مقترحة، أو القيود المطبقة في سياق نشر معين. لا يمكن الإجابة عن هذه الأسئلة بإضافة أرقام غير متحققة إلى مقالة.

بالنسبة إلى المؤسسات العاملة في دول مجلس التعاون الخليجي والشرق الأوسط الأوسع، فإن هذا التمييز عملي. فقد يُنظر في استخدام نموذج لتفاعلات العملاء أو الوصول إلى المعرفة الداخلية أو الوثائق أو سير عمل أعمال آخر ينطوي على لغات وسياقات محلية مختلفة. وفي كل حالة، يحتاج صانعو القرار إلى أدلة مرتبطة بالاستخدام المقصود، لا إلى تأكيد عام بأن النموذج متعدد اللغات. وينبغي طلب هذه الأدلة وتسجيلها ومراجعتها عبر عملية الحوكمة الخاصة بالمؤسسة.

يتصل تقرير G٤٢ المتحقق منه بهذا السياق لأنه يصف إطاراً مبنياً حول الحوكمة وتقييم المخاطر بدلاً من عنوان أداء واحد. ويحدد تقييم المخاطر قبل التطوير، وتقييم المخاطر قبل النشر، وقوائم تدقيق المشتريات وتقييم المخاطر، وفرق الاختبار الهجومي عملياً. كما يحدد توثيق المخاطر وتتبعها من خلال المستودعات وبطاقات النماذج. وتوفر هذه الممارسات الموثقة نقطة انطلاق قابلة للدفاع لطرح الأسئلة حول كيفية إنشاء الأدلة، والمخاطر التي جرى النظر فيها، وكيفية تسجيل القرارات.

لا يعني ذلك أن إطار الحوكمة يثبت أن نموذجاً معيناً يؤدي أداءً جيداً في كل لغة. لكنه يعني أن المؤسسة تستطيع جعل عملية تقييمها أكثر خضوعاً للمساءلة. ويتمثل التغيير المهم في الانتقال من قبول ادعاء على مستوى التسويق إلى المطالبة بأدلة قابلة للتتبع تناسب النظام والبيانات والمهمة وبيئة النشر.

قائمة تحقق عملية للأدلة المتعلقة بالادعاءات متعددة اللغات

عندما يقدم مورد أو ورقة بحثية أو فريق داخلي ادعاءً بقدرات متعددة اللغات، ينبغي أن يكون السؤال الأول بسيطاً: ما الدليل الأصلي؟ اطلب المنشور الأولي، والوثائق التقنية، ومواد التقييم، وبطاقة النموذج، ونطاق الادعاء. فالملخص الثانوي أو منشور على وسائل التواصل الاجتماعي أو إحصائية دقيقة غير موثقة ليس بديلاً كافياً.

بعد ذلك، حدّد حالة الاستخدام المقترحة. فمصطلح «متعدد اللغات» واسع جداً بحيث لا يصلح بمفرده كمتطلب للنشر. وينبغي للمؤسسة تحديد اللغات ذات الصلة بالخدمة، والمستخدمين المتأثرين، والمدخلات التي سيتلقاها النظام، والمخرجات المتوقعة منه. كما ينبغي أن توضح ما النتيجة التي ستُعد مقبولة لهذا الاستخدام المحدد. هذا تمرين لتحديد النطاق، وليس ادعاءً بشأن أداء أي نموذج.

ثم اطلب وصفاً واضحاً للتقييم. ومن الأسئلة المفيدة:

• ما اللغات التي شملها التقييم المُبلغ عنه؟
• ما المهام وحالات الاستخدام التي اختُبرت لكل لغة؟
• من أنشأ مواد التقييم، وما الوثائق المتاحة بشأنها؟
• هل طُوّرت المواد مباشرة للبيئة ذات الصلة، أم تُرجمت أو عُدّلت بطريقة أخرى؟
• ما القيود أو المخاطر أو الاستثناءات التي يحددها المزوّد؟
• ما العملية المستخدمة لتقييم المخاطر قبل النشر؟
• ما السجلات أو بطاقات النماذج أو الوثائق الأخرى التي يمكن تقديمها للمراجعة؟
• ما عملية الاختبار الهجومي أو الاختبار الآخر المستخدمة، حيثما ينطبق ذلك؟

لا تفترض هذه الأسئلة إجابة بعينها عمداً. فالمصادر المقدمة لا تثبت طريقة معيارية عالمية للتقييم متعدد اللغات، أو درجة مطلوبة، أو عدداً معيارياً للغات أو المهام. وتكمن قيمتها في منع المؤسسة من الخلط بين تأكيد إجمالي غير مدعوم وأدلة كافية لاتخاذ قرارها الخاص.

ينبغي أن يجتمعا الأمن والصرامة في المراجعة ذاتها

التقييم ليس مجرد مسألة ما إذا كانت المخرجات تبدو مفيدة. يؤطر NIST AI ١٠٠-٢e٢٠٢٥ التعلّم الآلي الخصومي عبر تصنيف ومصطلحات للهجمات وتدابير التخفيف. وهذه تذكرة مهمة بأن ضمان الذكاء الاصطناعي يشمل اعتبارات أمنية إلى جانب ادعاءات الأداء. ولا ينبغي لمراجعة نشر متعدد اللغات أن تعامل تغطية اللغات كخانة اختيار معزولة، فيما تترك اعتبارات الأمن وإساءة الاستخدام خارج العملية.

لا يوفر السياق المتحقق منه بروتوكول اختبار خصومي محدداً لـ LLM متعددة اللغات، ولا تخترع هذه المقالة بروتوكولاً. لكنه يدعم الاستنتاج الأكثر تحفظاً بأن على المؤسسات استخدام مصطلحات واضحة عند مناقشة مخاطر أمن الذكاء الاصطناعي وتدابير التخفيف، وأن تتجنب تقديم الادعاءات غير المتحققة بوصفها نتائج تقنية محسومة.

ويضع نهج G٤٢ الموثق أيضاً فرق الاختبار الهجومي وحوكمة البيانات وتقييمات المخاطر وتقييم المشتريات ضمن هيكل للذكاء الاصطناعي المسؤول. ومعاً، يدعم منشور NIST وتقرير G٤٢ توجهاً قائماً على الحوكمة: حدد الادعاء، وحدد المخاطر ذات الصلة، وافحص الوثائق المتاحة، وقيّم حالة الاستخدام قبل النشر، واحتفظ بسجلات عملية اتخاذ القرار.

ويكتسب هذا التوجه قيمة خاصة عندما تكون الأدلة الخارجية غير مكتملة. فغياب الأدلة ليس دليلاً على ضعف الأداء، لكنه ليس دليلاً على الملاءمة أيضاً. والاستجابة الصحيحة هي توضيح عدم اليقين بجلاء وإجراء تقييم مناسب لقرار النشر الفعلي.

سياق دول مجلس التعاون الخليجي: الحوكمة قبل التعميم

تقدم الإمارات مثالاً موثقاً ذا صلة بوجه خاص في تقرير شفافية الذكاء الاصطناعي المسؤول الصادر عن G٤٢. ويذكر التقرير أن ممارستها للذكاء الاصطناعي المسؤول تتوافق مع استراتيجية الإمارات للذكاء الاصطناعي والإرشادات السياسية الإماراتية. كما يصف هيئات الحوكمة وفريق وسفراء الذكاء الاصطناعي المسؤول والسياسات وتقييم المخاطر والخصوصية بحسب التصميم والتوثيق وبطاقات النماذج وفرق الاختبار الهجومي. وبالنسبة إلى المؤسسات الإقليمية، يعد هذا مثالاً ملموساً على نوع الهيكل المؤسسي الذي يمكن أن يحيط بتبني الذكاء الاصطناعي.

قد تكون التقنية متعددة اللغات ذات قيمة في بيئات دول مجلس التعاون الخليجي، لكن لا ينبغي الخلط بين القيمة والتعميم المتحقق منه تلقائياً. وينبغي لعملية مسؤولة للمشتريات أو النشر أن تثبت الأدلة المتاحة للاستخدام المقصود تحديداً، وحالات عدم اليقين المتبقية. كما ينبغي أن تشمل أصحاب المصلحة المعنيين في الجوانب التقنية والمخاطر والمشتريات وحوكمة البيانات والأعمال، وفقاً لسياسات المؤسسة الخاصة.

يمكن لمؤسسات دول مجلس التعاون الخليجي أيضاً جعل التوثيق متطلباً تعاقدياً وتشغيلياً. وتوضح إشارات تقرير G٤٢ إلى بطاقات النماذج والمستودعات وتتبع المخاطر وقوائم تدقيق المشتريات والتقييم قبل النشر أهمية السجلات. إذ يتيح التوثيق للفريق التمييز بين تأكيد المورد واستنتاج خضع للتقييم، وإعادة النظر في قرار سابق عند تغير حالة الاستخدام، وإبلاغ القيود المعروفة للأشخاص المسؤولين عن الخدمة.

ليست هذه حجة لرفض الذكاء الاصطناعي متعدد اللغات، بل حجة لتطبيق المعيار ذاته على كل ادعاء عالي الأثر: انشر الأدلة أو احصل عليها، واذكر نطاقها، وحدد الثغرات، واتخذ قرارات النشر التي تعكس ما هو معلوم بدلاً من الاكتفاء بما يُدّعى.

ما الذي يجب التحقق منه قبل نشر القصة الأصلية؟

ينبغي أن تبدأ أي مقالة مستقبلية عن تدقيق Microsoft Research المزعوم بالورقة الأولية أو صفحة رسمية من Microsoft Research. ويجب أن يثبت المصدر العنوان والمؤلفين وحالة النشر والتاريخ والمنهجية ومعايير اختيار المعيار وعدد مجموعات البيانات وعدد اللغات وكل نسبة مئوية مقتبسة في المقالة. كما ينبغي أن يدعم أي ادعاءات عن المناطق أو فئات المهام أو ممارسات الترجمة أو التلوث أو البيانات المتوازية أو الآثار المترتبة على تقييم النماذج.

ينبغي التحقق من أي مقارنة بمعيار آخر بشكل مستقل. أشارت المسودة الأصلية إلى معيار لقياس الحقائق من Google DeepMind مع تاريخ وغرض تفصيليين غير موجودين في السياق المتحقق منه المقدم. وقد أزيلت تلك المقارنة. فالمصدر المتاح من Google DeepMind هو منشور مراجعة سنوية من ديسمبر ٢٠٢٣، ولا يمكنه التحقق من اسم معيار منفصل أو تاريخه أو منهجيته أو نتائجه.

ينبغي على المحررين أيضاً إزالة الصفوف غير المدعومة مثل «الأثر المالي غير معلن» عندما لا يكون هناك إعلان متحقق منه لتقييمه. فالصمت في مسودة غير متحققة ليس دليلاً على أن الأثر المالي لم يُعلن. والدقة في الصياغة مهمة: قل إن مجموعة المصادر المقدمة لا تثبت حقيقة ما، بدلاً من تحويل غياب الأدلة إلى سمة واقعية لمنشور مفترض.