FACTS Grounding: المعيار المرجعي للموثوقية الواقعية في نماذج LLM

ما الذي تم التحقق منه بشأن FACTS Grounding

تُعرّف المواد المتحقق منها FACTS Grounding بأنه «معيار مرجعي جديد لتقييم الموثوقية الواقعية لنماذج اللغة الكبيرة». وهذه هي الحقيقة المركزية المؤكدة؛ إذ تحدد موضوع التقييم: الموثوقية الواقعية في مخرجات نماذج LLM.

من المهم الدقة بشأن ما تثبته المصادر المقدمة وما لا تثبته. فهي لا توفر ورقة بحثية للمعيار، أو تقريراً تقنياً، أو صفحة توثيق، أو بطاقة مجموعة بيانات، أو لوحة ترتيب، أو أمثلة للمهام، أو إرشادات للتعليق التوضيحي، أو جدول نتائج خاصاً بـ FACTS Grounding. كما أنها لا تذكر عدد عناصر التقييم، أو النماذج المشاركة، أو مقياس احتساب الدرجات، أو ما إذا كان التحكيم آلياً أو بقيادة بشرية، أو ما إذا كان يمكن تنزيل أصول المعيار وإعادة تشغيلها بصورة مستقلة.

وبناءً على ذلك، لا ينبغي تقديم FACTS Grounding بوصفه دليلاً على أن نموذجاً بعينه حقق مستوى محدداً من الموثوقية الواقعية. كما لا يمكن للأدلة الحالية دعم ادعاءات بأنه يقيس جودة الاستشهادات، أو التأصيل عبر الاسترجاع، أو المعرفة الزمنية، أو إسناد المصادر، أو سلوك الامتناع عن الإجابة، أو التوليد طويل النص، أو الأداء متعدد اللغات، أو أي قدرة فردية أخرى. قد تكون هذه أسئلة ذات صلة بأي معيار للموثوقية الواقعية، لكنها ليست خصائص متحققاً منها لهذا المعيار ضمن المواد المتاحة لهذا التدقيق.

وهذا التمييز مهم لأن الإعلانات عن المعايير المرجعية غالباً ما تُختزل في ادعاءات واسعة حول الجدارة بالثقة. يدل اسم المعيار على اتجاه للتقييم، لكنه لا يشرح بمفرده تصميم الاختبار ولا يثبت جودة منتج ذكاء اصطناعي منشور. ينبغي للمشترين والباحثين والمنفذين الفصل بين الوجود المؤكد والغرض المعلن لـ FACTS Grounding، وبين التفاصيل المنهجية التي لم تُثبت في السياق المتحقق منه.

كيف يندرج ضمن سياق تقييمات Google DeepMind

توضح صفحة Evals لدى Google DeepMind أن المؤسسة تنشر تقييمات عبر قدرات الذكاء الاصطناعي المختلفة. وتتضمن الصفحة SimpleQA Verified، الموصوف بأنه معيار مرجعي يضم ١٬٠٠٠ مطالبة لتقييم نماذج اللغة الكبيرة بصورة موثوقة في الموثوقية الواقعية للإجابات القصيرة والمعرفة البارامترية. وتذكر أيضاً أن مؤلفيه من Google DeepMind وGoogle Research، وأن العمل يعالج قيود SimpleQA، وهو معيار صممه في الأصل باحثون من OpenAI عام ٢٠٢٤.

توفر هذه المعلومات المتحقق منها سياقاً مفيداً من دون جعل التقييمين قابلين للتبادل. فلدى SimpleQA Verified حجم معلن يبلغ ١٬٠٠٠ مطالبة وتركيز معلن على الموثوقية الواقعية للإجابات القصيرة والمعرفة البارامترية. ولا ينص السياق المقدم على أن FACTS Grounding يستخدم المطالبات ذاتها، أو المنهجية، أو المقيمين، أو المقاييس، أو النطاق نفسه. لذا ينبغي وصفه بأنه معيار مستقل للموثوقية الواقعية، لا بوصفه نسخة معاد تسميتها أو موسعة أو قابلة للمقارنة مباشرة مع SimpleQA Verified.

وتسرد صفحة التقييمات نفسها أيضاً ASIMOV-Agentic-v1، وهو معيار مرجعي لسلامة الروبوتات. ويختلف غرضه المعلن عن الموثوقية الواقعية؛ إذ يقيّم ما إذا كانت وكلاء الذكاء الاصطناعي قادرة على التحكم الآمن في الروبوتات عبر رفض المهام التي تنتهك القيود التشغيلية، وتفعيل التدخلات خلال الأحداث الحرجة، وحماية نموذج Vision-Language-Action من المهام غير القابلة للتنفيذ أو الخارجة عن نطاق التوزيع عندما تكون الثقة منخفضة، وطلب المساعدة البشرية لحل التعليمات الملتبسة أو عدم اليقين بشأن المشهد.

وهذه المقارنة مفيدة، إذ تُظهر أن تسميات التقييم يجب أن تُقرأ في ضوء هدفها المعلن صراحةً. فسلامة الروبوتات والموثوقية الواقعية لنماذج LLM مشكلتان مختلفتان في التقييم. ولا يمكن افتراض أن الأداء القوي في فئة ما يثبت الأداء في الفئة الأخرى. وبالمثل، لا ينبغي استخدام معيار للموثوقية الواقعية في نماذج LLM كدليل على التحكم الروبوتي أو الاستدلال العام أو البرمجة أو الرؤية أو أمن المنتجات، ما لم تُثبت المصادر ذات الصلة ذلك صراحةً.

الحقائق المتحقق منها

لماذا يستحق معيار للموثوقية الواقعية الاهتمام

الموثوقية الواقعية سؤال أضيق من مدى متعة استخدام النموذج أو قدرته على إنتاج نثر سلس. وفي أبسط صورها، تتعلق بما إذا كانت الادعاءات الواردة في الإجابة صحيحة. وفي عمليات النشر الفعلية، يصبح هذا السؤال أكثر تطلباً لأن الإجابة قد تتضمن عدة ادعاءات، بعضها قابل للتحقق وبعضها ليس كذلك؛ ولأن المعلومات قد تتغير؛ ولأن المصدر ذي الصلة قد يكون مجموعة وثائق خاضعة لسيطرة المؤسسة نفسها بدلاً من المعرفة العامة المتاحة.

يمكن لمعيار مخصص للموثوقية الواقعية أن يساعد في إظهار هذا التمييز. لكن فائدة أي نتيجة للموثوقية الواقعية تعتمد على بناء الاختبار. فاختبار الإجابة القصيرة ذي مفتاح الإجابة المستقر ليس مكافئاً لتقييم تقرير طويل. والاختبار الذي يستند إلى مجموعة وثائق مقدمة ليس مكافئاً لاختبار المعرفة الداخلية البارامترية للنموذج. كما أن تقييم الإجابات الصحيحة ليس تقييماً تلقائياً لكيفية تصرف النموذج حين تكون الأدلة المتاحة غير مكتملة.

ليست هذه انتقادات لـ FACTS Grounding، بل أسباب لعدم إسناد قدرات إليه لم تُوثق. وعندما تتوافر منهجية تقنية، ينبغي للقراء فحص ما يُعد ادعاءً واقعياً، وكيفية اختيار المعلومات المرجعية، وكيفية التعامل مع الإجابات الملتبسة، وما الذي يُقاس على مستوى الإجابة ومستوى الادعاء، وكيف يميز التقييم بين الإجابة الخاطئة والإجابة التي تشير على نحو مناسب إلى عدم اليقين.

بالنسبة إلى المؤسسات التي تتبنى الذكاء الاصطناعي التوليدي، فهذه مسألة مشتريات بقدر ما هي مسألة بحثية. وينبغي تقييم مساعد الذكاء الاصطناعي المستخدم لصياغة الملخصات الداخلية، أو الإجابة عن أسئلة العملاء، أو دعم الأبحاث، أو استرجاع معلومات السياسات، وفق الأدلة والصلاحيات المنطبقة على سير العمل المحدد. قد يكون المعيار العام مفيداً، لكنه لا يمكن أن يحل محل الاختبار على المحتوى المعتمد الخاص بالمؤسسة، واللغات المتوقعة، وطلبات المستخدمين، والقيود التشغيلية، ومتطلبات المراجعة.

الأسئلة التي لا تزال مفتوحة

يترك السياق المتحقق منه حالياً عدة أسئلة مهمة من دون إجابة. أولها النطاق: هل يقيّم FACTS Grounding الإجابات القصيرة، أو الإجابات متعددة الادعاءات، أو صيغة استجابة أخرى؟ والثاني هو الأدلة: هل تُختبر النماذج مقابل إجابات مرجعية ثابتة، أو مصادر مقدمة، أو أساس آخر للتحقق؟ والثالث هو احتساب الدرجات: هل تُقيَّم المخرجات بواسطة أشخاص، أو مطابقة حتمية، أو تقييم قائم على نموذج، أو مزيج من هذه الأساليب؟

وتتعلق أسئلة إضافية بقابلية إعادة الإنتاج. هل يستطيع الباحثون الخارجيون الوصول إلى عناصر التقييم؟ وهل تُحتفظ بالمواد المصدرية وتُؤرشف بإصدارات محددة؟ وهل تتوافر وثائق تصف كيفية إنشاء المطالبات ومراجعتها؟ وهل توجد إجراءات لمعالجة الحفظ أو تلوث المعيار؟ ومن دون إجابات، سيكون من الصعب تفسير أي درجة مُعلنة، إن نُشرت لاحقاً، خارج الظروف التي اختارها مؤلفوها.

التغطية مهمة بالقدر نفسه. فلا تذكر المصادر المتحقق منها ما إذا كان FACTS Grounding يشمل العربية أو الإنجليزية أو لغات أخرى. كما لا توضح ما إذا كان يتضمن معرفة خاصة بالمناطق، أو معلومات سريعة التغير، أو محتوى متخصصاً بحسب المجال، أو مهام مقيّدة بسياق ثقافي. وهذا ذو صلة خاصة بالفرق العاملة في المملكة العربية السعودية والإمارات العربية المتحدة وقطر والكويت والبحرين وعُمان، حيث قد تحتاج أنظمة الإنتاج إلى التعامل مع محتوى عربي وإنجليزي إلى جانب مصادر خاصة بالمؤسسة.

لا يقلل أي من هذه الأسئلة المفتوحة من قيمة تقييم الموثوقية الواقعية. بل إنها تحدد الأدلة التي ينبغي أن يتيحها معيار ناضج للقراء الذين يحتاجون إلى فهم ما تمثله الدرجة. وإلى أن تتوافر هذه الأدلة في مصدر متحقق منه، ينبغي للتغطية المسؤولة تجنب سد الفجوات بافتراضات حول البنية أو مجموعات البيانات أو أداء النماذج.

ما الذي يمكن لفرق الذكاء الاصطناعي في دول مجلس التعاون الخليجي فعله الآن

لا تحتاج الفرق في دول مجلس التعاون الخليجي إلى انتظار معيار عالمي لبناء برنامج تقييم منضبط. ونقطة البداية هي تحديد حدود المعرفة لكل تطبيق. أدرج الوثائق وقواعد البيانات أو المصادر العامة المعتمدة التي يجوز للنظام استخدامها؛ وحدد المعلومات التي لا يجب تقديمها بوصفها حديثة؛ ووثق أنواع الطلبات التي تتطلب مراجعة بشرية بدلاً من استجابة آلية.

بعد ذلك، اجمع مجموعة اختبار تمثيلية من مهام الأعمال الحقيقية. وبالنسبة إلى مساعد المعرفة الداخلي، يمكن أن تشمل الاختبارات أسئلة يمكن الإجابة عنها من المواد المعتمدة، وأسئلة لا يمكن الإجابة عنها من تلك المواد، وأسئلة ينبغي أن تمنع حقوق الوصول الرد عليها. وللاستخدام الموجّه للعملاء، أدرج طلبات تتضمن سياقاً مفقوداً، أو مقدمات غير مدعومة، أو صياغة ملتبسة. ولا تسجل فقط ما إذا كانت الإجابة النهائية مفيدة، بل أيضاً ما إذا كان يمكن تتبع كل ادعاء جوهري إلى دليل مسموح به حين يتطلب سير العمل ذلك.

ينبغي اختبار التغطية اللغوية مباشرة. ويجب تقييم النظام المخصص للمستخدمين الناطقين بالعربية باستخدام الصيغ العربية والمصطلحات وأنماط الوثائق المتوقعة فعلياً في النشر. وليس من السليم استنتاج الموثوقية الواقعية بالعربية من نتيجة مقتصرة على الإنجليزية. وينطبق المبدأ نفسه على الواجهات ثنائية اللغة، وسجلات المصادر المترجمة، والأسماء والتواريخ والمصطلحات الإدارية ذات الخصوصية المحلية.

وأخيراً، احتفظ بسجلات التقييم مع تطور المنتج. فتغيير النموذج، أو المطالبة، أو إعدادات الاسترجاع، أو مجموعة المصادر، أو منطق التحكم بالوصول، يمكن أن يغير سلوك النظام. وتتيح حالات الاختبار ذات الإصدارات المحددة وملاحظات المراجعة مقارنة الإصدارات بخط أساس معروف. وقد يصبح FACTS Grounding مرجعاً خارجياً مفيداً مع ظهور مزيد من التفاصيل، لكن الأدلة الداخلية تظل ضرورية لاتخاذ قرار يتعلق ببيئة الإنتاج.