لماذا تهم Qdrant والتضمينات في RAG؟

تمثل التضمينات المحتوى على هيئة متجهات رقمية كثيفة. ويقارن نظام الاسترجاع متجه السؤال بمتجهات المستندات أو المقاطع لتحديد المواد المرتبطة دلالياً. وتكمن قيمة ذلك في الحالات التي يعبّر فيها المستخدمون عن النية نفسها بصياغات مختلفة؛ فقد تستخدم مقالة في قاعدة المعرفة عبارة معينة، بينما يستخدم مهندس الدعم أو الموظف أو العميل عبارة أخرى.

Qdrant هي قاعدة بيانات متجهية تُستخدم في سير عمل الاسترجاع بالذكاء الاصطناعي. قيّمت دراسة بحثية حديثة حول قواعد البيانات المتجهية الموزعة Qdrant من حيث الإدراج وبناء الفهرس وزمن استجابة الاستعلامات على منصة حوسبة عالية الأداء، باستخدام ما يصل إلى ٣٢ عاملاً. والدرس التشغيلي المهم واضح: يجب تقييم بنية الاسترجاع التحتية تحت عبء العمل المتوقع. إذ يمكن لمجموعة بيانات تطوير صغيرة أن تخفي اختناقات الاستيعاب، وأعباء الفهرسة، وسلوك زمن استجابة الاستعلامات الذي يصبح مؤثراً عند التوسع.

ينبغي أيضاً التعامل مع البحث المتجهي بوصفه أسلوباً واحداً للاسترجاع، لا ضماناً للصحة. فالتطابق المتجهي القريب يعني أن النص مرتبط دلالياً وفقاً لنموذج التضمين، لكنه لا يثبت أن النص المسترجع يجيب عن السؤال، أو أنه حديث، أو أن المستخدم مخول بالوصول إليه، أو أنه يدعم كل معلومة في الإجابة المولدة. لذلك يحتاج سير عمل RAG المتين إلى حوكمة المصادر، وتقييم الاسترجاع، وحدود صريحة للإجابة.

البنية: افصل الاستيعاب عن الإجابة عن الأسئلة

يتضمن سير العمل القابل للصيانة مسارين منفصلين. يقرأ مسار الاستيعاب المواد المصدرية المعتمدة، ويجهزها للاسترجاع، وينشئ التضمينات، ويكتب السجلات في Qdrant. أما مسار الاستعلام فينشئ تضميناً لسؤال المستخدم، ويسترجع الأدلة المرشحة، ويطبق قواعد الوصول والصلة، ثم يزوّد النموذج اللغوي بالأدلة المختارة.

يوفر فصل هذين المسارين فوائد عملية. إذ يمكن تشغيل الاستيعاب وفق جدول زمني، أو بعد تغييرات موثقة معتمدة، أو كعملية تعبئة خلفية مضبوطة. بينما يبقى تقديم الاستعلامات مركزاً على زمن الاستجابة التفاعلي. كما يجعل الفصل التحقيق في الإخفاقات أسهل؛ فإذا تراجعت جودة البحث، يمكن للفرق تحديد ما إذا كانت المشكلة ناتجة عن تحليل المصدر، أو التقسيم إلى مقاطع، أو إنشاء التضمينات، أو الفهرسة، أو استرجاع الاستعلامات، أو توليد الإجابات.

بالنسبة إلى مؤسسات دول مجلس التعاون الخليجي، يكون هذا الفصل مفيداً بصورة خاصة عندما تتوزع المعرفة بين وثائق إنجليزية وعربية، وسياسات داخلية، وسجلات مشاريع، ومواد دعم العملاء. وينبغي تقييم سير العمل على الاستعلامات الثنائية اللغة أو متعددة اللغات الفعلية في المؤسسة، بدلاً من أسئلة قياس معيارية عامة. كما يجب حسم المتطلبات الإقليمية المتعلقة بمعالجة البيانات وعقود الموردين والوصول إلى السجلات الداخلية قبل إرسال المحتوى المصدري إلى مزود للتضمين أو التوليد.

الخطوة ١: تحديد حدود المعرفة

ابدأ بحصر المصادر المسموح للنظام باستيعابها. وقد تشمل الأمثلة وثائق المنتجات المعتمدة، والسياسات المنشورة، وأدلة التشغيل الهندسية، ومقالات الدعم المنسقة، أو المواد التقنية العامة. لا تبدأ بفهرسة كل مشاركة ملفات أو مساحة تعاون. فلا يمكن لنظام الاسترجاع أن يكون أكثر موثوقية من حدود محتواه.

لكل مصدر، سجّل معرفاً ثابتاً، وموقع المصدر، والمالك، وحالة النشر، واللغة، وتاريخ السريان عند الحاجة، وتصنيف الوصول. تصبح هذه الحقول ضرورية عند مراجعة مستند أو سحبه أو تقييد الوصول إليه. كما تتيح التقييم لاحقاً: إذ ينبغي للمقيّم أن يحدد ليس فقط ما إذا بدت الإجابة معقولة، بل أيضاً ما إذا كان النظام استرجع المصدر المعتمد والصحيح.

ضع قواعد الاستبعاد في الوقت نفسه. فلا ينبغي أن تدخل مسودات السياسات، والمستندات المنتهية، وسجلات الموظفين السرية، وبيانات الاعتماد، وعمليات التصدير غير المراجعة إلى مجموعة الاسترجاع لمجرد أن زاحفاً مؤتمتاً يستطيع الوصول إليها. أذونات الاستيعاب وأذونات الاستعلام سؤالان منفصلان. وقد يكون من الممكن فهرسة ملف لمجموعة داخلية محدودة، مع الحاجة إلى استبعاده من مساعد أوسع نطاقاً.

الخطوة ٢: توحيد المستندات وإنشاء المقاطع

يسترجع RAG عادةً مقاطع بدلاً من مستندات كاملة. ويُعد التقسيم ضرورياً لأن المصدر الكبير قد يحتوي موضوعات عدة غير مترابطة، بينما يمكن مطابقة فقرة مركزة بدقة أكبر مع السؤال. وتعتمد سياسة التقسيم المناسبة على مجموعة المحتوى. فلا ينبغي تلقائياً معالجة أدلة المنتجات والسياسات وتذاكر الدعم ومستودعات الكود والأوراق البحثية باستخدام الحدود نفسها.

وحّد المستندات قبل التقسيم. احتفظ بالعناوين عندما تضيف معنى، وأزل الوسوم التنسيقية البحتة، واحتفظ برابط قابل للتتبع إلى المصدر الأصلي. وبالنسبة إلى مجموعات المحتوى متعددة اللغات في دول مجلس التعاون الخليجي، احتفظ ببيانات اللغة الوصفية وتأكد من أن استخراج النص لا يفسد النص العربي من اليمين إلى اليسار، أو الجداول، أو التواريخ، أو علامات الترقيم. استخدم مستندات ممثلة لفحص النص المستخرج يدوياً قبل إنشاء أعداد كبيرة من التضمينات.

ينبغي أن يحمل كل مقطع سياقاً كافياً ليكون مفيداً عند استرجاعه منفرداً. وغالباً ما يكون عنوان القسم، وعنوان المستند، ومعرف المصدر، واللغة، وموضع المقطع داخل المستند أكثر قيمة من كتلة نصية كبيرة مجهولة الهوية. يمكن للتداخل بين المقاطع المتجاورة تقليل احتمال فصل معلومة حاسمة، لكن التداخل المفرط ينشئ أدلة شبه مكررة ويزيد حجم التضمينات. تعامل مع حجم المقطع والتداخل بوصفهما متغيرين للاختبار، لا إعدادات افتراضية دائمة.

احتفظ بالنص المصدري الأصلي خارج سير العمل المتجهي بوصفه نظام السجل المرجعي. ينبغي أن تدعم قاعدة البيانات المتجهية الاسترجاع، فيما يظل مستودع المصدر هو المرجع المعتمد للنشر والموافقة والاحتفاظ والتصحيح. وعندما تستشهد إجابة بمقطع، يجب أن يتمكن المستخدمون والمراجعون من الوصول إلى المستند الأصلي والتحقق من السياق المحيط به.

الخطوة ٣: جعل الاستيعاب قابلاً للتكرار

يجب أن يتحمل الاستيعاب المؤتمت عمليات التشغيل المتكررة. فقد يُصادف مصدر مرة أخرى لأن المجدول أعاد المحاولة، أو لأن مشغلاً بدأ عملية تعبئة خلفية، أو لأن مستودعاً مصدرياً أرسل حدثاً مكرراً. ومن دون تصميم قابل للتكرار، قد يخزن النظام أدلة مكررة ويجعل نتائج الاسترجاع أصعب في التفسير.

استخدم بصمة للمحتوى لكل إصدار مصدر معتمد. فعندما لا تتغير البصمة، يستطيع سير العمل تجاوز أعمال التضمين غير الضرورية. وعندما تتغير، استبدل السجلات المسترجعة المرتبطة بها أو أنشئ إصداراً جديداً منها بطريقة مضبوطة. وعند إزالة مصدر أو تغير حالة اعتماده، أزله من مجموعة الاسترجاع وفق عملية الاحتفاظ المعتمدة في المؤسسة.

ينبغي لمخزن الحالة تسجيل معرف المصدر، والبصمة الحالية، وحالة الاستيعاب، ووقت آخر تشغيل ناجح، وتفاصيل الخطأ. وقد يكون المخزن بسيطاً لعامل واحد، لكن الاستيعاب المتزامن يتطلب تنسيقاً. والقاعدة الأساسية هي أن يستخدم كل كاتب العملية المرجعية نفسها للإصدارات والحذف. فبصمات المحتوى وحدها لا تحل مشكلة عمليات الكتابة المكررة إذا لم يكن لدى العمال المستقلين حالة مشتركة أو سياسة قفل.

قبل تنفيذ هذا المنطق، تحقق من واجهات API الحالية لإدارة مجموعات Qdrant وعمليات upsert والتصفية والحذف في الوثائق الرسمية لمكتبة العميل المثبتة. وينطبق الأمر نفسه على تنسيقات طلبات التضمين الحالية في OpenAI. تتطور واجهات SDK، لذلك لا ينبغي لأي دليل أن يوحي بأن توقيع طريقة غير متحقق منه آمن للإنتاج.

الخطوة ٤: إنشاء التضمينات وتخزينها

أنشئ تضمينات للمقاطع المعتمدة باستخدام نموذج التضمين الذي اختارته مؤسستك. خزّن المتجه إلى جانب البيانات الوصفية اللازمة للاسترجاع والتصفية والاستشهاد. ويجب، كحد أدنى، الاحتفاظ بمعرف المصدر، واسم المصدر، ومعرف المقطع، وإصدار المستند أو بصمته، واللغة، ونص المقطع أو مرجع آمن يمكنه الوصول إليه.

تتطلب تغييرات النموذج تخطيطاً مدروساً للترحيل. فلا ينبغي خلط التضمينات المنشأة بإعداد نموذج معين بصورة عشوائية مع متجهات منشأة بإعداد آخر. خطط لمجموعة جديدة أو فهرس معزول مكافئ، وأعد معالجة مجموعة المحتوى المعتمدة، ونفذ التقييم، ثم انقل حركة الاستعلامات فقط بعد أن يحقق نظام الاسترجاع الجديد المعيار المطلوب.

سجّل نموذج التضمين وإعداده كبيانات وصفية للاستيعاب. يدعم ذلك التحقيق عند اختلاف النتائج بين الإصدارات، كما يمنع المشغل من افتراض تجانس الفهرس عندما لا يكون كذلك.

ينبغي تضمين ضوابط التكلفة في سير العمل. تجاوز المحتوى غير المتغير، ونفذ المعالجة على دفعات ضمن الحدود الموثقة لدى المزود فقط، وراقب الإخفاقات، وقِس حجم التضمينات. لا تستخدم حجم دفعة أو حد طلبات أو بُعد متجه عشوائياً من تدوينة قديمة. احصل على هذه القيم من الوثائق الرسمية الحالية للخدمة ومن الحدود المهيأة لحسابك.

الخطوة ٥: استرجاع الأدلة قبل توليد الإجابة

عند ورود السؤال، أنشئ تضميناً له باستخدام إعداد تضمين متوافق، واسترجع مجموعة محدودة من المقاطع المرشحة من Qdrant. طبّق عوامل التصفية المنظمة والإلزامية قبل أن يرى النموذج اللغوي المحتوى. وبحسب التطبيق، قد تفرض عوامل التصفية المؤسسة أو المشروع أو اللغة أو حالة المستند أو مجموعة الوصول أو تاريخ السريان أو نوع المستند.

استخدم سياسة حد أدنى للصلة، لكن عايرها باستخدام بيانات تقييم حقيقية. فلا تكون درجة التشابه الرقمية ذات معنى موحد عبر مجموعات المحتوى والنماذج وأنواع الاستعلامات. وبدلاً من اعتماد عتبة درجة من دليل، اجمع أمثلة على النتائج المقبولة وغير المقبولة، وافحص درجاتها، واختر سياسة امتناع تم التحقق من صحتها لبيئة النشر.

ينبغي أن ينص Prompt الخاص بتوليد الإجابة على أن النموذج يجب أن يجيب استناداً إلى الأدلة المقدمة، وأن يمتنع عند عدم كفاية الأدلة. أعد استشهادات تحدد المصدر والمقطع، وأبقِ الأدلة المسترجعة متاحة للمراجعة. لا يجعل ذلك كل إجابة صحيحة، لكنه يسهل اكتشاف المخرجات غير المدعومة ويوفر للمستخدمين مساراً للتحقق من المعلومات المهمة.

في الموضوعات عالية التأثير، مثل القرارات القانونية أو المالية أو الوظيفية أو الصحية أو المتعلقة بالسلامة أو التنظيم، لا يشكل التعزيز بالاسترجاع بديلاً عن مراجعة الخبراء في المجال. وينبغي لسير العمل توجيه الحالات غير المؤكدة إلى مختصين مؤهلين، والتمييز بوضوح بين المساعدة المولدة والقرار المعتمد.

الخطوة ٦: تقييم الاسترجاع الكثيف والاسترجاع الهجين

يفيد الاسترجاع الدلالي الكثيف، لكن الكلمات المفتاحية الدقيقة تظل مهمة. فقد يصعب استرجاع رموز الأخطاء، ومعرفات المنتجات، ومفاتيح الإعدادات، والأسماء العربية، ومراجع السياسات، والاختصارات التقنية بالاعتماد على التشابه الدلالي وحده. ولهذا يستحق الاسترجاع الهجين القياس بدلاً من الافتراض.

تصف تقارير موثقة عن Qdrant، BM42 بأنه نهج يهدف إلى تحسين استرجاع RAG الهجين. ويرى Qdrant أن افتراضات BM25 التقليدية أقل ملاءمة عندما يعمل RAG مع مقاطع صغيرة، لأن BM25 يفترض أن المستندات ذات طول كافٍ لحساب إحصاءات مفيدة. ويُوصف BM42 بأنه يستخدم نموذج لغة لاستخراج المعلومات من المستندات بدلاً من إنشاء تضمينات، بما يدعم نهجاً هجيناً يجمع بين إشارات الاسترجاع الدلالية والموجهة بالكلمات المفتاحية.

لا تفترض أن BM42 أو البحث الكثيف أو أي تصميم هجين سيتفوق تلقائياً على البدائل في مجموعة المحتوى الخاصة بك. أنشئ مجموعة تقييم موسومة بأسئلة حقيقية، وضمّن إعادة صياغات دلالية، وعمليات بحث عن معرفات دقيقة، وأسئلة بكل لغة مدعومة، وأسئلة ملتبسة، وأسئلة يفترض أن تتلقى استجابة تفيد بعدم كفاية الأدلة. قارن بين الأساليب باستخدام استدعاء الاسترجاع، وجودة الترتيب، وصحة الاستشهادات، وجودة الامتناع، وزمن الاستجابة، والتكلفة.

الخطوة ٧: اختبر العمليات لا الإجابات فقط

اختبر دورة حياة المستند كاملة. أضف مستنداً، وعدّله، واسحبه، وتأكد من أن الاسترجاع يتبع السياسة المتوقعة في كل خطوة. اختبر الأحداث المكررة، وإخفاقات الاستيعاب الجزئية، وHTML غير الصالح، والملفات الفارغة، وتغيرات الوصول إلى المصدر. راجع السجلات للتأكد من أن المشغل يستطيع تحديد المصدر الذي أخفق وإعادة تشغيل سير العمل بأمان.

قِس معدل الإدراج، وسلوك بناء الفهرس، وزمن استجابة الاستعلامات باستخدام أحجام مجموعات محتوى ومستويات تزامن مشابهة للبيئة المستهدفة. وتوضح دراسة Qdrant على HPC سبب كون هذه جوانب منفصلة تستحق القياس. فقد يتصرف نظام يسترجع بكفاءة على مجموعة صغيرة في حاسوب محمول بطريقة مختلفة جداً عند استيعاب أو استعلام عدد كبير من العمال لمجموعة أكبر.

راقب جودة الاسترجاع بعد الإطلاق. فقد تؤدي تغييرات المحتوى والمصطلحات وأنواع المستندات الجديدة إلى تراجع النتائج حتى عندما تكون فحوصات صحة البنية التحتية سليمة. حافظ على مجموعة اختبارات انحدار وأعد تشغيلها كلما غيرت إعداد التضمين، أو أسلوب التقسيم، أو استراتيجية الاسترجاع، أو سياسة البيانات الوصفية، أو محلل المصدر.

قائمة تحقق عملية للإطلاق

• اعتمد مجموعة محددة من مستودعات المصادر ومالكي المستندات.
• احتفظ بمعرفات المصادر ومعلومات الإصدار واللغة وبيانات الوصول الوصفية.
• استخدم استيعاباً قابلاً للتكرار مع اكتشاف تغير المحتوى ومعالجة الحذف.
• تحقق من استدعاءات SDK الحالية لـ OpenAI وQdrant مقابل الوثائق الرسمية قبل النشر.
• أبقِ إعدادات التضمين معزولة أثناء ترحيل النماذج.
• طبّق عوامل تصفية تفويض على جانب الخادم قبل وصول النص المسترجع إلى نموذج لغوي.
• أعد استشهادات قابلة للتتبع ووفر مسار استجابة لعدم كفاية الأدلة.
• قيّم الاسترجاع الكثيف والهجين، بما في ذلك BM42 عند الملاءمة.
• قِس الاستيعاب والفهرسة وزمن استجابة الاستعلام وجودة الاسترجاع وتكلفة التشغيل.
• اختبر المحتوى العربي والإنجليزي إذا كان سير العمل يخدم مستخدمي دول مجلس التعاون الخليجي.

يمكن لسير عمل Qdrant مع تضمينات OpenAI أن يصبح طبقة استرجاع قيّمة للمعرفة الداخلية والدعم وتجارب البحث عن المنتجات. والمسار الموثوق هو المسار المنضبط لا المبهرج: حوكمة المصادر، وإدارة إصدارات مجموعة المحتوى، وقياس الاسترجاع، ومقارنة الأساليب الكثيفة والهجينة، وجعل كل إجابة مولدة قابلة للتتبع إلى الأدلة.

المصادر

• استكشاف أداء قواعد البيانات المتجهية الموزعة على منصات HPC: دراسة باستخدام Qdrant
• شركة قواعد البيانات المتجهية Qdrant تسعى لجعل RAG أكثر كفاءة من حيث التكلفة
• البحث المتجهي باستخدام تضمينات OpenAI: Lucene هو كل ما تحتاج إليه