Executive Verdict & Key Takeaways
بناء LangChain Gemini File Search RAG API
تعرّف إلى كيفية تصميم سير عمل RAG موثوق بالاعتماد على Gemini API File Search، مع الاسترجاع المُدار، والبحث الدلالي في المستندات، والاستشهادات التلقائية، ونموذج واضح للتكلفة.
ما الذي يبنيه هذا الشرح العملي؟
يربط Retrieval-Augmented Generation، المعروف اختصارًا باسم RAG، نموذجًا توليديًا بمجموعة مُنضبطة من المستندات. وبدلًا من مطالبة النموذج بالإجابة اعتمادًا على معرفته العامة الناتجة عن التدريب فقط، يسترجع التطبيق مواد ذات صلة ويقدمها كسياق للاستجابة. والنتيجة قد تكون أكثر صلة بالسؤال، وأسهل في التحقق منها، وأكثر توافقًا مع وثائق المؤسسة نفسها.
المسار المُتحقق منه في Gemini API لهذا النوع من سير العمل هو File Search. وهو نظام RAG مُدار بالكامل ومضمّن في Gemini API. يتولى File Search تخزين الملفات، وتقسيمها إلى مقاطع، وإنشاء embeddings، والبحث المتجهي، والحقن الديناميكي للسياق المسترجع داخل prompt. ويختلف هذا جوهريًا عن البنية ذاتية الإدارة الواردة في المسودة الأصلية، التي اقترحت تخزينًا محليًا باستخدام Chroma ومنطقًا خاصًا بالتطبيق لعملية إدخال البيانات.
يشرح هذا الدليل كيفية التخطيط لتطبيق RAG يجمع بين LangChain وGemini، من دون تقديم كود حزم غير مُتحقق منه على أنه جاهز للاستخدام في بيئة الإنتاج. وتؤكد المعلومات التقنية المتاحة استخدام LangChain وGemini معًا في مشاريع RAG، لكنها لا تتحقق من حزمة تكامل معينة وحديثة لـ LangChain، أو من توقيع دالة محدد، أو من إصدار تبعية بعينه. لذلك، يقتصر الحد الفاصل للتنفيذ المُتحقق منه في هذا الدليل على واجهة Gemini API الحالية generateContent وإمكانات File Search.
يتكون التصميم النهائي من أربع مراحل منطقية. أولًا، تُضاف الوثائق المصرح بها إلى مصدر المعرفة في File Search. ثانيًا، يجهز نظام Gemini المُدار هذه المواد للاسترجاع. ثالثًا، تُطابق أسئلة المستخدم دلاليًا مع المحتوى المفهرس. رابعًا، يُرسل السياق المسترجع إلى Gemini لإنشاء الإجابة، مع استشهادات تحدد مواد المستندات المستخدمة. ويمكن لطبقة التطبيق استخدام LangChain للتنسيق، لكنها لا ينبغي أن تكرر مكونات الاسترجاع المُدارة ما لم يوجد متطلب مُتحقق منه يستدعي ذلك.
لماذا تستخدم Gemini API File Search مع RAG؟
هل تبني تطبيقات أعمال أو تدفقات ذكاء اصطناعي من الصفر؟
تجاوز بناء الهياكل البرمجية التقليدية وإعداد CRUD. ولّد نظام Micro-ERP يعمل بـ PostgreSQL في دقائق.
يتطلب تنفيذ RAG التقليدي عادةً عدة خدمات أو مكتبات مُهيأة بشكل مستقل. فعلى الفريق اختيار مخزن للملفات، واستخراج النص، وتحديد آلية تقسيم المستندات، وإنشاء embeddings، وحفظ المتجهات، وتشغيل البحث عن التشابه، وبناء prompt، والحفاظ على مراجع المصادر. وتضيف كل نقطة فصل مزيدًا من أعمال الإعداد والصيانة، كما تخلق نقاطًا إضافية قد يؤدي فيها خطأ في الفهرسة إلى خفض جودة الإجابات.
يبسط File Search هذا المسار. ووفقًا لإعلان Google المُتحقق منه، فإنه يدير تلقائيًا تخزين الملفات، واستراتيجيات التقسيم المثلى، وembeddings، والحقن الديناميكي للسياق المسترجع داخل prompts. وتعمل الميزة ضمن واجهة generateContent الحالية، ما يتيح للتطبيق استخدام سير عمل التوليد نفسه مع إضافة استرجاع المستندات الموثوق.
يعتمد الاسترجاع على المعنى، وليس على تطابق الكلمات بدقة فقط. ويستخدم File Search بحثًا متجهيًا مدعومًا بنموذج Gemini Embedding لفهم معنى الاستعلام وسياقه. وتبرز أهمية ذلك عندما يستخدم السؤال عبارات مختلفة عن تلك الواردة في المستند المصدر. فقد يسأل المستخدم مثلًا عن «تصعيد انقطاع الخدمة لدى العميل»، بينما تستخدم السياسة المفهرسة عبارة «الاستجابة لتعطل الخدمة». ويمكن للبحث الدلالي الربط بين هذين المفهومين المرتبطين.
يوفر File Search أيضًا استشهادات مضمّنة. إذ تحدد الاستجابات تلقائيًا أجزاء المستندات المفهرسة التي استُخدمت لإنشاء الإجابة. وتكتسب هذه المراجع أهمية كبيرة لفرق الدعم، وبوابات الوثائق التقنية، ومساعدي السياسات الداخلية، وسير عمل البحث؛ لأنها تتيح للمستخدم فحص الأدلة بدل التعامل مع النص المُولّد باعتباره صحيحًا بذاته.
المتطلبات والنطاق
- بيئة Google AI Studio أو Google Cloud تتمتع بإمكانية الوصول إلى Gemini API.
- مستندات تملك الصلاحية لفهرستها واستخدامها في الإجابة عن الأسئلة.
- إلمام أساسي بطلبات API وJSON وprompts والإعدادات المعتمدة على البيئة.
- طبقة تطبيق يمكنك من خلالها استدعاء Gemini API وعرض الإجابة الناتجة على مستخدم أو خدمة لاحقة.
- إلمام اختياري بمفاهيم LangChain مثل المستندات، وretrievers، وprompts، وتنسيق النماذج.
لا توفر المعلومات المُتحقق منها إصدارًا حاليًا لحزمة LangChain أو واجهة API مُتحققًا منها لمحول File Search. لا تنسخ مثال تكامل قديمًا إلى مشروع إنتاجي لمجرد أن أسماء الاستيراد فيه تبدو مألوفة. تحقّق من وثائق مزود LangChain الحالية ووثائق Gemini API الحالية قبل اختيار حزمة أو توقيع دالة.
لا ترفع كلمات المرور، أو مفاتيح API، أو رموز الوصول، أو الملفات المُصدّرة السرية، أو المستندات التي لا ينبغي لتطبيقك أن يتمكن من استرجاعها. لا يستطيع نظام RAG احترام الحدود إلا بقدر ما تُنفذ حول محتواه المفهرس. يحسن File Search عملية الاسترجاع، لكنه لا يحدد بمفرده سياسة التفويض في مؤسستك.
الخطوة ١: تحديد مجموعة المعرفة
ابدأ بتحديد ما يُسمح للتطبيق بالإجابة عنه بدقة. وعادةً ما تكون المجموعة المحدودة والمُحافَظ عليها جيدًا أكثر فائدة من أرشيف غير مُنقح. ويمكن أن تشمل المصادر المناسبة أدلة المنتجات، ومقالات الدعم المعتمدة، والإجراءات الداخلية، والمراجع التقنية، أو وثائق السياسات. وتعتمد مجموعة المصادر الصحيحة على التطبيق، لكن ينبغي أن يكون لكل ملف مالك وسبب واضح لإدراجه.
اكتب وثيقة قصيرة لنطاق المعرفة قبل رفع الملفات. وينبغي أن تجيب عن خمسة أسئلة: من المستخدمون الذين يمكنهم طرح الأسئلة؟ ما المستندات التي تدخل ضمن النطاق؟ كيف تُزال الملفات القديمة؟ ماذا ينبغي أن يقول المساعد عند غياب الأدلة؟ من يراجع الإجابة غير الصحيحة أو المضللة؟ وتكتسب هذه الأسئلة قيمة خاصة للمؤسسات التي تعمل عبر أقسام أو لغات متعددة، بما في ذلك الفرق التي تخدم العملاء والموظفين في دول مجلس التعاون الخليجي والشرق الأوسط عمومًا.
احرص على التمييز بين مستويات موثوقية المصادر. فلا ينبغي خلط سياسة حالية ومعتمدة، من دون مراجعة، بعرض تقديمي قديم، أو نقاش غير رسمي، أو مسودة غير مُتحقق منها. وإذا كانت هناك حاجة إلى إصدارات متعددة، فضع لها تسميات واضحة في مجموعة المصادر وحدد كيفية تعامل التطبيق مع التعارضات. يستطيع الاسترجاع العثور على النص ذي الصلة، لكن الحوكمة هي التي تحدد المصدر الذي ينبغي الوثوق به.
جهّز المستندات بعناوين واضحة، وجمل مكتملة، وأسماء ملفات وصفية. فقد يجعل تنسيق المصدر الرديء المقاطع المسترجعة صعبة الفهم على المستخدمين حتى عندما تكون المطابقة الدلالية صحيحة. وحافظ على السياق المحيط اللازم لتفسير قاعدة أو تعريف أو استثناء أو إجراء.
الخطوة ٢: إعداد الوصول إلى Gemini API
أنشئ بيانات اعتماد API في بيئة Google المعتمدة، ومررها إلى الخادم عبر آلية آمنة لإدارة الأسرار. لا تضع بيانات الاعتماد في كود المتصفح، أو المستودعات العامة، أو لقطات الشاشة، أو أمثلة الشروحات التي تشبه المفاتيح الحقيقية. احتفظ ببيانات الاعتماد على الخادم أو في الخدمة الموثوقة التي تستدعي Gemini.
في هذه المرحلة، أعد التطبيق باستخدام ثلاث قيم مفاهيمية: بيانات اعتماد API، ومعرّف مصدر المعرفة في File Search المستخدم في سير عمل API الحالي، وإعدادات التوليد المعتمدة لحالة الاستخدام. ويجب أخذ حقول الطلب الدقيقة وأسماء دوال SDK من وثائق Gemini API الحالية، لأنها غير واردة في المعلومات المُتحقق منها المقدمة لهذا التدقيق.
افصل إعدادات المزود عن منطق الأعمال. ويمكن لتطبيق LangChain استخدام طبقة تنسيق لتمثيل سؤال المستخدم، وخطوة الاسترجاع، وprompt، والإجابة المُولّدة. ومع ذلك، ينبغي أن يظل File Search المرجعية المُتحقق منها لعملية الاسترجاع. وتجنب إضافة نموذج embeddings ثانٍ، أو قاعدة بيانات متجهات محلية، أو مسار تقسيم مملوك للتطبيق، ما لم يكن لديك سبب موثق وتحقق مستقل من هذه المكونات.
الخطوة ٣: إضافة المستندات إلى File Search
ارفع المستندات المعتمدة في الخطوة ١ فقط. صُمم File Search لإدارة مسار الاسترجاع، بما في ذلك تخزين الملفات، وتقسيمها، وembeddings، والبحث المتجهي. وهذا يعني أن التطبيق لا يحتاج إلى إعادة تنفيذ هذه المراحل في قاعدة بيانات محلية منفصلة لمجرد الحصول على استرجاع دلالي للمستندات.
بعد إضافة المستندات، سجّل جردًا داخليًا للفهرس. وينبغي أن يتضمن الجرد اسم الملف المصدر، ومالك العمل، وتاريخ الإضافة، واللغة، ومعرّف المراجعة، وتاريخ الإزالة عند الاقتضاء. وهذه الحقول سجلات حوكمة لفريقك، ولا ينبغي الخلط بينها وبين ادعاءات حول حقول البيانات الوصفية التي يعيدها File Search تلقائيًا.
اختبر المجموعة بأسئلة مباشرة تكون إجاباتها موجودة بوضوح في المواد المصدرية. ثم اختبر أسئلة معادَة الصياغة تستخدم مصطلحات مختلفة. وتكتسب المجموعة الثانية أهمية لأنها تختبر قدرة البحث المتجهي في النظام المُتحقق منه على فهم المعنى والسياق بدل اشتراط الكلمات نفسها حرفيًا.
اختبر أيضًا سؤالًا لا يمكن الإجابة عنه. فلا ينبغي لتطبيق موثوق بالمصادر أن يوحي بأن مستندًا يدعم ادعاءً عندما تكون الأدلة ذات الصلة غائبة. حدد صياغة الاستجابة الاحتياطية المطلوبة في prompt التطبيق وتجربة المستخدم. وقد تختلف الاستجابة الدقيقة باختلاف المنتج، لكنها ينبغي أن توضح حدود الأدلة.
الخطوة ٤: إرسال طلب grounded إلى generateContent
يعمل File Search ضمن واجهة Gemini الحالية generateContent. وينبغي أن يتضمن طلب التطبيق سؤال المستخدم وإعدادات File Search المطلوبة وفق وثائق API الحالية. ويستخدم النموذج بعد ذلك نتيجة الاسترجاع المُدار كسياق أثناء إنشاء الإجابة.
استخدم prompt يحدد حدود الأدلة التي تستند إليها الإجابة. وينبغي أن يطلب توجيه عملي من النموذج الإجابة اعتمادًا على المستندات المسترجعة، وتجنب اختلاق حقائق غير موجودة فيها، والإقرار بعدم كفاية الأدلة، والحفاظ على الاستثناءات والقيود المهمة. كما ينبغي أن يوجّه التطبيق إلى الاحتفاظ بالاستشهادات التي تعيدها API بدل حذفها أثناء معالجة الاستجابة.
لا تتعامل مع الاستشهادات باعتبارها روابط تجميلية. فهي جزء من سير عمل التحقق. وينبغي أن يتمكن المستخدم من تحديد مواد المصدر التي أثرت في الاستجابة. وفي واجهة الدعم، يمكن أن تظهر الاستشهادات بجانب الإجابة. أما في API داخلية، فيمكن إعادتها كبيانات استجابة منظمة إلى واجهة لاحقة. ويعتمد شكل الاستجابة الدقيق على عقد الاستجابة الحالي في Gemini API، وينبغي تنفيذه بالاستناد إلى الوثائق الرسمية.
إذا استخدمت LangChain، فاربط مراحله بسير العمل المُتحقق منه بدل إعادة إنشاء File Search. وتسلسل السلسلة المفاهيمي هو: استقبال سؤال، وبناء طلب Gemini باستخدام File Search، واستدعاء generateContent، واستخراج الإجابة المُولّدة، والحفاظ على الاستشهادات المُعادة، ثم إعادة الإجابة والأدلة إلى المستدعي. وبما أن المعلومات المقدمة لا تتحقق من محول LangChain الحالي، فلا تفترض أن فئة retriever عامة أو تكامل Gemini قديمًا يدعم File Search تلقائيًا.
الخطوة ٥: التحقق من الاسترجاع والاستشهادات
أنشئ مجموعة تقييم صغيرة قبل اعتبار الشرح مكتملًا. أدرج أسئلة مباشرة، وأسئلة معادَة الصياغة، وأسئلة تتطلب إضافة قيد أو توضيح، وأسئلة لا توجد إجاباتها في المجموعة، وأسئلة تجمع بين مستندين ذوي صلة. وسجّل في كل اختبار ما إذا كانت الأدلة المسترجعة ذات صلة، وما إذا كانت الإجابة مدعومة، وما إذا كانت الاستشهادات تحدد المادة التي يتوقعها المراجع.
افحص الاستشهادات يدويًا خلال التطوير الأولي. فصحيح أن الاستشهادات التلقائية تبسط عملية التحقق، لكنها لا تلغي الحاجة إلى مراجعة جودة المصادر. قد تكون الإجابة واضحة لغويًا، لكنها تعتمد مع ذلك على مستند قديم أو غامض. وينبغي للمراجعين مقارنة الاستجابة بالمصدر المُستشهد به، وتسجيل ما إذا كانت قد أغفلت شروطًا مهمة.
قس تكلفة الفهرسة منفصلة عن تكلفة استخدام التطبيق. وتذكر معلومات التسعير المُتحقق منها أن التخزين وإنشاء embeddings وقت الاستعلام مجانيان، بينما تبلغ تكلفة الفهرسة الأولية $٠.١٥ لكل مليون رمز مميز. ويفيد هذا التمييز عند التخطيط لتحديث المستندات. فقد تؤدي إعادة بناء مجموعة كبيرة بصورة متكررة إلى رسوم فهرسة، حتى لو لم تُفرض رسوم على التخزين المستمر وإنشاء embeddings وقت الاستعلام وفق نموذج التسعير المذكور.
قد تتغير الأسعار، وقد تختلف شروط الحسابات حسب المنطقة. تحقّق من صفحة الأسعار الرسمية الحالية قبل نشر تقدير تجاري أو الالتزام بميزانية إنتاجية. وتعامل مع رقم $٠.١٥ لكل مليون رمز مميز بوصفه المعلومات الموثقة لهذا المقال، لا ضمانًا دائمًا.
الخطوة ٦: إضافة إجراءات حماية للتطبيق
قيد المستندات المتاحة لكل حالة استخدام. فلا ينبغي لمساعد المبيعات أن يبحث تلقائيًا في مجموعة سياسات الموارد البشرية، كما لا ينبغي لروبوت دعم عام أن يكشف مواد تشغيلية داخلية. ويقلل هذا الفصل احتمال أن يأتي مقطع يبدو ذا صلة من جمهور غير مناسب.
سجّل المعرّفات والنتائج التشغيلية من دون تخزين الأسئلة الحساسة أو محتويات المستندات بلا حاجة. وتتبّع دورة حياة الطلب، ومصدر المعرفة المختار، وإعدادات النموذج، وحالة الإجابة، ووجود الاستشهادات، ومدة الاستجابة بما يتوافق مع سياسة الخصوصية في مؤسستك. ويعتمد تصميم السجلات الدقيق على التطبيق، ولا يمثل ادعاءً حول ميزة في File Search.
وفر مسار تصعيد للأسئلة التي لم تُجب عنها أو التي محل خلاف. يكون المساعد الموثوق بالمصادر أكثر فائدة عندما يستطيع الإشارة بوضوح إلى أن المجموعة لا تحتوي معلومات كافية، وتوجيه المستخدم إلى موظف أو قناة توثيق معتمدة. لا تعرض التخمينات غير المدعومة بهدوء على أنها إجابة مكتملة.
أخطاء شائعة يجب تجنبها
- الخلط بين البنى المُتحقق منها وغير المُتحقق منها: لا تصف File Search كما لو كان مماثلًا لقاعدة بيانات Chroma محلية. فـ File Search نظام RAG مُدار ضمن Gemini API.
- استخدام اسم نموذج غير مُتحقق منه: ادعاء المسودة الأصلية بشأن Gemini 3.7 Flash غير مدعوم بالمعلومات المقدمة. اختر نموذجًا موثقًا حاليًا من خلال وثائق Gemini الرسمية.
- حذف الاستشهادات: تُعد الاستشهادات التلقائية إحدى الإمكانات المُتحقق منها في File Search. حافظ عليها في تجربة المستخدم أو استجابة API.
- رفع كل شيء: افهرس فقط المواد المصرح للتطبيق باستخدامها والتي يمكنك صيانتها.
- افتراض ضرورة التطابق الحرفي: يستخدم File Search بحثًا متجهيًا دلاليًا، لذلك اختبر الصياغات البديلة والمصطلحات المرتبطة.
- تجاهل اقتصاديات الفهرسة: تبلغ تكلفة الفهرسة الأولية $٠.١٥ لكل مليون رمز مميز وفق المعلومات المُتحقق منها، بينما يكون التخزين وإنشاء embeddings وقت الاستعلام مجانيين وفق تلك المعلومات.
أبرز النقاط
عند تصميم RAG حديث بالاعتماد على Gemini، ابدأ بالإمكانات المُدارة والمُتحقق منها بدل إعادة إنشاء كل مكونات الاسترجاع بنفسك. يتولى Gemini API File Search التخزين، والتقسيم، وembeddings، والبحث المتجهي، وحقن السياق المسترجع عبر generateContent. وقد صُمم بحثه الدلالي للعثور على المواد ذات الصلة حتى عندما تختلف صياغة المستخدم عن المصدر، كما تجعل استشهاداته التلقائية الإجابات المُولّدة أسهل في التحقق.
يمكن أن يظل LangChain مفيدًا كطبقة تنسيق، لكن يجب التحقق من تكامله الدقيق مع File Search بالاستناد إلى الوثائق الحالية قبل التنفيذ. لا تنقل أسماء النماذج القديمة، أو إصدارات الحزم، أو كود مخازن المتجهات ذاتية الإدارة من دون دليل على استمرار دعمها.
ليس أقوى تنفيذ هو الذي يضم أكبر قدر من البنية التحتية، بل الذي يعتمد على مجموعة مصادر محددة جيدًا، وحدود واضحة للأدلة، واستشهادات محفوظة، وسلوك مُختبر للأسئلة التي لا إجابة لها، ونموذج تكلفة يأخذ في الحسبان رسوم الفهرسة الأولية البالغة $٠.١٥ لكل مليون رمز مميز، كما وردت في المعلومات المُتحقق منها.