تعزيز وكلاء LangGraph: دمج NVIDIA Dynamo للتخزين المؤقت المدرك لـ KV

المشكلة الأساسية: تكرار السياق

عند بناء وكيل دوري باستخدام LangGraph، يعمل الذكاء الاصطناعي في حلقة مستمرة: تفكير → عمل → ملاحظة → تكرار. تعالج نقاط النهاية القياسية لـ LLM كل تنفيذ عقدة كطلب جديد بدون حالة. هذا يعني أن نظامك المكون من ١٠,٠٠٠ رمز وسجل المحادثة يتم إعادة إدخالها وإعادة حسابها من البداية في كل خطوة.

تؤدي هذه العيوب المعمارية إلى اختناقات تأخير مذهلة وتكاليف حسابية متزايدة. علاوة على ذلك، يضمن تنفيذ التخزين المؤقت المستند إلى الجلسة بشكل صحيح أن الحلقات الوكيلة عالية التردد لا تستنزف حصة النموذج الخاص بك قبل الأوان، مما يحافظ على ميزانية API الخاصة بك للتوليد الفعلي بدلاً من معالجة السياق الزائد.

الخطوة ١: تعديل عميل LLM للتوجيه المدرك لـ KV

يوفر NVIDIA Dynamo طبقة API متوافقة مع OpenAI، ولكن لتفعيل التخزين المؤقت متعدد المستويات والتوجيه المدرك لـ KV، يجب علينا تمرير ترويسة x-session-id فريدة. يوجه هذا منظم Dynamo لتوجيه الطلب إلى عامل GPU المحدد الذي يحتفظ بالفعل بسياق وكيلنا في ذاكرته HBM.

 import os import uuid from langchain_openai import ChatOpenAI def get_dynamo_llm(session_id: str): """ Initializes a LangChain ChatOpenAI client pointed at NVIDIA Dynamo. Passes the session_id to maintain the KV Cache across LangGraph cycles. """ DYNAMO_URL = os.getenv("DYNAMO_BASE_URL", "https://api.dynamo.nvidia.com/v1") DYNAMO_KEY = os.getenv("DYNAMO_API_KEY") return ChatOpenAI( model="llama-3.2-70b-instruct-dynamo", # Example model hosted on Dynamo base_url=DYNAMO_URL, api_key=DYNAMO_KEY, max_tokens=1024, temperature=0.1, model_kwargs={ "extra_headers": { "x-session-id": session_id, "x-agent-priority": "high" # Tells Dynamo scheduler to prevent context swapping } } ) 

الخطوة ٢: هيكلة حالة LangGraph

يجب علينا إدخال معرف الجلسة الخاص بنا في حالة الرسم البياني بحيث يمكن لكل عقدة تهيئة عميل LLM بشكل صحيح، مما يضمن أن Dynamo يتعرف على الخيط المستمر.

 from typing import TypedDict, Annotated, Sequence from langchain_core.messages import BaseMessage from langgraph.graph.message import add_messages class AgentState(TypedDict): messages: Annotated[Sequence[BaseMessage], add_messages] session_id: str # Critical for Dynamo KV Routing loop_count: int 

الخطوة ٣: بناء عقدة الوكيل المخزنة مؤقتًا

داخل عقدة التنفيذ، نقوم بجلب LLM ديناميكيًا مع معرف الجلسة المرتبط. نظرًا لأن Dynamo يتعامل مع تاريخ السياق عبر التخزين المؤقت للأجهزة، فإننا لا نعاني من عقوبات التأخير مع نمو مصفوفة messages طوال تنفيذ الرسم البياني.

 from langgraph.graph import StateGraph, END def agent_node(state: AgentState): print(f"--- Calling LLM | Cycle: {state.get('loop_count', 0)} ---") # Retrieve the Dynamo-backed LLM mapped to this specific session's GPU cache llm = get_dynamo_llm(state["session_id"]) # Optionally bind tools here: llm_with_tools = llm.bind_tools(tools) # Dynamo instantly reads the cached prefix, only computing the newest delta response = llm.invoke(state["messages"]) return { "messages": [response], "loop_count": state.get("loop_count", 0) + 1 } # Build the Graph workflow = StateGraph(AgentState) workflow.add_node("agent", agent_node) workflow.set_entry_point("agent") workflow.add_edge("agent", END) # Simplified for tutorial purposes app = workflow.compile() 

الخطوة ٤: تنفيذ الحلقة المستقلة

عند بدء تشغيل الرسم البياني، نقوم بإنشاء UUID جلسة فريدة. في سيناريو العالم الحقيقي، ستقوم بتشغيل هذا الرسم البياني عبر عشرات الخطوات (مثل البرمجة، الاختبار، تصحيح الأخطاء). مع Dynamo، ينخفض وقت الوصول إلى الرمز الأول (TTFT) من ~٢.٥ ثانية لكل عقدة إلى أقل من ٥٠ مللي ثانية.

 if __name__ == "__main__": import time # Generate a unique session for Dynamo KV Routing session = str(uuid.uuid4()) initial_state = { "messages": [("user", "Analyze the attached 5,000-line codebase and refactor the authentication module.")], "session_id": session, "loop_count": 0 } start_time = time.time() # Stream the execution for output in app.stream(initial_state): for key, value in output.items(): print(f"Node '{key}' Executed.") print(f"Total Workflow Execution Time: {time.time() - start_time:.2f} seconds") 

⚙️ دعم المطور التفاعلي

يمكن أن يؤدي تحسين بنية MLOps وتكوين ترويسات التوجيه المخصصة لـ LangGraph إلى إدخال أخطاء غير متوقعة، خاصة حول استمرارية الحالة وتتبع الرموز.

هل تحتاج إلى تكييف هذا التنفيذ لـ AutoGen؟ التعامل مع أخطاء إزالة التخزين المؤقت؟

تفاعل مع مساعد بوابة الذكاء الاصطناعي الفني مباشرة في واجهة الدردشة أدناه. مساعدنا التفاعلي مدرك تمامًا لسياق هذا الدرس حول NVIDIA Dynamo ويمكنه مساعدتك في إعادة كتابة غلاف LangChain، تصحيح تجمعات الاتصال، أو تصميم رسوم بيانية متعددة الوكلاء أكثر تعقيدًا.