كيف يمكن للتخزين المؤقت الدلالي المستمر خفض تكاليف LLM

أبرز النقاط

• تتناول ورقة Continuous Semantic Caching for Low-Cost LLM Serving إعادة استخدام الاستجابات عندما لا تكون الاستعلامات مستمدة من كتالوج محدود ومعروف مسبقاً.
• يقدّم المؤلفون استعلامات LLM الواقعية باعتبارها تشغل فضاءً تضمينياً لا نهائياً ومستمراً، مع وجود حالة من عدم اليقين بشأن الاستعلامات المستقبلية وطلب الخدمة.
• يجمع الإطار المقترح بين تقطيع ε-net الديناميكي وKernel Ridge Regression.
• تذكر الورقة ضمانات نظرية تتعلق دون المثالية والندم شبه الخطي، فيما تُظهر التقييمات التجريبية انخفاضاً ملحوظاً في الندم. ولا يقدم الملخص المتاح قيمة رقمية لهذا الانخفاض.
• الورقة بحثية، وليست دليلاً على إطلاق خدمة من Microsoft أو توافرها تجارياً، كما لا تقدم قياساً محدداً لانخفاض تكلفة الاستدلال أو زمن الاستجابة.

ماذا تقترح الورقة؟

التخزين المؤقت الدلالي هو أسلوب لإعادة استخدام استجابة سابقة من نموذج لغوي كبير عندما يُحكم بأن طلباً لاحقاً مشابه لها دلالياً. والدافع هنا تشغيلي: فتوليد استجابة جديدة لكل طلب يستهلك موارد الاستدلال ويستغرق وقتاً. وقد تؤدي إعادة استخدام استجابة مناسبة إلى تقليل العمل المتكرر. أما التحدي الذي تستكشفه ورقة Continuous Semantic Caching for Low-Cost LLM Serving، فيتمثل في كيفية اتخاذ قرارات التخزين المؤقت عندما لا يكون نطاق الاستعلامات المحتملة قائمة صغيرة وثابتة.

يصف ملخص الورقة قيداً في أطر التخزين المؤقت الحالية. فقد تعاملت تلك الأساليب مع الاستعلامات باعتبارها مجموعة محدودة ومعروفة من العناصر المنفصلة، وتعلمت تكاليف خدمتها واحتمالات وصولها. ويرى المؤلفون أن هذا الافتراض يصبح أقل قابلية للاستمرار مع توسع قاعدة مستخدمي LLM وتزايد الاستعلامات. ووفقاً لتصورهم، تتموضع الاستعلامات الواقعية في فضاء تضميني لا نهائي ومستمر. لذلك، فإن النظام المصمم حول كتالوج محدد مسبقاً لا يلتقط مباشرة البيئة التي تسعى الورقة إلى معالجتها.

تتمثل المساهمة المقترحة في إطار نظري للتخزين المؤقت الدلالي للاستجابات في فضاء استعلامات مستمر وتحت ظروف من عدم اليقين. وتسمي الورقة مكوّنين اثنين: تقطيع ε-net الديناميكي وKernel Ridge Regression (KRR). ويصف المؤلفون هذا الجمع بأنه وسيلة للربط بين التحسين المنفصل وفضاءات التمثيل المستمرة. ومن ثم، لا يتمحور سؤال البحث الأساسي حول ما إذا كان بإمكان ذاكرة التخزين المؤقت حفظ إجابة فحسب، بل حول كيفية دراسة قرارات التخزين المؤقت عندما يكون فضاء الاستعلامات المعني مستمراً ويكون الطلب غير مؤكد.

وهذا التمييز مهم لفهم العمل بدقة. فالورقة تتناول إطاراً للتخزين المؤقت في خدمة LLM، ولا توصف في المواد التي جرى التحقق منها بأنها نموذج لغوي جديد أو chatbot أو منتج موجه للمستخدم النهائي. كما أن المعلومات المتاحة لا تعلن عن دمجها في خدمة تجارية تابعة لـ Microsoft. ولذلك ينبغي فهم النتيجة باعتبارها بحثاً في البنية التحتية لتقديم الخدمة، لا إطلاقاً لمنتج.

المؤلفون والجهات البحثية

تدرج الورقة أسماء Baran Atalar من Carnegie Mellon University، وXutong Liu من University of Washington Tacoma، وJinhang Zuo من City University of Hong Kong، وSiwei Wang وWei Chen من Microsoft Research Asia. كما يرد اسم Carlee Joe-Wong من Carnegie Mellon University ضمن المؤلفين. وتوضح هذه الجهات أن العمل يجمع بين باحثين جامعيين ومساهمين من Microsoft Research Asia.

تتضمن قائمة منشورات Microsoft Research Asia عنوان الورقة ومجموعة المؤلفين نفسها. كما تشير الورقة البحثية إلى دعم من U.S. Department of Energy بموجب المنحة DESC002565، ومن National Science Foundation بموجب المنحة 2533813. وتحدد هذه التفاصيل السياق المؤسسي والتمويلي المذكور، لكنها لا تشير إلى تمويل خدمة تجارية أو إطلاقها أو نشرها.

كيف يختلف التخزين المؤقت الدلالي المستمر عن كتالوج استعلامات ثابت؟

تنطلق صياغة الاستعلامات المحدودة من مجموعة معروفة من الطلبات المحتملة. وفي هذه الحالة، يمكن لسياسة التخزين المؤقت أن تتعامل مع عناصر الاستعلام الفردية، بما يشمل تكاليف خدمتها واحتمالات وصولها المقدرة. وتحدد الورقة اتساع نطاق استعلامات LLM وتنوعها سبباً للتشكيك في استمرار ملاءمة هذه الصياغة. إذ يمكن للمستخدمين إرسال استعلامات لا تطابق قائمة محددة مسبقاً، فيما يصف المؤلفون فضاء التمثيل الأساسي بأنه مستمر وليس محدوداً.

يضيف التخزين المؤقت الدلالي تمييزاً آخر: فإعادة الاستخدام تستند إلى التشابه الدلالي، وليس بالضرورة إلى التطابق الحرفي للنص. وقد يكون للاستعلام الجديد معنى مرتبط باستعلام سابق حتى إن اختلفت صياغته. وفي فضاء استعلامات مستمر، تتمثل المشكلة البحثية...