وكيل ذكاء اصطناعي RAG جاهز للإنتاج — وليس مجرد نموذج أولي لنهاية الأسبوع

حل التوليد المعزز بالاسترجاع (RAG) إحدى المشكلات الأساسية في النماذج اللغوية الكبيرة: إنها تهلوس. اسأل نموذجًا لغويًا كبيرًا سؤالًا حول سياسة الإرجاع الخاصة بشركتك، وبدون استرجاع، سيقوم بتوليد إجابة تبدو معقولة بناءً على الأنماط التي تعلمها أثناء التدريب المسبق — إجابة قد تكون خاطئة تمامًا لعملك المحدد. يقوم RAG بإصلاح ذلك عن طريق إدراج خطوة استرجاع بين السؤال والتوليد: قبل أن ينتج النموذج اللغوي الكبير استجابة، يبحث النظام في مجموعة من محتواك الفعلي، ويستخرج المقاطع الأكثر صلة، ويغذيها للنموذج كسياق. يقوم النموذج اللغوي الكبير بتوليد إجابته بناءً على تلك المقاطع بدلاً من ذاكرته البارامترية. والنتيجة هي استجابة دقيقة ومحددة وقابلة للتتبع إلى مصدر. هذه هي النظرية. في الممارسة العملية، يعد الوصول بـ RAG إلى مرحلة الإنتاج هو المكان الذي تتعثر فيه معظم الفرق.

يبدو هيكل نظام RAG بسيطًا بشكل خادع على السبورة البيضاء. يأتي الاستعلام، وتقوم التضمينات بتحويله إلى متجه، ويبحث المتجه عن الأجزاء الأقرب في قاعدة بيانات، وتذهب تلك الأجزاء إلى مطالبة النموذج اللغوي الكبير، ويقوم النموذج بتوليد إجابة مؤصلة. خمسة مربعات، أربعة أسهم، فترة ما بعد الظهيرة لرسمها. ولكن كل مربع يخفي مجموعة من القرارات الهندسية التي تتراكم لتشكل أسابيع أو أشهر من العمل. أي نموذج تضمين؟ OpenAI's ada-002، أو Cohere's embed-v3، أو نموذج مفتوح المصدر تستضيفه بنفسك؟ أين تخزن المتجهات؟ Pinecone للاستضافة المُدارة، أو Weaviate للمصدر المفتوح، أو pgvector إذا كنت تريد البقاء في Postgres، أو Qdrant إذا كنت تريد الأداء على نطاق واسع؟ كيف تقوم بتقسيم المحتوى؟ نوافذ رموز ثابتة، تقسيم حرفي متكرر، تجزئة دلالية بناءً على العناوين، نوافذ منزلقة مع تداخل؟ ما مقدار التداخل؟ ما هو حجم الجزء؟ كل خيار يتفاعل مع كل خيار آخر، والإجابة "الصحيحة" تعتمد على محتواك المحدد، وأنماط الاستعلام الخاصة بك، ومتطلبات الدقة الخاصة بك.

توجد Asyntai لأن معظم الشركات التي تحتاج إلى RAG لا تحتاج إلى اتخاذ هذه القرارات. إنهم بحاجة إلى النتيجة — وكيل ذكاء اصطناعي يجيب على الأسئلة بدقة باستخدام محتواهم الخاص — دون مشروع البنية التحتية. Asyntai هو نظام RAG مُدار بالكامل. يقوم بالزحف إلى موقعك، ومعالجة المستندات التي تم تحميلها، وتقسيم المحتوى إلى مقاطع متماسكة دلاليًا، وفهرستها للاسترجاع، وفي وقت الاستعلام يسترجع المقاطع الأكثر صلة لتأصيل استجابة النموذج اللغوي الكبير. أنت لا توفر قاعدة بيانات متجهية. أنت لا تختار نموذج تضمين. أنت لا تكتب خوارزمية تقسيم. أنت تلصق علامة سكريبت على موقعك، ويعمل خط أنابيب الاسترجاع على بنية تحتية لا تلمسها أبدًا.

طبقة الزحف هي نقطة الدخول إلى خط الأنابيب. عندما تقوم بربط نطاق، يتبع زاحف Asyntai الروابط عبر موقعك، ويستخرج محتوى النص من كل صفحة، ويغذيه إلى نظام التقسيم. يتعامل مع الصفحات التي يتم عرضها بواسطة JavaScript، ويحترم robots.txt، ويعيد الزحف وفقًا لجدول زمني تحدده حتى يظل فهرس الاسترجاع محدثًا مع تغير المحتوى الخاص بك. يمكنك أيضًا تحميل المستندات مباشرة — ملفات PDF، مستندات Word، تصديرات قاعدة المعرفة — للمحتوى الموجود خلف المصادقة أو غير المنشور على موقع ويب. الزاحف متحيز عن قصد: يستخرج النص والهيكل، ويتخلص من إطار التنقل والمحتوى الإضافي، وينتج مقاطع نظيفة جاهزة للتقسيم. أنت لا تقوم بتكوين سلوك الزاحف لأن القرارات التي يتخذها — ما يجب استخراجه، وكيفية التعامل مع المحتوى الديناميكي، ومتى تتم إعادة الفهرسة — هي نفسها لجميع العملاء تقريبًا.

التقسيم هو المكان الذي تقضي فيه تطبيقات RAG المخصصة وقتًا غير متناسب، وهو المكان الذي تسبب فيه الأخطاء الدقيقة معظم إخفاقات الاسترجاع. النهج الساذج — تقسيم النص كل 500 رمز — ينشئ أجزاء تقطع منتصف الفقرة، أو منتصف الجملة، أو الأسوأ من ذلك، منتصف المفهوم. قد يتم تقسيم مقطع حول سياسة الإرجاع الخاصة بك عبر جزأين، مع الشروط في جزء واحد والجدول الزمني في جزء آخر. عندما يسأل العميل "كم من الوقت لدي لإرجاع عنصر؟"، قد يسترجع خطوة الاسترجاع الجزء الذي يحتوي على الشروط ولكنه يفوّت الجزء الذي يحتوي على الجدول الزمني، ويقوم النموذج اللغوي الكبير بتوليد إجابة غير مكتملة. تقسيم Asyntai يحترم بنية المستند: العناوين، حدود الفقرات، عناصر القائمة، والحدود الموضوعية المنطقية. كل جزء هو مقطع مكتفٍ ذاتيًا وله معنى بحد ذاته — وليس مجرد شريحة نص عشوائية. هذا يهم أكثر مما يدرك معظم الناس عند تقييم جودة RAG، لأن الاسترجاع لا يمكن أن يكون أفضل مما يتم استرجاعه.

خطوة الاسترجاع نفسها هي المكان الذي يكسب فيه اختصار RAG اسمه. عندما يطرح الزائر سؤالًا، يقوم النظام بتحويله إلى تمثيل متجه ويبحث في الفهرس عن المقاطع الأكثر تشابهًا دلاليًا. البحث الدلالي هو الميزة الرئيسية التي تميزه عن البحث بالكلمات الرئيسية: سؤال مثل "ما هو الموعد النهائي لإعادة الأشياء؟" يسترجع مقاطع حول "سياسة الإرجاع" و "نافذة الإرجاع لمدة 30 يومًا" حتى لو لم تظهر أي من الكلمات الرئيسية للاستعلام في المحتوى. هذا يتعامل مع حقيقة كيفية طرح الناس للأسئلة — فهم لا يستخدمون نفس المفردات الموجودة في وثائقك. يقوم خط أنابيب الاسترجاع في Asyntai بترتيب المرشحين حسب الصلة ويغذي المقاطع العليا للنموذج اللغوي الكبير كسياق للتوليد. يرى النموذج هذه المقاطع فقط، وليس الفهرس بأكمله، مما يحافظ على تركيز نافذة السياق ويقلل من فرصة أن يختار النموذج مقطعًا ذا صلة بعيدة لدعم إجابة خاطئة.

تأصيل التوليد هو الآلية التي تمنع الهلوسة. يتم توجيه الوكيل للإجابة بناءً على المقاطع المسترجعة والإقرار صراحةً عندما لا يحتوي المحتوى المسترجع على إجابة. هذا قيد معماري، وليس خدعة في المطالبة — النظام مصمم بحيث يعمل النموذج على السياق المسترجع بدلاً من الاعتماد على معرفته المدربة مسبقًا بعملك (والتي تكون تقريبًا غير موجودة أو قديمة). عندما يسأل العميل عن منتج غير موجود في قاعدة المعرفة الخاصة بك، يقول الوكيل "ليس لدي معلومات حول هذا المنتج في قاعدة المعرفة الخاصة بي" بدلاً من اختراع مواصفات. عندما يسأل شخص ما سؤالًا يتطلب إجابة تمتد عبر مواضيع متعددة، يقوم الوكيل بتوليف الإجابة عبر المقاطع المسترجعة ولكنه لا يملأ الفجوات بمواد مُولّدة. هذا السلوك هو ما يجعل RAG موثوقًا به للنشر الموجه للعملاء — يتم فرض الحد الفاصل بين "أنا أعرف هذا لأنه موجود في المحتوى" و "أنا أخمن" بواسطة النظام، وليس متروكًا لحكم النموذج.

ولكن هنا يكمن ما يميز Asyntai عن تطبيق RAG النموذجي: النظام لا يتوقف عند الاسترجاع والتوليد. تتطلب معظم تفاعلات العملاء في العالم الحقيقي معلومات غير موجودة في أي مستند. حالات الطلبات، وأرصدة الحسابات، ومستويات المخزون، وتوافر المواعيد، وتفاصيل الاشتراك — تتغير هذه البيانات دقيقة بدقيقة وتوجد في أنظمة عملك، وليس في قاعدة المعرفة الخاصة بك. يمكن لوكيل RAG النقي أن يخبر العميل بسياسة الإرجاع الخاصة بك، ولكنه لا يستطيع إخباره بما إذا كان طلبه المحدد مؤهلاً. يمكنه شرح مستويات التسعير الخاصة بك، ولكنه لا يستطيع إخباره بالخطة التي هو عليها أو عدد الرسائل التي استخدمها هذا الشهر. بالنسبة لتلك الأسئلة، تحتاج إلى أن يقوم الوكيل باستدعاء واجهات برمجة التطبيقات الخاصة بك — وهذا ما توفره الأدوات المخصصة.

توسع الأدوات المخصصة وكيل RAG بقدرة استدعاء الأدوات. يمكنك تعريف أداة في لوحة التحكم الخاصة بك: اسم، ووصف للمتطلبات التي يجب على الذكاء الاصطناعي استخدامها، ونقطة نهاية واجهة برمجة التطبيقات الخاصة بك، والمعلمات التي يجب على الذكاء الاصطناعي استخراجها من المحادثة. عندما يتطلب سؤال العميل بيانات مباشرة، يستدعي الوكيل نقطة النهاية الخاصة بك، ويحصل على الاستجابة، ويجمعها مع محتوى قاعدة المعرفة المسترجع لتكوين إجابة كاملة. مثال أهلية الإرجاع هو الحالة النموذجية: يسترجع الوكيل سياسة الإرجاع الخاصة بك من قاعدة المعرفة (RAG) ويستدعي واجهة برمجة تطبيقات الطلب الخاصة بك عبر الأدوات المخصصة للحصول على تاريخ الطلب وتفاصيل العنصر، ثم يجمع بينهما لتقديم إجابة محددة — "تم تقديم طلبك قبل 12 يومًا، ولا تزال نافذة الإرجاع البالغة 30 يومًا مفتوحة." لا يمكن لـ RAG وحده أو استدعاء الأداة وحده إنتاج تلك الإجابة. المزيج هو ما يجعل الوكيل مفيدًا حقًا.

هيكل RAG-بالإضافة-إلى-الأدوات هذا مهم لأنه يعالج النقد الأكثر شيوعًا لتطبيقات RAG: "يمكنه الإجابة على الأسئلة العامة، ولكنه لا يستطيع مساعدتي في وضعي المحدد." هذا النقد صحيح لتطبيقات RAG فقط. يمكن لقاعدة المعرفة أن تخبرك بسياسة استرداد أموال الشركة، ولكن لا يمكنها إخبارك بما إذا كنت مؤهلاً. تسد الأدوات المخصصة هذه الفجوة عن طريق ربط الوكيل بمصادر البيانات المباشرة. تتعامل طبقة RAG مع أسئلة "ما هي القواعد؟". وتتعامل طبقة الأدوات مع أسئلة "ما هو وضعي؟". ويتولى الوكيل عملية التوليف. بالنسبة للعميل، يبدو الأمر كله كمحادثة واحدة مع وكيل واحد يعرف سياساتهم وبياناتهم.

يضيف سياق المستخدم طبقة بيانات ثالثة تزيد من تمييز وكيل RAG المُدار عن التنفيذ من الصفر. عبر واجهة برمجة تطبيقات JavaScript، تقوم بإرسال المعلومات المعروفة حول الزائر الذي قام بتسجيل الدخول — اسمه، بريده الإلكتروني، شريحة العميل، مستوى الخطة، عمليات الشراء الأخيرة — إلى الأداة المصغرة قبل بدء المحادثة. يستخدم الوكيل هذا السياق لتخصيص الاستجابات وتخطي مرحلة "هل يمكنني الحصول على رقم طلبك؟" ذهابًا وإيابًا. يحصل العميل الذي سجل دخوله ويسأل "متى يتم تجديد خطتي؟" على إجابة فورية لأن الوكيل لديه بالفعل هويته ويمكنه استدعاء واجهة برمجة التطبيقات الصحيحة. بدون سياق المستخدم، سيحتاج الوكيل إلى طلب معلومات تعريفية، والتحقق منها، ثم إجراء استدعاء الأداة — مما يضيف احتكاكًا لكل تفاعل. ومع ذلك، يشعر وكيل RAG بأنه يعرف العميل بالفعل.

يعد البعد متعدد اللغات لـ RAG مجالًا آخر يتفوق فيه النظام المُدار بشكل كبير على البناء المخصص. يدعم خط أنابيب الاسترجاع في Asyntai المطابقة الدلالية عبر اللغات — السؤال المطروح باللغة الألمانية يسترجع مقاطع ذات صلة من قاعدة معرفة إنجليزية لأن التمثيل الدلالي يلتقط المعنى بغض النظر عن اللغة. ثم تقوم طبقة التوليد بتكوين الاستجابة بلغة الزائر. أنت تحتفظ بقاعدة معرفة واحدة بلغتك الأساسية، ويخدم وكيل RAG الزوار بـ 36 لغة مدعومة. يتطلب بناء هذا في خط أنابيب مخصص إما الاحتفاظ بقواعد معرفة متوازية بكل لغة (مكلف، هش، دائمًا غير متزامن) أو تنفيذ طبقة ترجمة في خط أنابيب الاسترجاع (معقد، حساس للكمون، ونقطة فشل أخرى). النهج المُدار يتعامل مع الأمر ببساطة.

التصعيد الذكي هو شبكة الأمان التي تجعل وكيل RAG مناسبًا لدعم العملاء في مرحلة الإنتاج. لا يوجد نظام استرجاع يمتلك تغطية مثالية، ولا توجد مجموعة من الأدوات تغطي كل سيناريو. عندما يواجه الوكيل سؤالًا خارج قاعدة المعارف والأدوات الخاصة به — أو عندما يصل إلى حد قمت بتعريفه، مثل "لا توافق أبدًا على استرداد المبالغ التي تزيد عن 200 دولار دون مراجعة بشرية" — فإنه يلتقط معلومات العميل، وسجل المحادثة بالكامل، وأي بيانات استرجعها، ثم يوجه كل شيء إلى فريقك. يتضمن التصعيد المقاطع المسترجعة ونتائج استدعاء الأداة، حتى يرى فريقك البشري بالضبط ما وجده الذكاء الاصطناعي وأين توقف. هذا يعني أن فريقك يتعامل فقط مع الحالات التي تتطلب حقًا حكمًا بشريًا، مع سياق كامل، بدلاً من بدء كل محادثة مُصعّدة من الصفر.

الجهد الهندسي الذي يتم توفيره بواسطة وكيل RAG مُدار يتراكم بمرور الوقت. يتطلب خط الأنابيب المخصص صيانة مستمرة: تحديثات نماذج التضمين عند إصدار الموفر لإصدار جديد، وتوسيع قاعدة البيانات المتجهية مع نمو المحتوى الخاص بك، وتعديلات التقسيم عند إعادة هيكلة موقعك، ومراقبة تدهور جودة الاسترجاع، وهندسة المطالبات عندما يتغير سلوك النموذج اللغوي الكبير. كل واحد من هذه الأمور هو مشروع صغير بشكل فردي، ولكنه يتراكم ليصبح عبئًا تشغيليًا كبيرًا. وكيل RAG المُدار يستوعب كل هذا. تتم صيانة الزحف، والتقسيم، والتضمين، والفهرسة، والاسترجاع، والتوليد، والبنية التحتية للخدمة بواسطة المنصة. أنت تحتفظ بالمحتوى الخاص بك — الكلمات الموجودة على موقعك والمستندات الموجودة في قاعدة المعرفة الخاصة بك. يقوم وكيل RAG بتحويل هذا المحتوى إلى وكيل دون الحاجة إلى هندسة مستمرة من فريقك.

مسألة متى يجب البناء مقابل متى يجب شراء تطبيق RAG تأتي إلى التمايز. إذا كان خط أنابيب RAG الخاص بك هو منتجك — إذا كنت تبني محرك بحث، أو أداة بحث، أو منصة تكون فيها جودة الاسترجاع هي الميزة التنافسية الأساسية — فأنت بحاجة إلى تضمينات مخصصة، وإعادة ترتيب مخصصة، وتقسيم مخصص، وتحكم كامل في كل طبقة. إذا كان RAG وسيلة لتحقيق غاية — فأنت بحاجة إلى وكيل ذكاء اصطناعي يجيب على أسئلة العملاء بدقة باستخدام محتواك، وتريد نشره هذا الأسبوع — فإن وكيل RAG المُدار هو الخيار العملي. أنت تتخطى مشروع البنية التحتية، وتتخطى تقييم نموذج التضمين، وتتخطى توفير قاعدة البيانات المتجهية، وتتخطى تجارب التقسيم، وتحصل على وكيل RAG جاهز للإنتاج مع استدعاء الأدوات، والتخصيص، ودعم اللغات المتعددة، والتصعيد المضمن.

الفجوة بين نموذج RAG الأولي العامل ونشر RAG في مرحلة الإنتاج هي المكان الذي يفقد فيه معظم الفرق الزخم. يعمل النموذج الأولي في دفتر ملاحظات: تقوم بتضمين بضعة مستندات، والاستعلام عن متجر متجه محلي، والحصول على إجابات معقولة. ثم يأتي الواقع. كيف تحافظ على تحديث الفهرس عندما يتغير المحتوى؟ كيف تتعامل مع المستندات الكبيرة جدًا بحيث لا يمكن وضعها في جزء واحد؟ ماذا عن الجداول، والصور التي تحتوي على نصوص، وملفات PDF ذات تخطيطات معقدة؟ كيف تخدم خط أنابيب الاسترجاع بزمن انتقال منخفض للمستخدمين المتزامنين؟ كيف تتعامل مع المحتوى بلغات متعددة؟ ماذا عن الاستعلامات التي تتطلب بيانات غير موجودة في أي مستند؟ كل سؤال يطلق مشروعًا فرعيًا، ووكيل RAG الذي كان من المفترض نشره في غضون أسبوعين هو الآن مبادرة تستغرق ربع سنة. تعمل Asyntai على تقليص هذا الجدول الزمني لأن كل مشروع فرعي من هذه المشاريع يتم حله على مستوى البنية التحتية. أنت لا تواجه الأسئلة لأن الإجابات مدمجة في المنصة.

RAG في مرحلة الإنتاج ليس مجرد استرجاع وتوليد — إنه استرجاع، وتوليد، واستدعاء أدوات، وتخصيص، وتصعيد، ودعم متعدد اللغات، وتحليلات، وواجهة دردشة، وكلها تعمل معًا في نظام يتعامل مع محادثات العملاء الحقيقية على نطاق واسع. هذا هو المكدس الذي توفره Asyntai. محتواك يدخل. إجابات مؤصلة ودقيقة وقابلة للتنفيذ تخرج. يعمل خط أنابيب التوليد المعزز بالاسترجاع في الخلفية، غير مرئي لك ولزوارك، ويقوم بالشيء الذي كان من المفترض أن يفعله RAG دائمًا: إنشاء وكيل ذكاء اصطناعي يقول الحقيقة.