تقييم الأنظمة متعددة الوكلاء في الإنتاج

لماذا لا يثبت عرض ناجح مرة واحدة شيئًا؟

يتغير النظام متعدد الوكلاء مع كل تغيير في التعليمات أو الأدوات أو النموذج أو السياق. وبلا مجموعة ثابتة من السيناريوهات لا يستطيع أحد التمييز بين تحسّن وانحدار.

يُظهر العرض أن النظام قادر على النجاح. أما التقييم فيُظهر كم مرة ينجح فعلًا، وكم يكلّف حين يفشل.

وتزداد المشكلة في الأنظمة متعددة الوكلاء لأن الخطأ ينتقل بين الوكلاء: قد يبدو الجواب النهائي مقنعًا بينما استدعى أحد الوكلاء أداة خاطئة أو اعتمد على مصدر قديم في منتصف المسار. ولا يظهر ذلك إلا إذا قيّمتَ المسار كله لا الجواب الأخير. لذلك أعدّ التتبع جزءًا من التقييم نفسه، وليس أداة تصحيح تُستعمل بعد وقوع المشكلة فقط.

ماذا يعني تقييم نظام وكلاء عمليًا؟

السؤال المفيد ليس « هل يعمل؟ » أبدًا، بل « هل هذا الإصدار أفضل من السابق، وعلى أي سيناريوهات، وبأي معايير، وبأي كلفة، ومع أي أخطاء؟ ». هذه تجربة علمية وليست اجتماع مراجعة.

بُني FORGE، مختبر التقييم الذي أطوّره، حول هذه الفكرة. كائنه المركزي هو تشغيل التقييم: نسخة من سيناريو، ونسخة من وكيل، وإعداد، وتتبع التنفيذ، والتقييمات والدرجات، كلها مجمَّدة في بيان قابل لإعادة الإنتاج. وتصبح المقارنة بين إصدارين مقارنة بين مجموعتين من التشغيلات، مع الدرجات والكلفة والأخطاء ومستوى الثقة.

FORGE نسخة تجريبية عامة، وتعتمد نتائجه على السيناريوهات التي تضبطها. هو المنهج الذي أدافع عنه، لا ادعاءً بأن أداة ما تحلّ التقييم نيابةً عنك.

ولهذا السبب يجب أن يكون كل سيناريو موثَّقًا بمدخلاته وسياقه وقيوده والنتيجة المتوقعة ومعاييره، وأن تكون له نسخ متعددة تقيس المتانة: إذا تغيّرت صياغة السؤال قليلًا وانهار الجواب، فهذه معلومة لا يمنحك إياها عرض واحد ناجح. كما ينبغي أن يكون الوكيل نفسه مُصدَّرًا بإصدار ثابت لا يتغير، يشمل النموذج والتعليمات والأدوات وسياق المعرفة وطريقة التنسيق، وإلا فلن تعرف ما الذي تغيّر فعلًا بين تشغيلين.

ما طبقات التقييم التي تحتاجها؟

لا تكفي طريقة واحدة. تلتقط كل طبقة نوعًا مختلفًا من الإخفاق، ولها حدّ يجب أن تغطيه الطبقة التالية. أرتّبها من الأرخص والأكثر موضوعية إلى الأغلى والأكثر دقة.

والفكرة العملية هنا أن القواعد الحتمية تعمل على كل تشغيل بلا كلفة تُذكر، فتُصفّي الأخطاء الواضحة مبكرًا. أما المحكّمون فيُستدعَون للأحكام التي تحتاج إلى فهم، وتُحجز المراجعة البشرية للحالات التي يختلف فيها المحكّمون أو يرتفع فيها الخطر. بهذا يبقى الجهد البشري نادرًا حيث يكون أثمن.

كيف تقارن بين إصدارين من نظام وكلاء؟

اختر مرجعًا ومرشَّحًا، وشغّلهما على السيناريوهات نفسها، وكرّر التشغيل لأن مخرجات النموذج تتفاوت، وانظر إلى الفروق في كل معيار بدل درجة إجمالية واحدة. المتوسط الوحيد يُخفي السيناريو الذي ساء فيه المرشَّح.

• ثبّت السيناريوهات وأعطها إصدارات، كي لا يتحرك الاختبار بينما يتغير الوكيل، واحفظ لكل تشغيل بيانًا يوثّق إصدار السيناريو والوكيل والإعداد.
• شغّل المرجع والمرشَّح عدة مرات لكل منهما، وقارن بإحصاءات مقترنة لا بتشغيل واحد.
• اعرض الفروق لكل معيار مع مجال ثقة، لا درجة مركّبة فقط.
• اذكر حالات الانحدار لكل سيناريو، حتى لو تحسّن المتوسط.
• اختم بتوصية يمكن العمل بها: انشر، أو انشر بحذر، أو لا تنشر، أو غير حاسم.

كيف تتجنب خداع نفسك بمجموعة اختباراتك؟

الخطر الأكبر ليس وكيلًا سيئًا، بل وكيلًا يبدو جيدًا. حين يضبط فريق تعليماته على مجموعة اختبارات عامة ترتفع الدرجات، وقد لا يتحسن السلوك الحقيقي. أميّز بين ثلاثة أنواع من السيناريوهات: عامة للتطوير اليومي، وخاصة يبقى محتواها ونتيجتها المتوقعة مخفيين عن الوكيل، وجديدة تُضاف بانتظام لكشف الإفراط في التحسين.

تساعد السلاسل الكاناري في كشف التلوث، وتحوّل تصنيفات الأخطاء (هلوسة، تناقض، أداة خاطئة، تسرّب بيانات، خطأ في المصدر) عبارة غامضة مثل « يبدو أسوأ » إلى قائمة قابلة للعدّ والمراجعة.

وتُغلق المعايرة البشرية الحلقة. إذا اختلف المحكّمون والمراجعون فأول ما يُصلَح هو المحكّم لا الوكيل. وخلاف المحكّمين هو أيضًا أفضل وسيلة لترتيب ما ينبغي أن يقرأه إنسان.

كيف يبدو تقييم RAG على منصة حقيقية؟

في منصة DILA (القطاع العام، خدمات رئيس الوزراء) شمل التقييم سلسلة RAG كاملة وليس النص النهائي وحده. وهذا مهم لأن جوابًا سلسًا قد يُخفي إخفاقًا في الاسترجاع. وقد قيست هذه الأرقام على منصة DILA، لا بواسطة FORGE. وهي تُقرأ معًا لا منفردةً، لأن كل مقياس يجيب عن سؤال مختلف حول سلسلة واحدة.

• أمانة منخفضة مع استرجاع مرتفع تشير إلى التوليد: كان النموذج يملك الحقائق وتجاهلها.
• دقة منخفضة مع استرجاع مرتفع تعني أن السياق مزدحم: تصل الأدلة إلى النموذج لكنها مدفونة بين مقاطع لا تفيد، فيتشتت الجواب.
• استرجاع منخفض يشير إلى مرحلة الاسترجاع: لن يصلح أي تعديل للتعليمات جوابًا لم تُجلب أدلته أصلًا.

لماذا تُقيَّم الكلفة والزمن مثل الجودة؟

وكيل يجيب جيدًا لكنه يظل يدور بين الأدوات دقائق طويلة ليس أفضل، بل أغلى. فالكلفة والزمن والرموز في كل خطوة مكانها في بطاقة التقييم نفسها التي تضم الجودة، بأوزان تحددها أنت وتستطيع شرحها.

يقيّم FORGE عدة أبعاد، منها الجودة والاتساق والاستدلال والسلامة والمتانة والكلفة والزمن وتجربة المستخدم، وتُنشر كل درجة مركّبة مع صيغتها. والقاعدة التي ألتزم بها بسيطة: لا درجة بلا تفسير. يجب أن تعود كل علامة إلى المعيار والمحكّم (النموذج والإصدار والتعليمات) والقاعدة وخطوة التتبع المعنية.

وقد أظهر برنامج DILA المنطق نفسه على مستوى المنصة، إذ أسهم تحسين المسارات وإعادة الاستخدام في خفض كلفة كل طلب ذكاء اصطناعي بنسبة 30%. هذا الرقم من منصة DILA وليس من FORGE، لكنه يوضح لماذا الكلفة معيار جودة وليست تفصيلًا يخص المالية وحدها.

ماذا ينبغي أن تقرر بوابة الإصدار؟

تحوّل بوابة الإصدار التقييم إلى قرار. عمليًا تعمل ضمن التكامل المستمر: إذا تراجع مرشَّح في معيار أعلنتَه حرجًا يتوقف المسار، ويُظهر التقرير أي السيناريوهات وأي خطوات التتبع تسببت في ذلك.

وتحتاج البوابة إلى مخرج أيضًا. يمكن قبول انحدار، لكن بمسؤول مسمّى وسبب مدوَّن، كي يبقى القرار قابلًا للتدقيق. وما تتعلمه البوابة يعود إلى السيناريوهات: كل حادثة تظهر في الإنتاج تصبح اختبارًا جديدًا.

ولا تُغني البوابة عن التقدير البشري. فهي تمنع المفاجآت الواضحة، أما قرار قبول مفاضلة بين الجودة والكلفة فيبقى قرار فريق يعرف سياقه ومخاطره.

وهذا ما يجعل الاستقلالية ممكنة. حين تستطيع أن تُظهر ما يحدث على مجموعة ثابتة من السيناريوهات، يمكنك أن تسمح للوكيل بفعل المزيد، وأن تسحب هذا الإذن حين تتغير الأدلة.