> ## Content Index
> Fetch the complete content index at: https://arabroot.io/llms.txt
> Use this file to discover other available public pages before exploring further.

# كيف تقيس وكيل البرمجة؟ SWE-bench ومهام فريقك
- URL: https://arabroot.io/articles/كيف-تقيس-وكيل-البرمجة-swe-bench-ومهام-فريقك/
- Published: 2026-11-21T01:33:12.000Z
- Updated: 2026-11-21T02:29:09.000Z
- Description: ما الذي تقيسه أرقام SWE-bench ولماذا توقفت OpenAI عن نشرها، وكيف تبني أداة قياس صغيرة من تذاكر فريقك باختبارات مخفية، مع تجربة حقيقية لإعدادين على 12 مهمة.
- Author: فريق عرب رووت
- Tags: الأدلة التقنية, التطوير مع وكلاء الذكاء الاصطناعي

لنفرض أن فريقك يستعمل وكيل برمجة منذ أشهر، ثم صدر نموذج جديد يقول إعلانه إنه يحل نسبة أعلى من المشكلات في اختبار SWE-bench، أو جاءتك أداة أخرى بسعر أقل وأرقام أعلى في جدول المقارنة. السؤال الذي يجب أن تجيب عنه قبل أن تغير شيئاً ليس «أي الرقمين أكبر؟»، وإنما «هل هذا الرقم يقيس عمل فريقنا نحن؟». فالاختبار المعياري Benchmark مجموعة مهام اختارها غيرك، من مستودعات غير مستودعاتك، بلغة قد لا تكون لغتك، وفي بيئة تشغيل Harness غير التي تستعملها، وقد رأى النموذج بعض مهامه أثناء التدريب. ولذلك فإن الطريقة الوحيدة لتعرف هل الوكيل الجديد أفضل لك هي أن تقيسه على مهامك بنفسك، بالطريقة نفسها التي بنيت بها هذه الاختبارات المعروفة، ولكن على نطاق صغير يناسب فريقاً واحداً.

وفي مقال بناء وكيل البرمجة بنينا وكيلاً صغيراً اسمه minicode، و12 مهمة لكل منها وصف واختبارات ظاهرة واختبارات مخفية وحل مرجعي، واستعملنا خمساً منها لنطور الوكيل. وفي هذا المقال نكمل من هناك: نشرح كيف بنيت الاختبارات المعيارية المعروفة، وما الذي تقيسه أرقامها وما الذي لا تقيسه، ثم نبني أداة قياس Evaluation Harness صغيرة لفريقك، ونقارن بها إعدادين للوكيل على المهام الاثنتي عشرة، بأكثر من تشغيل لكل مهمة.

[![](https://arabroot.io/content/images/2026/11/build-coding-agent-cover-cover.webp)دليلابن وكيل برمجة Coding Agent بيدك: الحلقة والأدواتنبني وكيل برمجة كاملاً في ملف Python واحد حول نموذج محلي، ونرى كيف أفشلته طريقة الرد وأداة التعديل وتعريف الانتهاء قبل أن نصلحها ونقيسه باختبارات مخفية.](https://arabroot.io/articles/%D8%A7%D8%A8%D9%86-%D9%88%D9%83%D9%8A%D9%84-%D8%A8%D8%B1%D9%85%D8%AC%D8%A9-coding-agent-%D8%A8%D9%8A%D8%AF%D9%83-%D8%A7%D9%84%D8%AD%D9%84%D9%82%D8%A9-%D9%88%D8%A7%D9%84%D8%A7%D8%AF%D9%88%D8%A7%D8%AA/)

في هذا المقال سوف نتناول:

- ما الذي يقيسه اختبار معياري لوكلاء البرمجة: المهمة، والبيئة، والاختبارات المخفية، والمقياس.
- قصة SWE-bench من 2,294 مهمة في 2023 إلى SWE-bench Verified، ولماذا توقفت OpenAI عن نشر نتائجه في 2026.
- اختبارات أخرى: SWE-bench Pro وTerminal-Bench وHumanEval، وما يضيفه كل منها.
- المقاييس: pass@1 وpass@k وpass^k، ولماذا يحتاج الوكيل أكثر من تشغيل للمهمة نفسها.
- أداة قياس لفريقك: كيف تختار المهام، وكيف تكتب الاختبارات المخفية، وكيف تتأكد أن المهمة نفسها صحيحة.
- تجربة كاملة: إعدادان للوكيل على 12 مهمة، بالنتيجة والزمن والتوكنات، وما الذي كشفته الأرقام.

## ما الذي يقيسه اختبار معياري لوكلاء البرمجة؟

الاختبار المعياري للوكلاء ليس قائمة أسئلة وأجوبة كما في امتحان، وإنما أربعة أجزاء تعمل معاً، وإذا تغير أي جزء منها تغير الرقم:

1. **المهمة Task:** وصف مكتوب لما يجب فعله، مثل تذكرة Issue من GitHub، ومعه حالة المستودع قبل الإصلاح.
2. **البيئة Environment:** المكان الذي يعمل فيه الوكيل، أي Container فيه المستودع والاعتماديات Dependencies بالإصدارات الصحيحة، حتى تعمل الاختبارات عند الجميع بالطريقة نفسها.
3. **الحكم Grader:** غالباً اختبارات مخفية لا يراها الوكيل، تفحص هل حل المشكلة فعلاً، ومعها اختبارات كانت تنجح قبل التغيير وتفحص أنه لم يفسد ما كان يعمل.
4. **المقياس Metric:** كيف تجمع نتائج المهام في رقم واحد، مثل نسبة المهام المحلولة من أول محاولة.

والشيء الذي ينساه كثيرون أن الرقم المنشور لا يقيس النموذج وحده، وإنما النموذج مع بيئة التشغيل التي حوله، فالنموذج نفسه يحصل على أرقام مختلفة بأدوات مختلفة، وهذا ما رأيناه في مقال البناء عندما غيرنا شكل الرد وحده فتغيرت النتيجة. والشكل التالي يبين الأجزاء الأربعة في أداة القياس التي نبنيها:

![أربعة صناديق متتالية: المهمة وفيها task.md والمستودع، ثم البيئة وهي Container الوكيل مع النموذج، ثم الحكم وهو Container دون شبكة يضيف الاختبارات المخفية، ثم المقياس وفيه pass@1 وpass@2 وpass^2 والزمن والتوكنات. وتحت الصناديق سطر يقول إن الرقم يقيس النموذج مع بيئة التشغيل معاً](https://arabroot.io/content/images/2026/11/evaluate-coding-agents-01-anatomy.webp)

الرقم النهائي نتيجة أربعة أجزاء، وتغيير أي جزء منها يغير الرقم.

## SWE-bench: من 2% إلى اختبار توقفوا عن نشره

في أكتوبر 2023 نشر فريق من جامعة Princeton بحث [SWE-bench](https://arxiv.org/abs/2310.06770?ref=arabroot.io)، الذي قبل في مؤتمر ICLR 2024، وفكرته بسيطة وقوية: خذ طلبات دمج Pull Requests حقيقية من مستودعات Python معروفة، كل طلب منها يحل تذكرة Issue ويضيف اختبارات، ثم أعط الوكيل التذكرة والمستودع قبل الدمج، واحكم عليه بالاختبارات التي أضافها المطور الأصلي. والمجموعة الأولى كانت 2,294 مهمة من 12 مستودعاً، وأفضل نموذج في البحث كان Claude 2 بنسبة 1.96% فقط، أي أن أفضل نموذج حينها حل أقل من مهمتين من كل مئة.

ثم ظهرت مشكلة في المهام نفسها، فبعض الأوصاف غامضة لا يمكن أن يعرف منها أحد ما المطلوب، وبعض الاختبارات تفحص تفصيلاً في حل المطور الأصلي، مثل اسم دالة جديدة أو نص رسالة خطأ، فترفض حلاً صحيحاً آخر. ولذلك نشرت OpenAI مع فريق SWE-bench في أغسطس 2024 مجموعة [SWE-bench Verified](https://www.swebench.com/verified.html?ref=arabroot.io): راجع 93 مطوراً من ذوي الخبرة في Python 1,699 مهمة، كل مهمة ثلاث مرات، واختاروا منها 500 مهمة وصفها واضح واختباراتها عادلة. وحصل GPT-4o وقتها على 33.2% في المجموعة الجديدة. ثم صارت هذه المجموعة الرقم الذي تعلنه كل شركة مع كل نموذج جديد، فوصلت Anthropic في يناير 2025 إلى [49% بنموذج Claude 3.5 Sonnet](https://www.anthropic.com/research/swe-bench-sonnet?ref=arabroot.io) ببيئة فيها أداتان فقط، ووصل وكيل mini-swe-agent بمئة سطر من Python إلى أكثر من 74% كما يقول مستودعه.

ثم في 23 فبراير 2026 أعلنت OpenAI أنها توقفت عن نشر نتائج SWE-bench Verified، ولسببين. الأول أن المجموعة لم تعد تقيس قدرة النماذج، لأن المهام والحلول كلها منشورة منذ سنوات، وقالت إن كل النماذج المتقدمة التي فحصتها رأت بعض المهام وحلولها أثناء التدريب، وهذا ما يسمى التلوث Contamination. والثاني أنها راجعت 138 مهمة لم يحلها نموذجها o3 بثبات في 64 تشغيلاً، وراجع كل مهمة ستة مهندسين على الأقل، فوجدت أن 59.4% منها فيها مشكلة حقيقية في الاختبارات أو الوصف تجعل حلها صعباً جداً أو مستحيلاً. وقيمت Epoch AI المجموعة بأنها [معيبة Flawed](https://epoch.ai/benchmarks/swe-bench-verified/review?ref=arabroot.io) للسببين نفسيهما. وأوصت OpenAI وقتها باستعمال SWE-bench Pro، ثم في يوليو 2026 قدرت في تحليل آخر أن قرابة 30% من مهام SWE-bench Pro نفسها معطلة، وسحبت توصيتها، وتقييم Epoch لها [معيبة أيضاً](https://epoch.ai/benchmarks/swe-bench-pro/review?ref=arabroot.io).

والشكل التالي يلخص هذه القصة بالأرقام المنشورة:

![خط زمني: 2023 نسبة 1.96% في SWE-bench لأفضل نموذج Claude 2، ثم 2024 نسبة 12.5% لوكيل SWE-agent، ثم أغسطس 2024 نسبة 33.2% في Verified لنموذج GPT-4o، ثم يناير 2025 نسبة 49% لنموذج Claude 3.5 Sonnet بأداتين، ثم أكثر من 74% لوكيل mini-swe-agent، ثم فبراير 2026 توقف النشر بسبب التلوث و59.4% من 138 مهمة معيبة](https://arabroot.io/content/images/2026/11/evaluate-coding-agents-05-timeline.webp)

الأرقام صعدت بسرعة، ثم فقدت المجموعة قيمتها لأن مهامها وحلولها صارت معروفة.

وقد يتساءل البعض: إذا كانت أشهر الاختبارات معيبة، فهل أرقامها بلا قيمة؟ والإجابة لا، فهي ما زالت تقول لك شيئاً عن الاتجاه العام، أي أن النماذج انتقلت خلال ثلاث سنوات من حل مهمتين في المئة إلى حل أغلب المهام، ولكنها لم تعد تفرق بين نموذجين متقاربين، ولا تقول شيئاً عن مستودعك أنت. والدرس الأهم للفريق أن أي مجموعة مهام ثابتة تفقد قيمتها مع الوقت، وأن المهام التي تكتبها اليوم من مستودعك لم يرها أي نموذج، وهذه ميزة لا يملكها أي اختبار منشور.

## اختبارات أخرى: ماذا يضيف كل منها؟

| الاختبار                  | المهام               | ماذا يقيس                                      | ما يجب أن تعرفه                                                                                                        |
| ------------------------- | -------------------- | ---------------------------------------------- | ---------------------------------------------------------------------------------------------------------------------- |
| HumanEval (2021)          | 164 دالة صغيرة       | كتابة دالة من وصفها، باختبارات                 | بحث Codex الذي عرف المقياس pass@k، وحل فيه Codex نسبة 28.8%، و70.2% مع 100 محاولة للمهمة؛ لا يقيس عمل الوكيل في مستودع |
| SWE-bench (2023)          | 2,294 من 12 مستودعاً | حل تذكرة حقيقية في مستودع Python               | مهام فيها أوصاف غامضة واختبارات غير عادلة                                                                              |
| SWE-bench Verified (2024) | 500                  | مثل السابق بعد مراجعة بشرية                    | ملوث، وتوقفت OpenAI عن نشره في فبراير 2026                                                                             |
| SWE-bench Pro (2025)      | 1,865 من 41 مستودعاً | مهام أطول في عدة لغات، منها مجموعة تجارية خاصة | أفضل النتائج عند نشره 23.3% في المجموعة العامة؛ وقدرت OpenAI لاحقاً أن قرابة 30% من مهامه معطلة                        |
| Terminal-Bench 2.0 (2025) | 89                   | مهام كاملة في الطرفية، من البرمجة إلى الإدارة  | اختيرت من 229 مهمة مقترحة وراجعها ثلاثة أشخاص، والنماذج المتقدمة أقل من 65%                                            |

في الجدول أعلاه لاحظ التالي:

- [بحث HumanEval](https://arxiv.org/abs/2107.03374?ref=arabroot.io) هو الذي عرف المقياس pass@k الذي سوف نستعمله، وهو أن تولد k حلاً للمهمة الواحدة وتعتبرها محلولة إذا نجح أي منها.
- [SWE-bench Pro](https://arxiv.org/abs/2509.16941?ref=arabroot.io) من Scale AI حاول أن يقلل التلوث بأن يأخذ مهامه العامة من مستودعات برخص Copyleft مثل GPL، ويحتفظ بمجموعة من 858 مهمة لا ينشرها، ومجموعة تجارية من 276 مهمة من مستودعات شركات ناشئة.
- [Terminal-Bench](https://arxiv.org/abs/2601.11868?ref=arabroot.io) نشر نسخته الثانية [في 7 نوفمبر 2025](https://www.tbench.ai/news/announcement-2-0?ref=arabroot.io) بمهام أصعب وأكثر مراجعة، وهو أقرب إلى ما يفعله وكيل في الطرفية مثل Claude Code وCodex من تذكرة واحدة في مستودع.

## المقاييس: pass@1 وpass@k وpass^k

الوكيل لا يعطي النتيجة نفسها كل مرة، حتى على المهمة نفسها، فالنموذج يختار التوكن التالي باحتمال، وأي اختلاف صغير في خطوة مبكرة يغير كل ما بعدها. ولذلك فإن تشغيلاً واحداً لكل مهمة يعطيك رقماً قد يتغير بالكامل في التشغيل التالي، وقد رأينا ذلك في مقال البناء، فالمهمة الأولى نجحت مع qwen2.5-coder:3b في الإصدار الثاني وفشلت معه في الإصدار الثالث بتغيير صغير في التعليمات. وهناك ثلاثة مقاييس تتعامل مع هذا:

- **pass@1:** متوسط نسبة النجاح في محاولة واحدة، أي إذا شغلت كل مهمة n مرة فهو عدد التشغيلات الناجحة مقسوماً على كل التشغيلات. وهذا أقرب رقم لما تعيشه يومياً عندما تعطي الوكيل مهمة مرة واحدة.
- **pass@k:** نسبة المهام التي نجح فيها تشغيل واحد على الأقل من k تشغيلات، وهو يقيس هل يستطيع الوكيل حل المهمة أصلاً إذا أعطيته عدة فرص واخترت أنت الحل الناجح، كما يحدث عندما تشغل عدة وكلاء بالتوازي وتختار أفضل نتيجة.
- **pass^k:** نسبة المهام التي نجحت فيها كل التشغيلات الـ k، وقد اقترحه بحث [τ-bench](https://arxiv.org/abs/2406.12045?ref=arabroot.io) في 2024 لقياس الثبات Reliability، ووجد أن أفضل الوكلاء وقتها نجحوا في أقل من نصف المهام، وأن pass^8 في مجال البيع بالتجزئة كان أقل من 25%. وهذا المقياس هو الأهم إذا كان الوكيل يعمل وحده دون مراجعة، مثل وكيل في خط CI.

والشكل التالي يبين الفرق بين المقاييس الثلاثة على مثال صغير:

![أربع مهام في صفوف، ولكل مهمة تشغيلان بدائرتين خضراء للنجاح وحمراء للفشل: المهمة الأولى نجح الاثنان، والثانية نجح واحد، والثالثة نجح واحد، والرابعة فشل الاثنان. وعلى اليسار الحساب: pass@1 = 4 من 8 = 50%، وpass@2 = 3 من 4 = 75%، وpass^2 = 1 من 4 = 25%](https://arabroot.io/content/images/2026/11/evaluate-coding-agents-02-metrics.webp)

التشغيلات نفسها تعطي ثلاثة أرقام مختلفة، وكل رقم يجيب عن سؤال مختلف.

## أداة قياس لفريقك: كيف تبنيها؟

أداة القياس لفريقك لا تحتاج آلاف المهام، وإنما مهام قليلة تشبه عملك، مكتوبة بطريقة تجعل الحكم عليها آلياً وعادلاً. وهذه الطريقة التي بنينا بها المهام الاثنتي عشرة، وتستطيع أن تطبقها على مستودعك:

1. **ابدأ من تذاكر مغلقة:** أفضل مصدر للمهام هو التذاكر التي أصلحها فريقك فعلاً وكتب لها اختباراً، فأنت تعرف أن الإصلاح ممكن، وعندك الحل الحقيقي. ارجع بالمستودع إلى ما قبل الإصلاح، وانقل الاختبار الجديد إلى المجلد المخفي.
2. **اكتب الوصف كما وصل إليك:** بلغة صاحب التذكرة، وليس بلغة من يعرف الحل، فلا تكتب «غير `>` إلى `>=`»، وإنما «طلب بقيمة 500 لا يحصل على الخصم».
3. **افصل ما يراه الوكيل عما لا يراه:** الاختبارات الظاهرة هي اختبارات المشروع العادية، والمخفية تفحص المشكلة نفسها والحالات الحدية Edge Cases التي يذكرها الوصف أو يقتضيها.
4. **تأكد أن المهمة صحيحة قبل أن تقيس بها:** الكود الأصلي يجب أن يفشل في المخفية، والحل المرجعي يجب أن ينجح في الظاهرة والمخفية، وهذه أصغر نسخة من المراجعة التي بني بها SWE-bench Verified.
5. **نوع المهام:** مهام تفشل اختباراتها الظاهرة من البداية، ومهام تنجح اختباراتها الظاهرة والمشكلة في ما لا تغطيه، ومهام في ملف واحد، ومهام في ملفين.
6. **احكم في مكان منفصل:** الحكم يعمل بعد أن ينتهي الوكيل، في Container دون شبكة، على نسخة من المستودع، حتى لا يستطيع الوكيل أن يرى الاختبارات المخفية أو يغيرها.

والمهام الاثنتا عشرة في المختبر كلها بهذا الشكل، والجدول التالي يبينها:

| المهمة        | المشكلة كما وصلت                                                           | الظاهرة قبل الإصلاح | الملفات |
| ------------- | -------------------------------------------------------------------------- | ------------------- | ------- |
| T01-discount  | طلب بقيمة 500 لا يحصل على خصم 10%                                          | تنجح                | 1       |
| T02-duration  | تحويل المدة يفهم الدقائق فقط، والمطلوب الساعات والثواني ورفض الصيغ الخاطئة | تفشل                | 1       |
| T03-slugify   | عنوان الرابط فيه شرطات مكررة وشرطة في آخره                                 | تنجح                | 1       |
| T04-csv       | اسم فيه فاصلة داخل علامات التنصيص يقسم السطر                               | تنجح                | 1       |
| T05-merge     | الدمج يفقد الإعدادات المتداخلة                                             | تفشل                | 1       |
| T06-paginate  | الصفحة الأولى تتخطى أول عشرة عناصر                                         | تفشل                | 1       |
| T07-retry     | إعادة المحاولة تستدعي الدالة مرة زائدة وتخفي الخطأ                         | تنجح                | 1       |
| T08-ttl       | الذاكرة المؤقتة ترجع قيماً انتهت مدتها                                     | تفشل                | 1       |
| T09-median    | خيار جديد \--median في أداة الطرفية                                        | تنجح                | 2       |
| T10-split     | تقسيم الفاتورة يضيع هللة                                                   | تنجح                | 1       |
| T11-intervals | الفترات المتلاصقة وغير المرتبة لا تدمج                                     | تنجح                | 1       |
| T12-versions  | مقارنة الإصدارات تعتبر 1.10.0 أقدم من 1.9.2                                | تنجح                | 1       |

لاحظ في الجدول أن المهام صغيرة عمداً، فكل واحدة دالة أو اثنتان في ملف أو ملفين، لأن النموذج يعمل على المعالج وكل تشغيل يأخذ دقائق. ولكن المزيج مقصود أيضاً: ثماني مهام تنجح اختباراتها الظاهرة قبل أي إصلاح، أي أن الوكيل الذي يكتفي بتشغيل الاختبارات سوف يظن أنه انتهى، وأربع مهام تفشل ظاهرتها، أي أن الوكيل يعرف من البداية أن شيئاً لا يعمل، ومهمة واحدة تحتاج تعديل ملفين، ومهام فيها حالات حدية مكتوبة في الوصف ولا يفحصها الاختبار الظاهر. وفي فريق حقيقي تأخذ هذا المزيج من تذاكركم، ونسبة كل نوع فيه تقترب من نسبته في عملكم اليومي.

## التجربة: إعدادان للوكيل على 12 مهمة

قبل أي تشغيل، تأكدنا أن المهام نفسها صحيحة بالسكربت `validate.py`، وهو الفحص الذي يجب أن يسبق أي قياس، والمخرج كما يلي:

```text
T01-discount   original: visible pass, hidden FAIL  reference: visible pass, hidden pass  ok
T02-duration   original: visible FAIL, hidden FAIL  reference: visible pass, hidden pass  ok
T03-slugify    original: visible pass, hidden FAIL  reference: visible pass, hidden pass  ok
T04-csv        original: visible pass, hidden FAIL  reference: visible pass, hidden pass  ok
T05-merge      original: visible FAIL, hidden FAIL  reference: visible pass, hidden pass  ok
T06-paginate   original: visible FAIL, hidden FAIL  reference: visible pass, hidden pass  ok
T07-retry      original: visible pass, hidden FAIL  reference: visible pass, hidden pass  ok
T08-ttl        original: visible FAIL, hidden FAIL  reference: visible pass, hidden pass  ok
T09-median     original: visible pass, hidden FAIL  reference: visible pass, hidden pass  ok
T10-split      original: visible pass, hidden FAIL  reference: visible pass, hidden pass  ok
T11-intervals  original: visible pass, hidden FAIL  reference: visible pass, hidden pass  ok
T12-versions   original: visible pass, hidden FAIL  reference: visible pass, hidden pass  ok
```

كل مهمة تفشل اختباراتها المخفية مع الكود الأصلي، وتنجح الظاهرة والمخفية مع الحل المرجعي، فإذا فشل الوكيل في مهمة فالسبب فيه وليس في المهمة. ولاحظ أن ثماني مهام من اثنتي عشرة تنجح اختباراتها الظاهرة قبل أي تغيير، وهذا ما يجعل الحكم بالاختبارات الظاهرة وحدها مضللاً كما سوف نرى.

ثم قارنا إعدادين كاملين للوكيل minicode، وكل إعداد هو النموذج مع شكل الرد الذي ناسبه في مقال البناء، لأن السؤال الذي يسأله الفريق عادة هو «أي إعداد نستعمل؟» وليس «أي نموذج أذكى؟»:

- **الإعداد A:** qwen2.5-coder:3b، النموذج المدرب على الكود، بالرد المنظم JSON في الحقل `format`.
- **الإعداد B:** qwen3:4b-instruct، النموذج العام، باستدعاء الأدوات الأصلي في الحقل `tools`.

والإعدادات الأخرى ثابتة في الاثنين: حد 12 خطوة، وحد 600 ثانية يفحص قبل كل خطوة، وحرارة Temperature 0.4 وبذرة Seed ثابتة. والسكربت `evaluate.sh` يشغل كل مهمة بكل إعداد، ويكتب سطراً لكل تشغيل في `results.jsonl`، وشغلناه مرتين:

```bash
#!/bin/bash
# Runs the evaluation: every task, every agent configuration, every seed. One line of results per run in results.jsonl.
#   bash evaluate.sh                  (needs adb-ollama on adb-int with both models, see the build article)
set -o pipefail
cd "$(dirname "$0")"
CONFIGS=("qwen2.5-coder:3b|json" "qwen3:4b-instruct|tools")
SEEDS=(1)
mkdir -p out
for seed in "${SEEDS[@]}"; do
  for cfg in "${CONFIGS[@]}"; do
    model=${cfg%|*}; mode=${cfg#*|}
    for t in tasks/T*; do
      bash run-task.sh "$t" "$model" "seed$seed-$mode" --mode "$mode" --temperature 0.4 --seed "$seed" \
        --max-steps 12 --max-seconds 600 > /dev/null 2>&1
      d=data/seed$seed-$mode/${model//[:\/]/_}/$(basename "$t")/out
      python - "$d" "$model" "$mode" "$seed" "$(basename "$t")" >> out/results.jsonl <<'PY'
import json, sys
d, model, mode, seed, task = sys.argv[1:]
s, g = json.load(open(d + "/summary.json")), json.load(open(d + "/grade.json"))
print(json.dumps({"task": task, "model": model, "mode": mode, "seed": int(seed), **s, **g}))
PY
      tail -1 out/results.jsonl | cut -c1-160
    done
  done
done
```

ثم يحسب السكربت `summarize.py` المقاييس لكل إعداد من هذا الملف:

```python
# Reads out/results.jsonl (one line per run) and prints the numbers per agent configuration:
# pass@1 (mean over runs), pass@k (any run passed), pass^k (all runs passed), false "done", time and tokens.
#   python summarize.py out/results.jsonl
import json, statistics, sys
from collections import defaultdict

runs = [json.loads(l) for l in open(sys.argv[1])]
by_cfg = defaultdict(list)
for r in runs:
    by_cfg[(r["model"], r["mode"])].append(r)

for (model, mode), rs in by_cfg.items():
    tasks = defaultdict(list)
    for r in rs:
        tasks[r["task"]].append(r["hidden"])
    k = min(len(v) for v in tasks.values())
    n = len(rs)
    finished = [r for r in rs if r["stop"].startswith("finished")]
    false_done = [r for r in finished if not r["hidden"]]
    print("== %s (%s): %d tasks x %d runs" % (model, mode, len(tasks), k))
    print("   pass@1 %.1f%% (%d/%d runs)   pass@%d %.1f%% (%d/%d tasks)   pass^%d %.1f%% (%d/%d tasks)" % (
        100 * sum(r["hidden"] for r in rs) / n, sum(r["hidden"] for r in rs), n,
        k, 100 * sum(any(v) for v in tasks.values()) / len(tasks), sum(any(v) for v in tasks.values()), len(tasks),
        k, 100 * sum(all(v) for v in tasks.values()) / len(tasks), sum(all(v) for v in tasks.values()), len(tasks)))
    print("   visible tests pass %d/%d runs, hidden %d/%d   said finished %d, of them hidden failed %d" % (
        sum(r["visible"] for r in rs), n, sum(r["hidden"] for r in rs), n, len(finished), len(false_done)))
    print("   median %d s and %d steps per run, tokens in %d / out %d per run (median)" % (
        statistics.median(r["seconds"] for r in rs), statistics.median(r["steps"] for r in rs),
        statistics.median(r["tokens_in"] for r in rs), statistics.median(r["tokens_out"] for r in rs)))
    print("   per task: " + "  ".join("%s %s" % (t.split("-")[0], "".join("P" if h else "." for h in v)) for t, v in sorted(tasks.items())))
```

في الكود أعلاه لاحظ التالي:

- النجاح عند السكربت هو نجاح الاختبارات المخفية فقط، أي العمود `hidden`، وليس ما يقوله الوكيل ولا الاختبارات الظاهرة.
- السطر «said finished … of them hidden failed» يعد المرات التي أعلن فيها الوكيل الانتهاء ووافقت بيئة التشغيل لأن الاختبارات الظاهرة نجحت، ثم فشلت المخفية. وهذا أخطر نوع من الفشل، لأنه الفشل الذي لا تراه إلا إذا قرأت الكود بنفسك.
- الزمن والتوكنات بالوسيط Median وليس بالمتوسط، لأن تشغيلاً واحداً عالقاً حتى حد الوقت يرفع المتوسط كثيراً ولا يعبر عن التشغيل العادي.

## النتائج

شغلنا السكربت `evaluate.sh` مرتين بالإعدادات نفسها، فحصلنا على تشغيلين لكل مهمة في كل إعداد، أي 48 تشغيلاً. ولاحظ أن البذرة Seed في التشغيلين واحدة، وأن النتيجة مع ذلك اختلفت في بعض المهام، كما سوف نرى، لأن الحرارة 0.4 وتوقيت الحساب على المعالج يكفيان ليختار النموذج توكناً مختلفاً في خطوة ما. وفي التشغيل الثاني للمهمة T02 بالإعداد B رد سيرفر Ollama بالخطأ 500 في منتصف التشغيل مرتين، فتوقف الوكيل دون ملخص، فحكمنا على ما تركه في المستودع بالاختبارات نفسها، وسجلنا سبب التوقف كخطأ في بيئة القياس، وهو فشل في الحالتين. ثم جمعنا النتائج بالسكربت `summarize.py`، والمخرج كما يلي:

```text
== qwen2.5-coder:3b (json): 12 tasks x 2 runs
   pass@1 4.2% (1/24 runs)   pass@2 8.3% (1/12 tasks)   pass^2 0.0% (0/12 tasks)
   visible tests pass 17/24 runs, hidden 1/24   said finished 3, of them hidden failed 2
   median 111 s and 6 steps per run, tokens in 4976 / out 296 per run (median)
   per task: T01 P.  T02 ..  T03 ..  T04 ..  T05 ..  T06 ..  T07 ..  T08 ..  T09 ..  T10 ..  T11 ..  T12 ..
== qwen3:4b-instruct (tools): 12 tasks x 2 runs
   pass@1 54.2% (13/24 runs)   pass@2 58.3% (7/12 tasks)   pass^2 50.0% (6/12 tasks)
   visible tests pass 20/24 runs, hidden 13/24   said finished 17, of them hidden failed 5
   median 560 s and 6 steps per run, tokens in 6910 / out 733 per run (median)
   per task: T01 PP  T02 ..  T03 PP  T04 PP  T05 ..  T06 ..  T07 ..  T08 ..  T09 .P  T10 PP  T11 PP  T12 PP
```

والشكل التالي يبين كل تشغيل في خانة:

![مصفوفة بالمهام الاثنتي عشرة في الأعمدة، وصفان لكل إعداد. الإعداد A بنموذج coder:3b: خانة خضراء واحدة في T01 والباقي برتقالي أو أحمر. الإعداد B بنموذج qwen3:4b: خضراء في T01 وT03 وT04 وT10 وT11 وT12 في التشغيلين، وفي T09 في التشغيل الثاني فقط، وحمراء في T02 وT05، وبرتقالية في T06 وT07 وT08](https://arabroot.io/content/images/2026/11/evaluate-coding-agents-03-results.webp)

الأخضر نجاح في الاختبارات المخفية، والبرتقالي نجاح في الظاهرة وحدها، والأحمر فشل في الاثنتين.

في المخرج والشكل لاحظ التالي:

- **الفرق بين الإعدادين كبير:** الإعداد B حل 13 تشغيلاً من 24، أي pass@1 بنسبة 54.2%، والإعداد A حل تشغيلاً واحداً من 24، أي 4.2%. وبهذا الفرق لا تحتاج إحصاءً معقداً لتقرر، أما الفرق بين 54% و58% مثلاً فيحتاج مهام وتشغيلات أكثر بكثير.
- **pass@2 وpass^2 قريبان في B:** 58.3% و50.0%، أي أن الإعداد B ثابت نسبياً، فست مهام نجحت في التشغيلين، ومهمة واحدة فقط، T09، نجحت في تشغيل وفشلت في الآخر. أما في A فالمهمة الوحيدة التي نجحت، T01، نجحت في التشغيل الأول وفشلت في الثاني بالبذرة نفسها، فـ pass^2 عنده صفر.
- **الاختبارات الظاهرة تكذب:** في A نجحت الظاهرة في 17 تشغيلاً من 24 والمخفية في واحد، وفي B نجحت الظاهرة في 20 والمخفية في 13\. فلو حكمنا بالظاهرة لقلنا إن A ناجح في 71% من التشغيلات.
- **النجاح الكاذب:** في 7 تشغيلات قال الوكيل إنه انتهى، ووافقت بيئة التشغيل لأن الظاهرة نجحت، وفشلت المخفية، 2 في A و5 في B. وهذا النوع هو الذي يدخل المستودع إذا لم يقرأ أحد الفرق.
- **الثمن:** B أبطأ بخمس مرات تقريباً في الوسيط، 560 ثانية مقابل 111، ويستهلك توكنات داخلة أكثر قليلاً، 6,910 مقابل 4,976 في الوسيط، وخارجة أكثر بمرتين ونصف. ولكن تشغيلات A القصيرة قصيرة لأنها تتوقف عالقة بسرعة، وليس لأنها تنجز أسرع.

![أشرطة لكل إعداد: في A نجحت الظاهرة في 17 تشغيلاً، وقال الوكيل انتهيت ونجح الفحص في 3، ونجحت المخفية في 1. وفي B نجحت الظاهرة في 20، وانتهى بنجاح الفحص في 17، ونجحت المخفية في 13. وتحتها جملة: في 7 تشغيلات قال الوكيل إنه انتهى وفشلت المخفية](https://arabroot.io/content/images/2026/11/evaluate-coding-agents-04-visible.webp)

كلما ابتعدت عن الاختبارات المخفية زاد الرقم، والرقم الأصغر هو الوحيد الذي يعني شيئاً.

## كيف تقرأ هذه الأرقام؟

الأرقام وحدها لا تكفي لتقرر، فقبل أن تعتمد على أي رقم اقرأ فشل كل مهمة بنفسك، لأن بعض الفشل في الوكيل وبعضه في المهمة. ونحن فعلنا ذلك هنا، فوجدنا شيئاً لم نتوقعه في مهامنا نحن. وهذا فرق الإعداد B في التشغيل الثاني للمهمة T08، وقد فشلت فيها المخفية في التشغيلين رغم أن الوكيل قال إنه انتهى:

```diff
--- a/cache/ttl.py
+++ b/cache/ttl.py
@@ -10,4 +10,6 @@
         if key not in self.data:
             return None
         value, expires = self.data[key]
+        if self.clock() >= expires:
+            return None
         return value
```

الإصلاح صحيح تماماً بالنسبة لما يقوله الوصف: «القيمة التي انتهت مدتها لا ترجع، والدالة ترجع None». والاختبار المخفي الأول ينجح، والثاني هو الذي يفشل، وهذا هو:

```python
    def test_expired_entry_removed(self):
        now = [0]
        c = TTLCache(lambda: now[0])
        c.set("a", 1, ttl=1)
        now[0] = 2
        c.get("a")
        self.assertNotIn("a", c.data)
```

الاختبار يفحص أن القيمة المنتهية تحذف من القاموس الداخلي `data`، وهذا شرط لا يذكره وصف المشكلة إطلاقاً، وإنما كتبناه نحن لأن حلنا المرجعي يحذفها. أي أننا وقعنا في الخطأ نفسه الذي وجدته المراجعات في SWE-bench Verified: اختبار يفحص تفصيلاً من حل كاتب المهمة لا يطلبه الوصف، فيرفض حلاً صحيحاً. وفحص `validate.py` لم يكشفه، لأنه يتأكد أن الحل المرجعي ينجح والكود الأصلي يفشل، ولا يستطيع أن يعرف هل يفحص الاختبار شيئاً غير مكتوب في الوصف.

وهذا يعني أن نتيجة B الحقيقية قد تكون أعلى بتشغيل أو اثنين إذا أصلحنا المهمة أو أصلحنا الوصف، فالتشغيلان في T08 فشلا في اختبار واحد من اثنين. ولم نغير الرقم في الجدول، لأن تغيير المهمة بعد رؤية النتيجة يفسد القياس، والطريقة الصحيحة أن تصلح المهمة وتعيد التشغيل للإعدادين معاً. ولكن الدرس واضح: المراجعة البشرية لكل مهمة، أي قراءة الوصف والاختبار المخفي معاً بعين من يسأل «هل هذا مطلوب في الوصف؟»، ليست رفاهية، وهي ما فعله 93 مطوراً لكل مهمة في SWE-bench Verified ثلاث مرات.

وأما الفشل الآخر في B فحقيقي: في T07 أصلح الوكيل عدد المحاولات، ثم كتب `raise e` بعد الحلقة، والمتغير `e` يحذفه Python عند نهاية كتلة `except`، فظهر خطأ NameError بدل الخطأ الأصلي، وفي T06 أصلح ترقيم الصفحات ولكنه لم يرفع ValueError للصفحة صفر، وفي T02 وT05 لم يصل إلى إصلاح يعمل. وكلها حالات حدية يذكرها الوصف صراحة، والاختبارات الظاهرة لا تفحصها، وهذا بالضبط ما صممت المهام لتكشفه.

وهناك ثلاثة أسئلة يجب أن تسألها قبل أن تحكم بالأرقام في فريقك:

1. **هل الفرق أكبر من التذبذب؟** المهمة الواحدة تنجح وتفشل بالبذرة نفسها، كما في T01 مع A وT09 مع B، فالفرق بين إعدادين يجب أن يكون أكبر من عدد المهام التي تتذبذب، وإلا فأنت تقيس الصدفة.
2. **هل المهام تشبه عملكم؟** مهامنا دوال صغيرة في ملف أو اثنين، والوكيل الذي ينجح فيها قد يفشل في مستودع فيه مئة ملف، فاجعل المجموعة مزيجاً من الأحجام التي تعملون عليها.
3. **ما الذي يكلفه كل فشل؟** الفشل الذي يتوقف عالقاً يكلف وقتاً، والفشل الذي يعلن النجاح يكلف مراجعة أو خطأً في الإنتاج، فعد النجاح الكاذب وحده، فهو الرقم الذي يقرر كم مراجعة يحتاج الوكيل.

## مثال: من تذكرة إلى مهمة قياس

لنأخذ مهمة واحدة من المجموعة ونرى أجزاءها كاملة، وهي المهمة T10 عن تقسيم الفاتورة، لأنها تبين كيف تكتب اختباراً مخفياً يفحص ما يقوله الوصف بالضبط. والوصف كما يصل من الدعم الفني:

```text
Splitting a bill loses halalas.
split_amount(100, 3) returns [33, 33, 33]: one halala disappears.
The parts must add up to the total exactly, differ by at most 1, and the bigger parts come first. n < 1 raises ValueError.
```

والكود في المستودع قبل الإصلاح:

```python
def split_amount(total_halalas, n):
    """Split an amount in halalas between n people."""
    part = total_halalas // n
    return [part] * n
```

والاختبار الظاهر الوحيد يفحص حالة تنقسم دون باق، ولذلك ينجح من البداية:

```python
import unittest
from bills.split import split_amount

class TestSplit(unittest.TestCase):
    def test_even(self):
        self.assertEqual(split_amount(90, 3), [30, 30, 30])
```

أما الاختبار المخفي فيفحص كل جملة في الوصف: المجموع يساوي الأصل بالضبط، والفرق بين الأجزاء هللة واحدة على الأكثر، والأجزاء الأكبر أولاً، والعدد أقل من واحد يرفع خطأ:

```python
import unittest
from bills.split import split_amount

class Hidden(unittest.TestCase):
    def test_remainder(self):
        self.assertEqual(split_amount(100, 3), [34, 33, 33])
        self.assertEqual(split_amount(5, 4), [2, 1, 1, 1])
        self.assertEqual(sum(split_amount(1001, 7)), 1001)

    def test_invalid(self):
        with self.assertRaises(ValueError):
            split_amount(10, 0)
```

والحل المرجعي الذي يثبت أن الاختبار عادل:

```python
def split_amount(total_halalas, n):
    if n < 1:
        raise ValueError("n must be at least 1")
    part, rest = divmod(total_halalas, n)
    return [part + 1] * rest + [part] * (n - rest)
```

لاحظ أن الاختبار المخفي يطلب ترتيباً محدداً، أي الأجزاء الأكبر أولاً، وهذا الشرط مكتوب في الوصف صراحة. ولو لم يكن مكتوباً فيه لكان الاختبار غير عادل، لأن الحل `[33, 33, 34]` صحيح أيضاً من جهة المجموع، وهذا بالضبط نوع العيب الذي وجدته المراجعات في SWE-bench: اختبار يفحص تفصيلاً من حل المطور الأصلي لا يذكره الوصف. ولذلك فالقاعدة عند كتابة أي اختبار مخفي: كل شيء يفحصه الاختبار يجب أن يقرأه الوكيل في الوصف أو يستنتجه منه بوضوح.

## كيف تحمي مهامك من التلوث؟

التلوث هو أن يرى النموذج المهمة أو حلها أثناء التدريب، فيحلها لأنه يتذكرها وليس لأنه يفهمها، وهو السبب الأول في أن OpenAI توقفت عن نشر SWE-bench Verified. وأداة القياس الخاصة بفريقك محمية منه بطبيعتها ما دامت المهام من مستودعك الخاص، ولكن هناك ثلاث طرق يتسرب بها:

- **مستودع عام:** إذا كان مشروعك مفتوح المصدر فالتذاكر والحلول منشورة، وقد تدخل بيانات تدريب أي نموذج يصدر بعدها، فاستعمل التذاكر الأحدث من تاريخ تدريب النموذج الذي تقيسه.
- **إرسال المهام إلى مزود سحابي:** بعض المزودين يستعملون ما ترسله في التدريب بحسب الخطة والإعدادات، فراجع سياسة البيانات كما شرحنا في [مقال سياسة الذكاء الاصطناعي](https://arabroot.io/articles/%D8%B3%D9%8A%D8%A7%D8%B3%D8%A9-%D8%A7%D9%84%D9%81%D8%B1%D9%8A%D9%82-%D9%84%D8%A7%D8%B3%D8%AA%D8%AE%D8%AF%D8%A7%D9%85-%D8%A7%D9%84%D8%B0%D9%83%D8%A7%D8%A1-%D8%A7%D9%84%D8%A7%D8%B5%D8%B7%D9%86%D8%A7%D8%B9%D9%8A-%D9%81%D9%8A-%D8%A7%D9%84%D9%83%D9%88%D8%AF-ai-policy/)، ولا تقم بإرسال الاختبارات المخفية نفسها إلى أي نموذج، لأنها الجزء الذي يجب ألا يراه أحد.
- **إعادة الاستعمال الطويل:** مجموعة تستعملها سنة كاملة يحفظها الفريق نفسه، فتبدأ تكتب التعليمات والمهارات لتنجح فيها بالذات. وهذا سبب إضافة مهام جديدة كل شهر.

## كم يكلف القياس نفسه؟

القياس بأكثر من تشغيل يضاعف التكلفة، ولذلك يجب أن تعرف كم تدفع قبل أن تبدأ. والحساب بسيط: عدد المهام في عدد الإعدادات في عدد التشغيلات في متوسط التوكنات للتشغيل. وفي تجربتنا كانت التوكنات الداخلة للتشغيل الواحد بين ألفين وعشرين ألفاً، والخارجة في الغالب أقل من ألف، وكان مجموع التوكنات الداخلة للتشغيلات الثمانية والأربعين 333,908، أي أقل من سبعة آلاف للتشغيل في المتوسط، وهذا عند أي مزود سحابي أرخص بكثير من ساعة عمل واحدة لمطور، وقد شرحنا أسعار التوكنات في [مقال التكلفة](https://arabroot.io/articles/%D9%83%D9%85-%D8%AA%D9%83%D9%84%D9%81-%D9%88%D9%83%D9%84%D8%A7%D8%A1-%D8%A7%D9%84%D8%A8%D8%B1%D9%85%D8%AC%D8%A9-coding-agents-%D9%81%D9%8A-%D8%A7%D9%84%D8%B3%D9%86%D8%A9/). أما على نموذج محلي على المعالج فالتكلفة وقت: التشغيل الواحد أخذ من نصف دقيقة إلى ربع ساعة، فالمجموعة كاملة تحتاج ساعات، وهذا مقبول لقرار تأخذه مرة كل عدة أشهر، وغير مقبول لفحص على كل طلب دمج.

## ما الذي لا تقيسه أداة القياس؟

الاختبار المخفي يقول هل حل الوكيل المشكلة، ولا يقول أشياء أخرى تهمك بالقدر نفسه:

- **جودة الكود:** حل ينجح في الاختبارات قد يكون أطول من اللازم أو صعب القراءة أو يكرر كوداً موجوداً، وهذا ما تكشفه المراجعة، وقد شرحنا ما تبحث عنه في مقال مراجعة كود الذكاء الاصطناعي.
- **زمن المراجعة:** الوكيل الذي ينجح ولكن يغير عشرة ملفات يكلف المراجع أكثر من الذي يغير سطرين، فاحسب حجم الفرق مع النتيجة.
- **العمل الذي لا اختبار له:** التوثيق، وإعادة الهيكلة الكبيرة، والقرارات المعمارية، كلها لا تتحول بسهولة إلى مهمة باختبار مخفي.
- **إنتاجية الفريق:** نسبة المهام المحلولة لا تقول كم أصبح الفريق أسرع، فهذا سؤال آخر تجيب عنه دراسات مثل تجربة METR في 2025، التي وجدت أن مطورين ذوي خبرة كانوا أبطأ بنسبة 19% مع الأدوات رغم أنهم شعروا بأنهم أسرع، كما شرحنا في [مقال الإنتاجية](https://arabroot.io/articles/%D9%87%D9%84-%D9%8A%D8%AC%D8%B9%D9%84%D9%83-%D9%88%D9%83%D9%8A%D9%84-%D8%A7%D9%84%D8%A8%D8%B1%D9%85%D8%AC%D8%A9-coding-agent-%D8%A7%D8%B3%D8%B1%D8%B9-%D9%81%D8%B9%D9%84%D8%A7/).

## أخطاء بيئة القياس نفسها

في 48 تشغيلاً حدث خطأ واحد ليس من الوكيل ولا من المهمة: سيرفر النموذج رد بالرمز 500 في منتصف التشغيل الثاني للمهمة T02 مع الإعداد B، فتوقف الوكيل دون أن يكتب ملخصه، وحين أعدنا التشغيل نفسه حدث الخطأ نفسه في خطوة أخرى. ولأن السكربت `evaluate.sh` يكتب سطر النتيجة من ملف الملخص، فقد ظهر الخطأ أولاً كتشغيل ناقص، أي أن الإعداد B كان عنده 23 تشغيلاً بدل 24، والمقاييس كانت ستحسب على عدد غير متساو لو لم ننتبه.

وهذا يحدث في أي أداة قياس، فالمزود السحابي يرد أحياناً بخطأ مؤقت أو بحد للمعدل، والـ Container قد يقتل لنفاد الذاكرة، والشبكة تنقطع. والقواعد التي نقترحها للتعامل معه:

- **اجعل بيئة التشغيل تلتقط أخطاء النموذج** وتنهي التشغيل بسبب توقف واضح، مثل «خطأ من المزود»، وتكتب الملخص على أي حال، بدل أن تخرج برسالة خطأ لا يقرؤها أحد. وهذا تحسين واضح لـ minicode نفسه.
- **أعد التشغيل الذي فشل بسبب البيئة مرة واحدة،** وإذا تكرر فسجله فشلاً مع سببه، كما فعلنا هنا، ولا تحذفه، لأن حذف التشغيلات الصعبة يرفع الرقم دون حق.
- **افصل في التقرير بين فشل الوكيل وفشل البيئة،** فإذا كثر الثاني فالمشكلة في السيرفر أو الحدود وليس في الإعداد الذي تقيسه.
- **تأكد أن كل إعداد له العدد نفسه من التشغيلات** قبل أن تحسب أي مقياس، والسكربت `summarize.py` يطبع العدد في أول سطر لكل إعداد لهذا السبب.

## كم مهمة وكم تشغيلاً تحتاج؟

في مجموعة من 12 مهمة، كل مهمة تساوي 8.3 نقطة مئوية، فإذا نجح إعداد في مهمة إضافية بالصدفة ارتفع رقمه 8 نقاط كاملة. ولذلك فإن الفرق بين 50% و58% في مجموعتنا هو مهمة واحدة، ولا يكفي ليقول إن إعداداً أفضل من آخر، أما الفرق بين 4% و54% فهو 12 مهمة، ولا يمكن أن يكون صدفة. والقاعدة العملية التي نقترحها لفريق صغير:

- **للقرار الكبير،** مثل تغيير الأداة كلها أو النموذج، يكفي 15 إلى 30 مهمة وتشغيلان أو ثلاثة لكل مهمة، لأن الفرق الذي يستحق التغيير يكون كبيراً عادة.
- **للتحسين الصغير،** مثل سطر في ملف التعليمات، لا تثق بفرق أصغر من مهمتين أو ثلاث، إلا إذا زدت المهام والتشغيلات بشكل كبير.
- **انظر إلى المهام التي تغيرت،** لا إلى الرقم الإجمالي فقط، فإذا تحسن الرقم لأن مهمة واحدة نجحت مرة في التشغيلين، فاقرأ تلك المهمة بنفسك قبل أن تحتفل.

وأما pass@k عندما تشغل المهمة n مرة وتريد أن تعرف احتمال أن ينجح واحد على الأقل من k، فقد عرف بحث HumanEval طريقة لحسابه دون تحيز: إذا نجح c من n تشغيلاً، فالاحتمال هو واحد ناقص نسبة الطرق التي تختار بها k تشغيلات كلها من الفاشلة، أي `1 - C(n-c, k) / C(n, k)`. وفي تجربتنا n تساوي k تساوي 2، فالحساب بسيط: المهمة ناجحة في pass@2 إذا نجح أي من التشغيلين، وهو ما يفعله `summarize.py`. أما إذا شغلت عشر مرات وأردت pass@3 فاستعمل الصيغة، لأن أخذ أول ثلاث تشغيلات فقط يرمي معلومات كثيرة.

## الرقم نفسه ببيئة تشغيل أخرى

من أهم ما تعلمه تجربة كهذه أن تسأل دائماً «بأي بيئة تشغيل؟» عن أي رقم تقرؤه. ففي مقال بناء الوكيل حل qwen3 مهمتين من خمس بالرد المنظم، ومهمتين من اثنتين باستدعاء الأدوات الأصلي، والنموذج نفسه. وفي تجربة القياس هنا لم نقارن النموذجين في الوضع نفسه، وإنما قارنا كل نموذج بالوضع الذي ناسبه، لأن هذا ما يفعله أي فريق يختار إعداداً. وفي الأرقام المنشورة الشيء نفسه: Anthropic كتبت صراحة أن رقم 49% جاء ببيئتها البسيطة، وmini-swe-agent ينشر أرقامه ببيئة من مئة سطر وbash فقط، وTerminal-Bench 2.0 يأتي ببيئة رسمية اسمها Harbor حتى تكون المقارنة بين النماذج على البيئة نفسها. فإذا قارنت رقماً من جدول إعلان برقم من أداة قياسك، فأنت تقارن بيئتين ونموذجين ومجموعتي مهام في وقت واحد.

## وإذا أردت أن تقيس وكيلاً تجارياً؟

أداة القياس في هذا المقال تشغل minicode، ولكن الجزء الذي يحكم لا يعرف شيئاً عن الوكيل، فهو يأخذ المستودع بعد أن ينتهي أي شيء من العمل عليه، ويضيف الاختبارات المخفية، ويحكم. ولذلك تستطيع أن تضع مكان الخطوة الأولى في `run-task.sh` أي وكيل يعمل من الطرفية دون تفاعل، مثل Claude Code أو Codex أو Aider في وضعها غير التفاعلي، داخل الـ Container نفسه، بالمهمة نفسها في `task.md`، وبالحد الزمني نفسه. وهناك ثلاثة أشياء يجب أن تنتبه لها:

- **الشبكة:** الوكيل التجاري يحتاج أن يصل إلى مزوده، فبدل الشبكة الداخلية تحتاج مخرجاً واحداً عبر Proxy بقائمة سماح، حتى لا يتحول القياس إلى طريق لتسريب كودك، كما شرحنا في [مقال الأسرار والصندوق المعزول](https://arabroot.io/articles/%D8%A7%D9%84%D8%A7%D8%B3%D8%B1%D8%A7%D8%B1-%D9%88%D8%A7%D9%84%D8%B5%D9%86%D8%AF%D9%88%D9%82-%D8%A7%D9%84%D9%85%D8%B9%D8%B2%D9%88%D9%84-sandbox-%D9%84%D9%88%D9%83%D9%84%D8%A7%D8%A1-%D8%A7%D9%84%D8%A8%D8%B1%D9%85%D8%AC%D8%A9/).
- **المفاتيح:** مفتاح API في متغير بيئة داخل Container يحذف بعد كل مهمة، ولا يكتب في أي ملف في المستودع الذي يراه الوكيل.
- **التكلفة:** اقرأ عدد التوكنات من مخرج الأداة نفسها إن وجد، أو من لوحة المزود، لأن هذا هو الرقم الذي تقارن به الإعدادين إلى جانب النجاح.

وبهذا تقارن الأداة التي يستعملها فريقك اليوم بالأداة التي تفكر فيها، على مهامكم، بالحكم نفسه، وهذا أقرب ما تصل إليه من إجابة للسؤال الذي بدأنا به.

## أداة القياس في عمل الفريق

أداة القياس ليست تجربة تعملها مرة واحدة، وإنما شيء يعيش في المستودع مثل الاختبارات، وتستعمله في ثلاث مناسبات:

- **قبل تغيير النموذج أو الأداة:** شغل الإعداد الحالي والإعداد الجديد على المهام نفسها، بأكثر من تشغيل، وقرر بالأرقام وليس بجدول الإعلان. وتكلفة هذا القرار عند مزود سحابي قليلة مقارنة بتكلفة سنة على الأداة الخطأ، وقد حسبناها في [مقال تكلفة وكلاء البرمجة](https://arabroot.io/articles/%D9%83%D9%85-%D8%AA%D9%83%D9%84%D9%81-%D9%88%D9%83%D9%84%D8%A7%D8%A1-%D8%A7%D9%84%D8%A8%D8%B1%D9%85%D8%AC%D8%A9-coding-agents-%D9%81%D9%8A-%D8%A7%D9%84%D8%B3%D9%86%D8%A9/).
- **بعد تغيير ملف التعليمات أو المهارات:** تغيير سطر في [ملف AGENTS.md](https://arabroot.io/articles/%D9%85%D9%84%D9%81-%D8%AA%D8%B9%D9%84%D9%8A%D9%85%D8%A7%D8%AA-%D8%A7%D9%84%D9%85%D8%B4%D8%B1%D9%88%D8%B9-agents-md-%D9%88claude-md-%D9%85%D8%A7%D8%B0%D8%A7-%D8%AA%D9%83%D8%AA%D8%A8-%D9%81%D9%8A%D9%87/) أو مهارة جديدة قد يحسن مهمة ويفسد أخرى، وقد رأينا في مقال البناء أن تغيير شكل الرد وحده أفشل الوكيل كله مع نموذج ونجح مع آخر.
- **كل شهر بمهام جديدة:** أضف مهمتين أو ثلاثاً من التذاكر التي أغلقت هذا الشهر، حتى تبقى المجموعة قريبة من عملك، ولا تتحول إلى مجموعة ثابتة يحفظها الجميع.

وهذا يختلف عن قياس إنتاجية الفريق نفسه، فأداة القياس تجيب عن سؤال «أي وكيل يحل مهامنا أفضل؟»، أما سؤال «هل أصبح الفريق أسرع؟» فيحتاج قياساً مختلفاً على العمل الحقيقي، وقد شرحنا ما تقوله الدراسات عنه وكيف تقيسه في [مقال الإنتاجية](https://arabroot.io/articles/%D9%87%D9%84-%D9%8A%D8%AC%D8%B9%D9%84%D9%83-%D9%88%D9%83%D9%8A%D9%84-%D8%A7%D9%84%D8%A8%D8%B1%D9%85%D8%AC%D8%A9-coding-agent-%D8%A7%D8%B3%D8%B1%D8%B9-%D9%81%D8%B9%D9%84%D8%A7/).

## أخطاء شائعة في قياس الوكلاء

- **تشغيل واحد لكل مهمة:** الرقم يتغير بين تشغيل وآخر، فلا تقارن إعدادين بتشغيل واحد، وأعلن دائماً عدد التشغيلات مع الرقم.
- **الحكم بما يقوله الوكيل:** الوكيل يعلن النجاح أحياناً والاختبارات المخفية فاشلة، فلا يكفي رمز الخروج أو رسالة «انتهيت».
- **اختبارات مخفية لم تتحقق منها:** اختبار مخفي خاطئ يعاقب الوكيل الصحيح، وهذا بالضبط ما وجدته المراجعات في SWE-bench Verified وPro.
- **مقارنة نماذج ببيئات تشغيل مختلفة:** إذا غيرت النموذج والأداة معاً فلن تعرف أيهما غير النتيجة، فغير شيئاً واحداً في كل مرة، أو صرح بأنك تقارن إعدادات كاملة.
- **مهام من مستودعات منشورة منذ سنوات:** قد يكون النموذج رأى الحل، فاكتب مهامك من تذاكرك الحديثة.
- **إخفاء التشغيلات التي فشلت بسبب البيئة:** التشغيل الذي توقف بخطأ من السيرفر يبقى في الحساب مع سببه، وإلا ارتفع الرقم لأن أصعب التشغيلات حذفت.
- **تغيير المهام بعد رؤية النتائج:** إذا وجدت مهمة معيبة فأصلحها ثم أعد التشغيل للإعدادات كلها، ولا تعدل الرقم وحده، لأن ذلك يفتح الباب لاختيار ما يعجبك.
- **الاكتفاء بنسبة النجاح:** الزمن والتوكنات وعدد مرات إعلان النجاح الكاذب جزء من القرار، فوكيل أدق قليلاً وأبطأ بثلاث مرات قد لا يناسبك.

## قائمة تحقق Checklist قبل أن تقرر بأرقام القياس

- المهام من مستودعك، ووصفها بلغة من كتب التذكرة.
- كل مهمة لها اختبارات مخفية وحل مرجعي، والسكربت يتحقق أن الأصل يفشل والحل ينجح.
- الحكم في Container منفصل دون شبكة، بعد أن ينتهي الوكيل.
- أكثر من تشغيل لكل مهمة، وتعلن pass@1 وpass^k مع عدد التشغيلات.
- الزمن والتوكنات لكل تشغيل، وعدد مرات إعلان النجاح الكاذب.
- تغير شيئاً واحداً بين الإعدادين، أو تصرح بأنك تقارن إعدادات كاملة.
- تقرأ فشل كل مهمة بنفسك قبل أن تحكم، فبعض الفشل في المهمة وليس في الوكيل.
- تضيف مهام جديدة كل شهر.

## تدريب عملي

1. خذ تذكرة أغلقها فريقك هذا الشهر ولها اختبار، وحولها إلى مهمة بالشكل نفسه، ثم شغل `validate.py` عليها.
2. أضف إلى `summarize.py` عمود pass@1 لكل مهمة على حدة، ورتب المهام من الأصعب إلى الأسهل.
3. أعد التجربة بإعداد ثالث: qwen2.5-coder:3b في الوضع `tools`، وقارنه بالإعدادين.
4. غير حرارة النموذج Temperature من 0.4 إلى 0، وشغل تشغيلين، ولاحظ هل يتغير pass^2.

## الخلاصة

- الاختبار المعياري أربعة أجزاء: المهمة والبيئة والحكم والمقياس، والرقم يقيس النموذج مع بيئة التشغيل معاً، على مهام اختارها غيرك.
- SWE-bench بدأ في 2023 بنسبة 1.96% لأفضل نموذج، وبعد المراجعة البشرية في Verified صار الرقم الذي تعلنه كل شركة، ثم توقفت OpenAI عن نشره في فبراير 2026 بسبب التلوث، ووجدت أن 59.4% من 138 مهمة راجعتها معيبة.
- pass@1 ما تعيشه كل يوم، وpass@k ما يستطيعه الوكيل إذا أعطيته فرصاً، وpass^k ثباته عندما يعمل وحده، وتحتاج أكثر من تشغيل لتعرف الثلاثة.
- في تجربتنا على 12 مهمة بتشغيلين: الإعداد qwen3:4b-instruct باستدعاء الأدوات حل 54.2% من التشغيلات، وpass^2 عنده 50%، والإعداد qwen2.5-coder:3b بالرد المنظم حل 4.2% فقط.
- الاختبارات الظاهرة نجحت في 37 تشغيلاً من 48 والمخفية في 14، وفي 7 تشغيلات أعلن الوكيل الانتهاء والمخفية فاشلة.
- عندما قرأنا كل فشل بأنفسنا وجدنا أن إحدى مهامنا تفحص شيئاً لا يطلبه الوصف، وهو الخطأ نفسه الذي وجدته المراجعات في SWE-bench، فراجع كل مهمة بالوصف والاختبار معاً قبل أن تقيس بها.
- أداة القياس تعيش في المستودع: تستعملها قبل تغيير النموذج أو الأداة، وبعد تغيير التعليمات، وتضيف إليها مهاماً جديدة كل شهر.

وبهذا نكون قد أكملنا مرحلة «ابن وكيلك وأدواتك»، من الوكيل الذي بنيناه بأيدينا إلى فريق الوكلاء وسيرفر MCP للفريق والوكيل في خط النشر، وكلها يمكن أن تقيسها بالطريقة نفسها:

[![](https://arabroot.io/content/images/2026/11/build-coding-agent-cover-cover.webp)دليلابن وكيل برمجة Coding Agent بيدك: الحلقة والأدواتنبني وكيل برمجة كاملاً في ملف Python واحد حول نموذج محلي، ونرى كيف أفشلته طريقة الرد وأداة التعديل وتعريف الانتهاء قبل أن نصلحها ونقيسه باختبارات مخفية.](https://arabroot.io/articles/%D8%A7%D8%A8%D9%86-%D9%88%D9%83%D9%8A%D9%84-%D8%A8%D8%B1%D9%85%D8%AC%D8%A9-coding-agent-%D8%A8%D9%8A%D8%AF%D9%83-%D8%A7%D9%84%D8%AD%D9%84%D9%82%D8%A9-%D9%88%D8%A7%D9%84%D8%A7%D8%AF%D9%88%D8%A7%D8%AA/)[![](https://arabroot.io/content/images/2026/11/agent-team-builds-platform-cover-cover.webp)دليلفريق وكلاء Multi-agent يبني منصة: ماذا نجح وماذا فشل؟تجربة كاملة: مخطط وثلاثة مبرمجين ومراجع بنماذج محلية يبنون خدمة لاختصار الروابط من مواصفة، ثم نحكم عليها باختبارات قبول مخفية ونقارن بعقد كتبه إنسان وبوكيل واحد.](https://arabroot.io/articles/%D9%81%D8%B1%D9%8A%D9%82-%D9%88%D9%83%D9%84%D8%A7%D8%A1-multi-agent-%D9%8A%D8%A8%D9%86%D9%8A-%D9%85%D9%86%D8%B5%D8%A9-%D9%85%D8%A7%D8%B0%D8%A7-%D9%86%D8%AC%D8%AD-%D9%88%D9%85%D8%A7%D8%B0%D8%A7-%D9%81%D8%B4%D9%84/)[![](https://arabroot.io/content/images/2026/11/build-mcp-server-team-cover-cover.webp)دليلابن سيرفر MCP لفريقك: أدوات الشركة في يد الوكيلسيرفر MCP واحد للفريق بلغة Python، فيه توكن لكل شخص ونطاقات للقراءة والكتابة وحد للمعدل وسجل تدقيق، وماذا فعل وكيل محلي قرأ تذكرة فيها تعليمات مخفية.](https://arabroot.io/articles/%D8%A7%D8%A8%D9%86-%D8%B3%D9%8A%D8%B1%D9%81%D8%B1-mcp-%D9%84%D9%81%D8%B1%D9%8A%D9%82%D9%83-%D8%A7%D8%AF%D9%88%D8%A7%D8%AA-%D8%A7%D9%84%D8%B4%D8%B1%D9%83%D8%A9-%D9%81%D9%8A-%D9%8A%D8%AF-%D8%A7%D9%84%D9%88%D9%83%D9%8A%D9%84/)[![](https://arabroot.io/content/images/2026/11/agent-in-ci-cover-cover.webp)دليلوكيل في خط النشر CI: مراجعة وإصلاح تلقائي مع موافقة بشريةخط نشر على Gitea Actions يراجع فيه نموذج محلي كل طلب دمج دون أي سر، ولا يصلح الكود إلا بعد وسم يضيفه إنسان، ثم يفتح طلب دمج جديداً يراجعه إنسان، مع سجلات حقيقية للتجربة.](https://arabroot.io/articles/%D9%88%D9%83%D9%8A%D9%84-%D9%81%D9%8A-%D8%AE%D8%B7-%D8%A7%D9%84%D9%86%D8%B4%D8%B1-ci-%D9%85%D8%B1%D8%A7%D8%AC%D8%B9%D8%A9-%D9%88%D8%A7%D8%B5%D9%84%D8%A7%D8%AD-%D8%AA%D9%84%D9%82%D8%A7%D8%A6%D9%8A-%D9%85%D8%B9-%D9%85%D9%88%D8%A7%D9%81%D9%82%D8%A9-%D8%A8%D8%B4%D8%B1%D9%8A%D8%A9/)

## سجل التحديثات

- 21 نوفمبر 2026: كتابة المقال، وتشغيل أداة القياس على 12 مهمة بإعدادين للوكيل minicode على Ollama 0.40.13.