> ## Content Index
> Fetch the complete content index at: https://arabroot.io/llms.txt
> Use this file to discover other available public pages before exploring further.

# إدارة الحوادث Incident Response: من التنبيه إلى عودة الخدمة
- URL: https://arabroot.io/articles/ادارة-الحوادث-incident-response-من-التنبيه-الى-عودة-الخدمة/
- Published: 2026-11-03T11:34:44.000Z
- Updated: 2026-11-03T12:32:43.000Z
- Description: نعيش حادثة حقيقية على PostgreSQL من التنبيه إلى الإغلاق بخط زمني مسجل بالثواني، ونرى لماذا لم تنفع إعادة التشغيل وما الذي أنهى الحادثة.
- Author: فريق عرب رووت
- Tags: الأدلة التقنية, DevOps والتشغيل, DevOps وCI/CD, لينكس والسيرفرات, الاستضافة الذاتية

إذا عشت حادثة إنتاج حقيقية في فريق لم يتفق على طريقة للتعامل معها فأنت تعرف كيف تبدو الدقائق العشر الأولى: يرن تنبيه، ثم يكتب أحدهم في قناة الفريق «الموقع لا يعمل؟»، ثم يدخل خمسة أشخاص في نفس الوقت، فيعيد أحدهم تشغيل التطبيق، ويتراجع آخر عن آخر نشر، ويفتح ثالث قاعدة البيانات ويجرب أمراً رآه في الإنترنت، ولا أحد يعرف ماذا فعل الآخر، ومدير المبيعات يسأل كل دقيقة «متى يعود؟»، وفي النهاية تعود الخدمة ولا أحد يعرف بالضبط أي الأفعال أعادتها. ثم بعد أسبوع تحدث نفس الحادثة، فتتكرر نفس الدقائق العشر.

وإدارة الحوادث Incident Response هي الطريقة التي تحول هذه الفوضى إلى خطوات معروفة: متى نعلن أن ما يحدث حادثة، ومن يقرر، ومن يغير النظام ومن لا يغيره، وماذا نقول للعملاء ومتى، وكيف نعرف أن الحادثة انتهت فعلاً. وفي هذا المقال سوف نتابع فريق المتجر الإلكتروني نفسه الذي وضع معنا [أهداف الخدمة](https://arabroot.io/articles/%D9%85%D8%A7%D8%B0%D8%A7-%D8%AA%D8%B9%D9%86%D9%8A-99-9-%D8%A7%D9%87%D8%AF%D8%A7%D9%81-%D8%A7%D9%84%D8%AE%D8%AF%D9%85%D8%A9-slo-%D9%84%D9%84%D9%85%D8%A8%D8%AA%D8%AF%D8%A6%D9%8A%D9%86/) وكتب [أول دليل تشغيل](https://arabroot.io/articles/%D8%AF%D9%84%D9%8A%D9%84-%D8%A7%D9%84%D8%AA%D8%B4%D8%BA%D9%8A%D9%84-runbook-%D9%88%D8%AB%D9%82-%D8%A7%D9%84%D8%A7%D8%AC%D8%B1%D8%A7%D8%A1-%D9%82%D8%A8%D9%84-%D8%A7%D9%86-%D8%AA%D8%AD%D8%AA%D8%A7%D8%AC%D9%87/)، ونعيش معه حادثة حقيقية في مختبر: خدمة تتوقف بسبب جلسة ترحيل نسيها مطور مفتوحة على قاعدة البيانات، ومناوب وحده يحمل كل الأدوار، ونسجل كل خطوة بالثانية، بما فيها المحاولة الأولى التي لم تنفع، ثم نحسب منها مقاييس الاستجابة.

وقد شرحنا في [مقال المسؤولية عندما يتعطل الإنتاج](https://arabroot.io/articles/%D9%85%D9%86-%D9%8A%D8%AA%D8%AD%D9%85%D9%84-%D8%A7%D9%84%D9%85%D8%B3%D8%A4%D9%88%D9%84%D9%8A%D8%A9-%D8%B9%D9%86%D8%AF%D9%85%D8%A7-%D9%8A%D8%AA%D8%B9%D8%B7%D9%84-%D8%A7%D9%84%D8%A7%D9%86%D8%AA%D8%A7%D8%AC/) أدوار الحادثة بالتفصيل، ومستويات الخطورة Severity، ورسائل صفحة الحالة، وتقرير ما بعد الحادثة، وفي [مقال ضغط المناوبة](https://arabroot.io/articles/%D8%B6%D8%BA%D8%B7-%D8%A7%D9%84%D9%85%D9%86%D8%A7%D9%88%D8%A8%D8%A9-on-call-%D9%88%D8%A7%D9%84%D8%AD%D9%88%D8%A7%D8%AF%D8%AB-%D9%83%D9%8A%D9%81-%D8%AA%D8%AD%D9%85%D9%8A-%D9%86%D9%81%D8%B3%D9%83-%D9%88%D9%81%D8%B1%D9%8A%D9%82%D9%83/) الجانب الإنساني منها، فلن نكرر ذلك، وإنما نركز هنا على الطريق نفسه، من لحظة التنبيه إلى عودة الخدمة، وعلى القرارات التي يتخذها المناوب في كل مرحلة منه.

وسوف نناقش في هذا المقال ما يلي:

- ما هي الحادثة، ومتى تعلنها، ومراحلها من بداية الأثر إلى الإغلاق، ومقياس كل مرحلة.
- الأهداف الثلاثة 3Cs في إدارة الحوادث، وكيف يطبقها فريق صغير يحمل فيه شخص واحد كل الأدوار.
- مختبر حقيقي: PostgreSQL وخدمة بمجمع اتصالات Connection Pool وحركة مستمرة، وحادثة نديرها من التنبيه إلى الإغلاق بخط زمني مسجل.
- لماذا لم تنفع إعادة التشغيل، وكيف وجدنا السبب في `pg_stat_activity`، وتجربة «ماذا لو» تنهي فيها قاعدة البيانات الجلسة المنسية بنفسها.
- التخفيف قبل السبب الجذري، وقصة Cloudflare في يوليو 2019، والتواصل، والتسليم، والمقاييس.
- الأخطاء الشائعة، وقائمة تحقق للمناوب.

## ما هي الحادثة Incident؟ ومتى تعلنها؟

ليس كل خطأ حادثة. فخطأ 500 واحد في السجل ليس حادثة، والقرص الذي وصل إلى 80% ليس حادثة، وإنما الحادثة عطل يؤثر على المستخدمين أو يهدد بأن يؤثر عليهم، ويحتاج استجابة منظمة أكبر من شخص واحد يصلح شيئاً في دقيقتين. ويضع [فصل إدارة الحوادث في كتاب Google SRE](https://sre.google/sre-book/managing-incidents/?ref=arabroot.io) ثلاثة أسئلة بسيطة تقرر بها: هل تحتاج فريقاً ثانياً لإصلاح المشكلة؟ هل يرى العملاء العطل؟ هل بقيت المشكلة دون حل بعد ساعة من التحليل المركز؟ فإذا كانت الإجابة نعم على أي واحد منها فهي حادثة.

ويقول الفصل نفسه جملة مهمة جداً للفرق الصغيرة: أن تعلن الحادثة مبكراً ثم تجد حلاً بسيطاً وتغلقها أفضل من أن تبدأ تنظيم الاستجابة بعد ساعات من مشكلة تكبر. والسبب أن الإعلان نفسه رخيص، رسالة في قناة الحوادث ومستوى خطورة، أما تأخير الإعلان فيعني أن المشكلة تكبر وكل شخص يعمل وحده دون أن يعرف الآخرون. وفي قصة الفريق كانت القاعدة التي اتفقوا عليها أبسط من ذلك: أي تنبيه عاجل يصل إلى المناوب ولا يحل خلال خمس دقائق بدليل تشغيل معروف يصبح حادثة معلنة، دون نقاش.

ويذكر الفصل كذلك أن مهارة إدارة الحوادث تضعف بسرعة إذا لم تستخدم باستمرار، ولذلك يوصي بأن يستخدم الفريق نفس الإطار في الحوادث الصغيرة أيضاً، ليكون مألوفاً عندما تأتي الحادثة الكبيرة. وهذا ما فعلناه في المختبر: حادثة استمرت خمس دقائق ونصف، ومع ذلك أعلناها وسجلناها كما لو كانت كبيرة.

## مراحل الحادثة Incident Lifecycle مع مقاييسها

كل حادثة تمر بنفس المراحل تقريباً، ومعرفتها تساعدك أن تعرف أين أنت الآن، وما القرار المطلوب في هذه المرحلة تحديداً. والصورة التالية تبين المراحل بأوقات الحادثة التي عشناها في المختبر:

![خمس مراحل بأوقات المختبر: بداية الأثر 10:52:05 جلسة ترحيل مفتوحة تقفل الجدول، ثم الاكتشاف 10:52:34 فحص الشراء فشل مرتين، ثم الإقرار 10:53:40 والإعلان SEV-2، ثم التخفيف 10:55:03 بإنهاء الجلسة، ثم الإغلاق 10:57:35 بعد دقيقتين بلا أخطاء، وتحتها المقاييس TTD نصف دقيقة وTTA 1.1 دقيقة وTTM 2.5 دقيقة ومن الأثر إلى الإغلاق 5.5 دقيقة](https://arabroot.io/content/images/2026/11/incident-response-01-lifecycle.webp)

خمس مراحل، ولكل مرحلة مقياس

ولنعرف كل مرحلة ومقياسها:

- **بداية الأثر Impact Start:** اللحظة التي بدأ فيها المستخدمون يتأثرون، وغالباً لا تعرفها أثناء الحادثة، وإنما تحددها بعدها من السجلات، كما فعلنا من سجل الطرفية عند المطور.
- **الاكتشاف Detection:** اللحظة التي عرف فيها أي نظام أو إنسان أن هناك مشكلة، والفرق بينها وبين بداية الأثر هو زمن الاكتشاف Time To Detect واختصاراً TTD، وهو مقياس لجودة المراقبة والتنبيهات.
- **الإقرار Acknowledgement:** اللحظة التي قال فيها إنسان «أنا أعمل على هذا»، والفرق بينها وبين الاكتشاف هو زمن الإقرار Time To Acknowledge واختصاراً TTA، وهو مقياس لمسار التنبيه والمناوبة.
- **التخفيف Mitigation:** اللحظة التي توقف فيها ألم المستخدم، حتى لو لم نفهم السبب كاملاً، والفرق بينها وبين الاكتشاف هو زمن التخفيف Time To Mitigate واختصاراً TTM، وهو أهم رقم من وجهة نظر المستخدم.
- **الإغلاق Resolution:** اللحظة التي تأكدنا فيها أن الخدمة مستقرة وأن الحادثة انتهت، وبعدها تبدأ مراجعة ما بعد الحادثة.

ولاحظ أن الاختصار الأشهر MTTR غامض، فبعض الفرق تقصد به متوسط زمن الإصلاح Repair، وبعضها زمن التعافي Recovery، وبعضها زمن الحل Resolve، وكل واحد منها يقاس من نقطة مختلفة إلى نقطة مختلفة. ولذلك عندما تكتب هذه المقاييس في تقرير فاكتب تعريف كل واحد منها بالمرحلتين اللتين يقيس بينهما، كما فعل سكربت المختبر، ولا تكتف بالاختصار.

## الأهداف الثلاثة 3Cs: التنسيق ثم التواصل ثم السيطرة

يلخص [فصل الاستجابة للحوادث في SRE Workbook](https://sre.google/workbook/incident-response/?ref=arabroot.io) كل أطر إدارة الحوادث، سواء إطار Google أو إطار [الاستجابة في PagerDuty](https://response.pagerduty.com/?ref=arabroot.io)، في ثلاثة أهداف مشتركة تسمى 3Cs: تنسيق جهود الاستجابة Coordinate، والتواصل بين المستجيبين وداخل المؤسسة ومع العالم الخارجي Communicate، والمحافظة على السيطرة على الاستجابة Control. ويقول الفصل إن أي شيء يسوء في الاستجابة للحادثة يكون غالباً في واحد من هذه الثلاثة.

والأدوار التي شرحناها في مقال المسؤولية، قائد الحادثة Incident Commander ومسؤول العمليات Ops Lead ومسؤول التواصل Communications Lead والموثق Scribe، هي طريقة لتوزيع هذه الأهداف على أشخاص. ولكن في فريق صغير مثل فريق المتجر يكون المناوب في الليل وحده، ويحمل الأدوار الأربعة، وهذا مقبول بشرط واحد: أن يعرف أنه يحملها، فيتوقف كل بضع دقائق عن التحقيق ليرسل تحديثاً، ويكتب كل فعل في الخط الزمني لحظة القيام به وليس بعد الحادثة من الذاكرة. ويذكر فصل كتاب SRE حادثة مثالاً على ما يحدث بدون سيطرة، سماها العمل المنفرد Freelancing: مهندس يغير النظام بنية حسنة دون أن ينسق مع من يقود التحقيق، فيجعل الوضع السيئ أسوأ بكثير. ولذلك القاعدة الأولى عند إعلان الحادثة: شخص واحد فقط، أو فريق واحد يحدده القائد، يغير النظام، وكل من سواه يقترح.

ومن الأدوات البسيطة التي تحقق الأهداف الثلاثة في فريق صغير قناة محادثة مستقلة لكل حادثة، باسم فيه التاريخ والخدمة، مثل قناة لحادثة الدفع اليوم. ففي هذه القناة يكتب القائد الإعلان والأدوار، ويكتب المنفذ كل أمر قبل أن ينفذه، وتلصق المخرجات المهمة كما هي، فتتحول القناة نفسها إلى نصف الخط الزمني دون جهد إضافي. والقاعدة المهمة أن النقاش الجانبي والأسئلة من خارج الفريق لا تكتب فيها، وإنما في القناة العامة التي يرد فيها مسؤول التواصل، والسبب أن المنفذ يجب أن يرى ما يحتاجه للعمل فقط، وليس عشرين رسالة تسأل «هل عادت الخدمة؟». وفي نهاية الحادثة تصدر القناة كاملة وترفق بالمراجعة، فلا يضيع منها شيء. وهذا لا يحتاج أداة خاصة لإدارة الحوادث، فأي تطبيق محادثة يستخدمه الفريق يكفي، بشرط واحد سوف نعود إليه في قصة Cloudflare: ألا يعتمد على الأنظمة التي قد تتعطل في نفس الحادثة.

## المختبر Lab: حادثة حقيقية من التنبيه إلى الإغلاق

الآن سوف نعيش حادثة كاملة. والمختبر يمثل جزءاً من نظام المتجر: قاعدة بيانات PostgreSQL 18.6، وخدمة `shop-api` بلغة Python تفتح خمسة اتصالات ثابتة بقاعدة البيانات وتستخدمها لكل الطلبات كما تفعل أغلب التطبيقات، ومولد حركة يمثل المستخدمين، وفحص خارجي يشتري طلباً تجريبياً كل 15 ثانية ويطلق التنبيه العاجل إذا فشل مرتين متتاليتين. وكل Container يبدأ اسمه بـ `dvo-ir`، وكلها على شبكة Docker خاصة.

### ملفات المختبر Lab Files

الخدمة `app.py`، وأهم ما فيها مجمع الاتصالات Connection Pool البسيط: طابور فيه خمسة اتصالات، وكل طلب يأخذ اتصالاً وينتظره عشر ثوان على الأكثر، فإذا لم يجد يرجع 503:

```python
# shop-api stand-in with a fixed pool of 5 PostgreSQL connections (like most app servers).
# GET /api/products reads, POST /api/orders inserts. No statement timeout: a blocked query waits forever.
import json, os, queue, time, psycopg
from http.server import ThreadingHTTPServer, BaseHTTPRequestHandler
DSN = os.environ.get("DSN", "postgresql://postgres:lab-only-pass@dvo-ir-db/shop")
POOL = queue.Queue()
for _ in range(5): POOL.put(psycopg.connect(DSN, autocommit=True, application_name="shop-api"))

class H(BaseHTTPRequestHandler):
    def log_message(self, *a): pass
    def reply(self, code, body):
        data = json.dumps(body).encode()
        self.send_response(code); self.send_header("Content-Type", "application/json")
        self.send_header("Content-Length", str(len(data))); self.end_headers(); self.wfile.write(data)
    def run(self, sql, args=()):
        try: conn = POOL.get(timeout=10)          # wait at most 10 s for a free connection
        except queue.Empty: return None
        try:
            with conn.cursor() as cur:
                cur.execute(sql, args); return cur.fetchall()
        finally: POOL.put(conn)
    def do_GET(self):
        if self.path == "/health": return self.reply(200, {"ok": True})   # does not touch the database
        rows = self.run("select count(*) from orders")
        self.reply(200, {"orders": rows[0][0]}) if rows else self.reply(503, {"error": "no db connection"})
    def do_POST(self):
        rows = self.run("insert into orders(customer) values (%s) returning id", (int(time.time()) % 500,))
        self.reply(201, {"id": rows[0][0]}) if rows else self.reply(503, {"error": "no db connection"})

ThreadingHTTPServer(("0.0.0.0", 8000), H).serve_forever()
```

في الكود أعلاه لاحظ التالي، لأن كل نقطة منها سوف تظهر في الحادثة:

- لا توجد مهلة للاستعلام Statement Timeout، فالاستعلام الذي ينتظر قفلاً Lock ينتظر إلى الأبد، ويبقى الاتصال معه.
- القراءة والكتابة تستخدمان نفس الاتصالات الخمسة، أي أن مشكلة في الكتابة يمكن أن توقف القراءة أيضاً إذا استهلكت كل الاتصالات.
- فحص الصحة `/health` لا يلمس قاعدة البيانات، فيرد 200 حتى لو كانت كل الطلبات الحقيقية تفشل، وهذا شائع جداً في التطبيقات الحقيقية.

وال Image مبنية من `python:3.13-slim` مع المكتبة psycopg 3.3.7:

```text
FROM python:3.13-slim
RUN pip install --no-cache-dir "psycopg[binary]==3.3.7"
COPY app.py /app.py
CMD ["python", "-u", "/app.py"]
```

والفحص الخارجي `probe.py` يشتري طلباً كل 15 ثانية، ويطبع سطر `ALERT` بعد فشلين متتاليين، وهذا هو التنبيه العاجل الذي يصل إلى المناوب، وقد شرحنا في [مقال التنبيهات](https://arabroot.io/articles/%D8%A7%D9%84%D8%AA%D9%86%D8%A8%D9%8A%D9%87%D8%A7%D8%AA-alerting-%D9%85%D8%A7%D8%B0%D8%A7-%D8%AA%D9%86%D8%A8%D9%87-%D8%B9%D9%84%D9%8A%D9%87-%D9%88%D9%85%D8%AA%D9%89-%D8%AA%D9%88%D9%82%D8%B8-%D8%A7%D8%AD%D8%AF%D8%A7/) كيف تبني مثله مع Alertmanager:

```python
# Synthetic checkout every 15 s. Two failures in a row = page (ALERT line); first success after that = RESOLVED.
import os, time, urllib.request, json
URL, SECONDS = os.environ.get("URL", "http://dvo-ir-app:8000/api/orders"), int(os.environ.get("SECONDS", "600"))
fails, firing, end = 0, False, time.time() + SECONDS
while time.time() < end:
    t0 = time.time()
    try:
        with urllib.request.urlopen(urllib.request.Request(URL, method="POST"), timeout=5) as r: ok = r.status == 201
    except Exception: ok = False
    fails = 0 if ok else fails + 1
    stamp = time.strftime("%H:%M:%S", time.gmtime(t0))
    if fails == 2 and not firing: firing = True; print(f"{stamp} ALERT CheckoutProbeFailing: 2 synthetic orders failed", flush=True)
    if ok and firing: firing = False; print(f"{stamp} RESOLVED CheckoutProbeFailing", flush=True)
    time.sleep(max(0, 15 - (time.time() - t0)))
```

ومولد الحركة `load.py` يمثل ستة مستخدمين، كل واحد يتصفح ثم يطلب بالتناوب، ويسجل لكل طلب الحالة والزمن:

```python
# Users: 6 threads, each alternates GET /api/products and POST /api/orders, 0.3 s apart. One CSV line per request.
import csv, os, threading, time, urllib.request, urllib.error, socket
BASE, SECONDS = os.environ.get("BASE", "http://dvo-ir-app:8000"), int(os.environ.get("SECONDS", "600"))
f, lock, end = open("/out/load.csv", "w", newline=""), threading.Lock(), time.time() + SECONDS
w = csv.writer(f); w.writerow(["t", "kind", "status", "ms"])
def worker():
    n = 0
    while time.time() < end:
        kind = "order" if n % 2 else "products"; n += 1
        req = urllib.request.Request(BASE + ("/api/orders" if kind == "order" else "/api/products"), method="POST" if kind == "order" else "GET")
        t0, status = time.time(), 0
        try:
            with urllib.request.urlopen(req, timeout=15) as r: status = r.status
        except urllib.error.HTTPError as e: status = e.code
        except (urllib.error.URLError, socket.timeout, ConnectionError, TimeoutError): status = 0
        with lock: w.writerow([f"{t0:.3f}", kind, status, int((time.time() - t0) * 1000)]); f.flush()
        time.sleep(0.3)
ts = [threading.Thread(target=worker) for _ in range(6)]; [t.start() for t in ts]; [t.join() for t in ts]
```

والأداة الأخيرة `inc.py` هي دفتر الموثق Scribe: كل حدث في الحادثة سطر JSON بوقته، والأمر `report` يطبع الخط الزمني ويحسب المقاييس. وفي الفرق الحقيقية يكون هذا مستنداً مشتركاً أو قناة محادثة خاصة بالحادثة، ولكن الفكرة واحدة: كل شيء يكتب لحظة حدوثه بوقته.

```python
# Minimal incident log for the scribe: every event is one timestamped JSON line; "report" prints the timeline and metrics.
#   python inc.py <file> <event> "<text>"              events: impact detected acked declared update mitigated resolved note
#   python inc.py <file> <event> @HH:MM:SS "<text>"    backfill an event at an earlier UTC time (e.g. start of impact)
#   python inc.py <file> report
import json, sys, time, calendar
path, cmd, args = sys.argv[1], sys.argv[2], sys.argv[3:]
if cmd != "report":
    t = time.time()
    if args and args[0].startswith("@"):
        day = time.strftime("%Y-%m-%d ", time.gmtime())
        t = calendar.timegm(time.strptime(day + args.pop(0)[1:], "%Y-%m-%d %H:%M:%S"))
    with open(path, "a") as f: f.write(json.dumps({"t": t, "event": cmd, "text": " ".join(args)}) + "\n")
    print(time.strftime("%H:%M:%S", time.gmtime(t)), cmd, *args); sys.exit()

ev = sorted((json.loads(l) for l in open(path)), key=lambda e: e["t"])
first = {}
for e in ev:
    first.setdefault(e["event"], e["t"])
    print(time.strftime("%H:%M:%S", time.gmtime(e["t"])), f"{e['event']:<9}", e["text"])
def d(a, b): return f"{(first[b]-first[a])/60:5.1f} min" if a in first and b in first else "  n/a"
print("\nstart of impact -> detected (TTD) :", d("impact", "detected"))
print("detected -> acknowledged (TTA)    :", d("detected", "acked"))
print("detected -> mitigated  (TTM)      :", d("detected", "mitigated"))
print("start of impact -> resolved       :", d("impact", "resolved"))
ups = [e["t"] for e in ev if e["event"] in ("declared", "update")]
print("minutes between status updates    :", [round((b - a) / 60, 1) for a, b in zip(ups, ups[1:])])
```

وشغلنا قاعدة البيانات وأنشأنا جدول الطلبات، ثم الخدمة، ثم مولد الحركة بستة مستخدمين لمدة عشر دقائق، ثم الفحص الخارجي:

```bash
docker network create dvo-ir-net
docker run -d --name dvo-ir-db --network dvo-ir-net -e POSTGRES_PASSWORD=lab-only-pass -e POSTGRES_DB=shop postgres:18-alpine
docker exec dvo-ir-db psql -U postgres -d shop -qc "create table orders(id bigserial primary key, created timestamptz default now(), customer int);"
docker build -q -t dvo-ir-app:1.0 . && docker run -d --name dvo-ir-app --network dvo-ir-net dvo-ir-app:1.0
docker run -d --name dvo-ir-load --network dvo-ir-net -v "$PWD/load.py:/load.py:ro" -v "$OUT:/out" python:3.13-slim python -u /load.py
docker run -d --name dvo-ir-probe --network dvo-ir-net -v "$PWD/probe.py:/probe.py:ro" python:3.13-slim python -u /probe.py
```

### بداية الأثر Impact: جلسة ترحيل منسية

بعد دقيقة من الحركة الطبيعية احتاج أحد المطورين أن يضيف عموداً لأكواد الخصم، فاتصل بقاعدة بيانات الإنتاج من طرفيته وبدأ معاملة Transaction فيها تعديل الجدول، ثم انشغل بشيء آخر قبل أن يكتب `COMMIT`. وهذا من أكثر أسباب الحوادث شيوعاً في الفرق الصغيرة، ومثلناه بجلسة تعدل الجدول ثم تنتظر:

```bash
docker exec -d -e PGAPPNAME=psql-migration dvo-ir-db psql -U postgres -d shop \
  -c "BEGIN; ALTER TABLE orders ADD COLUMN coupon text; SELECT pg_sleep(900);"
```

```text
10:52:05 migration session opened
```

والأمر `ALTER TABLE` يأخذ قفلاً من النوع ACCESS EXCLUSIVE على الجدول، وهو أقوى أنواع الأقفال، ويمنع أي قراءة أو كتابة أخرى على الجدول، كما يشرح [توثيق الأقفال في PostgreSQL](https://www.postgresql.org/docs/18/explicit-locking.html?ref=arabroot.io)، ويبقى القفل حتى تنتهي المعاملة. أي أن كل استعلام على جدول الطلبات، حتى `select count(*)`، سوف ينتظر هذه الجلسة.

### الاكتشاف والإقرار Detect, Acknowledge

بعد 29 ثانية أطلق الفحص الخارجي التنبيه:

```text
10:52:34 ALERT CheckoutProbeFailing: 2 synthetic orders failed
```

وهنا حدث أول خطأ حقيقي في الاستجابة: أول أمر كتبناه في دفتر الموثق فشل بسبب مسار خاطئ للملف في الطرفية، فضاعت دقيقة كاملة قبل أن يسجل الإقرار، ولذلك ظهر الإقرار في 10:53:40\. وهذا يحدث في الحوادث الحقيقية أكثر مما يتوقع الناس: الأدوات التي لا تستخدم إلا في الحوادث هي الأدوات التي تفشل في الحوادث، والحل أن تستخدم نفس الأدوات في الحوادث الصغيرة وأيام التجربة حتى تصبح مألوفة. ثم سجلنا الاكتشاف بوقته الحقيقي، والإقرار، والإعلان، وأول تحديث:

```bash
python inc.py inc.jsonl detected @10:52:34 "page: CheckoutProbeFailing (2 synthetic orders failed)"
python inc.py inc.jsonl acked "on-call acked; GET /api/products also 503 after 10 s"
python inc.py inc.jsonl declared "SEV-2: orders and product pages fail with 503. On-call is IC+ops+scribe (alone)."
python inc.py inc.jsonl update "status page: customers cannot place orders or browse; investigating; next update in 15 min"
```

ولاحظ ما فعله المناوب قبل الإعلان: جرب بنفسه طلباً لصفحة المنتجات، فوجد أنها أيضاً ترجع 503 بعد عشر ثوان، أي أن الأثر أكبر من الشراء وحده، وهذا ما حدد مستوى الخطورة. فالتنبيه كان عن الشراء، ولكن المستخدم لا يستطيع حتى أن يتصفح، والخطوة الأولى في أي حادثة هي أن تعرف حجم الأثر من جهة المستخدم، قبل أن تبدأ البحث عن السبب.

### المحاولة الأولى: إعادة التشغيل Restart لم تنفع

أول ما فكر فيه المناوب هو ما يفكر فيه أغلب الناس: التطبيق عالق، فلنعد تشغيله. وهذا ليس قراراً سيئاً بحد ذاته، فإعادة التشغيل من التخفيفات العامة التي يذكرها SRE Workbook، ولكن المهم أن تسجلها وتتحقق من أثرها:

```bash
python inc.py inc.jsonl note "mitigation attempt 1: restart shop-api"
docker restart -t 2 dvo-ir-app
sleep 20; tail -3 load.csv
python inc.py inc.jsonl note "restart did not help: still 503 after 10 s"
```

```text
1793703241.591,products,0,18141
1793703241.602,order,0,18171
1793703255.072,order,503,10002
```

الإعادة لم تنفع، بل أضافت نوعاً جديداً من الفشل لحظة الإعادة: طلبات انتظرت 18 ثانية ثم فشلت بلا أي رد، وهي الرمز 0 في ملف الحركة، لأن التطبيق لم يكن موجوداً ليرد. ثم رجعت أخطاء 503 بعد عشر ثوان كما كانت. والسبب سوف يظهر في الخطوة التالية، ولكن الدرس هنا عام: إذا جربت تخفيفاً ولم ينفع فسجل ذلك فوراً وانتقل، ولا تكرره ثلاث مرات على أمل أن ينفع، والسبب أن كل محاولة تأخذ دقيقة، وتضيف أعراضاً جديدة تصعب التحقيق. ولاحظ كذلك أن إعادة التشغيل تمسح أدلة مفيدة أحياناً، مثل حالة الذاكرة والاتصالات المفتوحة وما في سجل التطبيق المؤقت، ولذلك إذا كانت إعادة التشغيل هي التخفيف الوحيد المتاح فاحفظ ما تستطيع قبلها، مثل مخرج استعلام الجلسات أو آخر أسطر السجل، في نفس قناة الحادثة.

### التشخيص Diagnosis: من ينتظر من؟

بما أن التطبيق يرجع «لا يوجد اتصال بقاعدة البيانات»، فالسؤال التالي: ماذا تفعل اتصالات التطبيق في قاعدة البيانات الآن؟ والإجابة في الجدول `pg_stat_activity` الذي يعرض كل جلسة وحالتها وما تنتظره، كما في [توثيق إحصائيات PostgreSQL](https://www.postgresql.org/docs/18/monitoring-stats.html?ref=arabroot.io)، ومعه الدالة `pg_blocking_pids` التي تقول لكل جلسة من يمنعها، كما في [توثيق دوال المعلومات](https://www.postgresql.org/docs/18/functions-info.html?ref=arabroot.io):

```bash
docker exec dvo-ir-db psql -U postgres -d shop -c "select pid, application_name app, state, wait_event_type wait,
  left(query,48) query, now()-xact_start as xact_age, pg_blocking_pids(pid) blocked_by
  from pg_stat_activity where datname='shop' and pid<>pg_backend_pid() order by xact_start limit 8;"
```

```text
 pid |      app       | state  |  wait   |                      query                       |    xact_age     | blocked_by
-----+----------------+--------+---------+--------------------------------------------------+-----------------+------------
  93 | psql-migration | active | Timeout | BEGIN; ALTER TABLE orders ADD COLUMN coupon text | 00:02:38.086508 | {}
  79 | shop-api       | active | Lock    | insert into orders(customer) values ($1) returni | 00:02:38.079618 | {93}
  83 | shop-api       | active | Lock    | insert into orders(customer) values ($1) returni | 00:02:38.064519 | {93}
  81 | shop-api       | active | Lock    | select count(*) from orders                      | 00:02:37.99638  | {93}
  80 | shop-api       | active | Lock    | insert into orders(customer) values ($1) returni | 00:02:37.98802  | {93}
  82 | shop-api       | active | Lock    | insert into orders(customer) values ($1) returni | 00:02:37.877032 | {93}
 100 | shop-api       | active | Lock    | select count(*) from orders                      | 00:00:40.510825 | {93}
 101 | shop-api       | active | Lock    | insert into orders(customer) values ($1) returni | 00:00:40.430629 | {93}
(8 rows)
```

في المخرج أعلاه لاحظ التالي:

- الجلسة 93 باسم `psql-migration` بدأت معاملتها قبل دقيقتين ونصف، ولا يمنعها أحد، وهي التي تمسك القفل. واسم التطبيق `application_name` هو ما جعلنا نعرفها فوراً، ولذلك اجعل كل اتصال بقاعدة البيانات، من التطبيق ومن الأدوات ومن طرفيات المطورين، يحمل اسماً واضحاً.
- كل جلسات `shop-api` تنتظر قفلاً `Lock`، وكلها ممنوعة من الجلسة 93، ومنها القراءة `select count(*)`، وهذا يفسر لماذا توقف التصفح أيضاً: الاتصالات الخمسة عالقة، ولا يبقى اتصال لأي طلب.
- الجلسات 79 إلى 83 من النسخة القديمة للتطبيق، قبل إعادة التشغيل، والجلسات 100 و101 وما بعدها من النسخة الجديدة. أي أن إعادة التشغيل لم تحرر شيئاً في قاعدة البيانات، فالجلسات القديمة ما زالت تنتظر هناك، والنسخة الجديدة فتحت خمس جلسات أخرى انضمت إلى نفس الطابور. وتأكدنا من ذلك بالعد: عشر جلسات لـ `shop-api` بدل خمس.

```text
psql|1
psql-migration|1
shop-api|10
```

![سلسلة من اليمين: الجلسة 93 psql-migration فيها BEGIN وALTER TABLE orders معاملة مفتوحة منذ دقيقتين ونصف تمسك قفل ACCESS EXCLUSIVE، ثم خمس جلسات shop-api كلها تنتظر Lock وblocked_by يساوي 93 ومنها قراءة، ثم المجمع Pool ممتلئ فكل طلب جديد ينتظر 10 ثوان ثم 503، ثم المستخدم لا يشتري ولا يتصفح رغم أن /health يرد 200، وتحتها أن إعادة التشغيل جعلت الجلسات 10 بدل 5](https://arabroot.io/content/images/2026/11/incident-response-03-locks.webp)

جلسة واحدة تمسك القفل، وكل اتصالات التطبيق في الطابور

### التخفيف Mitigation: قرار مكتوب ثم أمر واحد

عرفنا السبب، والتخفيف الواضح أن ننهي الجلسة 93\. ولكن قبل أي أمر يغير النظام يسأل القائد سؤالاً واحداً: ما الذي قد نخسره؟ والإجابة هنا أن التعديل لم يحفظ بعد، لأن المعاملة لم تنته، فإنهاء الجلسة يعني أن PostgreSQL يتراجع عن التعديل، ولا تضيع أي طلبات، والعمود الجديد يضاف لاحقاً في وقت مناسب. وسجلنا القرار وسببه قبل التنفيذ، لأن من يقرأ الخط الزمني غداً يحتاج أن يعرف لماذا، وليس فقط ماذا:

```bash
python inc.py inc.jsonl note "decision: terminate pid 93; ALTER is uncommitted so it rolls back, no order data lost; migration to be re-run in a window"
docker exec dvo-ir-db psql -U postgres -d shop -tAc "select pg_terminate_backend(93)"
python inc.py inc.jsonl mitigated "blocking migration session terminated"
sleep 8; tail -4 load.csv
docker exec dvo-ir-db psql -U postgres -d shop -tAc "select column_name from information_schema.columns where table_name='orders'"
```

```text
10:55:02 note decision: terminate pid 93; ALTER is uncommitted so it rolls back, no order data lost; migration to be re-run in a window
t
10:55:03 mitigated blocking migration session terminated
1793703311.974,order,201,5
1793703312.000,order,201,8
1793703312.059,products,200,2
1793703312.063,products,200,3
id
created
customer
```

خلال ثوان عادت الطلبات بزمن استجابة بين 2 و8 ملي ثانية، والعمود `coupon` غير موجود في الجدول، أي أن التراجع حدث كما توقعنا. ولاحظ أن الأمر نفسه أخذ ثانية واحدة، والتشخيص أخذ دقيقة تقريباً، ومحاولة إعادة التشغيل أخذت أكثر من نصف دقيقة، وهذا التوزيع طبيعي في أغلب الحوادث: الإصلاح سريع عندما تعرف السبب، والوقت يذهب في معرفته.

### متى نغلق الحادثة؟ Resolution

عودة الطلبات لا تعني أن الحادثة انتهت، فقد يعود المطور ويكمل الترحيل، أو تكون هناك جلسة أخرى بنفس الشكل. ولذلك أرسلنا تحديثاً بأننا نراقب، وانتظرنا دقيقتين من الحركة النظيفة، وتأكدنا أن الفحص الخارجي أعلن انتهاء التنبيه بنفسه، ثم أغلقنا الحادثة وسجلنا بداية الأثر من سجل طرفية المطور:

```text
10:55:31 update status page: cause found and fixed, orders work again; monitoring; next update in 15 min
10:52:34 ALERT CheckoutProbeFailing: 2 synthetic orders failed
10:55:04 RESOLVED CheckoutProbeFailing
10:52:05 impact migration session opened (from the shell history of the developer)
10:57:35 resolved 2 min of clean traffic and probe green; incident closed, postmortem owner assigned
10:57:35 update status page: resolved. Between 10:52 and 10:55 UTC orders and product pages failed
```

وشرط الإغلاق يجب أن يكون مكتوباً قبل الحادثة، مثل «عشر دقائق دون أخطاء والتنبيه انتهى»، ودقيقتان في المختبر لأن التجربة قصيرة. والسبب أن الإغلاق المبكر يجعل الفريق يعود إلى النوم ثم تعود المشكلة، والإغلاق المتأخر يبقي الجميع في حالة طوارئ بلا سبب، وكلاهما يحدث عندما يكون القرار شعوراً وليس قاعدة.

### الخط الزمني والمقاييس Timeline and Metrics

وبعد الإغلاق طبعنا الخط الزمني الكامل والمقاييس بالأمر `python inc.py inc.jsonl report`:

```text
10:52:05 impact    migration session opened (from the shell history of the developer)
10:52:34 detected  page: CheckoutProbeFailing (2 synthetic orders failed)
10:53:40 acked     on-call acked; GET /api/products also 503 after 10 s
10:53:40 declared  SEV-2: orders and product pages fail with 503. On-call is IC+ops+scribe (alone).
10:53:40 update    status page: customers cannot place orders or browse; investigating; next update in 15 min
10:53:57 note      mitigation attempt 1: restart shop-api
10:54:28 note      restart did not help: still 503 after 10 s
10:54:45 note      found: shop-api sessions wait on a Lock held by an open psql-migration transaction (ALTER TABLE orders)
10:55:02 note      decision: terminate pid 93; ALTER is uncommitted so it rolls back, no order data lost; migration to be re-run in a window
10:55:03 mitigated blocking migration session terminated
10:55:31 update    status page: cause found and fixed, orders work again; monitoring; next update in 15 min
10:57:35 resolved  2 min of clean traffic and probe green; incident closed, postmortem owner assigned
10:57:35 update    status page: resolved. Between 10:52 and 10:55 UTC orders and product pages failed

start of impact -> detected (TTD) :   0.5 min
detected -> acknowledged (TTA)    :   1.1 min
detected -> mitigated  (TTM)      :   2.5 min
start of impact -> resolved       :   5.5 min
minutes between status updates    : [0.0, 1.8, 2.1]
```

![جدول الخط الزمني من دفتر الموثق: 10:52:05 بداية الأثر بجلسة ترحيل، و10:52:34 التنبيه، و10:53:40 الإقرار والإعلان SEV-2، و10:53:57 إعادة تشغيل التطبيق، و10:54:28 لم تنفع، و10:54:45 الجلسات تنتظر Lock من psql-migration، و10:55:02 قرار إنهاء الجلسة، و10:55:03 التخفيف، و10:55:31 تحديث، و10:57:35 الإغلاق](https://arabroot.io/content/images/2026/11/incident-response-02-timeline.webp)

كل فعل بوقته، ومعه المحاولة التي لم تنفع

ولنقرأ الأرقام كما يقرؤها الفريق في مراجعة الحادثة:

- **زمن الاكتشاف 0.5 دقيقة:** جيد، والفضل للفحص الخارجي الذي يشتري فعلاً، فلو كان التنبيه على `/health` لما أطلق أبداً، لأنه بقي يرد 200 طوال الحادثة.
- **زمن الإقرار 1.1 دقيقة:** كان يمكن أن يكون ثوان، والدقيقة ضاعت في أداة التوثيق نفسها، وهذا إجراء متابعة في المراجعة.
- **زمن التخفيف 2.5 دقيقة:** منها نصف دقيقة في إعادة تشغيل لم تنفع، ولو كان في دليل التشغيل خطوة «تحقق من الأقفال في `pg_stat_activity`» قبل إعادة التشغيل لكان أقل.
- **التحديثات:** ثلاثة تحديثات في خمس دقائق، والتحديث الأول مع الإعلان مباشرة، وكل تحديث فيه موعد الذي بعده.

### الأثر من جهة المستخدم User Impact

والخط الزمني يقول ما فعلناه، ولكن الأثر الحقيقي في ملف مولد الحركة، فكتبنا سكربتاً صغيراً `impact.py` يحسب ما رآه المستخدمون:

```python
# Impact from the users' side: failed requests, first and last failure, and how long each request waited.
import csv, sys, time, collections
rows = sorted(csv.DictReader(open(sys.argv[1])), key=lambda r: float(r["t"]))
bad = [r for r in rows if r["status"] not in ("200", "201")]
hm = lambda t: time.strftime("%H:%M:%S", time.gmtime(float(t)))
print(f"requests {len(rows)}, failed {len(bad)} ({100*len(bad)/len(rows):.1f}%)")
if bad:
    print("first failure", hm(bad[0]["t"]), " last failure", hm(bad[-1]["t"]))
    print("by status:", dict(collections.Counter(r["status"] for r in bad)), " by kind:", dict(collections.Counter(r["kind"] for r in bad)))
    ms = sorted(int(r["ms"]) for r in bad); print("failed request wait: min", ms[0], "ms, median", ms[len(ms)//2], "ms, max", ms[-1], "ms")
ok = sorted(int(r["ms"]) for r in rows if r["status"] in ("200", "201")); print("successful p50", ok[len(ok)//2], "ms")
```

```text
requests 7598, failed 97 (1.3%)
first failure 10:52:06  last failure 10:54:51
by status: {'0': 16, '503': 81}  by kind: {'order': 49, 'products': 48}
failed request wait: min 430 ms, median 10002 ms, max 18171 ms
successful p50 7 ms
```

وهنا درس مهم عن قراءة الأرقام في الحوادث: 97 طلباً فاشلاً من 7,598، أي 1.3% فقط، رقم يبدو صغيراً، ولكنه مضلل. فخلال الدقائق الثلاث لم ينجح تقريباً أي طلب، والعدد قليل لأن كل مستخدم كان ينتظر عشر ثوان أو أكثر قبل أن يحصل على الخطأ، فأرسل طلبات أقل بكثير من المعتاد، وهذا ما رأيناه أيضاً في مختبر أهداف الخدمة. ولذلك عندما تصف الأثر في التحديثات وفي المراجعة فصفه بالوقت ونوع العمل المتأثر: «من 10:52 حتى 10:55 لم يستطع أحد أن يطلب أو يتصفح»، وليس بالنسبة المئوية وحدها. ولاحظ كذلك أن الفشل كان نصفه في التصفح ونصفه في الشراء، أي أن قراءة بسيطة توقفت بسبب كتابة، وهذا أثر مشاركة الاتصالات بين الاثنين.

### ماذا لو كانت قاعدة البيانات تنهي الجلسة المنسية بنفسها؟ What If

في الواقع الجلسة المنسية تكون غالباً بحالة «idle in transaction»، أي أن المطور كتب `BEGIN` والتعديل ثم ترك الطرفية، وليست جلسة تنتظر كما في التجربة الأولى. ولهذه الحالة إعداد في PostgreSQL اسمه `idle_in_transaction_session_timeout`، يذكره [توثيق إعدادات الاتصال](https://www.postgresql.org/docs/18/runtime-config-client.html?ref=arabroot.io)، وهو ينهي أي جلسة بقيت داخل معاملة دون نشاط أكثر من المدة المحددة. فضبطناه على 30 ثانية، وشغلنا الحركة من جديد، وفتحنا جلسة ترحيل بنفس التعديل وتركناها خاملة:

```bash
docker exec dvo-ir-db psql -U postgres -d shop -c "ALTER SYSTEM SET idle_in_transaction_session_timeout = '30s';" -c "SELECT pg_reload_conf();"
docker exec -d dvo-ir-db sh -c '(echo "BEGIN; ALTER TABLE orders ADD COLUMN coupon text;"; sleep 600) | PGAPPNAME=psql-migration psql -U postgres -d shop'
docker exec dvo-ir-db psql -U postgres -d shop -tAc "select pid, application_name, state from pg_stat_activity where application_name='psql-migration'"
docker logs dvo-ir-db 2>&1 | grep -i "idle-in-transaction" | tail -1
python impact.py w2/load.csv
```

```text
11:01:42 idle migration session opened
178|psql-migration|idle in transaction
2026-11-03 11:02:13.841 UTC [178] FATAL:  terminating connection due to idle-in-transaction timeout
requests 1790, failed 12 (0.7%)
first failure 11:01:43  last failure 11:01:59
by status: {'0': 5, '503': 7}  by kind: {'order': 6, 'products': 6}
failed request wait: min 10002 ms, median 10053 ms, max 15011 ms
successful p50 13 ms
```

![مقارنة: بدون مهلة احتاج الأمر تدخل إنسان ودقيقتين ونصف من التنبيه إلى التخفيف و97 طلباً فاشلاً وإعادة تشغيل لم تنفع، ومع مهلة 30 ثانية فتحت الجلسة 11:01:42 وأنهتها قاعدة البيانات 11:02:13 و12 طلباً فاشلاً دون أن يستيقظ أحد، وتحتها رسالة FATAL terminating connection due to idle-in-transaction timeout](https://arabroot.io/content/images/2026/11/incident-response-05-whatif.webp)

نفس الخطأ، وحادثة انتهت قبل أن يطلق التنبيه

نفس الخطأ البشري، ولكن الأثر 31 ثانية بدل خمس دقائق ونصف، و12 طلباً فاشلاً بدل 97، ولم يطلق التنبيه أصلاً، لأن الفحص الخارجي يحتاج فشلين متتاليين بفارق 15 ثانية. ولكن انتبه لحدود هذا الإعداد: هو يحمي من الجلسة الخاملة فقط، أما الترحيل النشط الذي يعمل دقائق، مثل إعادة بناء فهرس كبير، فلا يتأثر به، وهذا يحتاج `lock_timeout` داخل الترحيل نفسه، فيفشل الترحيل إذا لم يحصل على القفل خلال ثوان بدل أن يقف أمام كل الطلبات. وهذا الفرق بين التخفيف أثناء الحادثة والإصلاح بعدها هو موضوع القسم التالي.

## التخفيف أولاً Mitigate First، والسبب الجذري بعد ذلك

من أهم ما يقوله فصل الاستجابة للحوادث في SRE Workbook أن أول من يستجيب يجب أن يعطي التخفيف الأولوية فوق كل شيء، ويعرف ما يسميه التخفيفات العامة Generic Mitigations بأنها أفعال تخفف ألم المستخدم قبل أن تفهم السبب الجذري كاملاً، مثل التراجع عن آخر إصدار إذا ارتبط العطل بالنشر، أو إعادة توجيه الطلبات بعيداً عن منطقة فيها أخطاء. ويقول إن هذه التخفيفات أدوات غير دقيقة قد تسبب اضطراباً آخر، ولكنها توقف النزيف بسرعة بينما يبحث الفريق عن السبب، وإن الوقت المناسب لبناء أدوات التخفيف هو قبل الحادثة وليس أثناءها. والصورة التالية تفصل بين النوعين في حادثة المختبر:

![عمودان: التخفيف الآن ويشمل التراجع عن آخر نشر وإنهاء الجلسة التي تقفل الجدول وإطفاء ميزة بال Feature Flag وتحويل الطلبات ورفض جزء من الطلبات وهدفه إيقاف ألم المستخدم، والإصلاح في أيام العمل ويشمل lock_timeout في كل ترحيل وidle_in_transaction_session_timeout والترحيلات عبر CI وstatement_timeout في التطبيق وفحص صحة يلمس قاعدة البيانات](https://arabroot.io/content/images/2026/11/incident-response-04-mitigate.webp)

التخفيف يوقف الألم، والإصلاح يمنع التكرار

والخطأ الشائع، خصوصاً عند المهندسين الجيدين، أن يبدأ المناوب في التحقيق العميق عن السبب الجذري بينما المستخدمون ما زالوا متأثرين، لأن الفهم ممتع والتخفيف يبدو كأنه هروب من المشكلة. والقاعدة التي اتفق عليها الفريق: في كل دقيقة من الحادثة اسأل «هل هناك فعل الآن يوقف ألم المستخدم حتى لو لم أفهم السبب؟»، فإذا كانت الإجابة نعم وكان الفعل قابلاً للتراجع فنفذه، ثم أكمل الفهم والخدمة تعمل. ولذلك كل خدمة يجب أن يكون لها قبل أي حادثة طريقة تراجع سريعة عن آخر نشر، وطريقة لإطفاء الميزات الجديدة كما شرحنا في [مقال Feature Flags](https://arabroot.io/articles/%D9%85%D9%81%D9%87%D9%88%D9%85-feature-flags-%D9%88%D8%A7%D9%84%D8%A7%D8%B7%D9%84%D8%A7%D9%82-%D8%A7%D9%84%D8%AA%D8%AF%D8%B1%D9%8A%D8%AC%D9%8A-gradual-rollout/)، وأدلة تشغيل لأشهر التخفيفات.

## قصة من الواقع: Cloudflare في 2 يوليو 2019

من أوضح الحوادث الموثقة في هذا الباب ما حدث في Cloudflare في 2 يوليو 2019، وقد نشرت الشركة [تقريراً مفصلاً عنها](https://blog.cloudflare.com/details-of-the-cloudflare-outage-on-july-2-2019/?ref=arabroot.io). ففي 13:42 بتوقيت UTC نشر مهندس في فريق جدار الحماية تغييراً صغيراً في قواعد اكتشاف هجمات XSS، وبعد ثلاث دقائق وصل أول تنبيه عاجل من فحص اصطناعي، ثم توالت التنبيهات، لأن تعبيراً نمطياً Regex في القاعدة الجديدة استهلك المعالجات في كل سيرفرات الشبكة حول العالم. وفي 14:02 اقترح الفريق استخدام آلية «الإنهاء العالمي» Global Terminate، وهي آلية مبنية مسبقاً لتعطيل مكون واحد في كل العالم، أي تخفيف عام بالضبط كما وصفناه، ولكن الوصول إلى هذه الآلية لم يكن سهلاً.

والسبب كما يكتب التقرير أن الشركة تستخدم منتجاتها بنفسها، وخدمة Access التي يدخل منها المهندسون إلى لوحة التحكم الداخلية كانت معطلة بسبب نفس العطل، فلم يستطيعوا الدخول، ولا الوصول إلى أدوات أخرى مثل Jira ونظام البناء، واضطروا إلى استخدام طريقة تجاوز Bypass نادراً ما تستخدم، ويكتب التقرير أن هذا شيء يجب التدرب عليه بعد الحادثة. بل إن بعض أعضاء الفريق اكتشفوا أنهم فقدوا صلاحية الدخول بسبب ميزة أمنية تعطل الحساب إذا لم يستخدم لوحة التحكم الداخلية بشكل متكرر. ونفذ أحد أعضاء الفريق الإنهاء العالمي في 14:07، وفي 14:09 عادت الحركة والمعالجات إلى المستويات الطبيعية، وبعدها عمل الفريق على إعادة الخدمة المعطلة بأمان، وأعادوها عالمياً في 14:52.

وفي هذه الحادثة ثلاثة دروس للفريق الذي نتابعه، وكلها عن الاستجابة وليس عن التعبير النمطي نفسه. الأول أن التخفيف العام المبني مسبقاً هو ما أنهى الأثر، وليس فهم السبب. والثاني أن أدوات الاستجابة يجب ألا تعتمد على النظام الذي قد يتعطل، وهذا ما رأيناه بشكل مصغر في المختبر عندما فشلت أداة التوثيق نفسها. والثالث أن الطرق التي لا تستخدم إلا في الطوارئ تفشل في الطوارئ، والحل أن تستخدمها بانتظام في أيام التجربة كما شرحنا في [مقال دليل التشغيل](https://arabroot.io/articles/%D8%AF%D9%84%D9%8A%D9%84-%D8%A7%D9%84%D8%AA%D8%B4%D8%BA%D9%8A%D9%84-runbook-%D9%88%D8%AB%D9%82-%D8%A7%D9%84%D8%A7%D8%AC%D8%B1%D8%A7%D8%A1-%D9%82%D8%A8%D9%84-%D8%A7%D9%86-%D8%AA%D8%AD%D8%AA%D8%A7%D8%AC%D9%87/).

## التواصل أثناء الحادثة Communication Cadence

التواصل في الحادثة له جمهوران: داخل الفريق والشركة، وخارجها للعملاء. وكلاهما يحتاج نفس الشيء: أن يعرف أنك تعرف بالمشكلة، وما أثرها، ومتى يسمع منك مرة أخرى. والسطر الأخير هو الأهم، لأن مدير المبيعات الذي يعرف أن التحديث القادم بعد 15 دقيقة لن يسألك كل دقيقة، والعميل الذي يعرف ذلك لن يرسل لك عشر رسائل. والصورة التالية تبين التحديثات الثلاثة في حادثة المختبر والقواعد التي اتبعناها:

![ثلاثة تحديثات: 10:53:40 نحقق أي العملاء لا يستطيعون الطلب أو التصفح والتحديث القادم خلال 15 دقيقة، ثم 10:55:31 نراقب أي عرفنا السبب وأصلحناه، ثم 10:57:35 انتهت من 10:52 حتى 10:55 فشلت الطلبات وصفحات المنتجات، وتحتها ثلاث قواعد: موعد التحديث القادم في كل رسالة، والأثر بكلام المستخدم، وقناة التواصل لا تعتمد على النظام المعطل](https://arabroot.io/content/images/2026/11/incident-response-06-comms.webp)

كل رسالة فيها الأثر وموعد الرسالة القادمة

ولاحظ أن الرسالة الأولى لم تقل شيئاً عن السبب، لأننا لم نكن نعرفه، ولم تعد بموعد للإصلاح، لأن الوعد بموعد لا تعرفه أسوأ من عدم الوعد. وقد شرحنا صياغة رسائل صفحة الحالة وأين تستضيفها في مقال المسؤولية، فالمهم هنا الإيقاع Cadence: تحديث مع الإعلان مباشرة، ثم في الموعد الذي وعدت به حتى لو لم يتغير شيء، فرسالة «ما زلنا نحقق، والتحديث القادم بعد 15 دقيقة» لها قيمة كبيرة لمن ينتظر. وفي الفريق الصغير الذي يحمل فيه المناوب كل الأدوار يكون التواصل أول ما يسقط، لأن التحقيق يأخذ كل الانتباه، ولذلك يضع بعض الفرق مؤقتاً يذكر المناوب بموعد التحديث، أو يستدعي شخصاً ثانياً للتواصل فقط عندما تتجاوز الحادثة ربع ساعة.

## المناوبة On-call مع التصعيد Escalation

الاستجابة تبدأ قبل أن يقرأ أحد التنبيه، فمسار التنبيه نفسه يحدد زمن الإقرار. وقد شرحنا في [مقال التنبيهات](https://arabroot.io/articles/%D8%A7%D9%84%D8%AA%D9%86%D8%A8%D9%8A%D9%87%D8%A7%D8%AA-alerting-%D9%85%D8%A7%D8%B0%D8%A7-%D8%AA%D9%86%D8%A8%D9%87-%D8%B9%D9%84%D9%8A%D9%87-%D9%88%D9%85%D8%AA%D9%89-%D8%AA%D9%88%D9%82%D8%B8-%D8%A7%D8%AD%D8%AF%D8%A7/) كيف يصل التنبيه العاجل إلى المناوب مجمعاً ومعه رابط الدليل، وفي [دليل المراقبة](https://arabroot.io/articles/%D8%AF%D9%84%D9%8A%D9%84-%D8%A7%D9%84%D9%85%D8%B1%D8%A7%D9%82%D8%A8%D8%A9-monitoring-%D9%85%D8%A7%D8%B0%D8%A7-%D8%AA%D8%B1%D8%A7%D9%82%D8%A8-%D9%81%D9%8A-%D8%B3%D9%8A%D8%B1%D9%81%D8%B1%D8%A7%D8%AA%D9%83-%D9%88%D8%AA%D8%B7%D8%A8%D9%8A%D9%82%D8%A7%D8%AA%D9%83/) ما الذي يستحق التنبيه أصلاً. والجزء الذي يخص الاستجابة هنا هو التصعيد التلقائي: إذا لم يقر المناوب خلال مدة محددة، مثل خمس دقائق، ينتقل التنبيه تلقائياً إلى المناوب الثاني، ثم إلى قائد الفريق. والسبب أن المناوب قد يكون في مكان بلا تغطية، أو نام بعمق، والحادثة لا تنتظر.

والتصعيد الثاني تصعيد يقرره المناوب نفسه أثناء الحادثة: متى يطلب المساعدة؟ والقاعدة الأفضل أن تكون بالوقت وليس بالشعور، مثل «إذا لم تجد تخفيفاً خلال 15 دقيقة فاستدع خبير المكون»، لأن المناوب تحت الضغط يميل إلى أن يقول «دقيقة أخرى وأجدها» حتى تمر ساعة. وقد شرحنا في مقال ضغط المناوبة كيف يرفع التصعيد بقاعدة مكتوبة هذا القرار عن كتف المناوب، وفي [مقال اللوم بعد العطل](https://arabroot.io/articles/%D8%AD%D9%8A%D9%86-%D9%8A%D9%84%D9%88%D9%85%D9%83-%D8%A7%D9%84%D9%81%D8%B1%D9%8A%D9%82-%D8%B9%D9%84%D9%89-%D8%B9%D8%B7%D9%84-%D9%84%D9%85-%D8%AA%D8%B3%D8%A8%D8%A8%D9%87/) كيف تحمي نفسك عندما يبحث الفريق عن شخص يلومه بعد حادثة مثل هذه، فالمطور الذي ترك الجلسة مفتوحة ليس هو السبب، وإنما نظام يسمح لجلسة واحدة منسية أن توقف المتجر كله.

## تسليم الحادثة Handoff

الحوادث الطويلة تتجاوز قدرة شخص واحد، وتتجاوز أحياناً مناوبته نفسها، ولذلك التسليم جزء من الإطار. ويقول فصل إدارة الحوادث في كتاب SRE إن تسليم دور قائد الحادثة يجب أن يكون صريحاً وحياً، فيشرح القائد الحالي الوضع للقائد الجديد كاملاً، ثم يقول له صراحة: «أنت الآن قائد الحادثة، موافق؟»، ولا يغادر المكالمة حتى يسمع تأكيداً واضحاً، ثم يعلن التسليم لكل من يعمل على الحادثة، حتى يعرف الجميع من يقود الآن.

والخط الزمني الذي يكتبه الموثق هو ما يجعل التسليم ممكناً في دقائق، فالقائد الجديد يقرأ ما جرب وما لم ينفع ولماذا، بدل أن يعيد نفس المحاولات. ولو سلم المناوب في المختبر الحادثة بعد إعادة التشغيل، لقرأ القائد الجديد في السطر 10:54:28 أن الإعادة لم تنفع، ولم يجربها مرة ثانية. ويسمي الكتاب هذا المستند مستند حالة الحادثة الحي Live Incident State Document، ويذكر أن فرق Google تتجنب أن يعتمد على البرنامج الذي تحاول إصلاحه، وهي نفس فكرة Cloudflare من الجهة الأخرى.

## بعد الإغلاق: من الخط الزمني إلى المراجعة Postmortem

الإغلاق ليس نهاية العمل، وإنما بداية الجزء الذي يمنع الحادثة التالية. وقد شرحنا تقرير ما بعد الحادثة دون لوم Blameless Postmortem بالتفصيل في مقال المسؤولية، والذي يضيفه هذا المقال أن الخط الزمني المسجل بالثواني هو مادته الأساسية، والفرق كبير بين مراجعة تبنى على خط زمني كتب أثناء الحادثة، ومراجعة تبنى على ذاكرة خمسة أشخاص متعبين بعد يومين.

وإجراءات المتابعة Action Items التي خرج بها الفريق من حادثة المختبر، وكل واحد منها له مالك وموعد:

- ضبط `idle_in_transaction_session_timeout` على قاعدة بيانات الإنتاج، بعد التأكد أن التطبيق لا يترك معاملات خاملة طويلة بشكل طبيعي.
- كل ترحيل يبدأ بـ `SET lock_timeout = '5s'`، ويشغل من خط CI وليس من طرفية مطور، والوصول المباشر إلى قاعدة بيانات الإنتاج يصبح للقراءة فقط إلا في حالات موثقة.
- مهلة `statement_timeout` في التطبيق، حتى لا يبقى اتصال عالقاً إلى الأبد، ومجمع منفصل للقراءة إن أمكن.
- فحص الصحة `/health` يلمس قاعدة البيانات باستعلام خفيف، أو فحص جاهزية منفصل يفعل ذلك.
- دليل تشغيل جديد «الطلبات عالقة وقاعدة البيانات تعمل»، خطوته الأولى استعلام الأقفال الذي استخدمناه، قبل أي إعادة تشغيل.
- تدريب الفريق على أداة التوثيق في يوم التجربة القادم، لأن الدقيقة الضائعة في الإقرار جاءت منها.

ولاحظ أن لا واحد من هذه الإجراءات «تذكير المطور بأن يكتب COMMIT»، والسبب أن الاعتماد على تذكر الإنسان هو ما سمح بالحادثة أصلاً، والإجراء الجيد يغير النظام بحيث يصبح الخطأ نفسه أقل ضرراً، كما رأينا في تجربة المهلة.

## قياس الاستجابة Response Metrics دون أن تخدع نفسك

بعد عدة حوادث سوف يريد أحد في الإدارة رقماً واحداً، وغالباً متوسط زمن الإصلاح MTTR، وهذا الرقم مفيد بشرط أن تعرف حدوده. فالحوادث قليلة العدد ومتفاوتة جداً، وحادثة واحدة طويلة تغير المتوسط كله، ولذلك اعرض الأرقام لكل حادثة، أو الوسيط Median بدل المتوسط. والأفضل من ذلك أن تربط الحوادث بأهداف الخدمة، فالحادثة في المختبر استمرت خمس دقائق ونصف، والسؤال الأهم: كم استهلكت من ميزانية الأخطاء؟ فإذا كان الهدف 99.9% يعطيك 43 دقيقة في الشهر، فهذه الحادثة استهلكت قرابة 13% منها إذا اعتبرنا أن الخدمة كانت متوقفة كلياً طوال تلك المدة، وهذا رقم يفهمه الجميع ويقود قراراً بحسب سياسة الميزانية.

واحذر كذلك من أن يصبح المقياس هدفاً بحد ذاته، فالفريق الذي يقاس بزمن الإغلاق سوف يغلق الحوادث مبكراً، والفريق الذي يقاس بعدد الحوادث سوف يتردد في إعلانها، وهذا عكس ما نريده تماماً، فنحن نريد الإعلان المبكر. ولذلك المقاييس للتعلم وليست لتقييم الأشخاص، وأهمها في المراجعة ليس الرقم نفسه وإنما الفجوات فيه: لماذا أخذ الإقرار دقيقة؟ لماذا جربنا إعادة التشغيل قبل الأقفال؟

## أخطاء شائعة Common Mistakes

- **تأخير الإعلان:** كل شخص يعمل وحده، والمشكلة تكبر، والإعلان المبكر رخيص.
- **أكثر من شخص يغير النظام:** العمل المنفرد Freelancing يجعل السيئ أسوأ، ولا يعرف أحد ما الذي أعاد الخدمة.
- **البحث عن السبب الجذري والمستخدمون متأثرون:** التخفيف أولاً، والفهم بعد عودة الخدمة.
- **تكرار تخفيف لم ينفع:** كما في إعادة التشغيل التي ضاعفت الجلسات العالقة بدل أن تحررها.
- **فحص صحة لا يلمس الاعتمادات:** `/health` رد 200 طوال الحادثة.
- **اتصالات بلا اسم:** لولا `application_name` لاحتاج التشخيص وقتاً أطول بكثير.
- **لا مهلة لأي شيء:** استعلام ينتظر قفلاً إلى الأبد يأخذ معه الاتصال والطلب والمستخدم.
- **خط زمني من الذاكرة:** بعد يومين لا يتذكر أحد بالضبط متى جرب ماذا.
- **تحديثات بلا موعد قادم:** فيسأل الجميع كل دقيقة، ويضيع وقت المناوب في الرد.
- **أدوات استجابة تعتمد على النظام المعطل:** كما في Cloudflare، وكما في دفتر التوثيق في المختبر.
- **وصف الأثر بالنسبة وحدها:** 1.3% بدت صغيرة، والواقع أن أحداً لم يستطع أن يطلب ثلاث دقائق.
- **إجراءات متابعة تعتمد على تذكر الإنسان:** بدل تغيير النظام ليصبح الخطأ أقل ضرراً.

## قائمة تحقق Checklist للمناوب

| المرحلة     | ما تفعله                                                            |
| ----------- | ------------------------------------------------------------------- |
| الإقرار     | أقر بالتنبيه، وافتح دفتر الحادثة، وسجل وقت التنبيه الحقيقي          |
| حجم الأثر   | جرب بنفسك من جهة المستخدم: ما الذي يعمل وما الذي لا يعمل؟           |
| الإعلان     | مستوى الخطورة، ومن يحمل كل دور، وأول تحديث فيه موعد الذي بعده       |
| الدليل      | افتح دليل التشغيل من رابط التنبيه، ونفذ خطوات الفحص للقراءة فقط     |
| التخفيف     | أي فعل قابل للتراجع يوقف الألم الآن؟ سجل القرار وسببه قبل التنفيذ   |
| التحقق      | من جهة المستخدم، وليس من نجاح الأمر                                 |
| التصعيد     | بالوقت المكتوب، دون انتظار شعور اليأس                               |
| التحديثات   | في كل موعد وعدت به، حتى لو لم يتغير شيء                             |
| التسليم     | صريح: «أنت الآن قائد الحادثة، موافق؟»، والخط الزمني مكتوب           |
| الإغلاق     | بشرط مكتوب مسبقاً، ورسالة أخيرة فيها مدة الأثر ونوعه                |
| بعد الإغلاق | بداية الأثر من السجلات، ومالك للمراجعة، وإجراءات متابعة تغير النظام |

## تدريب عملي Practice

- أعد المختبر وأضف إلى التطبيق مهلة `statement_timeout` مقدارها ثانيتان في نص الاتصال `options=-c statement_timeout=2000`، ثم كرر الحادثة الأولى، وقارن مخرج `impact.py`: هل قل عدد الطلبات الفاشلة أم زاد؟ ولماذا تحسنت تجربة المستخدم رغم ذلك؟
- نفذ الحادثة مرة ثانية مع زميل، أحدكما قائد الحادثة والآخر مسؤول العمليات، وسلم القيادة في منتصفها بالطريقة الصريحة، ثم قارن الخط الزمني بخط هذا المقال.

## حذف المختبر Cleanup

```bash
docker rm -f dvo-ir-db dvo-ir-app dvo-ir-load dvo-ir-probe
docker network rm dvo-ir-net
docker rmi dvo-ir-app:1.0
```

## الخلاصة Summary

وصلنا لنهاية الموضوع، وأهم ما فيه:

- الحادثة عطل يحتاج استجابة منظمة، وأسئلة كتاب SRE الثلاثة تقرر متى تعلنها، والإعلان المبكر رخيص والمتأخر مكلف.
- للحادثة مراحل ومقاييس: الاكتشاف ثم الإقرار ثم التخفيف ثم الإغلاق، وفي المختبر كانت 0.5 ثم 1.1 ثم 2.5 دقيقة، و5.5 دقيقة من بداية الأثر إلى الإغلاق.
- جلسة ترحيل منسية أمسكت قفلاً على جدول الطلبات، فعلقت كل اتصالات التطبيق، وتوقف الشراء والتصفح معاً، بينما `/health` يرد 200.
- إعادة التشغيل لم تنفع وضاعفت الجلسات العالقة، و`pg_stat_activity` مع `pg_blocking_pids` و`application_name` وجدت السبب في دقيقة.
- مع `idle_in_transaction_session_timeout` انتهى نفس الخطأ في 31 ثانية دون أن يستيقظ أحد، وهذا هو الفرق بين التخفيف أثناء الحادثة والإصلاح بعدها.
- التخفيف أولاً، وأدوات الاستجابة لا تعتمد على النظام المعطل كما تعلمت Cloudflare، والتحديثات بموعد قادم، والتسليم صريح، والمراجعة تبنى على خط زمني كتب أثناء الحادثة.

وبهذا نكون قد أكملنا في هذه المرحلة الطريق من قياس الخدمة إلى الاستجابة عندما تتعطل، وفي مقالات قادمة بإذن الله نتكلم عن هندسة الفوضى Chaos Engineering، أي كيف تصنع الحوادث عمداً في وقت تختاره أنت لتتعلم منها قبل أن تأتي وحدها.

[![](https://arabroot.io/content/images/2026/10/production-accountability-cover-cover-1.webp)دليلمن يتحمل المسؤولية Accountability عندما يتعطل الإنتاج؟كيف تحدد ملكية الخدمات وتدير الحادثة بأدوار واضحة، ثم تكتب تقرير ما بعد الحادثة دون لوم وبإجراءات تغلق فعلاً.](https://arabroot.io/articles/%D9%85%D9%86-%D9%8A%D8%AA%D8%AD%D9%85%D9%84-%D8%A7%D9%84%D9%85%D8%B3%D8%A4%D9%88%D9%84%D9%8A%D8%A9-%D8%B9%D9%86%D8%AF%D9%85%D8%A7-%D9%8A%D8%AA%D8%B9%D8%B7%D9%84-%D8%A7%D9%84%D8%A7%D9%86%D8%AA%D8%A7%D8%AC/)[![](https://arabroot.io/content/images/2026/11/runbooks-cover-cover.webp)دليلدليل التشغيل Runbook: وثق الإجراء قبل أن تحتاجهنكتب دليل تشغيل لقاعدة بيانات امتلأ قرصها، ثم ننفذه بالثواني في يوم تجربة، فنكتشف فيه خطأين لم يظهرا إلا عند التنفيذ.](https://arabroot.io/articles/%D8%AF%D9%84%D9%8A%D9%84-%D8%A7%D9%84%D8%AA%D8%B4%D8%BA%D9%8A%D9%84-runbook-%D9%88%D8%AB%D9%82-%D8%A7%D9%84%D8%A7%D8%AC%D8%B1%D8%A7%D8%A1-%D9%82%D8%A8%D9%84-%D8%A7%D9%86-%D8%AA%D8%AD%D8%AA%D8%A7%D8%AC%D9%87/)[![](https://arabroot.io/content/images/2026/11/slo-basics-cover-cover.webp)دليلماذا تعني 99.9%؟ أهداف الخدمة SLO للمبتدئيننقيس خدمة حقيقية من أربعة أماكن فنحصل على أربعة أرقام، ونحول الهدف إلى دقائق مسموحة وميزانية أخطاء وسياسة تحكم قرارات الفريق.](https://arabroot.io/articles/%D9%85%D8%A7%D8%B0%D8%A7-%D8%AA%D8%B9%D9%86%D9%8A-99-9-%D8%A7%D9%87%D8%AF%D8%A7%D9%81-%D8%A7%D9%84%D8%AE%D8%AF%D9%85%D8%A9-slo-%D9%84%D9%84%D9%85%D8%A8%D8%AA%D8%AF%D8%A6%D9%8A%D9%86/)[![](https://arabroot.io/content/images/2026/10/on-call-stress-cover-cover.webp)دليلضغط المناوبة On-call والحوادث: كيف تحمي نفسك وفريقكما الحدود التي يضعها كتاب Google SRE للمناوبة المستدامة، وكيف تقلل التنبيهات وتصمم الجدول وتطلب التعويض والراحة دون صدام.](https://arabroot.io/articles/%D8%B6%D8%BA%D8%B7-%D8%A7%D9%84%D9%85%D9%86%D8%A7%D9%88%D8%A8%D8%A9-on-call-%D9%88%D8%A7%D9%84%D8%AD%D9%88%D8%A7%D8%AF%D8%AB-%D9%83%D9%8A%D9%81-%D8%AA%D8%AD%D9%85%D9%8A-%D9%86%D9%81%D8%B3%D9%83-%D9%88%D9%81%D8%B1%D9%8A%D9%82%D9%83/)[![](https://arabroot.io/content/images/2026/10/blamed-for-incident-cover-cover.webp)دليلاللوم بعد العطل Blame: حين يلومك الفريق على ما لم تسببهماذا تقول في الساعة الأولى بعد عطل نسب إليك، وكيف توثق الحقائق بخط زمني، ومتى تصعد اللوم المتكرر ومتى تغادر.](https://arabroot.io/articles/%D8%AD%D9%8A%D9%86-%D9%8A%D9%84%D9%88%D9%85%D9%83-%D8%A7%D9%84%D9%81%D8%B1%D9%8A%D9%82-%D8%B9%D9%84%D9%89-%D8%B9%D8%B7%D9%84-%D9%84%D9%85-%D8%AA%D8%B3%D8%A8%D8%A8%D9%87/)

## سجل التحديثات Changelog

- نوفمبر 2026: كتابة الدليل وتنفيذ المختبر بإصدارات PostgreSQL 18.6 وpsycopg 3.3.7 وPython 3.13 على Docker Engine 29.8.0.