DevOps والتشغيل الأدلة التقنية

دليل المراقبة Monitoring: ماذا تراقب في سيرفراتك وتطبيقاتك؟

خريطة واحدة لكل ما يجب أن يراقبه الفريق على سيرفراته وتطبيقاته، من القرص والشهادات والنسخ الاحتياطي إلى الأحداث الأمنية والثغرات، مع الأداة والتنبيه لكل منطقة.

دليل المراقبة Monitoring: ماذا تراقب في سيرفراتك وتطبيقاتك؟

لو كنت في فريق DevOps أو فريق تقنية المعلومات IT في شركة أو جهة حكومية، فغالباً عندك اليوم عدد من السيرفرات Servers، وعليها تطبيقات مكتوبة بلغات مختلفة: موقع بـ PHP، ونظام داخلي بـ .NET، وواجهة برمجية API بـ Node.js، وقاعدة بيانات أو اثنتان، وبعض الخدمات داخل Containers. ولكل تطبيق نطاق Domain وشهادة TLS لها تاريخ انتهاء، ونسخ احتياطية Backups تعمل كل ليلة، ومهام مجدولة Cron Jobs لا يتذكرها أحد إلا عندما تتوقف.

والمشكلة أن هذا كله يتغير كل أسبوع: تعلن ثغرة Vulnerability جديدة في مكتبة يستخدمها أحد تطبيقاتك، وتصدر تحديثات للنظام وللغات وللأطر، وتظهر محاولات دخول وفحص من عناوين لم ترها من قبل، ويمتلئ قرص لأن السجلات Logs كبرت أسرع من المتوقع. ومع خمسة سيرفرات أو خمسين، لا يستطيع أي فريق أن يفتح كل سيرفر كل صباح ويتحقق يدوياً: هل التطبيق يعمل؟ هل القرص فيه مساحة؟ هل الشهادة ستنتهي قريباً؟ هل نجحت نسخة البارحة؟ هل هناك ثغرة معلنة في نسخة PHP أو .NET التي عندنا؟ هل حاول أحد الدخول بكلمات مرور كثيرة الليلة الماضية؟ فتكون النتيجة المعتادة أن العميل يكتشف العطل قبل الفريق، والشهادة تنتهي يوم الإجازة، والنسخة الاحتياطية لا يعرف أحد أنها متوقفة إلا يوم يحتاجها.

وهذا لا يحدث للفرق الصغيرة فقط. ففي يناير 2017 احتاجت GitLab إلى نسخها الاحتياطية بعد حذف قاعدة بياناتها الرئيسية بالخطأ، فوجدت أن النسخة اليومية كانت تفشل منذ مدة لأن أداة pg_dump فيها أقدم من إصدار قاعدة البيانات، ورسائل الفشل كانت ترسل بالبريد فيرفضها السيرفر المستقبل، كما في تقرير الحادثة الذي نشرته GitLab. وفي العام نفسه دخل مهاجمون إلى Equifax من ثغرة في Apache Struts لم يحدثها أحد لأن قائمة من يستلم تنبيهات الثغرات كانت قديمة، ثم بقوا قرابة 76 يوماً دون أن يراهم أحد لأن جهاز فحص الحركة المشفرة كانت شهادته منتهية منذ قرابة عشرة أشهر، كما في تقرير مكتب المحاسبة الحكومي الأمريكي GAO. والشركتان لم تكن تنقصهما الأدوات، وإنما توقف شيء بصمت ولم يكن هناك ما يراقب أنه يعمل.

والحل ليس أن تتحقق يدوياً بشكل أكثر، وإنما أن تجعل كل هذه الأسئلة تجيب عن نفسها: أدوات تجمع المقاييس Metrics والسجلات والأحداث الأمنية من كل سيرفر، وتفحص التطبيقات من الخارج، وتقارن ما عندك بالثغرات المعلنة، ثم ترسل لك تنبيهاً Alert عندما يحتاج شيء إلى إنسان، ولا ترسل شيئاً عندما يكون كل شيء سليماً.

هذا المقال كتبناه ليكون رابطاً واحداً ترسله لأي مهندس DevOps أو فريق في شركة أو جهة حكومية، ويجيب عن سؤال واحد: ماذا يجب أن تراقب على سيرفراتك وتطبيقاتك؟ وهو دليل يجمع ما كتبناه في سلسلة المراقبة وما حولها، فلكل منطقة نذكر ماذا تراقب ولماذا، وحدوداً وتنبيهات تبدأ بها، والأداة مفتوحة المصدر مع لقطة شاشة حقيقية من مختبراتنا، ثم الرابط إلى المقال الذي يشرحها بالتفصيل. وسوف نتابع فيه فريقاً صغيراً نسميه فريق المنصة: أربعة مهندسين يشغلون منصة حجوزات على ستة سيرفرات، ولديهم Grafana ثبته أحدهم قبل سنة، وتنبيهات تصل إلى بريد لا يقرؤه أحد، ويريدون أن يعرفوا من أين يبدؤون.

وسوف نناقش في هذا المقال ما يلي:

  • لماذا يكتشف العميل العطل قبل الفريق، والأعطال الصامتة الست التي تتكرر في كل مكان.
  • خريطة المراقبة Monitoring Map: ثلاث عشرة منطقة في ثلاث طبقات، وكيف تقرأ كل قسم.
  • جرد الأصول Asset Inventory قبل أي أداة، وتتبع التغطية، مع قالب جرد تطبعه.
  • كل منطقة على حدة: سعة السيرفر، والتطبيقات، والتوفر من الخارج، والسجلات، والتتبع والأخطاء، والـ Containers، وقواعد البيانات، والشهادات وDNS، والنسخ الاحتياطي والمهام المجدولة، والأحداث الأمنية، والثغرات والتحديثات، والتنبيهات، والبوابة الواحدة.
  • قائمة تحقق قابلة للطباعة، وخطة لأسبوع واحد لفريق صغير.
  • البدائل المدفوعة والمستضافة لكل منطقة، ومتى تكون منطقية، وكيف تسعر كل منها.
  • السياق السعودي: ما تطلبه الضوابط الأساسية للأمن السيبراني ECC في المراقبة، ومكان حفظ البيانات.

لماذا يكتشف العميل العطل قبل الفريق؟ Silent Failures

عندما سألنا أنفسنا لماذا يتكرر هذا المشهد في فرق مختلفة، وجدنا أن السبب في الغالب واحد من ثلاثة. الأول أن الفريق يراقب ما هو سهل القياس وليس ما يهم العميل، فلديه رسم جميل للمعالج CPU، ولكن لا شيء يقول له إن صفحة الدفع ترجع خطأ لكل عاشر طلب. والثاني أن المراقبة تعمل من داخل السيرفر نفسه، فإذا توقف السيرفر توقفت معه المراقبة وتنبيهاتها، ولم يصل شيء. والثالث، وهو الأخطر، أن هناك أشياء لا تشتكي حين تفشل: مهمة مجدولة Cron Job لم تعمل لا تكتب خطأ في أي مكان، وشهادة تقترب من نهايتها تعمل بشكل طبيعي حتى آخر ثانية، ونسخة احتياطية فارغة تنجح من وجهة نظر السكربت الذي أنشأها.

والجدول التالي يجمع الأعطال الست التي ذكرناها في المقدمة، ولكل منها الإشارة التي كانت ستكشفها مبكراً، والمنطقة التي تشرحها في هذا الدليل:

العطللماذا لا يراه أحدالإشارة التي تكشفه مبكراًالمنطقة
العميل يكتشف توقف الموقعالمراقبة على السيرفر نفسه، أو لا يوجد فحص من الخارجفحص HTTP من خارج الشبكة كل دقيقةالتوفر من الخارج
القرص يمتلئالتنبيه عند 90% يأتي متأخراً إذا كانت الكتابة سريعةتوقع وقت الامتلاء من اتجاه الكتابةسعة السيرفر
الشهادة تنتهيتعمل طبيعياً حتى آخر لحظةعدد الأيام المتبقية من فحص TLSالشهادات وDNS
النسخة الاحتياطية لا تعملالفشل الصامت لا يكتب شيئاًغياب نبضة النجاح Heartbeat في موعدهاالنسخ والمهام
اختراق يكتشف بعد أشهرالسجلات موجودة ولا أحد يقرؤهاقواعد كشف على السجلات الأمنية، وسلامة الملفاتالأحداث الأمنية
ثغرة معلنة لم تصلحلا أحد يعرف ماذا يعمل على كل سيرفرفحص يومي لما هو منشور فعلاً، وطلبات تحديث تلقائيةالثغرات والتحديثات

ولاحظ أن نصف هذه الأعطال لا علاقة له بالأداء، ولهذا لا يكفي أن تثبت أداة لرسم المقاييس وتظن أنك تراقب. فالمراقبة Monitoring في معناها العملي أن تسأل عن كل شيء يمكن أن يتوقف: كيف سأعرف أنه توقف، ومن سيعرف، وكم من الوقت سيمر قبل أن يعرف؟ وإذا كان الجواب «سيعرف العميل» أو «لن يعرف أحد» فهذه منطقة تحتاج مراقبة. وقد شرحنا الفرق بين المقاييس Metrics والسجلات Logs والتتبع Traces، وبين المراقبة والملاحظة Observability، في مفاهيم المراقبة Observability، وهنا نركز على السؤال العملي: ماذا تراقب بالضبط.

خريطة المراقبة Monitoring Map: ثلاث عشرة منطقة

قسمنا كل ما يجب أن يراقبه فريق يشغل سيرفرات وتطبيقات إلى ثلاث عشرة منطقة، وجمعناها في ثلاث طبقات بحسب طريقة فشلها، ثم طبقة التشغيل التي تجمع كل شيء، كما في الصورة التالية:

خريطة المراقبة في ثلاثة أعمدة وشريط في الأسفل: على اليمين الأساس السيرفر Server، إذا امتلأ أو تعطل سقط كل ما فوقه، وفيه سعة السيرفر Capacity للمعالج والذاكرة والقرص والـ inodes بأداة node_exporter أو Alloy مع Prometheus، والـ Containers لإعادة التشغيل ونفاد الذاكرة OOM بأداة cAdvisor أو kube-state-metrics، وقواعد البيانات Databases للاتصالات والاستعلامات البطيئة والتكرار بأداة postgres_exporter أو mysqld_exporter، وفي الوسط الخدمة ما يراه العميل، يجب أن تعرف قبل أن يتصل بك أحد، وفيه التطبيق والإشارات الذهبية Golden Signals بأداة Prometheus مع Grafana، وفحص التوفر Uptime من الخارج بأداة Blackbox Exporter أو Uptime Kuma، والسجلات Logs بأداة Loki أو Graylog أو OpenSearch، والتتبع Traces مع الأخطاء Errors بأداة OpenTelemetry مع Jaeger أو GlitchTip، وعلى اليسار الحماية ما يفشل بصمت، لا يشتكي منه أحد حتى يوم الكارثة، وفيه الشهادات Certificates مع DNS بأداة Blackbox، والنسخ الاحتياطي Backups مع المهام بنبضة Kuma Push أو ملف textfile، والأحداث الأمنية Security Events بأداة Wazuh، والثغرات Vulnerabilities مع التحديثات بأداة Trivy وRenovate وDependency-Track، وأسهم من الأعمدة الثلاثة إلى الأسفل: التنبيهات Alerting مع المناوبة On-call، العاجل إلى المناوب فوراً والروتيني في ملخص يومي واحد، بأداة Alertmanager مع Watchdog، وسهم منها إلى البوابة الواحدة Single Portal، صفحة رئيسية واحدة يفتحها الفريق كل صباح في Grafana مع قراءة فقط من Wazuh
ثلاث طبقات تفشل بطرق مختلفة، وكلها تنتهي في مسار تنبيه واحد وبوابة واحدة
  • الأساس، أي السيرفر: سعة السيرفر، والـ Containers، وقواعد البيانات. وهذه إذا تعطلت سقط كل ما فوقها، ومقاييسها سهلة الجمع، ولذلك تبدأ بها كل الفرق.
  • الخدمة، أي ما يراه العميل: التطبيق وإشاراته الذهبية، والتوفر من الخارج، والسجلات، والتتبع والأخطاء. وهذه تجيب عن سؤال واحد: هل يعمل ما يدفع العميل من أجله؟
  • الحماية، أي ما يفشل بصمت: الشهادات وDNS، والنسخ الاحتياطي والمهام المجدولة، والأحداث الأمنية، والثغرات والتحديثات. وهذه لا يشتكي منها أحد حتى يوم الكارثة، وهي التي أسقطت GitLab وEquifax.
  • التشغيل: التنبيهات والمناوبة، والبوابة الواحدة التي يفتحها الفريق كل صباح.

وكل قسم في هذا الدليل يتبع الترتيب نفسه: ماذا تراقب ولماذا، ثم حدود وتنبيهات تبدأ بها، ثم الأداة مفتوحة المصدر مع لقطة من مختبراتنا وشرح ما فيها، ثم المقالات التي تشرح المنطقة بالتفصيل. والحدود التي نذكرها نقاط بداية معقولة لفريق صغير وليست أرقاماً مقدسة، فبعد أسبوعين من البيانات الحقيقية سوف تعرف أن سيرفر قاعدة البيانات عندك يعمل طبيعياً عند 70% من الذاكرة، وأن سيرفر الويب لا يتجاوز 20%، وتعدل الحدود بحسب ذلك.

قبل كل شيء: جرد الأصول Asset Inventory

أول ما فعله فريق المنصة عندما بدأ هو السؤال الذي يبدو بسيطاً: كم سيرفراً لدينا؟ وكانت الإجابة ستة، ثم اكتشفوا سابعاً يشغل خدمة إرسال البريد ولا يعرف أحد كلمة مروره، ونطاقاً فرعياً لصفحة تسويق قديمة ما زالت تعمل بشهادة لا يجددها أحد، ومهمة مجدولة على سيرفر قاعدة البيانات كتبها موظف غادر قبل سنة. ولم يكن أي من هذه الأشياء الثلاثة مراقباً، لأن أحداً لم يكن يعرف أنه موجود. وهذه هي القاعدة التي تسبق كل المناطق الثلاث عشرة: لا يمكنك أن تراقب ما لم تكتبه في قائمة. ولو عدت إلى حادثة Equifax لوجدت أن الثغرة لم تصلح لأن لا أحد ربط السيرفر المصاب بمن يجب أن يحدثه، أي أن المشكلة كانت مشكلة جرد قبل أن تكون مشكلة مراقبة.

ماذا تكتب عن كل أصل؟ Asset Fields

الأصل Asset هنا كل شيء يمكن أن يتوقف ويحتاج أحداً يعرف به: سيرفر، أو جهاز افتراضي، أو خدمة، أو قاعدة بيانات، أو نطاق، أو شهادة، أو مهمة مجدولة، أو حساب في خدمة سحابية. ولكل أصل تكتب أسطراً قليلة تجيب عن أسئلة المناوب في الثالثة فجراً:

  • الاسم والدور Role: db-1 قاعدة البيانات الرئيسية للحجوزات، وليس مجرد عنوان IP.
  • المالك Owner: الشخص أو الفريق الذي يقرر بشأنه، ويتصل به المناوب إذا تعطل.
  • البيئة Environment: إنتاج أو اختبار أو تطوير، لأن تنبيه سيرفر الاختبار لا يوقظ أحداً.
  • المنافذ المكشوفة Exposed Ports: ما الذي يصل إليه الإنترنت، وهو أول ما يحتاج فحصاً من الخارج ومراقبة أمنية.
  • ما الذي يراقبه: المقاييس، والسجلات، والفحص الخارجي، ووكيل الأمن، كل منها نعم أو لا.
  • النسخ الاحتياطي: هل ينسخ، وأين، ومتى آخر استعادة تجريبية.
  • الشهادات والنطاقات: تاريخ انتهاء كل شهادة يقدمها، والنطاق الذي يخدمه وتاريخ تجديده.

تتبع التغطية Coverage Tracking

القائمة وحدها لا تكفي، فقيمتها أن تتحول إلى سؤال يتكرر: هل كل سطر فيها مربوط بفحص في كل منطقة تنطبق عليه؟ فسيرفر الإنتاج يجب أن يكون له مقياس في Prometheus، وسجلات في Loki، ووكيل في Wazuh، ونسخة لها نبضة، وإذا كان مكشوفاً فله فحص من الخارج وشهادة مراقبة. وأي خانة فارغة في هذا الربط هي فراغ في المراقبة، وهي ما تعمل عليه أولاً. والطريقة العملية أن تقارن القائمة بما تراه الأدوات فعلاً، وليس بما يتذكره الفريق: قائمة الأهداف في صفحة /targets في Prometheus، وقائمة الوكلاء في Wazuh، وقائمة الفحوص في Blackbox وKuma. وكل سيرفر في الجرد وغائب عن إحداها يظهر في تقرير أسبوعي، وكل هدف في الأدوات وغائب عن الجرد يعني أن الجرد ناقص. وقد بنينا جدول تدقيق تغطية كاملاً بهذه الطريقة في مقال البوابة الواحدة.

أين تحفظ الجرد؟ Inventory Tools

لفريق بعشرة سيرفرات يكفي جدول واحد في مستودع Git بجانب إعدادات المراقبة، لأن مراجعته تمر بطلب دمج مثل أي تغيير آخر، ويمكن أن تبني منه ملفات الأهداف في Prometheus وBlackbox تلقائياً فلا يختلف الجرد عن الواقع. وعندما يكبر العدد تحتاج نظاماً: Snipe-IT لسجل الأجهزة والرخص ومن يحملها، وقد شرحنا دورة حياة الأصل من الشراء إلى الإتلاف في إدارة أصول تقنية المعلومات IT Asset Management، وأنظمة التذاكر التي فيها قاعدة بيانات الإعدادات CMDB في مقارنة أنظمة التذاكر ITSM. وللبنية نفسها، أي السيرفرات والشبكات والعناوين والأجهزة الافتراضية، فالمرجع مفتوح المصدر الأشهر NetBox، وله توثيق وواجهة API تستطيع أن تقرأ منها قائمة الأهداف للمراقبة. والقالب التالي هو ما نقترحه لبداية أي فريق، اطبعه أو انسخه إلى جدول:

الأصلالدورالمالكالبيئةالمنافذ المكشوفةالمقاييسالسجلاتالفحص الخارجيالأمنالنسخ وآخر استعادةانتهاء الشهادة
web-1الواجهة والـ Reverse Proxyفريق المنصةإنتاج443، 80نعمنعمنعموكيل Wazuhالإعدادات في Gitمن الفحص
db-1قاعدة البيانات الرئيسيةفريق المنصةإنتاجلا شيءنعم مع postgres_exporterنعملا ينطبقوكيل Wazuhيومي، استعادة الشهر الماضيشهادة داخلية
mail-1إرسال البريداكتب اسماًإنتاج25، 587لالالالالاغير معروف
booking.example.comالنطاق الرئيسيالإدارةإنتاجلا ينطبقلا ينطبقلا ينطبقDNS مع HTTPلا ينطبقلا ينطبقتسجيل النطاق وتاريخه
نسخ قاعدة البياناتمهمة مجدولة 02:00فريق المنصةإنتاجلا ينطبقنبضةنعملا ينطبقلا ينطبقهي النسخ نفسهالا ينطبق

والسطر الثالث هو ما يجب أن تبحث عنه: أصل في الإنتاج، ليس له مالك، ولا يراقبه شيء. ففي فريق المنصة كان هذا سيرفر البريد، وفي فرق أخرى يكون سيرفر VPN أو جهاز تخزين أو حساباً سحابياً فتحه أحد للتجربة ونسيه.

المنطقة الأولى: سعة السيرفر Server Capacity

بعد الجرد يأتي أول سؤال عن كل سيرفر: هل لديه مساحة ومعالج وذاكرة تكفي لما يعمل عليه الآن وفي الأسابيع القادمة؟ وهذه هي مراقبة السعة Capacity، وتبدأ بجامع مقاييس على كل سيرفر في الجرد دون استثناء.

ماذا تراقب على كل سيرفر؟ Server Metrics

  • هل السيرفر يرسل أصلاً: المقياس up في Prometheus، أو «آخر بيانات من السيرفر». وهذا أهم مقياس على الإطلاق، لأن السيرفر الذي توقف عن الإرسال لا يطلق أي تنبيه آخر.
  • المعالج CPU: نسبة الانشغال، ووقت الانتظار على القرص iowait، ووقت السرقة Steal Time على الأجهزة الافتراضية، وهو الوقت الذي أخذه سيرفر آخر على المضيف نفسه.
  • الذاكرة RAM: الذاكرة المتاحة MemAvailable وليس الذاكرة الحرة، لأن Linux يستخدم الذاكرة الحرة للتخزين المؤقت Cache ويعيدها عند الحاجة، ومعها استخدام مساحة التبديل Swap.
  • القرص Disk: المساحة المتاحة على كل نظام ملفات، ومعها توقع وقت الامتلاء، وسرعة القرص IOPS وزمن الانتظار.
  • الـ inodes: عدد الملفات التي يستطيع نظام الملفات أن يحملها. فالقرص قد يكون نصفه فارغاً ويرفض إنشاء أي ملف جديد لأن مجلداً فيه ملايين الملفات الصغيرة، مثل ملفات الجلسات أو الصور المصغرة، استهلك كل الـ inodes.
  • الشبكة Network: الأخطاء والحزم المسقطة، وعدد الاتصالات في حالة TIME_WAIT إذا كان السيرفر يتصل بخدمات كثيرة.

لماذا توقع الامتلاء أهم من النسبة؟ Disk-Full Forecast

الخطأ الشائع أن تضع تنبيهاً على 90% من القرص. فإذا كان القرص 2 TB فإن 10% منه 200 GB، وقد تبقى أسابيع، فيصبح التنبيه إزعاجاً يتجاهله الجميع، وإذا كان القرص 20 GB وسجل تطبيق بدأ يكتب بسرعة، فقد تمر المسافة من 90% إلى 100% في دقائق قبل أن يقرأ أحد التنبيه. والسؤال الصحيح ليس كم بقي، وإنما متى سيمتلئ بهذه السرعة. ولهذا يوفر Prometheus الدالة predict_linear التي ترسم خطاً مستقيماً من القيم الأخيرة وتقول لك أين سيصل بعد مدة تحددها:

predict_linear(node_filesystem_avail_bytes{fstype=~"ext4|xfs"}[6h], 24*3600) < 0

ومعنى هذا السطر: انظر إلى المساحة المتاحة في آخر ست ساعات، وإذا استمر الاتجاه نفسه فهل ستصبح أقل من صفر بعد 24 ساعة؟ وفي مقال مقاييس السيرفرات مع Prometheus ملأنا قرصاً حقيقياً بسرعة ثابتة وراقبنا التوقع وهو يقترب من الواقع:

رسم بياني حقيقي من المختبر للمساحة المتاحة على القرص /data من 252 MiB عند 08:26 تنزل في خط مستقيم إلى صفر عند 09:08، مع خط برتقالي عند 08:47 مكتوب عليه pending وخط أحمر عند 08:52 مكتوب عليه firing وخط أسود عند 09:08 مكتوب عليه full، وتحته ملاحظة: الكتابة 1 MiB كل 10 ثوان، والتوقع عند 08:30 قال 41 دقيقة، وعند 08:50 قال 18.5 دقيقة، والامتلاء الفعلي 09:08
من مقال Prometheus: التنبيه أطلق قبل امتلاء القرص بست عشرة دقيقة في المختبر

في الصورة المساحة المتاحة تنزل في خط مستقيم من 252 MiB إلى الصفر، والخط البرتقالي هو اللحظة التي تحقق فيها شرط التنبيه وبدأ ينتظر مدة for، والأحمر لحظة إطلاقه، والأسود لحظة الامتلاء الفعلي. والفرق بين الأحمر والأسود هو الوقت الذي يملكه المناوب ليتصرف. وفي سيرفر حقيقي تستخدم نافذة أطول، ست ساعات مثلاً، حتى لا يطلق التنبيه بسبب ملف كبير مؤقت كتب ثم حذف، وتجعل له مستويين: الامتلاء خلال 24 ساعة يذهب إلى الملخص اليومي، والامتلاء خلال 4 ساعات يوقظ المناوب.

الأداة: node_exporter مع Prometheus، ثم لوحة Grafana

الطريقة المعتادة في الأدوات مفتوحة المصدر أن تثبت node_exporter على كل سيرفر، أو Grafana Alloy الذي يضم المكون نفسه ويجمع السجلات أيضاً، ثم يسحب Prometheus المقاييس منها كل 15 أو 30 ثانية، وتعرضها لوحة Grafana. والصورة التالية من لوحة بنيناها كملف JSON في Git:

لوحة Grafana بخلفية داكنة للفترة من 08:15 إلى 08:56 بتوقيت UTC، في الصف الأول أربعة أرقام كبيرة: Server up وفيه files-1 وapp-1 بكلمة UP باللون الأخضر، وCPU busy بنسبة 76.6% للاثنين، وFree disk على /data للسيرفر files-1 بنسبة 28.9% باللون البرتقالي، وTime to full على /data بقيمة 12.4 دقيقة باللون الأحمر، ثم رسم CPU busy per server ورسم Memory available حول 85%، ورسم Free bytes on /data and the 4h prediction فيه خط المساحة الحالية قريب من الصفر وخط التوقع بعد أربع ساعات ينزل تحت سالب 1 GiB، ورسم Inodes free ينزل ببطء، وفي الأسفل بداية رسمي Container restarts وContainer memory vs limit
لوحة السيرفرات من مقال Prometheus: المساحة المتبقية 28.9% تبدو مطمئنة، والوقت حتى الامتلاء 12.4 دقيقة يقول العكس

انظر إلى الصف الأول: المساحة الحرة على /data تقول 28.9% باللون البرتقالي، ولو كان هذا هو الرقم الوحيد لما قلق أحد، ولكن اللوح المجاور يقول إن القرص سيمتلئ خلال 12.4 دقيقة بالسرعة الحالية، وهو باللون الأحمر. وتحت ذلك رسم الـ inodes ينزل ببطء، وهو رسم لا يضعه أغلب الناس في لوحاتهم حتى يقعوا في المشكلة مرة. وللتعمق في قراءة هذه المقاييس على سيرفر حي، ومعنى كل عمود في vmstat وiostat، اقرأ تحليل أداء سيرفر Linux في 60 ثانية.

التنبيهالشرط المقترح للبدايةالمستوى
السيرفر لا يرسلup == 0 لمدة دقيقتينعاجل
القرص يمتلئ قريباًpredict_linear على 6 ساعات، الامتلاء خلال 4 ساعاتعاجل
القرص يمتلئ خلال يومالشرط نفسه بـ 24 ساعة، لمدة 30 دقيقةملخص يومي
الـ inodes تنفدأقل من 10% متاحملخص يومي
الذاكرة المتاحة منخفضةأقل من 10% لمدة 15 دقيقة، مع استخدام Swap يزيدملخص يومي، وعاجل إذا بدأ قتل العمليات OOM
المعالج مشغولفوق 90% لمدة 30 دقيقةلوحة فقط، إلا إذا صاحبه بطء في الخدمة

المنطقة الثانية: التطبيقات والإشارات الذهبية Golden Signals

في الأسبوع الذي ركب فيه فريق المنصة لوحة السيرفرات، اتصل عميل يقول إن تأكيد الحجز يأخذ نصف دقيقة. ونظر الفريق إلى اللوحة فوجد المعالج عند 30% والذاكرة طبيعية، وكل شيء أخضر. والسبب أن السيرفر لم يكن مشغولاً، وإنما كان التطبيق ينتظر اتصالاً بقاعدة البيانات من مجمع اتصالات Connection Pool امتلأ. وهذا هو الدرس الذي جعل Google تكتب في كتاب SRE أن أهم ما تراقبه في أي خدمة أربع إشارات، سمتها الإشارات الذهبية:

  • زمن الاستجابة Latency: كم يأخذ الطلب، ويقاس بالمئين Percentile مثل p95 وp99 وليس بالمتوسط، لأن المتوسط يخفي العملاء الذين ينتظرون عشر ثوان. وافصل زمن الطلبات الناجحة عن الفاشلة، فالخطأ السريع يجعل المتوسط يبدو أفضل.
  • حجم الطلبات Traffic: كم طلباً في الثانية، لأن الصفر أحياناً أخطر من الكثير: إذا نزلت الطلبات فجأة إلى الصفر في وقت ذروة فقد يكون الـ Load Balancer أو DNS هو المعطل.
  • الأخطاء Errors: نسبة الطلبات الفاشلة، أي ردود 5xx، والطلبات التي ترجع 200 بمحتوى خاطئ إن كنت تستطيع قياسها.
  • التشبع Saturation: كم بقي قبل أن تمتلئ أضيق نقطة في الخدمة، وهي غالباً ليست المعالج وإنما مجمع الاتصالات أو طابور الطلبات أو عدد العمليات Workers.

وفي مقال الإشارات الذهبية Golden Signals بنينا خدمة صغيرة بمجمع اتصالات محدود، ثم رفعنا الطلبات عليها على مراحل، والصورة التالية هي اللوحة الحقيقية من تلك التجربة:

لوحة Grafana بستة رسوم من 22:57 إلى 23:26 بتوقيت UTC: Latency p50 وp95 وp99 قرب الصفر ثم ترتفع عند 23:04 إلى 10 ثوان وتتوقف عندها، وTraffic بالرمز 200 يصعد من 20 إلى 40 إلى 50 طلباً في الثانية ثم ينزل، ثم مرحلتان عند 20 طلباً بينهما خط صغير للرمز 503، وErrors share of 5xx يظهر بين 23:11 و23:14 بين 2% و8% ثم صفر في المرحلة الأخيرة، وSaturation فيه pool utilization قرب 0.5 ثم 0.8 ثم 1، وwait p95 يرتفع إلى 10 ثوان عند 23:05، وRequests in flight يرتفع إلى نحو 600 عند 23:06 ثم ينزل فجأة، وProcess CPU بين 0.02 و0.055 نواة
من مقال الإشارات الذهبية: زمن الاستجابة وصل إلى عشر ثوان والمعالج لم يتجاوز 0.055 نواة

اقرأ الصورة من الأسفل: المعالج بين 0.02 و0.055 نواة طوال التجربة، أي أن لوحة السيرفر كانت ستقول إن كل شيء بخير. ولكن رسم التشبع يبين أن استخدام مجمع الاتصالات وصل إلى 1، أي امتلأ تماماً، وفي اللحظة نفسها ارتفع زمن الانتظار على المجمع إلى عشر ثوان، وارتفع p99 في رسم زمن الاستجابة إلى السقف نفسه، ثم ظهرت أخطاء 503 بنسبة بين 2% و8%. وهذه بالضبط قصة فريق المنصة: الخدمة ممتلئة والسيرفر مرتاح.

والطريقتان المختصرتان اللتان ستسمع عنهما هما RED للخدمات، أي Rate وErrors وDuration، وUSE للموارد، أي Utilization وSaturation وErrors، وقد شرحناهما مع الأمثلة في مقال الإشارات الذهبية. والأداة هنا هي مكتبة Prometheus للغة تطبيقك، أو OpenTelemetry، تضيف عداداً للطلبات بحسب المسار والرمز، ورسماً بيانياً Histogram لزمن الاستجابة، وتعرضها على المسار /metrics. وإذا لم تستطع أن تعدل الكود، فسجلات الـ Reverse Proxy مثل Nginx فيها الرمز والزمن لكل طلب، ويمكن أن تحسب منها الإشارات نفسها في Loki.

التنبيهالشرط المقترح للبدايةالمستوى
نسبة الأخطاءأكثر من 5% من الطلبات 5xx لمدة 5 دقائق، مع حد أدنى لعدد الطلباتعاجل
زمن الاستجابةp95 أعلى من الهدف المتفق عليه لمدة 10 دقائق، 1 ثانية مثلاً لصفحة الدفععاجل للمسارات الحرجة، ملخص للباقي
الطلبات اختفتمعدل الطلبات صفر في ساعات العمل لمدة 5 دقائقعاجل
التشبعمجمع الاتصالات فوق 80% لمدة 10 دقائقملخص يومي

والحد الأدنى لعدد الطلبات في الشرط الأول مهم: فخطأ واحد من طلبين في الثالثة فجراً نسبته 50%، ولا يستحق أن يوقظ أحداً. وإذا أردت أن تنتقل من الحدود الثابتة إلى أهداف مستوى الخدمة SLO وميزانية الأخطاء Error Budget ومعدل استهلاكها Burn Rate، فقد شرحناها في مفاهيم المراقبة.

المنطقة الثالثة: فحص التوفر من الخارج Uptime Checks

كل ما سبق يعمل من داخل الشبكة، وله نقطة عمياء واحدة: إذا توقف سيرفر المراقبة، أو انقطعت الشبكة كلها، أو انتهى تسجيل النطاق، فلن يرى أحد شيئاً، لأن الأداة التي يفترض أن ترى هي نفسها خارج الخدمة. ولذلك تحتاج كل خدمة يستخدمها الناس فحصاً من الخارج، يفتح الصفحة كما يفتحها العميل، من مكان لا يشارك سيرفراتك في شيء، ويتأكد أن الرد جاء، وأن الرمز 200، وأن الصفحة تحتوي كلمة متوقعة، وأن الشهادة صالحة. ثم تسأل السؤال الذي يتجاهله أغلب الناس: من يراقب سيرفر المراقبة نفسه؟

والأداتان اللتان قارنا بينهما في فحص التوفر Uptime Checks هما Blackbox Exporter، الذي يعمل مع Prometheus ويفحص HTTP وTCP وICMP وDNS والشهادات، وUptime Kuma، وهو تطبيق مستقل بواجهة بسيطة وتنبيهات مدمجة. والتوزيع الذي نقترحه أن يعمل Blackbox على سيرفر المراقبة لأن نتائجه تدخل في لوحات Grafana نفسها، وأن يعمل Kuma أو خدمة خارجية على سيرفر آخر تماماً، ليفحص الموقع وسيرفر المراقبة معاً. والصورة التالية من التجربة التي أوقفنا فيها Prometheus عمداً:

واجهة Uptime Kuma وعلى اليسار ثلاثة فحوص: nightly backup heartbeat بنسبة 33.33% بأشرطة حمراء في آخرها، وprometheus monitoring server بنسبة 90.63% بأشرطة خضراء ثم حمراء في آخرها، وshop health بنسبة 20.59% بأشرطة حمراء ثم خضراء، وعلى اليمين صفحة الفحص prometheus monitoring server رقم 2 على الرابط http://mon-up-prom:9090/-/healthy بحالة Down وفحص كل 20 ثانية، ونسبة التوفر 90.63% ومتوسط الرد 3.97ms، ورسم زمن الرد مع منطقة حمراء في آخره عند 03:12
من مقال فحص التوفر: Uptime Kuma يرى توقف Prometheus بعد ست ثوان

في الصورة ثلاثة فحوص على اليسار، والمفتوح منها يفحص المسار /-/healthy في Prometheus كل 20 ثانية، وحالته Down باللون الأحمر، والمنطقة الحمراء في آخر رسم زمن الرد هي لحظة إيقافه. ولو كان التنبيه الوحيد على توقف Prometheus يأتي من Prometheus نفسه، لما وصل شيء، لأن الميت لا يبلغ عن موته. ولاحظ أيضاً الفحص الثالث shop health بنسبة 20.59%، وكانت أغلب أشرطته حمراء في البداية لأن الكلمة المتوقعة في الصفحة كانت خاطئة، وهذا سبب آخر لتجرب كل فحص بإيقاف ما يفحصه مرة واحدة على الأقل.

التنبيهالشرط المقترح للبدايةالمستوى
الموقع لا يردprobe_success == 0 لمدة دقيقة، ومن موقعين إن أمكنعاجل
الرد بطيء من الخارجprobe_duration_seconds أعلى من 3 ثوان لمدة 10 دقائقملخص يومي
سيرفر المراقبة متوقففحص خارجي على Prometheus وAlertmanager وGrafanaعاجل، ومن خارج سيرفر المراقبة

المنطقة الرابعة: السجلات Logs

المقاييس تقول لك إن شيئاً حدث، والسجلات تقول لك ماذا حدث. فعندما يطلق تنبيه نسبة الأخطاء، فإن أول ما يفعله المناوب أن يفتح السجلات ويبحث عن الخطأ في تلك الدقائق. وإذا كانت السجلات موزعة على ستة سيرفرات، ويحتاج للدخول بـ SSH إلى كل منها ثم البحث بـ grep، فقد ضاعت نصف ساعة قبل أن يبدأ التحقيق، وقد يكون الـ Container الذي فيه السجل حذف وأعيد إنشاؤه. ولذلك تحتاج كل بيئة فيها أكثر من سيرفرين نظاماً مركزياً للسجلات.

ماذا تجمع، وكم تحتفظ؟ Log Retention

  • سجلات التطبيق: منظمة Structured بصيغة JSON، وفيها مستوى السجل Level ومعرف الطلب Request ID، حتى تتبع الطلب من الـ Proxy إلى التطبيق إلى قاعدة البيانات. وقد شرحنا ماذا تكتب وماذا لا تكتب في السجلات Logging للمطورين.
  • سجلات الـ Reverse Proxy: فيها الرمز والزمن وعنوان العميل لكل طلب، وهي أسهل طريق لحساب الإشارات الذهبية دون تعديل الكود.
  • سجلات النظام: journald وسجل الدخول، وهذه أيضاً مصدر للأحداث الأمنية كما سنرى.
  • مدة الاحتفاظ Retention: اكتبها من اليوم الأول. ففي مختبر البوابة كتب متجر صغير قرابة 148 MB من السجلات في اليوم، وهذا رقم يتضاعف بسرعة مع سطر DEBUG واحد نسيه أحد. وأغلب الفرق يكفيها 14 إلى 30 يوماً لسجلات التطبيق، بينما السجلات الأمنية لها متطلبات أطول نذكرها في القسم السعودي.

الأداة: Loki أو Graylog أو OpenSearch

اختيارنا الافتراضي لفريق صغير هو Grafana Loki، لأنه لا يفهرس نص السجل وإنما التسميات Labels فقط، فيحتاج مساحة وذاكرة أقل بكثير، ويظهر في Grafana نفسه بجانب المقاييس. والصورة التالية من مقال جمع السجلات مركزياً مع Grafana Loki:

صفحة Explore في Grafana 13 مع مصدر البيانات Loki shop والاستعلام service يساوي orders-api وlevel يساوي error ثم json ثم line_format، وتحته رسم حجم السجلات باللون الأحمر يبدأ بعد دقيقتين من تشغيل التطبيق بمجموع 254 سطراً، ثم السطور بالوقت والعميل والرمز PSP_TIMEOUT، وقائمة الحقول المستخرجة
من مقال Loki: أخطاء خدمة الطلبات وحدها، والحقول استخرجها المحلل وقت الاستعلام

الاستعلام في أعلى الصورة يختار سجلات الخدمة orders-api بمستوى error فقط، ثم يحلل كل سطر كـ JSON، ثم يعيد تنسيقه. والرسم الأحمر تحته يبين متى بدأت الأخطاء، فقد بدأت بعد دقيقتين من تشغيل التطبيق، ومجموعها 254 سطراً، وفي السطور نفسها الرمز PSP_TIMEOUT الذي يقول إن بوابة الدفع هي التي تأخرت. وهذا هو الطريق الذي يجب أن يكون قصيراً: من التنبيه إلى السطر الذي يشرحه في أقل من دقيقة.

وإذا كان فريقك يحتاج بحثاً نصياً كاملاً في كل كلمة، أو تنبيهات معقدة على السجلات، أو كان لديك فريق أمن يريد واجهة بحث خاصة، فقارن مع Graylog وOpenSearch وVictoriaLogs في مقارنة أدوات السجلات المركزية بالأرقام، واقرأ كيف يمر السجل من التطبيق إلى البحث، وكيف تحجب البيانات الشخصية في الطريق، في مسار السجل Log Pipeline.

التنبيهالشرط المقترح للبدايةالمستوى
ارتفاع أسطر الخطأعدد أسطر level="error" في 5 دقائق أعلى من ثلاثة أضعاف المعتادملخص، وعاجل إذا صاحبه ارتفاع 5xx
خطأ محدد خطيرظهور نص مثل OutOfMemoryError أو FATALعاجل
السجلات توقفتلا أسطر من خدمة معروفة لمدة 15 دقيقةملخص يومي

المنطقة الخامسة: التتبع Traces مع الأخطاء Errors

عندما كبرت منصة الحجوزات وصارت ثلاث خدمات، خدمة الويب وخدمة الدفع وخدمة الإشعارات، ظهرت مشكلة لا تحلها المقاييس ولا السجلات وحدها: الطلب بطيء، ولكن أين؟ فالطلب الواحد يمر بثلاث خدمات وقاعدتي بيانات وبوابة دفع خارجية، وكل خدمة تقول إن زمنها طبيعي. وهنا يأتي التتبع الموزع Distributed Tracing، الذي يعطي كل طلب معرفاً يمر معه في كل خدمة، ويسجل كل خطوة فيه كجزء Span له بداية ونهاية، ثم يرسمها على خط زمني واحد.

واجهة Jaeger لTrace باسم web: GET /checkout مدته 1.2s فيه 3 خدمات و8 Spans، والشريط الطويل لfraud-check في خدمة payments مفتوح وفيه الخصائص app.rules_checked = 12 وspan.kind = internal، وتحتها Events (1) فيها manual review rule matched مع app.rule = amount>=1000، وفي الأسفل bank-authorize بـ 30.2ms
من مقال التتبع الموزع: الشريط الطويل وحدثه يشرحان البطء دون أي سجل

في الصورة طلب الدفع GET /checkout أخذ 1.2 ثانية، ومر بثلاث خدمات في ثمانية Spans. والشريط الطويل هو فحص الاحتيال fraud-check في خدمة الدفع، ومعه حدث يقول إن قاعدة المراجعة اليدوية انطبقت لأن المبلغ 1000 أو أكثر، بينما تفويض البنك نفسه أخذ 30.2 ميلي ثانية فقط. أي أن البطء في قاعدة عمل داخلية وليس في البنك كما ظن الجميع. والأدوات هنا OpenTelemetry لجمع التتبع من التطبيق، وJaeger أو Grafana Tempo لحفظه وعرضه، والتفاصيل في التتبع الموزع Distributed Tracing مع OpenTelemetry.

والوجه الآخر لهذه المنطقة تتبع الأخطاء Error Tracking. فسجل الخطأ يقول إن استثناء Exception حدث، ولكن أداة تتبع الأخطاء تجمع كل الأحداث المتشابهة في مشكلة واحدة Issue، وتعدها، وتعرض معها الـ Stack Trace وإصدار التطبيق وسطور الكود، وتخبرك عندما يظهر خطأ جديد لم يحدث من قبل، أو عندما يعود خطأ أغلقته. والصورة التالية من GlitchTip، البديل مفتوح المصدر المتوافق مع Sentry SDK:

قائمة المشكلات في GlitchTip للمشروع shop-api بعدد 75 مشكلة، في الأعلى KeyError item-0 بعدد 120 حدثاً، وValueError no account for ali@example.com بعدد 2، وZeroDivisionError بعدد 20، وpayment gateway timeout for order ord-1000 بعدد 30، وZeroDivisionError بعدد 10، ثم مشكلات payment gateway timeout for order ord-1029 وord-1028 وما بعدها بحدث واحد لكل منها
من مقال تتبع الأخطاء: مشكلة واحدة بعدد أحداثها بدل مئات الأسطر

في أعلى القائمة الخطأ KeyError بعدد 120 حدثاً في مشكلة واحدة، وهذا ما تريده: سطر واحد تقرر بشأنه. ولكن في أسفلها مشكلات payment gateway timeout لكل طلب على حدة، لأن رقم الطلب كان جزءاً من رسالة الخطأ، فظنت الأداة أن كل رسالة خطأ مختلف. ولاحظ أيضاً البريد الذي ظهر في رسالة أحد الأخطاء، وهذا سبب لتحجب البيانات الشخصية قبل أن ترسل الأحداث، كما شرحنا في تتبع الأخطاء Error Tracking مع GlitchTip. والتنبيه المفيد هنا ليس على كل خطأ، وإنما على المشكلة الجديدة بعد كل إصدار، وعلى المشكلة التي يرتفع عدد أحداثها فجأة.

المنطقة السادسة: الـ Containers

أغلب التطبيقات اليوم تعمل في Containers، وهذه تضيف نوعاً من الأعطال لا تراه مقاييس السيرفر: الـ Container الذي يموت ويعاد تشغيله تلقائياً. فإذا كان لديك restart: unless-stopped في Docker Compose، أو كنت على Kubernetes، فإن التطبيق الذي يتجاوز حد الذاكرة يقتله النظام بسبب نفاد الذاكرة OOM Kill، ثم يعاد تشغيله في ثوان، والفحص من الخارج قد لا يلاحظ شيئاً، والعميل الذي كان طلبه في تلك اللحظة يرى خطأ. وإذا تكرر ذلك كل ساعة فلديك مشكلة حقيقية مخفية خلف آلية الإصلاح الذاتي.

  • إعادة التشغيل Restarts: عدد مرات إعادة تشغيل كل Container في آخر 15 دقيقة.
  • القتل بسبب نفاد الذاكرة OOM: عداد أحداث OOM لكل Container، والذاكرة المستخدمة مقابل الحد المسموح Limit.
  • المعالج مقابل الحد: التقييد Throttling إذا كان للـ Container حد معالج، لأنه يبطئ التطبيق دون أي خطأ.
  • الحالة: هل كل Container متوقع يعمل، وهل فحص الصحة Healthcheck فيه ناجح.

والأداة على Docker هي cAdvisor، أو المكون المدمج نفسه في Grafana Alloy، وعلى Kubernetes تضيف kube-state-metrics الذي يعرض حالة كل Pod وعدد إعادة تشغيله. ولكن انتبه لما وجدناه في المختبر، والصورة التالية تشرحه:

خط زمني عليه نقاط حمراء كثيرة كل منها قتل بسبب نفاد الذاكرة OOM ثم إعادة تشغيل، متقاربة في البداية ومتباعدة لاحقاً، وتحته خطوط زرقاء متقطعة كل 30 ثانية تمثل السحب Scrape الذي يرى آخر وقت تشغيل فقط، وفي الأسفل ثلاثة أرقام من المختبر: Docker RestartCount يساوي 20 وهو العدد الحقيقي، وcontainer_oom_events_total يساوي 20 لأنه عداد لا يفوته حدث، وchanges على container_start_time_seconds يساوي 8 لأنه مقياس لحظي يفوته ما بين سحبين
من مقال Prometheus: العداد رأى 20 مرة، والمقياس اللحظي رأى 8 فقط

في التجربة قتل Container عشرين مرة، وDocker نفسه يقول 20، وعداد أحداث OOM يقول 20، ولكن الطريقة التي ستجدها في أغلب الأمثلة على الإنترنت، أي عد التغيرات في وقت بدء التشغيل، قالت 8 فقط. والسبب أن Prometheus يسحب كل 30 ثانية، فإذا أعيد تشغيل الـ Container مرتين بين سحبين فلن يرى إلا الأخيرة. ولهذا اعتمد على العدادات Counters كلما وجدتها، وجرب كل تنبيه بحدث حقيقي قبل أن تثق به، فقد رأينا في مقال البوابة الواحدة عداداً في مكون مدمج يقول صفراً بعد خمس مرات قتل حقيقية.

التنبيهالشرط المقترح للبدايةالمستوى
قتل بسبب نفاد الذاكرةincrease(container_oom_events_total[15m]) > 0ملخص، وعاجل إذا تكرر في خدمة حرجة
إعادة تشغيل متكررةأكثر من مرتين في 15 دقيقةعاجل للخدمات الحرجة
الذاكرة قريبة من الحدفوق 90% من الحد لمدة 15 دقيقةملخص يومي

وإذا كنت تفكر في الانتقال إلى Kubernetes بسبب المراقبة أو إعادة التشغيل، فاقرأ أولاً هل تحتاج Kubernetes فعلاً؟، لأن أغلب ما في هذا القسم يعمل على Docker Compose كما هو.

المنطقة السابعة: قواعد البيانات Databases

قاعدة البيانات هي المكان الذي تنتهي إليه أغلب مشاكل الأداء، وهي أيضاً المكان الذي يصعب فيه الإصلاح السريع. فلا تستطيع أن تعيد تشغيلها كما تعيد تشغيل Container، ولا أن تضيف نسخة منها في دقيقة. ولذلك تحتاج قاعدة البيانات مراقبة خاصة بها فوق مراقبة السيرفر، ومقاييسها تأتي من داخلها وليس من نظام التشغيل. وفي حالة PostgreSQL، وهي الأكثر استخداماً عند الفرق التي نكتب لها، هذه أهم الأسئلة:

  • الاتصالات Connections: كم اتصالاً مفتوحاً مقابل الحد max_connections، وكم منها في حالة idle in transaction، لأن هذه تمسك أقفالاً Locks وتمنع التنظيف.
  • الاستعلامات البطيئة Slow Queries: من الامتداد pg_stat_statements، أي الاستعلامات التي تأخذ أكثر وقت إجمالي، وليس فقط الأبطأ في المرة الواحدة.
  • التكرار Replication: كم تتأخر النسخة الثانوية Replica عن الرئيسية، لأن التأخر الكبير يعني أن التحويل إليها يفقد بيانات.
  • الصفوف الميتة Dead Tuples: هل يلحق التنظيف التلقائي Autovacuum بالتحديثات والحذف، أم أن الجداول تنتفخ.
  • الأقفال Locks والتعارض Deadlocks: عدد الاستعلامات المنتظرة على قفل، وعدد حالات التعارض.
  • نمو القرص Disk Growth: حجم قاعدة البيانات وأكبر الجداول والفهارس يوماً بيوم، وحجم مجلد WAL، لأن قاعدة البيانات هي غالباً أسرع ما يملأ قرص سيرفرها، وهنا يعمل توقع الامتلاء من المنطقة الأولى على مجلد البيانات تحديداً.
  • أرشفة WAL: هل تنجح أرشفة ملفات WAL إلى مكان النسخ، لأنها أساس الاستعادة إلى لحظة محددة.
رسم بياني لعدد الصفوف الميتة في جدول بعشرة ملايين صف مع الوقت: خط أحمر متقطع عند الحد الافتراضي 2,000,050 أي 20%، وخط أخضر متقطع عند 500,050 أي 5% لهذا الجدول، الخط الأحمر يصعد طويلاً حتى يصل إلى الحد عند النقطة 1 ثم ينزل بتنظيف كبير، والخط الأخضر يصعد وينزل أربع مرات عند النقطة 2 بتنظيفات صغيرة، وفي الوسط نتيجة المختبر: 1,163,613 صفاً ميتاً دون autovacuum بنسبة 20% وتنظيف خلال دقائق بنسبة 5%
من مقال ضبط أداء PostgreSQL: جدول بعشرة ملايين صف ينتظر مليوني صف ميت قبل أن ينظف بالإعداد الافتراضي

الرسم يبين لماذا تراقب الصفوف الميتة: بالإعداد الافتراضي ينتظر التنظيف التلقائي حتى يصبح 20% من الجدول صفوفاً ميتة، وفي جدول بعشرة ملايين صف هذا يعني مليوني صف، وفي المختبر وصلنا إلى 1,163,613 صفاً ميتاً ولم يبدأ التنظيف بعد. وعندما خفضنا النسبة إلى 5% لهذا الجدول صار التنظيف يعمل كل دقائق بكميات صغيرة. والأداة لجمع هذه المقاييس في Prometheus هي postgres_exporter، ولـ MySQL وMariaDB mysqld_exporter. وطريقة القياس قبل تعديل أي إعداد في ضبط أداء PostgreSQL بالقياس، وكيف تتبع طلباً بطيئاً حتى الاستعلام الذي سببه في تتبع الطلب البطيء من المتصفح إلى قاعدة البيانات.

التنبيهالشرط المقترح للبدايةالمستوى
قاعدة البيانات لا تردpg_up == 0 لمدة دقيقةعاجل
الاتصالات قريبة من الحدفوق 80% من max_connections لمدة 10 دقائقعاجل إذا تجاوز 95%
تأخر النسخة الثانويةأكثر من 60 ثانية لمدة 5 دقائقملخص، وعاجل إذا كانت للتحويل التلقائي
فشل أرشفة WALعدد مرات الفشل يزيدعاجل، لأن الاستعادة إلى لحظة محددة متوقفة
معاملة مفتوحة طويلاًأقدم معاملة أكثر من ساعةملخص يومي

المنطقة الثامنة: الشهادات Certificates مع DNS

الشهادة المنتهية هي أكثر عطل نعرفه يمكن توقعه بالضبط، ومع ذلك يتكرر. فتاريخ انتهائها مكتوب فيها منذ يوم صدورها، ومع ذلك تنتهي في يوم ما ويتوقف الموقع أو التطبيق أو الاتصال بين خدمتين، وقد رأينا في حالة Equifax أن شهادة منتهية على جهاز فحص أوقفت الكشف عشرة أشهر دون أن يتوقف شيء ظاهر. والسبب أن التجديد التلقائي يعطي إحساساً بالأمان: Certbot يجدد كل شيء، حتى اليوم الذي تغير فيه إعداد DNS أو أغلق فيه المنفذ 80 فيفشل التجديد بصمت.

وهذا سيصبح أهم في السنوات القادمة. فقد أقر منتدى CA/Browser Forum في 2025 جدولاً لتقصير مدة الشهادات يبدأ في مارس 2026 وينتهي في مارس 2029، تنخفض فيه أطول مدة للشهادة من 398 يوماً إلى 47 يوماً، أي أن التجديد اليدوي لن يكون خياراً. وفي الوقت نفسه أوقفت Let's Encrypt رسائل التذكير بانتهاء الشهادات بالبريد ابتداءً من 4 يونيو 2025، فإذا كنت تعتمد على تلك الرسائل فلم يعد يصلك شيء.

  • الأيام المتبقية لكل شهادة: من الفحص الخارجي، لأن ما يهم هو الشهادة التي يقدمها السيرفر فعلاً وليس الملف على القرص. والمقياس في Blackbox هو probe_ssl_earliest_cert_expiry، وهو تاريخ انتهاء أقرب شهادة في السلسلة، بما فيها الوسيطة.
  • الشهادات الداخلية: بين الخدمات، وشهادات قواعد البيانات، وشهادات أجهزة الشبكة والـ VPN، وهذه لا يفحصها أحد من الخارج، فأضفها إلى قائمة الفحص الداخلي.
  • DNS: هل يرد النطاق بالعنوان الصحيح، من خلال وحدة dns في Blackbox، لأن تغييراً خاطئاً في سجل واحد يوقف كل شيء ولا يظهر في أي مقياس على السيرفر.
  • تسجيل النطاق: تاريخ انتهاء تسجيل النطاق نفسه عند المسجل Registrar. فعل التجديد التلقائي، واقرأ التاريخ دورياً عبر بروتوكول RDAP بسكربت صغير إن أردت تنبيهاً.

وقد شرحنا كيف تبنى الشهادة وسلسلتها وصيغ ملفاتها في الشهادات الرقمية TLS وX.509، وكيف يخدم سيرفر واحد نطاقات كثيرة في SNI وشهادة SAN، وسجلات DNS في شرح DNS وسجلاته. وفي لقطة البوابة في آخر هذا الدليل ستجد لوح «Certificate days left» لنطاقين، وهو بالضبط ما نقصده هنا.

التنبيهالشرط المقترح للبدايةالمستوى
الشهادة تقترب من الانتهاءأقل من 14 يوماًملخص يومي
الشهادة على وشك الانتهاءأقل من 3 أيامعاجل
DNS لا يرد أو يرد بعنوان خاطئفشل فحص dns لمدة 5 دقائقعاجل
تسجيل النطاق يقترب من الانتهاءأقل من 30 يوماً من قراءة RDAPملخص يومي

ولماذا 14 يوماً؟ لأن Certbot من الإصدار 4.0.0 يجدد الشهادة عندما يبقى أقل من ثلث مدتها، أي قرابة 30 يوماً لشهادة مدتها 90 يوماً، فإذا وصلت الشهادة إلى 14 يوماً فهذا يعني أن التجديد يفشل منذ أسبوعين. ومع تقصير مدة الشهادات راجع هذا الحد بحسب مدة شهاداتك، فشهادة مدتها 47 يوماً تجدد قبل الانتهاء بقرابة 15 يوماً، والحد المناسب لها أقصر.

المنطقة التاسعة: النسخ الاحتياطي Backups مع المهام المجدولة Cron Jobs

هذه المنطقة هي التي أسقطت GitLab، وهي الأصعب في المراقبة، لأن المشكلة فيها غياب حدث وليس حدوثه. فالخطأ الذي يحدث يمكن أن تبحث عنه في السجلات، ولكن المهمة التي لم تعمل أصلاً، لأن السيرفر أعيد تشغيله وضاع جدول crontab، أو لأن السكربت علق ولم ينته، لا تكتب شيئاً في أي مكان. وفي حالة GitLab كان التنبيه موجوداً، ولكنه كان يرسل بالبريد، والبريد كان يرفض، فلم يصل شيء ولم ينتبه أحد لغياب الرسائل.

الحل: مفتاح الرجل الميت Dead Man's Switch

الفكرة أن تقلب السؤال: بدل أن تنبه عند الفشل، تنبه عند غياب النجاح. فكل مهمة، عندما تنجح فقط، ترسل نبضة Heartbeat إلى مكان ما، وأداة المراقبة تتوقع النبضة في موعدها، فإذا لم تصل خلال المدة المحددة أطلقت التنبيه. وبهذا يغطي تنبيه واحد كل أسباب الفشل: السكربت أخطأ، أو علق، أو لم يبدأ، أو السيرفر متوقف، أو الشبكة مقطوعة. وطريقتان لتطبيقها:

  • رابط Push: في Uptime Kuma أو Healthchecks مفتوح المصدر، تنشئ فحصاً من نوع Push، فتعطيك الأداة رابطاً تستدعيه المهمة بـ curl في آخر سطر بعد النجاح.
  • ملف textfile: المهمة تكتب في آخرها وقت النجاح كمقياس في ملف، ويقرؤه node_exporter أو Alloy، ثم تنبه Prometheus إذا كان الوقت أقدم من المتوقع.
time() - backup_last_success_timestamp_seconds > 26*3600

هذا السطر يقول: إذا مر على آخر نسخة ناجحة أكثر من 26 ساعة، والنسخة يومية، فهناك مشكلة. والساعتان الإضافيتان هامش لأن النسخة لا تنتهي في الدقيقة نفسها كل يوم. ولا تنس تنبيهاً ثانياً على غياب المقياس نفسه absent(...)، لأن السيرفر الذي لم يرسل المقياس أبداً لا يطلق التنبيه الأول. والصورة التالية من مقال فحص التوفر:

صفحة الفحص nightly backup heartbeat رقم 3 في Uptime Kuma مع رابط Push كامل ينتهي بـ status=up وmsg=OK، وحالة Down باللون الأحمر، وفحص كل 120 ثانية، وثلاثة أشرطة في آخر السجل اثنان أخضران وواحد أحمر، ونسبة التوفر 66.67% لكل الفترات، وفي القائمة على اليسار shop health بنسبة 0% قبل إصلاح الكلمة المفتاحية
من مقال فحص التوفر: نبضتان ناجحتان ثم غياب، فتحول الفحص إلى Down

في الصورة فحص من نوع Push اسمه nightly backup heartbeat، ورابطه في الأعلى ينتهي بـ status=up&msg=OK، وهو ما يستدعيه سكربت النسخ بعد النجاح. والأشرطة في الأسفل اثنان أخضران، أي نبضتان وصلتا، ثم أحمر لأن النبضة الثالثة لم تصل في موعدها، فتحولت الحالة إلى Down دون أن يكتب السكربت أي خطأ.

نجاح المهمة لا يعني أن النسخة صالحة Restore Test

والنبضة تقول إن المهمة انتهت بنجاح، ولكنها لا تقول إن النسخة صالحة. فنسخة GitLab كانت ستنتهي بنجاح لو كتبت ملفاً فارغاً. ولذلك أضف إلى المقياس حجم النسخة وعدد الملفات، ونبه إذا نزل الحجم فجأة عن المعتاد، وراقب عمر آخر نسخة في المستودع نفسه وليس فقط في السكربت. والصورة التالية من Kopia تبين ما نقصده:

واجهة ويب Kopia تعرض نسخ المسار root@bench:/src في المستودع /repos/kopia، ثلاث نسخ بأحجام 0.9 GB و582.8 MB و572.1 MB وعدد الملفات 5437 و5127 و5117، وبجانب كل نسخة وسوم الاحتفاظ مثل latest-1 وhourly-1 وdaily-1 وweekly-1 وmonthly-1 وannual-1
من مقارنة Restic مع Borg مع Kopia: لكل نسخة حجمها وعدد ملفاتها وسبب الاحتفاظ بها

لكل نسخة في الصورة حجم وعدد ملفات، وهذان رقمان يمكن أن تنبه عليهما: إذا كانت النسخ اليومية بين 570 و900 MB ثم جاءت نسخة بحجم 3 MB، فهي نجحت من وجهة نظر الأداة وفشلت من وجهة نظرك. وبجانب كل نسخة وسوم الاحتفاظ التي تقول لماذا ما زالت موجودة. ولكن الاختبار الوحيد الذي يثبت أن النسخة صالحة هو الاستعادة، فاجعل استعادة تجريبية مجدولة كل شهر إلى سيرفر مؤقت، ونبه على نتيجتها بالنبضة نفسها. والقاعدة كاملة في النسخ الاحتياطي بقاعدة 3-2-1 واختبار الاستعادة، والاستعادة إلى لحظة محددة لـ PostgreSQL في استعادة PostgreSQL مع pgBackRest.

التنبيهالشرط المقترح للبدايةالمستوى
النسخة لم تنجح في موعدهاآخر نجاح أقدم من الدورة مع هامش، 26 ساعة للنسخة اليوميةملخص يومي، وعاجل بعد يومين
المقياس غائبabsent() لمدة 30 دقيقةملخص يومي
حجم النسخة غير طبيعيأقل من نصف متوسط آخر سبع نسخملخص يومي
الاستعادة التجريبية فشلتغياب نبضة الاستعادة الشهريةملخص يومي
أي مهمة مجدولة مهمةنبضة لكل مهمة بمدة دورتهابحسب أهمية المهمة

المنطقة العاشرة: الأحداث الأمنية Security Events

كل ما سبق يسأل هل الخدمة تعمل، وهذا القسم يسأل سؤالاً آخر: هل يحاول أحد أن يدخل، وهل نجح؟ ففي حالة Equifax كان المهاجمون يشغلون أوامر على السيرفر ويخرجون البيانات قرابة 76 يوماً، وكل ذلك كان في السجلات وحركة الشبكة، ولكن لا أحد كان يقرأ. والسجلات الأمنية Security Logs لها طبيعة مختلفة عن سجلات التطبيق: الحدث الواحد المهم يضيع بين ملايين الأحداث العادية، والمهاجم الجيد يحاول أن يبدو كحركة طبيعية، والقيمة تأتي من الربط بين أحداث متفرقة، مثل محاولات دخول فاشلة كثيرة ثم دخول ناجح من العنوان نفسه.

  • الدخول Authentication: محاولات الدخول الفاشلة، والدخول الناجح لحسابات المديرين، والدخول من عناوين أو أوقات غير معتادة، واستخدام sudo.
  • سلامة الملفات File Integrity: أي تغيير في ملفات الإعداد، أو في authorized_keys، أو ملفات جديدة في مجلدات التطبيق، وهو أوضح علامة على أن أحداً دخل وترك باباً خلفياً.
  • هجمات الويب: محاولات حقن SQL وفحص المسارات المعروفة في سجلات الـ Proxy.
  • تغيرات النظام: مستخدمون جدد، وخدمات جديدة، ومنافذ جديدة مفتوحة.
  • الإعدادات Configuration Assessment: هل السيرفر ما زال مطابقاً لمعيار التقوية Hardening الذي اعتمدته.

والأداة مفتوحة المصدر التي نوصي بها للفرق الصغيرة والمتوسطة هي Wazuh، وهي تجمع نظام إدارة الأحداث الأمنية SIEM مع وكيل على كل سيرفر يراقب السجلات وسلامة الملفات والإعدادات والثغرات. والصورة التالية من مختبر Wazuh:

صفحة Threat Hunting في Wazuh تعرض أحداث web01 ومنها تنبيهات shop-api بالمستوى 5 والتنبيه 100102 بالمستوى 10
من مختبر Wazuh: أحداث السيرفر web01، وتنبيه القاعدة 100102 بالمستوى 10

في الصورة صفحة Threat Hunting لسيرفر واحد، وفيها أحداث التطبيق بالمستوى 5، وهي أحداث تسجل ولا تحتاج أحداً، وبينها تنبيه من قاعدة محلية كتبناها برقم 100102 بالمستوى 10، وهو الذي يستحق أن يرسل. ومستويات Wazuh من 0 إلى 15، والفكرة أن تختار حداً، المستوى 10 مثلاً، فوقه يذهب التنبيه إلى المناوب، وتحته يبقى في اللوحة والملخص. وفي المختبر نفسه رفعنا مستوى أي تغيير في authorized_keys أو ملفات PHP في مجلد الموقع إلى 12، لأنه من النوع الذي لا يحدث في يوم عادي. والتفاصيل في مراقبة السيرفرات مع Wazuh، وماذا تجمع من السجلات الأمنية ومن أين في السجلات الأمنية Logs، والمقارنة مع Security Onion إذا كنت تحتاج مراقبة الشبكة نفسها في Wazuh أم Security Onion؟

ونقطة تصميم واحدة مهمة: اجعل Wazuh على سيرفره المستقل، ولا تضع عليه سجلات التطبيقات العادية. فالسجلات المركزية تستهلك القرص بسرعة لا يتوقعها أحد، وإذا امتلأ قرص Wazuh توقف استقبال الأحداث الأمنية في اللحظة التي قد تحتاجها فيها، وهذا هو السبب الذي جعلنا نفصل المراقبة عن الأمن في البوابة الواحدة.

التنبيهالشرط المقترح للبدايةالمستوى
تنبيه Wazuh عاليالمستوى 10 أو أعلىعاجل
تغيير في ملفات حساسةFIM على authorized_keys و/etc ومجلد التطبيقعاجل خارج نافذة النشر
تخمين كلمات المرورمحاولات فاشلة كثيرة ثم نجاح من العنوان نفسهعاجل
الوكيل لا يتصلوكيل Wazuh منقطع أكثر من 30 دقيقةملخص يومي

والسطر الأخير يكرر درس Equifax: أداة الأمن التي توقفت عن العمل لا تطلق أي تنبيه أمني، ولذلك راقب الأداة نفسها كما تراقب السيرفرات.

المنطقة الحادية عشرة: الثغرات Vulnerabilities مع التحديثات Updates

في حالة Equifax لم يكن ينقص الشركة تنبيه بالثغرة، فقد وصلها من الجهة الرسمية، ولكنه ذهب إلى قائمة بريد قديمة، ثم فحصت الشبكة بعد أسبوع ولم يكتشف الفحص السيرفر المصاب. أي أن المشكلة كانت في معرفة ماذا يعمل أين، وهذا ما تجيب عنه مراقبة الثغرات: لكل سيرفر ولكل Image ولكل مستودع كود، ما المكونات وإصداراتها، وما الثغرات المعروفة فيها، وأي منها يحتاج إصلاحاً الآن.

  • حزم نظام التشغيل: على كل سيرفر، ويغطيها وكيل Wazuh بخاصية كشف الثغرات Vulnerability Detection.
  • الـ Images المنشورة فعلاً: وليس فقط ما في خط CI/CD، لأن ثغرات جديدة تعلن كل يوم في Images بنيتها قبل شهر. والأداة Trivy بفحص ليلي لكل Image يعمل الآن.
  • اعتماديات الكود Dependencies: المكتبات التي يستخدمها تطبيقك وما تستخدمه هي، ويغطيها فحص الاعتماديات SCA، مع قائمة المكونات SBOM التي ينتجها Trivy بصيغة CycloneDX أو SPDX ويقرؤها Dependency-Track.
  • تحديثات النظام المعلقة Pending Updates: عدد الحزم التي لها تحديث أمني ولم تثبت، وهل يحتاج السيرفر إعادة تشغيل بعد تحديث النواة Kernel. ويمكن أن يكتبها سكربت يومي في ملف textfile كمقياس، فيظهر في اللوحة أي سيرفر تأخر، والسياسة كاملة، أي ماذا تحدث ومتى وكيف تختبر قبل الإنتاج، في التحديثات الأمنية Patch Management.
  • التحديثات المتأخرة: كم إصداراً تأخرت كل مكتبة، وهو ما يغطيه Renovate بطلبات تحديث Pull Requests تلقائية.
تبويب Policy Violations في Dependency-Track فيه صفوف: FAIL من نوع Security لسياسة No High or Critical vulnerabilities على urllib3 1.26.20 وidna 2.10 وWerkzeug 2.2.2، وWARN من نوع License لسياسة Permissive licences only على requests 2.25.1 وidna 2.10 وitsdangerous 2.2.0 وchardet 4.0.0 وcertifi 2026.7.22، وكلها بتاريخ 7 Oct 2026
من مقال فحص الاعتماديات SCA: مخالفات الأمن FAIL ومخالفات الترخيص WARN لكل مكتبة

في الصورة سياستان: الأولى تقول لا ثغرات عالية أو حرجة، وخالفتها ثلاث مكتبات منها urllib3 وWerkzeug فظهرت FAIL، والثانية عن التراخيص، وخالفتها خمس مكتبات فظهرت WARN. والقيمة هنا أن Dependency-Track يعيد تقييم قائمة المكونات كل يوم، فإذا أعلنت ثغرة جديدة في مكتبة تستخدمها ظهرت هنا دون أن يعيد أحد بناء شيء. والوجه الآخر هو الإصلاح، والصورة التالية من Renovate:

صفحة Pull Requests في مستودع lab/shop على Gitea 28.1.0، فيها 4 Open و6 Closed: الطلب 11 Update http client (major) من الفرع renovate/major-http-client، والطلب 10 Update flask stack to v3 من renovate/major-flask-stack، والطلب 9 Update flask stack من renovate/flask-stack، والطلب 8 Update dependency requests to v2.34.2 من renovate/http-client، وكلها من المستخدم renovate
من مقال فحص الاعتماديات SCA: أربعة طلبات تحديث مجمعة بدل طلب لكل مكتبة

أربعة طلبات مفتوحة، كل منها يجمع مكتبات مرتبطة، والتحديثات الكبيرة Major في طلبات منفصلة لأنها قد تغير السلوك. وهذا هو الفرق بين فريق يحدث كل أسبوع بطلبات صغيرة يراجعها في دقائق، وفريق يحدث مرة في السنة بطلب ضخم يخاف الجميع من دمجه.

أي ثغرة تستحق أن توقظ أحداً؟ Vulnerability Triage

هنا يقع أغلب الفرق في الإزعاج. ففي مختبر البوابة وجد Trivy خمسين ثغرة عالية في Image رسمية لـ Python، منها 45 ليس لها إصلاح أصلاً. فلو نبهت على كل ثغرة عالية لأطلق التنبيه كل يوم دون أن يستطيع أحد أن يفعل شيئاً، ثم كتمه الجميع، ثم جاءت الثغرة الحقيقية فلم يرها أحد. والقاعدة التي نقترحها:

  • عاجل: ثغرة حرجة لها إصلاح في شيء منشور، أو أي ثغرة في قائمة الثغرات المستغلة فعلاً KEV من CISA، على خدمة معرضة للإنترنت.
  • ملخص يومي: الثغرات العالية التي لها إصلاح، والحرجة على خدمات داخلية.
  • اللوحة فقط: ما ليس له إصلاح، مع مراجعة شهرية لأن الإصلاح قد يصدر في أي يوم.

والترتيب الكامل باستخدام CVSS واحتمال الاستغلال EPSS وقائمة KEV في أي ثغرة تصلح أولاً؟، ودورة إدارة الثغرات كاملة في إدارة الثغرات Vulnerability Management، وفحص الـ Images والبنية ككود في فحص الحاويات مع Trivy، ومقارنة الأدوات في أدوات إدارة الثغرات مفتوحة المصدر، ومتى تحدث وكيف في التحديثات الأمنية Patch Management. ولا تنس الأسرار المسربة في الكود، فهي ثغرة من نوع آخر شرحناها في Secrets Scanning.

المنطقة الثانية عشرة: التنبيهات Alerting مع المناوبة On-call

إذا طبقت كل ما سبق فلديك الآن عشرات القواعد، وهنا تبدأ المشكلة التي تقتل المراقبة في أغلب الفرق: إرهاق التنبيهات Alert Fatigue. ففريق المنصة في بدايته كان يرسل كل تنبيه إلى قناة واحدة في تطبيق المحادثة، وبعد أسبوعين وصل فيها مئتا رسالة في اليوم، فكتمها الجميع، وعندما توقف الموقع فعلاً كانت رسالة التوقف بين ثلاثين رسالة عن المعالج. والتنبيه الذي لا يقرؤه أحد أسوأ من عدم وجود تنبيه، لأنه يعطي إحساساً كاذباً بأن هناك من يراقب.

والقاعدة التي نقترحها أن يخرج كل تنبيه من أحد ثلاثة أبواب، كما في الصورة التالية:

مسار التنبيه: على اليمين المصادر Sources وهي قواعد Prometheus للقرص والتوفر و5xx وOOM، وفحص Blackbox للنجاح والشهادة، وقواعد Loki لمعدل الأخطاء في السجل، والنسخ Backups والمهام بمقياس آخر نجاح، وTrivy مع Wazuh للحرج القابل للإصلاح والمستوى 10 فما فوق، وتحتها كل قاعدة تحمل severity ورابط Runbook، وسهم إلى Alertmanager في الوسط وفيه التجميع Grouping والكتم عند السبب Inhibition والإسكات المؤقت Silences والتوجيه بحسب severity، ومنه ثلاثة أسهم: أحمر إلى عاجل Urgent المناوب الآن، العميل متأثر الآن أو سيتأثر قبل الصباح، الموقع متوقف وأخطاء 5xx وقرص يمتلئ خلال ساعات، خلال ثوان إلى الهاتف أو Telegram، وبرتقالي إلى روتيني Routine ملخص يومي، يحتاج عملاً هذا الأسبوع وليس الليلة، شهادة بعد 14 يوماً وثغرة عالية وقرص بعد أيام، رسالة واحدة في التاسعة صباحاً ثم تذكرة، وأخضر إلى معلومة Info اللوحة فقط، مفيدة عند التحقيق ولا تحتاج أحداً، المعالج عند 80% دقيقة وثغرة بلا إصلاح، لوح في Grafana دون أي رسالة، وتحت Alertmanager مربع متقطع: Watchdog تنبيه يطلق دائماً، إذا توقف وصوله إلى خدمة خارجية فمسار التنبيه نفسه معطل
كل تنبيه يمر بموجه واحد ويخرج من أحد ثلاثة أبواب، وWatchdog يراقب الموجه نفسه
  • عاجل Urgent: العميل متأثر الآن، أو سيتأثر قبل أن يبدأ الدوام. يصل إلى المناوب خلال ثوان، بالهاتف أو تطبيق يرن، وليس بالبريد. والسؤال الذي يقرر: هل يجب أن يترك أحد ما يفعله الآن؟
  • روتيني Routine: يحتاج عملاً هذا الأسبوع وليس الليلة، مثل شهادة بعد 14 يوماً أو ثغرة عالية. يجمع في رسالة واحدة كل صباح، ويتحول إلى تذكرة لها صاحب.
  • معلومة Info: مفيد عند التحقيق ولا يحتاج أحداً، فيبقى في اللوحة دون أي رسالة.

والأداة التي تفعل ذلك في عالم Prometheus هي Alertmanager، وهي تجمع التنبيهات المتشابهة في رسالة واحدة Grouping، وتكتم التنبيهات الناتجة عن سبب أكبر Inhibition، فإذا توقف السيرفر لا تصلك معه عشرون رسالة عن كل خدمة عليه، وتسمح بالإسكات المؤقت Silences أثناء الصيانة، ثم توجه كل تنبيه بحسب تسمية severity. ومن الإعدادات التي يجب أن تعرفها أن القيم الافتراضية هي 30 ثانية انتظار قبل أول رسالة في المجموعة group_wait، و5 دقائق بين تحديثات المجموعة group_interval، و4 ساعات قبل تكرار التنبيه نفسه repeat_interval. ويرسل Alertmanager إلى البريد وSlack وTelegram وMattermost وMicrosoft Teams وPagerDuty وأي Webhook. والصورة التالية من التجربة الحقيقية في مقال التنبيهات:

خط زمني من 00:30 إلى 00:42 بتوقيت UTC بثلاثة مسارات: oncall فيه رسائل حمراء عند 00:32:29 لـ Checkout app-2 وعند 00:34 resolved ثم firing وعند 00:35:29 لـ SiteUnreachable app-1 ورسالة خضراء عند 00:39:29 فيها resolved مع CheckoutErrors app-1، ومسار warning تطلق فيه cert app-2 عند 00:31 وdisk app-1 عند 00:34 وdisk app-2 داخل النافذة وكلها صامتة خارج النافذة، ومسار digest فيه رسالتان داخل نافذة الملخص daily-digest من 00:38: الأولى n=1 عند 00:38:49 والثانية n=3 عند 00:39:49، وتحتها ملاحظة أن كل تغيير داخل النافذة يرسل تحديثاً بعد group_interval، والتنبيه الذي بدأ وانتهى خارجها لا يظهر في الملخص أبداً
من مقال التنبيهات: العاجل وصل في ثوان، والروتيني انتظر نافذة الملخص

المسار العلوي في الصورة هو المناوب، ووصلته رسائل أخطاء الدفع وتوقف الموقع في ثوان من إطلاقها. والمسار الأوسط تنبيهات روتينية عن شهادة وقرصين، أطلقت في أوقات مختلفة ولم يصل منها شيء، ثم جاءت كلها في المسار السفلي داخل نافذة الملخص. ولاحظ الملاحظة في الأسفل: التنبيه الروتيني الذي بدأ وانتهى خارج النافذة لا يظهر في الملخص أبداً، وهذا مقبول للروتيني، ولكنه سبب آخر لئلا تضع أي شيء مهم في هذا المسار.

قواعد لكل تنبيه Alert Rules

  • رابط دليل التشغيل Runbook: كل تنبيه يحمل رابطاً إلى صفحة تقول ماذا يعني، وكيف تتحقق، وما أول خطوة. فالمناوب في الثالثة فجراً لا يجب أن يخمن.
  • مدة for: لا تطلق على قراءة واحدة، فالشبكة تتأخر والمقاييس تهتز، ودقيقة إلى خمس دقائق تكفي أغلب الحالات.
  • Watchdog: تنبيه يطلق دائماً ويرسل إلى خدمة خارجية، فإذا توقف وصوله عرفت أن Prometheus أو Alertmanager أو الطريق بينهما معطل. وهذا هو الحل لمشكلة GitLab: غياب الرسائل نفسه يصبح تنبيهاً.
  • مراجعة شهرية: كل تنبيه أطلق ولم يفعل أحد شيئاً بسببه، إما أن يحذف أو يغير مستواه.
  • اختبار المسار: أرسل تنبيهاً تجريبياً لكل مسار مرة في الشهر، وتأكد أنه وصل إلى الشخص الصحيح.

وفي المناوبة نفسها، أي من يستقبل العاجل ومتى ومن يحل محله، فإن Alertmanager يرسل ولكنه لا يدير جداول مناوبة ولا تصعيداً Escalation. والمشروع مفتوح المصدر الذي كان يستخدم لذلك، Grafana OnCall OSS، يقول مستودعه الرسمي إنه دخل وضع الصيانة في مارس 2025 ثم أرشف، ولذلك فالفرق الصغيرة غالباً تبدأ بقناة هاتف واحدة يحملها المناوب بالتناوب، ثم تنتقل إلى خدمة مناوبة مستضافة مثل التي في جدول البدائل أدناه. والجانب الإنساني للمناوبة، وكيف لا تحرق فريقك، في ضغط المناوبة On-call والحوادث.

المنطقة الثالثة عشرة: البوابة الواحدة Single Portal

بعد أن تجمع كل هذه المناطق يأتي سؤال المدير البسيط: أين أنظر كل صباح لأعرف أن كل شيء بخير؟ وإذا كان الجواب خمس أدوات بخمس كلمات مرور، فلن ينظر أحد. ولذلك بنينا في مقال بوابة مراقبة واحدة Monitoring Portal صفحة رئيسية واحدة في Grafana تجمع ما سبق، ويبقى Wazuh على سيرفره ويقرأ منه Grafana ملخصات بمستخدم للقراءة فقط:

لوحة Monitoring portal في Grafana بخمسة صفوف: Servers وفيها Last data from server 4.72 ثانية وCPU busy 3.38% وMemory available 87.7% وLowest free disk 42.3% وDays until a disk is full 58.1 وInodes free 95.6%، ثم Apps and containers وفيها Site up للمتجر وللمرجع الخارجي بقيمة 1، وResponse time بقيمة 375ms و1.72ms، وContainer restarts / OOM بالأحمر 6 للـ Container mon-p-worker، وApp errors 5xx بالأحمر 448، ورسم الطلبات بحسب الرمز ورسم ذاكرة الـ Containers، ثم Jobs, backups and certificates وفيها Certificate days left بقيمة 56.2 و52.2، وHours since last good backup بقيمة 0.0123، وHours since Trivy scan بقيمة 0.346، ثم Security and vulnerabilities وفيها Wazuh alerts level 10+ بالأحمر 6، وFixable CRITICAL in deployed images بقيمة 1 لـ nginx و0 لـ python، وHIGH in deployed images بالبرتقالي 7 و5، ورسم Wazuh alerts by rule أعلاه sshd attempt to login using a non-existent user بعدد 115، ورسم Wazuh vulnerability states by severity، ثم Open alerts وفيها جدول التنبيهات المطلقة CriticalVulnerabilityDeployed وHighVulnerabilitiesDeployed مرتين وContainerOOMKilled
من مقال البوابة الواحدة: خمسة صفوف تغطي أغلب مناطق هذا الدليل في صفحة واحدة

اقرأ الصفحة صفاً صفاً وستجد فيها أغلب مناطق هذا الدليل. الصف الأول للسيرفرات، وفيه آخر بيانات وصلت قبل 4.72 ثانية، والأيام حتى امتلاء القرص 58.1، والـ inodes المتاحة 95.6%. والثاني للتطبيقات والـ Containers، وفيه الموقع يعمل من الفحص الخارجي، ولكن بجانبه بالأحمر ست مرات إعادة تشغيل أو قتل بسبب الذاكرة لـ Container العامل، و448 خطأ 5xx في السجلات خلال ربع ساعة، وهذا مثال واضح على أن الفحص من الخارج وحده لا يكفي. والثالث للمهام والنسخ والشهادات: 56.2 و52.2 يوماً للشهادتين، وآخر نسخة ناجحة قبل دقائق، وآخر فحص Trivy قبل أقل من ساعة. والرابع للأمن والثغرات من Wazuh وTrivy، وفيه 115 محاولة دخول بمستخدم غير موجود، وثغرة حرجة قابلة للإصلاح في Image الـ nginx. والأخير جدول التنبيهات المطلقة الآن.

والقرارات التي تجعل هذه البوابة تعمل، وكلها مشروحة بالتفصيل في المقال: سيرفر مراقبة مستقل بقرصه، وميزانية تخزين من اليوم الأول، فقد قسنا قرابة 3,000 سلسلة Series لكل سيرفر، ولا تكرر كل سجل في نظامين، ومستخدم قراءة فقط لمصدر Wazuh، وفحص مستقل خارج البوابة يراقبها هي نفسها. والبوابة للملخص والرابط، أما التحقيق الكامل في حادثة أمنية فيبقى في Wazuh.

قائمة تحقق قابلة للطباعة Printable Checklist

هذا الجدول هو الدليل كله في صفحة، اطبعه وضعه أمام الفريق، ومر عليه سطراً سطراً: هل هذا مراقب عندنا، وبأي أداة، وإلى أين يذهب تنبيهه؟

المنطقةماذا تراقبالأداةالتنبيهمقالنا
جرد الأصولكل سيرفر وخدمة ونطاق وشهادة ومهمة، بمالك وبيئة ومنافذ، وربط كل سطر بفحوصهجدول في Git، Snipe-IT، NetBoxتقرير أسبوعي بكل أصل غائب عن أداة مراقبةSnipe-IT، إدارة الأصول
سعة السيرفرآخر بيانات، المعالج، الذاكرة المتاحة، القرص، الـ inodesnode_exporter أو Alloy، Prometheusup == 0 عاجل، الامتلاء خلال 4 ساعات عاجل، خلال 24 ساعة ملخصPrometheus مع Grafana
التطبيقاتزمن الاستجابة p95، الطلبات، نسبة 5xx، التشبعمكتبة Prometheus أو OpenTelemetry5xx فوق 5% لمدة 5 دقائق عاجلالإشارات الذهبية
التوفر من الخارجHTTP والكلمة المتوقعة، وسيرفر المراقبة نفسهBlackbox، Uptime Kuma على سيرفر آخرفشل الفحص لمدة دقيقة عاجلفحص التوفر
السجلاتالتطبيق والـ Proxy والنظام، بمدة احتفاظ مكتوبةLoki، أو Graylog أو OpenSearchارتفاع أسطر الخطأ ملخص، الأخطاء القاتلة عاجلLoki
التتبع والأخطاءمسار الطلب بين الخدمات، المشكلات الجديدة بعد كل إصدارOpenTelemetry مع Jaeger، GlitchTipمشكلة جديدة أو ارتفاع مفاجئ ملخصالتتبع الموزع، تتبع الأخطاء
الـ Containersإعادة التشغيل، OOM، الذاكرة مقابل الحدcAdvisor أو Alloy، kube-state-metricsOOM ملخص، إعادة تشغيل متكررة لخدمة حرجة عاجلPrometheus مع Grafana
قواعد البياناتالاتصالات، الاستعلامات البطيئة، التكرار، WALpostgres_exporter، mysqld_exporterالقاعدة لا ترد عاجل، فشل أرشفة WAL عاجل، توقع امتلاء مجلد البياناتضبط أداء PostgreSQL
الشهادات وDNSالأيام المتبقية، الشهادات الداخلية، ردود DNS، تسجيل النطاقBlackbox (tls، dns)، RDAPأقل من 14 يوماً ملخص، أقل من 3 أيام عاجل، النطاق قبل 30 يوماًالشهادات الرقمية، DNS
النسخ والمهامآخر نجاح، حجم النسخة، الاستعادة التجريبيةنبضة Push، أو textfileغياب النبضة بعد الدورة مع هامشقاعدة 3-2-1
الأحداث الأمنيةالدخول، سلامة الملفات، هجمات الويب، الإعداداتWazuhالمستوى 10 فما فوق عاجل، الوكيل منقطع ملخصمختبر Wazuh
الثغرات والتحديثاتحزم النظام، الـ Images المنشورة، الاعتماديات، SBOMWazuh، Trivy، Renovate، Dependency-Trackحرج قابل للإصلاح أو في KEV عاجل، العالي ملخص، تحديثات متأخرة في الملخصPatch Management، SCA، Trivy
التنبيهاتمسار عاجل ومسار ملخص، Runbook، WatchdogAlertmanagerغياب Watchdog من خدمة خارجيةالتنبيهات
البوابةصفحة رئيسية واحدة، وفحص مستقل لهاGrafana، وWazuh للقراءة فقطتوقف سيرفر المراقبة من فحص خارجيالبوابة الواحدة

ابدأ في أسبوع واحد One-Week Plan

الجدول السابق قد يبدو كثيراً لفريق من أربعة أشخاص عندهم عمل آخر، ولكن ترتيب البدء هو الذي يصنع الفرق. فالقاعدة أن تبدأ بما يكشف أكبر الأعطال بأقل جهد، وأن تنتهي كل يوم بشيء يعمل وليس بنصف شيء. والصورة التالية خطة فريق المنصة:

خطة أسبوع واحد One-Week Plan لفريق صغير في ثماني بطاقات: اليوم 1 الجرد Inventory أولاً، كل سيرفر وتطبيق ونطاق وشهادة ومهمة مجدولة ونسخة احتياطية ومن يملك كل واحد منها، النتيجة جدول واحد بالفراغات، اليوم 2 سعة السيرفرات Capacity، سيرفر مراقبة مستقل بقرصه وAlloy أو node_exporter على كل سيرفر ولوحة السيرفرات وتوقع امتلاء القرص، النتيجة كل سيرفر يظهر في Grafana، اليوم 3 الفحص من الخارج Uptime، Blackbox لكل رابط ومنفذ وأيام الشهادات المتبقية مع DNS وفحص مستقل على سيرفر آخر، النتيجة تعرف قبل العميل، اليوم 4 النسخ والمهام Heartbeats، كل نسخة ومهمة ترسل نبضة عند النجاح فقط والتنبيه على غيابها واستعادة تجريبية واحدة، النتيجة لا فشل صامت، اليوم 5 التطبيقات مع السجلات Logs، الطلبات والأخطاء وزمن الاستجابة وLoki بمدة احتفاظ مكتوبة وسجلات الـ Proxy والـ Containers، النتيجة من التنبيه إلى السطر، اليوم 6 الأمن Security مع الثغرات، وكيل Wazuh على كل سيرفر وفحص Trivy كل ليلة للـ Images وRenovate على المستودعات، النتيجة الحرج يصل فوراً، اليوم 7 التنبيهات مع البوابة Portal، مسار عاجل ومسار ملخص يومي وWatchdog وتنبيه تجريبي لكل مسار والصفحة الرئيسية في Grafana، النتيجة صفحة واحدة كل صباح، وبطاقة متقطعة بعد الأسبوع Next: مقاييس قواعد البيانات والتتبع Traces وتتبع الأخطاء وقائمة المكونات SBOM وملخص Wazuh داخل Grafana ومراجعة التنبيهات كل شهر
سبعة أيام، وكل يوم ينتهي بشيء يعمل، وما بعد الأسبوع يبنى على أساس قائم
  • اليوم 1، الجرد: قبل أن تثبت أي شيء، اكتب قائمة بكل سيرفر وتطبيق ونطاق وشهادة ومهمة مجدولة ونسخة احتياطية، ومن يملكها، وماذا يراقبها الآن. وإذا كانت لديك أدوات موجودة فطبق جدول تدقيق التغطية Coverage Audit من مقال البوابة. والنتيجة قائمة فراغات هي خطة بقية الأسبوع.
  • اليوم 2، السيرفرات: سيرفر مراقبة مستقل، أو تحقق من سعة سيرفر موجود قبل أن تشتري آخر، ثم Prometheus وGrafana عليه، وجامع على كل سيرفر، ولوحة فيها آخر بيانات وتوقع امتلاء القرص. واكتب مدة الاحتفاظ وحدها الأقصى من الآن.
  • اليوم 3، الفحص من الخارج: Blackbox لكل رابط عام ولكل شهادة، وفحص مستقل على سيرفر آخر أو خدمة خارجية يراقب الموقع وسيرفر المراقبة. وفي آخر اليوم أوقف شيئاً عمداً وتأكد أن الفحص رآه.
  • اليوم 4، النسخ والمهام: أضف سطر النبضة إلى آخر كل سكربت نسخ ومهمة مجدولة مهمة، ونفذ استعادة تجريبية واحدة لأهم قاعدة بيانات. وهذا اليوم وحده كان سيمنع حادثة GitLab.
  • اليوم 5، التطبيقات والسجلات: Loki بمدة احتفاظ مكتوبة، وسجلات الـ Proxy والـ Containers، وإذا أمكن مقاييس الطلبات من التطبيق، وإلا فاحسب الإشارات الذهبية من سجل الـ Proxy.
  • اليوم 6، الأمن والثغرات: وكيل Wazuh على كل سيرفر، وفحص Trivy ليلي للـ Images المنشورة، وRenovate على المستودعات الرئيسية.
  • اليوم 7، التنبيهات والبوابة: مسار عاجل إلى هاتف المناوب، ومسار ملخص صباحي، وWatchdog إلى خدمة خارجية، وتنبيه تجريبي لكل مسار، ثم الصفحة الرئيسية في Grafana.

وبعد الأسبوع تأتي مقاييس قواعد البيانات، والتتبع وتتبع الأخطاء، وقوائم المكونات SBOM، وملخص Wazuh داخل Grafana. ولكن الأهم من كل ذلك موعد شهري ثابت لمراجعة التنبيهات: ما الذي أطلق ولم يفعل أحد شيئاً، وما الذي حدث ولم يطلق أي تنبيه. فالمراقبة ليست مشروعاً ينتهي، وإنما عادة يحافظ عليها الفريق.

البدائل المدفوعة والمستضافة Managed Alternatives

كل ما في هذا الدليل يعمل بأدوات مفتوحة المصدر على سيرفراتك، ولكن هذا ليس الخيار الصحيح لكل فريق. فالأداة المجانية تكلف وقت من يشغلها ويحدثها ويصلحها عندما تتعطل، والفريق المكون من شخصين قد يكون وقته أغلى من الاشتراك. والجدول التالي يضع لكل منطقة أشهر البدائل التجارية، ونموذج التسعير كما في صفحة الأسعار الرسمية لكل منها، ومتى تكون منطقية. ولم نشغل أياً منها، ولذلك لا نضع لها لقطات شاشة، وإنما الرابط إلى صفحتها الرسمية.

⚠️
الأسعار أسعار قوائم بالدولار الأمريكي قبل الضرائب والخصومات، كما ظهرت في الصفحات الرسمية بتاريخ 3 نوفمبر 2026، وهي تتغير كثيراً، فافتح الصفحة قبل أي قرار. وحيث لم تذكر الصفحة سعراً وصفنا النموذج دون أرقام.
المنطقةالخدمةنموذج التسعير من الصفحة الرسميةمتى تكون منطقية
كل المناطق تقريباًDatadogلكل منتج عداده: البنية لكل سيرفر شهرياً، خطة Pro من 15 دولاراً بالدفع السنوي، والسجلات 0.10 دولار لكل GB مدخل ثم الفهرسة لكل مليون سجل، ومجاني حتى 5 سيرفرات بحفظ يوم واحدفريق يريد كل شيء في منصة واحدة دون تشغيل، ويستطيع ضبط ما يفهرس
كل المناطق تقريباًNew Relicأول 100 GB شهرياً مجانية ثم 0.40 دولار لكل GB، ورسوم للمستخدم الكامل، مثل 349 دولاراً في خطة Pro بالالتزام السنوي، والمستخدم الأساسي مجانيفريق صغير العدد بيانات كثيرة، لأن الفاتورة تكبر مع عدد المستخدمين
كل المناطق تقريباًDynatraceالتزام إنفاق سنوي يستهلك منه بحسب الوحدات: المراقبة الكاملة 0.01 دولار لكل GiB ذاكرة في الساعة، أي 58 دولاراً شهرياً لسيرفر 8 GiB، والبنية 29 دولاراً للسيرفر، والمستخدمون دون حدمؤسسات كبيرة بعقود سنوية وفريق تشغيل يريد تحليلاً تلقائياً
المقاييس والسجلات والتتبع والمناوبةGrafana Cloudخطة مجانية دائمة: 10 آلاف سلسلة، و50 GB سجلات، و3 مستخدمين، و3 مستخدمي مناوبة IRM. وخطة Pro برسوم 19 دولاراً شهرياً ثم الاستهلاك، مثل 6.50 دولار لكل ألف سلسلة و20 دولاراً لكل مستخدم مناوبة بعد الثلاثةفريق يستخدم أدوات هذا الدليل نفسها ولا يريد تشغيلها، وينتقل منها وإليها بسهولة
السجلات والبحث والأمنElastic Cloudالمستضاف بحسب الموارد، والنسخة Serverless بحسب الاستهلاك: في Observability الإدخال من 0.09 دولار لكل GB للسجلات في مستوى Complete، ثم الحفظ لكل GB شهرياًفريق يحتاج بحثاً نصياً كاملاً في سجلات كثيرة، أو يستخدم Elastic Security
السجلات والأمن SIEMSplunkSplunk Cloud وEnterprise Security بنماذج الاستهلاك Workload أو الإدخال Ingest أو النشاط، والسعر بعرض من المبيعات. وObservability Cloud من 15 دولاراً للسيرفر شهرياً بالدفع السنويجهات كبيرة لديها مركز عمليات أمنية SOC وفريق يعرف Splunk
التوفر والمناوبة والسجلاتBetter Stackمجاني حتى 10 فحوص ونبضات، ورخصة المناوب Responder بـ 29 دولاراً شهرياً بالدفع السنوي، وحزم فحوص إضافية، والسجلات لكل GB بسعر يختلف بحسب منطقة الحفظفريق صغير يريد الفحص والمناوبة وصفحة الحالة في مكان واحد
التوفرUptimeRobotمجاني لـ 50 فحصاً كل 5 دقائق ويسمح بالاستخدام التجاري، وخطة Solo من 9 دولارات شهرياً بفحص كل 60 ثانية، وTeam من 30 دولاراً بفحص كل 30 ثانيةالفحص المستقل من الخارج لأي فريق، حتى لو كان كل شيء آخر مستضافاً ذاتياً
التوفرPingdomمستويات بحسب عدد الفحوص، من 10 إلى 30 ألف فحص، ومراقبة المستخدم الحقيقي RUM بحسب عدد الصفحات المعروضة، وتجربة مجانيةفريق يريد فحوصاً من مواقع كثيرة في العالم وتقارير جاهزة
المناوبة والتصعيدPagerDutyمجاني حتى 5 مستخدمين بجدول مناوبة واحد، وخطة Professional بـ 21 دولاراً للمستخدم شهرياً بالدفع السنوي أو 25 بالشهريعندما يكون هناك أكثر من مناوب وجدول تناوب وتصعيد حقيقي
الأخطاءSentryخطة Developer مجانية لمستخدم واحد و5 آلاف خطأ، وTeam من 26 دولاراً شهرياً بالدفع السنوي، وBusiness من 80 دولاراً، ثم الزيادة لكل حدث، وكل خطة تشمل فحص توفر واحداً وفحص مهمة مجدولة واحداًمعظم الفرق، لأن الإعداد دقائق، وGlitchTip هو البديل المستضاف ذاتياً
المهام المجدولةHealthchecks.ioمجاني لـ 20 مهمة، وBusiness بـ 20 دولاراً شهرياً لـ 100 مهمة، والمشروع نفسه مفتوح المصدر ويمكن تشغيله ذاتياًنبضات النسخ والمهام من خارج بنيتك، فلا تتوقف مع توقفها
الثغرات والاعتمادياتSnykخطة مجانية بعدد محدود من الفحوص، وTeam من 25 دولاراً شهرياً لفريق حتى 10 مطورين، وEnterprise بنظام أرصدة Credits بعرض من المبيعاتفريق تطوير يريد الفحص داخل المستودع وطلبات الإصلاح دون تشغيل أدوات
حماية الأجهزة EDRCrowdStrike Falconلكل جهاز سنوياً: Falcon Go بـ 59.99 دولار بحد 100 جهاز، وPro بـ 99.99، وEnterprise بـ 184.99، وFalcon Complete المدار بالكامل بعرض سعرعندما تحتاج كشفاً واستجابة على الأجهزة والسيرفرات أقوى من وكيل Wazuh، أو مراقبة على مدار الساعة لا يستطيع فريقك توفيرها
أمن السحابة CNAPPWizالصفحة لا تذكر أسعاراً، والتسعير بعرض مخصص من المبيعاتبنية كبيرة على AWS أو Azure أو Google Cloud بحسابات كثيرة

وكيف تختار؟ هذه الأسئلة الثلاثة تحسم أغلب الحالات:

  • حجم الفريق: فريق من شخص أو اثنين يستفيد غالباً من خدمة مستضافة لما يصعب تشغيله، مثل الفحص الخارجي والمناوبة وتتبع الأخطاء، ويبقي المقاييس والسجلات على سيرفر واحد. والفريق الذي فيه مهندس منصة متفرغ يستطيع أن يشغل كل شيء.
  • التكلفة مع النمو: الفاتورة في المنصات التجارية تكبر مع عدد السيرفرات أو حجم السجلات أو عدد المستخدمين بحسب نموذج كل منها، وقد حسبنا فاتورة شركة نموذجية في خمس منصات، مع فخاخ الفوترة المعروفة، في كم تكلف منصات المراقبة؟
  • الامتثال ومكان البيانات: وهذا يقودنا إلى القسم التالي.

ولاحظ أن الخيار ليس كل شيء أو لا شيء. فالتوزيع الذي نراه كثيراً عند الفرق الصغيرة: المقاييس والسجلات والأمن على سيرفراتها، والفحص الخارجي ونبضات المهام في خدمة مستضافة رخيصة، لأن هذين بالذات يجب أن يكونا خارج بنيتك حتى يعملا عندما تتوقف.

السياق السعودي: ضوابط ECC مع مكان البيانات Data Residency

إذا كانت جهتك حكومية، أو شركة تابعة لجهة حكومية، أو تملك أو تشغل بنية تحتية وطنية حساسة، فإن الضوابط الأساسية للأمن السيبراني ECC من الهيئة الوطنية للأمن السيبراني تنطبق عليك، كما يقول نطاق العمل في وثيقة ECC-2:2024، والهيئة تشجع بقية الجهات على تطبيقها. وفي هذه الوثيقة ثلاثة ضوابط فرعية لها علاقة مباشرة بهذا الدليل:

  • 2-12 إدارة سجلات الأحداث ومراقبة الأمن السيبراني: تفعيل سجلات الأحداث للأصول الحساسة، وللحسابات ذات الصلاحيات الهامة، ولأحداث الدخول عن بعد، وتحديد تقنيات SIEM لجمع السجلات، والمراقبة المستمرة لها، ومدة احتفاظ لا تقل عن 12 شهراً، وهو الضابط 2-12-3-5. وهذا يعني أن مدة احتفاظ Wazuh أو أي SIEM تستخدمه تخطط من اليوم الأول لسنة على الأقل، وهو سبب إضافي لئلا يشارك قرصه سجلات التطبيقات.
  • 2-10 إدارة الثغرات: فحص دوري للثغرات واكتشافها، وتصنيفها بحسب خطورتها، ومعالجتها بحسب التصنيف والمخاطر، وإدارة التحديثات مع التحقق منها في بيئة غير بيئة الإنتاج قبل تطبيقها، والاشتراك في مصادر موثوقة للثغرات الجديدة. وهذا بالضبط ما تغطيه المنطقة الحادية عشرة.
  • 2-9 إدارة النسخ الاحتياطية: ومنها الفحص الدوري لفعالية استعادة النسخ، وهو الضابط 2-9-3-3، أي أن الاستعادة التجريبية التي ذكرناها في المنطقة التاسعة متطلب وليست نصيحة فقط.

وقد شرحنا الضوابط بلغة بسيطة في الضوابط الأساسية للأمن السيبراني NCA ECC، وكيف تحقق كثيراً منها بأدوات مفتوحة المصدر في تحقيق ضوابط ECC بأدوات مفتوحة المصدر.

وأما مكان حفظ البيانات، فهو سؤال يجب أن يطرح قبل أي خدمة مراقبة مستضافة. فالسجلات والتتبع تحمل غالباً بيانات شخصية دون أن يقصد أحد: عنوان IP، والبريد في رسالة خطأ كما رأينا في لقطة GlitchTip، ومعرف المستخدم في الطلب. وعندما راجعنا صفحات المناطق الرسمية في مقال تكلفة المراقبة لم نجد منطقة حفظ داخل المملكة عند أي من المنصات الخمس التي قارناها، وبعضها لديه منطقة في الإمارات. وإذا كانت السجلات تحمل بيانات شخصية فإن نظام حماية البيانات الشخصية ولائحة نقل البيانات خارج المملكة يضعان شروطاً على نقلها، وقد شرحنا ذلك للخدمات المستضافة في حماية البيانات الشخصية PDPL. ولا نقدم هنا رأياً قانونياً، وإنما نقول للفريق التقني: قبل أن ترسل السجلات إلى منصة خارج المملكة اعرض المسألة على مسؤول حماية البيانات في جهتك، واحجب البيانات الشخصية قبل أن تغادر شبكتك وليس بعد وصولها، وإذا كانت الجهة حكومية فالغالب أن الجواب مراقبة مستضافة داخل المملكة، وهو ما يجعل الأدوات مفتوحة المصدر في هذا الدليل خياراً عملياً وليس فقط خياراً أرخص.

أخطاء شائعة Common Mistakes

  • مراقبة ما هو سهل بدل ما يهم: رسوم جميلة للمعالج، ولا شيء عن نسبة أخطاء صفحة الدفع.
  • المراقبة على السيرفر الذي تراقبه: إذا توقف، توقف معه كل شيء ولم يصل أي تنبيه.
  • التنبيه على النسبة بدل الاتجاه: 90% من القرص قد تعني أسابيع أو دقائق.
  • التنبيه عند الفشل فقط: المهمة التي لم تعمل لا تفشل، فنبه على غياب النجاح.
  • كل التنبيهات في قناة واحدة: تكتم في أسبوعين، ويضيع فيها العاجل.
  • التنبيه على كل ثغرة عالية: أغلبها بلا إصلاح، فيصبح التنبيه ضجيجاً يومياً.
  • الثقة في تنبيه لم يجرب: رأينا عداداً يقول 8 بعد 20 حدثاً، وآخر يقول صفراً بعد خمسة.
  • بلا مدة احتفاظ مكتوبة: القرص يمتلئ بالسجلات، وغالباً على سيرفر الأمن.
  • لا أحد يراقب أدوات المراقبة: وكيل Wazuh منقطع، أو شهادة جهاز الفحص منتهية، ولا يعرف أحد.
  • تثبيت أداة جديدة قبل الجرد: الفراغات لا تظهر إلا عندما تكتب القائمة كاملة.

الخلاصة Summary

  • أغلب الأعطال الكبيرة سببها شيء توقف بصمت ولم يراقبه أحد، وليس نقص الأدوات، كما في حادثتي GitLab وEquifax.
  • المراقبة ثلاث عشرة منطقة في ثلاث طبقات: السيرفر، وما يراه العميل، وما يفشل بصمت، ثم التنبيهات والبوابة.
  • راقب الاتجاه وليس النسبة، وغياب النجاح وليس الفشل فقط، والأداة نفسها وليس فقط ما تراقبه.
  • فحص مستقل من الخارج يراقب الخدمة وسيرفر المراقبة نفسه، وWatchdog يراقب مسار التنبيه.
  • كل تنبيه يخرج من أحد ثلاثة أبواب: عاجل للمناوب الآن، أو ملخص يومي، أو لوحة فقط، ومعه رابط Runbook.
  • ابدأ بالجرد في اليوم الأول، وفي أسبوع واحد يستطيع فريق صغير أن يغطي أغلب المناطق بأدوات مفتوحة المصدر.
  • البدائل المستضافة منطقية للفرق الصغيرة في الفحص الخارجي والمناوبة وتتبع الأخطاء، ومكان حفظ البيانات وضوابط ECC جزء من القرار.
دليلمفاهيم المراقبة Observability: من الإشارة إلى التنبيهما الذي تجيب عنه المقاييس والسجلات والتتبع، وكيف تبني تنبيهاً على ما يشعر به المستخدم وعلى ميزانية الأخطاء بدل كل رقم.دليلمقاييس السيرفرات Metrics: Prometheus مع لوحات Grafanaنجمع مقاييس المعالج والذاكرة والقرص والـ Containers مع Prometheus، ونتنبأ بموعد امتلاء القرص قبل أن يحدث، ونبني لوحة Grafana محفوظة ككود في Git.دليلالإشارات الذهبية Golden Signals: ماذا تقيس في خدمتك؟نضيف القياس إلى خدمة دفع حقيقية ونضغط عليها حتى تنهار، فنرى لماذا انتظر المستخدم ست ثوان والمعالج عند 5% دون خطأ واحد.دليلفحص التوفر Uptime Checks: من يراقب سيرفر المراقبة؟نفحص الموقع والشهادة وRedis من الخارج مع Blackbox Exporter وUptime Kuma، ونكشف النسخ الاحتياطي الذي توقف بصمت، ونتأكد أن أحداً يراقب سيرفر المراقبة نفسه.دليلالتنبيهات Alerting: ماذا تنبه عليه ومتى توقظ أحداً؟نبني مع Alertmanager تنبيهات تصل فيها المشكلة الواحدة في رسالة واحدة، والعاجل فوراً والروتيني في ملخص صباحي، ونجرب كل قرار بالثواني.دليلبوابة مراقبة واحدة Monitoring Portal: Grafana مع Wazuhنجمع السيرفرات والتطبيقات والسجلات والتنبيهات والثغرات في صفحة Grafana واحدة، ويبقى Wazuh على سيرفره ويقرأ منه Grafana بمستخدم للقراءة فقط.دليلجمع السجلات Logs مركزياً مع Grafana Lokiكيف تشغل Grafana Loki مع Alloy وGrafana، وتختار التسميات Labels التي لا توقف الإدخال، ثم تبحث وتنبه وتحذف بلغة LogQL.دليلمراقبة السيرفرات مع Wazuh: من السجل Log إلى حظر المهاجمشغلنا Wazuh مع وكيل على سيرفر تجريبي، فكشف تخمين كلمات مرور SSH وحظر المهاجم تلقائياً، ونبه على ملف PHP دخيل خلال ثانية.دليلأي ثغرة تصلح أولاً؟ ترتيب الأولوية Prioritization بلغة بسيطةفحصنا ثلاث Containers فظهرت 5025 نتيجة، فرتبناها بالتقييم CVSS واحتمال الاستغلال EPSS وقائمة KEV لنعرف ما يصلح هذا الأسبوع.دليلكم تكلف منصات المراقبة Observability؟ مقارنة بالأرقامحسبنا بسكربت مفتوح فاتورة المراقبة لشركة بعشرين سيرفراً على Datadog والمنصات المنافسة، وقارناها بتشغيل SigNoz على سيرفرك.

سجل التحديثات Changelog

  • نوفمبر 2026: كتابة الدليل، وجمع لقطات الشاشة من مختبرات سلسلة المراقبة والمقالات المرتبطة، ومراجعة صفحات الأسعار الرسمية للبدائل المستضافة بتاريخ 3 نوفمبر 2026، ومراجعة ضوابط ECC-2:2024.
نشرة عرب رووت | ArabRoot

معرفة تستحق مكاناً في بريدك.

مقالات مختارة وأدوات مفيدة وأفكار لمشروعك القادم، في رسالة واحدة كل أسبوع.

يمكنك إلغاء الاشتراك متى شئت. الخصوصية

تم استلام طلبك. افتح بريدك واضغط رابط التأكيد لإتمام الاشتراك.