قصص وتحقيقات الأدلة التقنية

تحديث CrowdStrike سنة 2024: ملف واحد أوقف 8.5 مليون جهاز

كيف أوقف ملف إعدادات واحد من CrowdStrike قرابة 8.5 مليون جهاز Windows، ولماذا احتاج كل جهاز إصلاحاً يدوياً، وما الذي تغيره في طريقة نشر الإعدادات عندك.

تحديث CrowdStrike سنة 2024: ملف واحد أوقف 8.5 مليون جهاز

في صباح الجمعة 19 يوليو 2024 بدأت أجهزة Windows حول العالم تظهر الشاشة الزرقاء ثم تعيد التشغيل ثم تظهر الشاشة الزرقاء مرة أخرى، ولا تخرج من هذه الدائرة. توقفت رحلات طيران، وتعطلت أنظمة في مستشفيات وبنوك، وتوقفت أنظمة طوارئ في بعض المدن، وأول ما خطر على بال كثيرين أنه هجوم إلكتروني كبير. ولكن السبب كان ملف إعدادات صغيراً أرسلته شركة الحماية CrowdStrike إلى أجهزة عملائها كجزء من عملها المعتاد، وفي داخله حقل واحد لم يكن البرنامج الذي يقرؤه مستعداً له.

وقصة هذا الحقل تستحق أن يعرفها كل من يكتب برنامجاً أو يدير أجهزة أو يشتري منتجاً أمنياً لشركته، لأنها تجمع ثلاثة أسئلة نؤجلها عادة: هل نعامل ملفات الإعدادات بنفس الحذر الذي نعامل به الكود؟ وهل اختباراتنا تشبه البيانات الحقيقية أم تشبه ما نتوقعه؟ وإذا تعطل كل جهاز في الشركة في نفس الساعة، فكم يأخذنا إصلاحها واحداً واحداً؟

وسوف نناقش في هذا المقال ما يلي:

  • ما هو برنامج Falcon، ولماذا يعمل جزء منه داخل نواة Windows.
  • الفرق بين تحديث البرنامج وتحديث المحتوى في CrowdStrike، ولماذا كان هذا الفرق هو أصل المشكلة.
  • قصة Channel File 291 من فبراير إلى يوليو، والحقل الحادي والعشرون الذي أوقف الأجهزة.
  • لماذا لم تكف 78 دقيقة لإيقاف الضرر، ولماذا كان الإصلاح جهازاً جهازاً.
  • أثر الحادثة كما ذكرته Microsoft وجلسة الكونغرس الأمريكي.
  • ما الذي غيرته CrowdStrike وMicrosoft بعدها، والدروس التي تطبقها في عملك.
💡
باختصار: في 19 يوليو 2024 الساعة 04:09 بتوقيت UTC أرسلت CrowdStrike تحديث محتوى لبرنامج Falcon على Windows. كان التحديث يطلب مقارنة الحقل رقم 21، بينما الكود في النواة يعطيه 20 حقلاً فقط، فقرأ من خارج حدود الذاكرة Out-of-bounds Read وتوقف النظام. سحبت الشركة التحديث بعد 78 دقيقة، ولكن قرابة 8.5 مليون جهاز بحسب تقدير Microsoft كانت قد تعطلت، وأغلبها احتاج إصلاحاً يدوياً من الوضع الآمن Safe Mode ومفتاح استعادة BitLocker. والدرس: ملفات الإعدادات تحتاج نشراً تدريجياً واختباراً مثل الكود تماماً.

ما هو Falcon، ولماذا يعمل في النواة؟

برنامج Falcon من CrowdStrike هو ما يسمى برنامج الكشف والاستجابة على الأجهزة Endpoint Detection and Response، واختصاراً EDR، وهو وكيل Agent يثبت على كل جهاز في الشركة، وتسميه CrowdStrike «المستشعر» Sensor. ووظيفته أن يراقب ما يحدث على الجهاز، مثل البرامج التي تبدأ والملفات التي تكتب وتحذف والاتصالات بين البرامج، ثم يكشف السلوك المشبوه ويمنعه. وقد شرحنا كيف يعمل هذا النوع من البرامج في مقال كيف يعمل وكيل EDR على الأجهزة.

ولكي يرى البرنامج كل ذلك ويمنع البرنامج الضار قبل أن يكتب ملفه على القرص، يعمل جزء منه داخل النواة Kernel كتعريف Driver، وهذا ليس شيئاً خاصاً بـ CrowdStrike، فتقرير الشركة يقول إن أغلب منتجات الحماية على Windows تعتمد على تعريفات في النواة. وتعريف CrowdStrike يحمل في مرحلة مبكرة من إقلاع الجهاز، والسبب أن بعض البرامج الضارة تبدأ قبل أن تبدأ برامج المستخدم، فيجب أن يكون الحارس موجوداً قبلها.

والمشكلة في النواة معروفة لكل من قرأ عن طريقة عمل أنظمة التشغيل: إذا أخطأ برنامج عادي في وضع المستخدم User Mode يتوقف هذا البرنامج وحده، أما إذا أخطأ كود في وضع النواة Kernel Mode فيتوقف النظام كله، لأنه لا يوجد شيء تحت النواة يستطيع أن يعزل الخطأ. وهذه هي الشاشة الزرقاء. وقد شرحنا الفرق بين الوضعين في فقرة وضع المستخدم ووضع النواة.

ولاحظ أن CrowdStrike تقول إن كل إصدار جديد من المستشعر يمر باختبارات Microsoft للتعريفات في برنامج WHQL، وإن هذه الاختبارات تشمل اختبارات الضغط والحقن بالأخطاء Fault Injection والاختبار بمدخلات عشوائية Fuzzing. وكل هذا كان صحيحاً في هذه الحادثة أيضاً، فالمشكلة لم تكن في إصدار جديد من المستشعر، وإنما في شيء لا يمر بهذه الاختبارات أصلاً.

نوعان من التحديثات

ترسل CrowdStrike إلى المستشعر نوعين من المحتوى، والفرق بينهما هو مفتاح القصة كلها. النوع الأول يسمى محتوى المستشعر Sensor Content، وهو جزء من إصدار المستشعر نفسه، أي كود مكتوب يمر بالاختبارات الآلية واليدوية ثم بنشر تدريجي: يستخدمه موظفو CrowdStrike على أجهزتهم أولاً Dogfooding، ثم العملاء الذين اختاروا أن يكونوا أول من يجرب Early Adopters، ثم يتاح للجميع. وفوق ذلك يستطيع العميل أن يختار لكل مجموعة من أجهزته هل تأخذ أحدث إصدار N، أو الإصدار الذي قبله N-1، أو الذي قبله N-2.

والنوع الثاني يسمى محتوى الاستجابة السريعة Rapid Response Content، وهو ليس كوداً وإنما ملف إعدادات بصيغة ثنائية خاصة بالشركة، فيه حقول وقيم ومرشحات تخبر المستشعر أي سلوك يراقب أو يكشف أو يمنع. والفكرة أن المهاجمين يغيرون أساليبهم بسرعة، فإذا اكتشف فريق CrowdStrike أسلوباً جديداً اليوم فهو يريد أن تبدأ كل الأجهزة بمراقبته اليوم، دون انتظار إصدار جديد من المستشعر. لذلك يصل هذا المحتوى إلى الأجهزة عبر ملفات تسمى Channel Files تكتب على قرص الجهاز، ولكل نوع منها رقم، ورقم الملف في قصتنا هو 291.

ويعمل هذا النظام بثلاثة أجزاء: في سحابة CrowdStrike يوجد نظام إعداد المحتوى Content Configuration System، وفيه أداة تتحقق من المحتوى قبل نشره تسمى Content Validator. وعلى الجهاز يوجد مفسر المحتوى Content Interpreter الذي يقرأ ملف القناة ويطبقه، ومحرك الكشف في المستشعر. والقوالب Template Types التي تحدد الحقول المتاحة جزء من كود المستشعر، أما النسخ الفعلية منها Template Instances فهي المحتوى الذي يرسل بسرعة. والصورة التالية تبين الطريقين:

مقارنة بين طريقين: محتوى المستشعر Sensor Content وهو كود يمر باختبارات آلية ويدوية ثم نشر تدريجي من موظفي الشركة إلى العملاء الأوائل إلى الجميع ويختار العميل N أو N-1 أو N-2، ومحتوى الاستجابة السريعة Rapid Response Content وهو ملف إعدادات يمر بأداة التحقق Content Validator ثم يصل إلى كل الأجهزة المتصلة عبر Channel Files دون أن يتحكم العميل في توقيته، وعلى الجهاز يقرؤه مفسر المحتوى داخل تعريف النواة
الطريقان كما وصفهما تقرير CrowdStrike الأولي: الكود يمر بالنشر التدريجي، والمحتوى السريع كان يصل إلى الجميع

والنقطة التي يجب أن تنتبه لها أن العميل كان يملك التحكم الكامل في إصدار المستشعر، أما المحتوى السريع فكان يصل إلى كل الأجهزة المتصلة دون أن يختار العميل توقيته، وهذا ما غيرته CrowdStrike بعد الحادثة كما سيأتي. وتصر الشركة في كل وثائقها على أن هذا المحتوى «ليس كوداً ولا تعريف نواة»، وهذا صحيح تقنياً، ولكن الحادثة تبين أن ملف إعدادات يقرؤه كود في النواة يستطيع أن يوقف الجهاز تماماً مثل الكود.

قصة Channel File 291

في 28 فبراير 2024 أصدرت CrowdStrike الإصدار 7.11 من المستشعر، ومعه قالب جديد اسمه IPC Template Type، والهدف منه كشف أساليب هجوم جديدة تستغل الأنابيب المسماة Named Pipes وغيرها من طرق التواصل بين البرامج في Windows Interprocess Communication. ومر هذا الإصدار بكل اختبارات كود المستشعر التي ذكرناها.

وفي 5 مارس 2024 أجرت الشركة اختبار ضغط Stress Test للقالب الجديد في بيئة الاختبار على أنظمة تشغيل وأنواع عمل متنوعة، فنجح، وفي نفس اليوم أرسلت أول نسخة فعلية من القالب إلى الإنتاج عبر Channel File 291. ثم أرسلت ثلاث نسخ أخرى بين 8 و24 أبريل، وعملت كلها بشكل طبيعي. أي أن الفريق كان يرى أمامه أربعة أشهر من النجاح، واختبار ضغط ناجحاً، وأداة تحقق يثق بها، وهذه بالضبط الأسباب التي ذكرها التقرير الأولي لقرار إرسال النسختين الجديدتين في 19 يوليو دون اختبار إضافي.

الحقل الحادي والعشرون

نشرت CrowdStrike تقرير تحليل السبب الجذري Root Cause Analysis في 6 أغسطس 2024، وفيه التفصيل الذي لم يكن في التقرير الأولي. فتعريف القالب IPC في ملف تعريفات القوالب كان يقول إن القالب يستقبل 21 حقلاً للمطابقة، ولكن كود المستشعر الذي يستدعي مفسر المحتوى كان يعطيه 20 قيمة فقط. أي أن هناك عدم تطابق بين ما يظن المحتوى أنه موجود وما يوجد فعلاً، وهذا الخطأ كان موجوداً منذ فبراير.

فلماذا لم يظهر طوال خمسة أشهر؟ والإجابة في كلمة واحدة: Wildcard. فكل النسخ التي أرسلت قبل يوليو، وكل حالات الاختبار، كانت تضع في الحقل رقم 21 معياراً يطابق أي قيمة، والمستشعر في هذه الحالة لا يحتاج أن يقرأ الحقل 21 أصلاً، فلم يحاول أحد أن يقرأ القيمة غير الموجودة. ويقول تقرير التحليل إن الاختبارات الآلية للقالب كانت 12 حالة اختبار ثابتة اختيرت يدوياً لتمثل الاستخدام المتوقع، وإن ملف القناة المستخدم فيها كان يضع Wildcard في الحقل 21 في كل النسخ.

وفي 19 يوليو أرسلت الشركة نسختين جديدتين، وإحداهما وضعت في الحقل 21 معياراً حقيقياً يقارن بقيمة معينة، لأول مرة منذ إنشاء القالب. وفحصت أداة التحقق النسخة الجديدة، ولكنها كانت تفترض أن القالب يستقبل 21 حقلاً، فرأت أن المحتوى سليم. ويسمي التقرير الأولي هذا خطأً برمجياً في أداة التحقق، ويسميه تقرير التحليل خطأً منطقياً. وعندما وصل الملف إلى الأجهزة، ومع أول حدث تواصل بين برنامجين يرسله Windows إلى المستشعر، حاول مفسر المحتوى أن يقرأ القيمة رقم 21 من مصفوفة فيها 20 قيمة، فقرأ من خارج حدود المصفوفة. وهذا استثناء Exception لم يستطع المستشعر أن يتعامل معه في النواة، فتوقف Windows بالشاشة الزرقاء.

مقارنة بين ما تظنه أداة التحقق وما يحدث على الجهاز: تعريف القالب يقول 21 حقلاً، وكود المستشعر يعطي مفسر المحتوى 20 قيمة فقط، والنسخ السابقة والاختبارات وضعت Wildcard في الحقل 21 فلم يقرأه أحد، ونسخة 19 يوليو وضعت معياراً حقيقياً في الحقل 21 فحاول المفسر قراءة القيمة رقم 21 من مصفوفة فيها 20 قيمة، فحدثت قراءة خارج الحدود Out-of-bounds Read داخل النواة وتوقف النظام
ثلاثة أخطاء صغيرة اجتمعت معاً بحسب تقرير التحليل: عدم تطابق 21 مع 20، وغياب فحص الحدود في المفسر، وعدم وجود اختبار بمعيار حقيقي في الحقل 21

ولاحظ كيف يلخص التقرير السبب: لم يكن خطأً واحداً، وإنما اجتماع ثلاثة أشياء. عدم التطابق بين 21 حقلاً في أداة التحقق و20 قيمة في المفسر، وقراءة خارج الحدود كانت كامنة في المفسر لأنه لا يفحص حجم المصفوفة، وغياب أي اختبار يضع معياراً حقيقياً في الحقل 21. ولو وجد واحد فقط من هذه الثلاثة لمرت الحادثة دون أن يسمع بها أحد. وأكدت الشركة، بمراجعة من طرف ثالث، أن هذا الخطأ لا يمكن أن يستغله مهاجم، لأنه قراءة من الذاكرة وليس كتابة فيها.

ويبقى سؤال: لماذا لم يكتف الجهاز بشاشة زرقاء واحدة ثم يعود؟ والسبب أن التعريف يحمل في بداية الإقلاع كما ذكرنا، والملف السيئ موجود على القرص، فكل إقلاع يقرؤه من جديد فيتوقف من جديد. لذلك وصفت Microsoft في صفحة الدعم أن الأجهزة المتأثرة تظهر الخطأ 0x50 أو 0x7E على الشاشة الزرقاء وتبقى في حالة إعادة تشغيل مستمرة.

78 دقيقة لم تكن كافية

أرسلت CrowdStrike التحديث في 19 يوليو الساعة 04:09 بتوقيت UTC، وهو مساء 18 يوليو في الولايات المتحدة، لذلك تجد Microsoft تكتب أن التحديث صدر في 18 يوليو. واكتشفت الشركة المشكلة وسحبت الملف السيئ الساعة 05:27، أي بعد 78 دقيقة. وبحسب التقرير الأولي فإن الأجهزة المتأثرة هي أجهزة Windows التي تعمل بالمستشعر 7.11 أو أحدث، وكانت متصلة بين 04:09 و05:27 واستلمت التحديث، أما الأجهزة التي اتصلت بعد ذلك أو لم تتصل في تلك الفترة فلم تتأثر، ولم تتأثر أجهزة Mac وLinux.

وهنا تظهر المشكلة الكبيرة: سحب الملف من السحابة يمنع الأجهزة الجديدة من استلامه، ولكنه لا يصل إلى جهاز يتوقف قبل أن يكمل الإقلاع. فالجهاز يحتاج أن يعمل ويتصل بالإنترنت ليستلم النسخة المصححة، ولكنه يتوقف في كل إقلاع قبل أن يصل إلى هذه المرحلة. وتقول Microsoft إن بعض العملاء نجحوا في استعادة أجهزتهم بإعادة التشغيل عدة مرات، لأن الجهاز أحياناً يتصل ويستلم التصحيح قبل أن يقرأ الملف السيئ، ولكن هذا لم يكن حلاً يعتمد عليه.

وهذا هو الفرق بين هذه الحادثة وأغلب حوادث النشر التي تعرفها: في تطبيق ويب، سحب التحديث يعني أن المشكلة انتهت خلال دقائق. أما هنا فالسحب أوقف انتشار المشكلة، ولكن كل جهاز تأثر في تلك الدقائق الثمانية والسبعين أصبح مشكلة منفصلة تحتاج إنساناً يقف أمامها.

الإصلاح جهازاً جهازاً

نشرت Microsoft في صفحة الدعم KB5042421 خطوات الإصلاح اليدوي لأجهزة Windows 10 و11، وفكرتها بسيطة: أن تقلع الجهاز بدون تشغيل تعريف CrowdStrike، ثم تحذف الملف السيئ. والخطوات باختصار كما يلي:

  1. من شاشة الدخول اضغط مع الاستمرار على Shift واختر إعادة التشغيل، فيقلع الجهاز إلى شاشة الخيارات Choose an option.
  2. من شاشة الخيارات ادخل إلى Troubleshoot ثم Advanced options ثم Startup Settings وفعل الوضع الآمن Safe Mode، وهو وضع يقلع فيه Windows بأقل عدد من التعريفات.
  3. إذا كان القرص مشفراً بـ BitLocker، وهو الوضع الافتراضي في كثير من أجهزة الشركات، فسوف يطلب منك الجهاز مفتاح الاستعادة Recovery Key قبل أن يكمل.
  4. بعد الدخول إلى الوضع الآمن افتح مجلد CrowdStrike داخل مجلد التعريفات في Windows، واحذف الملفات التي يبدأ اسمها بـ C-00000291 وتنتهي بـ .sys.
  5. أعد تشغيل الجهاز بشكل عادي.

وهذه خطوات يستطيع أي فني أن ينفذها في دقائق على جهاز واحد، ولكن تخيل شركة فيها عشرات الآلاف من الأجهزة في فروع مختلفة، وأغلب الموظفين لا يعرفون ما هو الوضع الآمن. والجزء الأصعب كان الخطوة الثالثة، فمفتاح BitLocker هو رقم طويل مخزن عادة في Active Directory أو في Microsoft Entra ID أو في نظام إدارة الأجهزة، وهذه الأنظمة نفسها قد تعمل على سيرفرات Windows متأثرة بنفس المشكلة. لذلك نشرت Microsoft في صفحة الدعم طريقة للحصول على المفتاح من الهاتف عبر بوابة الحساب، ونشرت CrowdStrike على صفحتها أدلة لاستعادة مفاتيح BitLocker من أنظمة إدارة مختلفة، ومنها دليل لحالة عدم وجود المفاتيح أصلاً.

خطوات الإصلاح اليدوي: جهاز في دائرة إعادة تشغيل مستمرة مع الخطأ 0x50 أو 0x7E، ثم الدخول إلى بيئة الاستعادة Windows Recovery Environment، ثم تفعيل الوضع الآمن Safe Mode، ثم إدخال مفتاح استعادة BitLocker إذا كان القرص مشفراً، ثم حذف ملفات C-00000291*.sys من مجلد CrowdStrike، ثم إعادة التشغيل، وتحتها ما جعل الأمر صعباً: مفاتيح BitLocker مخزنة في أنظمة قد تكون متوقفة أيضاً، والإصلاح يحتاج شخصاً أمام كل جهاز، وأجهزة السحابة لا يمكن الوقوف أمامها
الإصلاح اليدوي كما في صفحة Microsoft رقم KB5042421، والأجزاء التي جعلته بطيئاً في الشركات الكبيرة

وكانت هناك مشكلة أخرى في السيرفرات الافتراضية في السحابة، فلا يوجد أحد يقف أمامها ويضغط Shift، لذلك نشرت CrowdStrike أدلة خاصة لكل مزود سحابة، ومنها أن تفصل قرص النظام من السيرفر المتعطل بعد أخذ Snapshot منه، وتربطه بسيرفر سليم لتحذف الملف، ثم تعيده، أو أن تعود إلى Snapshot أخذ قبل 04:09 من يوم الحادثة. وفي 20 يوليو كتبت Microsoft في مدونتها الرسمية أنها أرسلت مئات من مهندسيها للعمل مع العملاء مباشرة، وأنها تتعاون مع Google Cloud وAWS، ثم أصدرت أداة على ذاكرة USB تؤتمت خطوات الإصلاح.

وفي 22 يوليو أطلقت CrowdStrike طرقاً آلية لتسريع الإصلاح، وفي 29 يوليو قالت إن قرابة 99% من مستشعرات Windows عادت للاتصال مقارنة بما قبل التحديث، مع ملاحظة أن الفرق الطبيعي بين أسبوع وآخر في عدد المستشعرات المتصلة حوالي 1%. أي أن العودة إلى الوضع الطبيعي تقريباً أخذت قرابة عشرة أيام، لحادثة بدأت بملف عاش على الأجهزة 78 دقيقة.

أثر الحادثة

قدرت Microsoft في 20 يوليو أن التحديث أثر على 8.5 مليون جهاز Windows، وقالت إن هذا أقل من 1% من كل أجهزة Windows في العالم، وإن الأثر الاقتصادي والاجتماعي الكبير يعود إلى أن الشركات التي تستخدم CrowdStrike تشغل خدمات حساسة كثيرة. وهذه نقطة مهمة: الضرر لم يأت من عدد الأجهزة، وإنما من نوعها ومن مكانها، فجهاز واحد متوقف في مكتب تسجيل الرحلات أو في غرفة الطوارئ يؤثر على مئات الناس.

وفي 24 سبتمبر 2024 عقدت لجنة الأمن الداخلي في مجلس النواب الأمريكي جلسة عن الحادثة، وحضرها من CrowdStrike نائب الرئيس الأول Adam Meyers. وفي كلماتهم الافتتاحية لخص أعضاء اللجنة الأثر: مستشفيات تعطلت أنظمتها الطبية وألغيت فيها عمليات جراحية، وآلاف الرحلات أوقفت أو ألغيت حول العالم، وبنوك تعطلت فيها معالجة العمليات، وأنظمة اتصال بالطوارئ 911 تأثرت، ومتاجر أغلقت. ونقل أحد الأعضاء تقدير شركة تأمين بأن قرابة 25% من أكبر 500 شركة أمريكية تأثرت، وأن الخسائر بلغت 5.4 مليار دولار، وهو تقدير لتلك الشركة وليس رقماً رسمياً.

ولاحظ أيضاً أثراً جانبياً حذر منه رئيس CrowdStrike التنفيذي George Kurtz في بيانه يوم الحادثة: المهاجمون يحاولون استغلال مثل هذه الأحداث، لذلك طلب من العملاء أن يتعاملوا فقط مع ممثلي الشركة الرسميين، وناقشت جلسة الكونغرس لاحقاً محاولات التصيد Phishing التي استغلت الحادثة. وإذا كنت مسؤولاً عن فريق دعم فهذا جزء يجب أن يكون في خطة الحادثة: رسالة واضحة للموظفين تقول من أين يأتي الإصلاح، ولا تثق بأي ملف يأتي من غير هذا المصدر.

ماذا تغير بعد الحادثة؟

ذكرت CrowdStrike في تقرير التحليل ست نتائج، ولكل نتيجة إجراء، والجدول التالي يلخصها:

ما وجده التقريرما فعلته CrowdStrike
عدد الحقول في القالب لم يتحقق منه عند بناء المستشعرفحص في أداة بناء المحتوى يتأكد أن عدد المدخلات مطابق، وتصحيح القالب ليعطي 21 قيمة
لا يوجد فحص للحدود في مفسر المحتوىإضافة فحص الحدود Bounds Checking في 25 يوليو، وفحص أن حجم المصفوفة يطابق ما يتوقعه المحتوى
الاختبارات لم تغط معايير حقيقية في كل حقلاختبارات آلية بمعيار حقيقي لكل حقل في كل القوالب الحالية والقادمة
خطأ منطقي في أداة التحققفحوص جديدة تمنع محتوى يطابق حقولاً أكثر مما يعطى للمفسر
النسخ الجديدة لا تختبر داخل المفسراختبار كل نسخة جديدة من القالب قبل الإنتاج، وليس النسخة الأولى فقط
المحتوى يصل إلى الجميع دفعة واحدةنشر على حلقات Deployment Rings يبدأ بنشر الكناري Canary، مع وقت مراقبة بين كل حلقة، وتحكم للعميل في متى وأين يصل المحتوى

وأضافت الشركة مراجعة من شركتين مستقلتين لكود المستشعر ولعملية الجودة من التطوير إلى النشر. والملاحظ أن أغلب هذه الإجراءات ليست تقنيات جديدة، وإنما ممارسات معروفة في نشر الكود منذ سنوات، طبقت هذه المرة على المحتوى الذي كان يعامل كأنه شيء أقل خطراً.

أما Microsoft فأعلنت في نوفمبر 2024 مبادرة مرونة Windows، وفيها شيئان مرتبطان مباشرة بالحادثة. الأول ميزة اسمها Quick Machine Recovery تسمح لمديري الأنظمة بإرسال إصلاح محدد عبر Windows Update إلى أجهزة لا تستطيع الإقلاع، دون أن يقف أحد أمامها. والثاني أنها تطور قدرات تسمح لمنتجات الحماية بأن تعمل خارج وضع النواة، أي في وضع المستخدم مثل التطبيقات العادية، حتى يكون أثر أي خطأ فيها أقل على Windows، وقالت إن معاينة خاصة لشركاء الحماية سوف تتاح في يوليو 2025. ولاحظ أن تقرير CrowdStrike نفسه يقول إن منتج حماية قوي لا يعتمد على النواة في بعض وظائفه ما زال يحتاج عملاً كبيراً في نظام Windows، لذلك هذا تغيير يأخذ سنوات وليس قراراً يحدث في يوم.

والصورة التالية تبين القصة كاملة من فبراير إلى أغسطس 2024:

خط زمني لعام 2024: 28 فبراير إصدار المستشعر 7.11 مع قالب IPC الجديد، 5 مارس اختبار ضغط ناجح وأول نسخة عبر Channel File 291، من 8 إلى 24 أبريل ثلاث نسخ أخرى تعمل بشكل طبيعي، 19 يوليو 04:09 بتوقيت UTC نسختان جديدتين إحداهما بمعيار حقيقي في الحقل 21، 05:27 سحب الملف بعد 78 دقيقة، 20 يوليو تقدير Microsoft 8.5 مليون جهاز، 22 يوليو طرق إصلاح آلية، 25 يوليو إضافة فحص الحدود، 29 يوليو قرابة 99% من المستشعرات متصلة، 6 أغسطس تقرير تحليل السبب الجذري
خمسة أشهر بين القالب الجديد والحادثة، وعشرة أيام تقريباً للإصلاح، بحسب تقارير CrowdStrike وMicrosoft

ماذا تتعلم من القصة لعملك؟

أغلب القراء لا يكتبون تعريفات نواة، ولكن كل فريق تقريباً عنده «محتوى» يرسله إلى الإنتاج خارج مسار الكود: ملفات إعدادات، ومفاتيح ميزات Feature Flags، وقواعد كشف، وقوائم أسعار، ونماذج تعلم آلة. والسؤال الذي تطرحه هذه الحادثة هو: هل يمر هذا المحتوى بنفس الحذر الذي يمر به الكود؟

ملف الإعدادات الذي يغير السلوك هو كود

لا يهم أن الملف «بيانات فقط» إذا كان البرنامج الذي يقرؤه يتصرف بشكل مختلف بحسب محتواه. لذلك ضع ملفات الإعدادات المهمة في نفس مسار المراجعة والاختبار والنشر التدريجي الذي يمر به الكود، وقد شرحنا فكرة الفصل بين النشر والإطلاق والنشر التدريجي في فقرة الإطلاق التدريجي Gradual Rollout. والقاعدة البسيطة: كل تغيير يصل إلى كل المستخدمين في نفس اللحظة هو رهان، مهما كان صغيراً.

ابدأ بالقليل وانتظر

لو وصل الملف إلى 1% من الأجهزة أولاً، وانتظرت الشركة ساعة تراقب فيها عدد الأجهزة التي تتوقف عن إرسال الإشارات، لكانت الحادثة مشكلة لعدد صغير من العملاء بدل ملايين الأجهزة. وهذا بالضبط ما أضافته CrowdStrike: حلقات نشر تبدأ بالكناري، ووقت مراقبة بين كل حلقة. وإذا كنت تطلق ميزة لعملائك فقد شرحنا طريقة تقسيم الإطلاق ومعايير التراجع في فقرة الإطلاق التدريجي Staged Rollout، وقصة الحادثة من زاوية النشر في مقال طرق نشر التطبيقات من FTP إلى GitOps.

اختبر بما يشبه الإنتاج، وليس بما تتوقعه

12 حالة اختبار، كلها تضع Wildcard في الحقل 21. هذا ليس إهمالاً، فمن كتب الاختبارات وضع ما رآه منطقياً في ذلك الوقت، ولكن النتيجة أن الاختبارات لم تلمس الحقل أبداً. لذلك اسأل عن كل حقل في الإعدادات: هل يوجد اختبار يعطيه قيمة حقيقية؟ وإذا كان البرنامج يقرأ مدخلات من مصدر خارجي فالاختبار بمدخلات عشوائية Fuzzing يكتشف هذا النوع من الأخطاء أسرع من أي حالة يكتبها إنسان، وهذا ما بدأت به CrowdStrike بعد الحادثة.

لا تثق في أن الطرف الآخر تحقق

أداة التحقق في السحابة كانت تثق بتعريف القالب، والمفسر على الجهاز كان يثق بأداة التحقق، فلم يفحص أحد منهما حجم المصفوفة. والقاعدة القديمة في البرمجة أن الكود الذي يقرأ المدخلات يتحقق منها بنفسه، خصوصاً إذا كان خطؤه يوقف النظام كله، فإذا كان المحتوى غير صالح فالأفضل أن يتجاهله البرنامج ويسجل خطأً، وليس أن يتوقف.

اعرف ما يعمل في النواة على أجهزتك

إذا كنت تشتري منتجات حماية أو مراقبة لشركتك فاسأل المورد أسئلة لم يكن أحد يسألها قبل 2024: ما الذي يعمل في النواة؟ وكيف تنشرون تحديثات المحتوى وليس فقط تحديثات البرنامج؟ وهل أستطيع أن أختار أن تصل التحديثات إلى مجموعة اختبار من أجهزتي قبل الباقي؟ وما خطتكم إذا توقفت أجهزتي عن الإقلاع؟ ولاحظ أن اختيار N-1 أو N-2 في سياسة تحديث المستشعر لم يكن يشمل المحتوى السريع، فهو بحسب التقرير الأولي يتحكم في إصدار المستشعر فقط، لذلك اسأل عن كل نوع من التحديثات على حدة.

خطة استعادة لا تعتمد على ما تعطل

مفاتيح BitLocker المخزنة في نظام يعمل على Windows لا تفيدك إذا توقفت كل أجهزة Windows، تماماً كما رأينا في حريق OVHcloud حيث احترقت النسخ مع البيانات. لذلك تأكد أن مفاتيح الاستعادة يمكن الوصول إليها من مكان مستقل، وأن لديك قائمة بالأجهزة الحرجة وترتيب إصلاحها، وأن فريق الدعم تدرب ولو مرة على إقلاع جهاز في الوضع الآمن بمفتاح BitLocker. وقد شرحنا كيف تكتب خطة تعافي في صفحة واحدة في فقرة خطة التعافي في صفحة واحدة.

والجدول التالي يحول هذه الدروس إلى أسئلة لفريقك:

السؤالإجابة جيدة
ما الأشياء التي نرسلها إلى الإنتاج خارج مسار الكود؟قائمة مكتوبة: إعدادات، Flags، قواعد، نماذج
هل يصل أي منها إلى كل المستخدمين دفعة واحدة؟لا، كلها تبدأ بنسبة صغيرة مع وقت مراقبة
هل نعرف خلال دقائق أن تحديثاً أوقف عدداً من الأجهزة أو المستخدمين؟مقياس لعدد الأجهزة المتصلة مع تنبيه عند الانخفاض
هل يتحقق البرنامج من المدخلات حتى لو تحققت منها أداة أخرى؟نعم، ويتجاهل المحتوى غير الصالح بدل أن يتوقف
هل نستطيع التحكم في توقيت تحديثات المورد الأمني؟مجموعة اختبار من أجهزتنا تستلم أولاً
أين مفاتيح BitLocker إذا توقفت كل أجهزة Windows؟في مكان يمكن الوصول إليه من خارج هذه الأجهزة
كم جهازاً يستطيع فريق الدعم إصلاحه يدوياً في الساعة؟رقم مقاس، وترتيب للأجهزة الحرجة أولاً

الخلاصة

وصلنا لنهاية القصة، وأهم ما فيها:

  • في 19 يوليو 2024 الساعة 04:09 بتوقيت UTC أرسلت CrowdStrike تحديث محتوى سريع عبر Channel File 291 لمستشعر Falcon على Windows، وسحبته بعد 78 دقيقة.
  • القالب IPC كان معرفاً بـ 21 حقلاً، والمستشعر يعطي المفسر 20 قيمة، والاختبارات والنسخ السابقة وضعت Wildcard في الحقل 21، فلم يظهر الخطأ حتى وضعت نسخة يوليو معياراً حقيقياً فيه.
  • أداة التحقق فحصت المحتوى على افتراض 21 حقلاً، والمفسر لم يفحص الحدود، فحدثت قراءة خارج الذاكرة في النواة وتوقف Windows في كل إقلاع.
  • قدرت Microsoft الأجهزة المتأثرة بـ 8.5 مليون جهاز، وكان الإصلاح يدوياً من الوضع الآمن مع مفتاح BitLocker في أغلب الحالات، ووصلت الأجهزة المتصلة إلى قرابة 99% في 29 يوليو.
  • أضافت CrowdStrike فحص الحدود واختبارات لكل حقل والنشر على حلقات وتحكم العميل في التوقيت، وأعلنت Microsoft عن Quick Machine Recovery وعن تشغيل منتجات الحماية خارج النواة.

وإذا أردت أن تكمل من هنا، فهذه المقالات تشرح النشر التدريجي وما يعمل داخل Windows، وبقية كوارث هذه المرحلة:

دليلكيف تقرأ تقرير ما بعد الحادثة Postmortemطريقة عملية لقراءة تقارير الحوادث العامة من AWS وGitLab وCloudflare وتحويل كل درس فيها إلى إجراء ودليل تشغيل في نظامك.دليلFeature Flags: انشر الكود وفعل الميزة لاحقاًكيف يفصل ال Feature Flag بين نشر الكود وإطلاق الميزة، وكيف تطلقها لجزء من المستخدمين أولاً وتوقفها فوراً إذا تعطلت.دليلإطلاق الميزة Feature Launch: خطة الأسبوع الأولكيف تجهز ميزة للإطلاق وتفتحها للمستخدمين على مراحل، وتعرف من الأرقام متى تكمل ومتى تتراجع في أيامها السبعة الأولى.دليلكيف يعمل وكيل EDR؟ من eBPF إلى قواعد الكشفكيف يرى وكيل EDR ما يجري داخل كل جهاز، ولماذا سائق النواة خطر، مع تشغيل Falco يكشف فعلاً مشبوهاً.دليلكيف يعمل Windows من الداخل؟ وضع المستخدم والنواة والخدماتما الذي يعمل تحت سطح مكتب Windows: طبقاته من البرنامج إلى العتاد، ولماذا يغلق البرنامج وحده بينما يوقف التعريف الجهاز كله، ومن يشغل من عند الإقلاع، مع مختبر PowerShell على Windows 11.دليلالتعافي من الكوارث Disaster Recovery: موقع ثان أم نسخة تكفي؟أحرقنا موقعاً كاملاً أثناء البيع، واستعدنا المتجر في موقع ثان مرة من نسخة جاهزة ومرة من النسخة الاحتياطية، وقسنا زمن العودة وكم طلباً ضاع، ثم حذفنا جدولاً لنرى ما لا يحميك منه الموقع الثاني.دليلانقطاع Facebook سنة 2021: أمر صيانة أخفى الشبكة عن الإنترنتكيف أغلق أمر صيانة واحد شبكة Facebook الأساسية، ولماذا سحبت سيرفرات DNS عناوينها من الإنترنت وهي تعمل، وما الذي تتعلمه لشبكتك وأدوات الطوارئ عندك.دليلحادثة GitLab سنة 2017: حذف قاعدة البيانات وخمس نسخ لا تعملكيف حذف مهندس في GitLab بيانات قاعدة الإنتاج بالخطأ، ولماذا لم تنقذهم خمس طرق للنسخ الاحتياطي، وما الذي تختبره في نسخك اليوم.

المصادر: صفحة CrowdStrike للحادثة وفيها التقرير الأولي PIR وتقرير تحليل السبب الجذري، ومدونة Microsoft وصفحة الدعم KB5042421 وإعلان مبادرة مرونة Windows، ونص جلسة الكونغرس.

سجل التحديثات

  • 2026-11-16: كتابة القصة اعتماداً على التقرير الأولي وتقرير تحليل السبب الجذري من CrowdStrike، ومدونة Microsoft وصفحة الدعم KB5042421 وإعلان مبادرة مرونة Windows، ونص جلسة لجنة الأمن الداخلي في مجلس النواب الأمريكي، مع رسوم توضيحية من عملنا.
نشرة عرب رووت | ArabRoot

معرفة تستحق مكاناً في بريدك.

مقالات مختارة وأدوات مفيدة وأفكار لمشروعك القادم، في رسالة واحدة كل أسبوع.

يمكنك إلغاء الاشتراك متى شئت. الخصوصية

تم استلام طلبك. افتح بريدك واضغط رابط التأكيد لإتمام الاشتراك.