هندسة الفوضى Chaos Engineering: اختبر التعطل قبل أن يحدث
نجري ثلاث تجارب أعطال حقيقية على متجر بنسختين، فنكتشف أن نسختين لا تكفيان مع إعدادات افتراضية، وأن إصلاحاً واحداً قد يسبب عطلاً آخر.
كل مقالات عرب رووت من الأحدث إلى الأقدم، واختر موضوعاً لتعرض مقالاته فقط.
نجري ثلاث تجارب أعطال حقيقية على متجر بنسختين، فنكتشف أن نسختين لا تكفيان مع إعدادات افتراضية، وأن إصلاحاً واحداً قد يسبب عطلاً آخر.
سكربتان حقيقيان بـ Python النظام يحذفان النسخ القديمة ويفحصان الشهادات بأمان، ويعملان كل ليلة من systemd، مع مشكلتين ظهرتا هناك وتجربة shell=True.
أحرقنا موقعاً كاملاً أثناء البيع، واستعدنا المتجر في موقع ثان مرة من نسخة جاهزة ومرة من النسخة الاحتياطية، وقسنا زمن العودة وكم طلباً ضاع، ثم حذفنا جدولاً لنرى ما لا يحميك منه الموقع الثاني.
نشغل الأداتين معاً ثم نخالف التقسيم عمداً من الجهتين، فنرى ما يحدث عندما ينشئ Ansible السيرفرات أو يضبطها OpenTofu، وأين الفجوة حتى عند التقسيم الصحيح.
نقيس سعة متجر حقيقي باختبار ضغط، فنرى لماذا لم يضاعف المعالج الثاني السعة، ونحسب بالأشهر متى تنفد قبل أن تأتي الحملة.
نفذنا يوم أعطال على متجر كامل من 17 Container بفرضيات مكتوبة مسبقاً، فكذبت اثنتان منها وظهرت نقطة فشل واحدة لم يرها أحد، ثم تحققنا من الإصلاحات بإعادة التجارب.
مكان واحد يعمل منه Ansible بمفاتيح مشفرة وسجل لكل تشغيل، مع ما يستطيعه مطور بصلاحية محدودة وما لا يستطيعه، وما يحدث إذا ضاع مفتاح التشفير.
قتلنا الرئيسي وعزلناه عن الشبكة في Valkey مع ثلاث Sentinels، وعددنا كل سلة أكدها الخادم ثم اختفت، لترى متى يضيع ما كتبته وكيف تحدد سقف الخسارة.
دور Ansible يقوي إعداد SSH مع جدار الحماية وإعدادات النواة على كل السيرفرات بالطريقة نفسها، ويتحقق من النتيجة الفعلية، مع قياس Lynis قبل وبعد وتجربة أغلق فيها Ansible الباب على نفسه.
حالة حقيقية من هذا الموقع: كيف نزلت صفحات Ghost من ثوان إلى أجزاء من الثانية، وما الذي تعطل في كل طبقة: المتصفح، الـ CDN، السيرفر، قاعدة البيانات.
بنينا عنقود MariaDB Galera من ثلاث عقد، وقسنا القراءة بعد الكتابة والتعارض على الصنف نفسه، ثم عزلنا العقد وقطعنا الكهرباء عنها لنرى من يستمر ومتى تحتاج تدخلاً يدوياً.
نبني Image حقيقية من Debian 13 بجهاز افتراضي يعمل بـ QEMU، ونقلع منها سيرفرين جاهزين في ثوان، ونرى ما الذي يحدث إذا لم ننظفها قبل الحفظ.