Linux من الصفر إلى السيرفر الأدلة التقنية

كيف يقلع Linux؟ مراحل الإقلاع Boot وإنقاذ السيرفر

نشغل سيرفر Debian حقيقياً تحت QEMU مع UEFI ونتابع إقلاعه من البرنامج الثابت إلى GRUB وinitramfs وsystemd، ثم نعطله ثلاث مرات ونصلحه من شاشة الـ Console.

كيف يقلع Linux؟ مراحل الإقلاع Boot وإنقاذ السيرفر

تكتب sudo reboot على السيرفر بعد تحديث النواة أو بعد إضافة قرص جديد، وتنتظر دقيقة ثم تحاول الدخول بالأمر ssh فلا يرد، ثم تنتظر خمس دقائق أخرى ولا يرد، وعندما تفتح شاشة الـ Console من لوحة مزود الاستضافة تجد سطوراً لم ترها من قبل: «You are in emergency mode»، أو كلمة (initramfs) وحدها ومؤشر يومض، أو grub> على شاشة سوداء. وفي هذه اللحظة لا يفيدك أي شيء تعرفه عن الخدمات والتطبيقات، لأن السيرفر لم يصل إليها أصلاً، والسؤال الوحيد الذي يهم هو: في أي مرحلة توقف الإقلاع Boot، وماذا تحتاج هذه المرحلة حتى تكمل؟

والإقلاع ليس خطوة واحدة كما يبدو من الخارج، وإنما سلسلة من البرامج يحمل كل منها التالي ثم يختفي: البرنامج الثابت Firmware، ثم محمل الإقلاع Boot Loader وهو GRUB على أغلب السيرفرات، ثم النواة Kernel مع قرص مؤقت في الذاكرة اسمه initramfs، ثم systemd كالعملية رقم 1، ثم الخدمات وسطر الدخول. وكل رسالة غريبة على الشاشة تخبرك بالضبط أين توقفت السلسلة، إذا عرفت ما تفعله كل حلقة. ولذلك سوف نشغل في هذا الدليل سيرفراً حقيقياً من صورة Debian 13 السحابية داخل QEMU مع UEFI وSecure Boot، ونتابع إقلاعه سطراً سطراً من شاشة المنفذ التسلسلي Serial Console، ثم نعطله ثلاث مرات بأخطاء يقع فيها مديرو الأنظمة فعلاً، ونصلحه كل مرة من الشاشة نفسها.

وسوف نناقش في هذا المقال ما يلي:

  • تجهيز المختبر: صورة Debian السحابية تقلع داخل QEMU مع البرنامج الثابت OVMF وSecure Boot، ونتحكم بها من المنفذ التسلسلي.
  • المراحل الست للإقلاع، وما يطبعه كل منها على الشاشة.
  • البرنامج الثابت: الفرق بين BIOS وUEFI، وقسم ESP، وقائمة الإقلاع في NVRAM، وSecure Boot وshim باختصار.
  • GRUB: من أين يأتي الملف grub.cfg، ولماذا لم تظهر القائمة أصلاً، وكيف تعدل مدخل الإقلاع لمرة واحدة.
  • سطر أوامر النواة Kernel Command Line، ومن يقرأ كل خيار فيه.
  • النواة والقرص المؤقت initramfs: ماذا يفعل، ومتى تعيد بناءه.
  • systemd كالعملية رقم 1، والأهداف Targets، ووضع الإنقاذ Rescue ووضع الطوارئ Emergency.
  • قياس الإقلاع مع systemd-analyze بالأوامر blame وcritical-chain وplot.
  • ثلاثة أعطال حقيقية وإصلاحها: سطر fstab خاطئ، وقيمة root= خاطئة، وملف grub.cfg معطوب ثم مفقود، ومعها باسورد root المقفل.
  • جدول قرار، وأخطاء شائعة، وقائمة تحقق قبل أي إعادة تشغيل.

وهذا المقال يكمل ما سبقه في المسار، فإدارة الخدمات وكتابة ملفات الوحدات شرحناها في دليل الخدمات والسجلات مع systemd، والملف fstab حقلاً حقلاً مع الخيار nofail في دليل الأقراص وأنظمة الملفات، ولن نكرر شيئاً منهما هنا، وإنما نأخذ منهما ما يخص الإقلاع فقط.

تجهيز المختبر: سيرفر حقيقي يقلع داخل QEMU

الـ Container لا يقلع، فهو يشارك نواة الجهاز ويبدأ مباشرة من العملية رقم 1 دون برنامج ثابت ولا محمل إقلاع ولا initramfs، ولذلك كل ما في هذا المقال يحتاج آلة افتراضية Virtual Machine كاملة. والأداة هنا QEMU، وهو نفس المحاكي الذي يعمل تحت KVM في أغلب مزودي السحابة، ومعه البرنامج الثابت OVMF وهو نسخة UEFI مفتوحة المصدر للآلات الافتراضية. ولكي يبقى المختبر نظيفاً وضعنا الأدوات داخل Container من Debian 13 يعمل بالخيار --privileged حتى يصل إلى /dev/kvm، فتعمل الآلة الافتراضية بتسريع العتاد KVM:

FROM debian:trixie-slim
RUN apt-get update && apt-get install -y --no-install-recommends qemu-system-x86 qemu-utils ovmf genisoimage python3-pexpect ca-certificates curl xz-utils && rm -rf /var/lib/apt/lists/*
WORKDIR /lab
docker build -t lnxg-qemu:1 .
docker volume create lnxg-vm
docker run -d --name lnxg-lab --privileged -v lnxg-vm:/vm -v "$PWD:/g" lnxg-qemu:1 sleep infinity
docker exec lnxg-lab sh -c 'cd /vm && curl -sSL -o debian-13-genericcloud-amd64.qcow2 https://cloud.debian.org/images/cloud/trixie/latest/debian-13-genericcloud-amd64.qcow2 && qemu-img info debian-13-genericcloud-amd64.qcow2'

والصورة هي صورة Debian الرسمية للسحابة من cloud.debian.org، بنفس النواة وGRUB وshim التي تجدها على سيرفر حقيقي عند المزود، وحجمها كما يلي:

image: debian-13-genericcloud-amd64.qcow2
file format: qcow2
virtual size: 3 GiB (3221225472 bytes)
disk size: 326 MiB

ولا نعدل هذه الصورة نفسها، وإنما ننشئ فوقها قرصاً من نوع Overlay يكتب فيه كل تغيير، فإذا أفسدنا شيئاً بدأنا من جديد بأمر واحد، وهذه نفس فكرة الـ Snapshot التي ننصح بها قبل أي تعديل على الإقلاع في سيرفر حقيقي. والصورة السحابية لا تحمل أي مستخدم أو باسورد، فهي تنتظر من يعطيها الإعدادات عبر cloud-init عند أول إقلاع، ولذلك صنعنا قرصاً صغيراً باسم cidata فيه ملف user-data يضيف المستخدم admin ويعطي root باسورداً للمختبر فقط:

cd /vm
genisoimage -quiet -output seed.iso -volid cidata -joliet -rock /g/seed/user-data /g/seed/meta-data
cp /usr/share/OVMF/OVMF_VARS_4M.ms.fd vars.fd
qemu-img create -f qcow2 -F qcow2 -b debian-13-genericcloud-amd64.qcow2 lab.qcow2

والملف OVMF_VARS_4M.ms.fd هو مخزن متغيرات UEFI وفيه مفاتيح Microsoft مسجلة مسبقاً، وهو ما يجعل Secure Boot مفعلة كما في أغلب الأجهزة الحقيقية. وبعد ذلك نشغل الآلة الافتراضية بهذا الأمر:

qemu-system-x86_64 -machine q35,smm=on -accel kvm -cpu host -m 1024 -smp 2 \
  -global driver=cfi.pflash01,property=secure,value=on \
  -drive if=pflash,format=raw,unit=0,readonly=on,file=/usr/share/OVMF/OVMF_CODE_4M.secboot.fd \
  -drive if=pflash,format=raw,unit=1,file=/vm/vars.fd \
  -drive if=virtio,format=qcow2,file=/vm/lab.qcow2 \
  -drive if=virtio,format=raw,readonly=on,file=/vm/seed.iso \
  -nic user,model=virtio-net-pci -nographic

في الأمر أعلاه لاحظ التالي:

  • الخيار -nographic يلغي الشاشة الرسومية ويربط المنفذ التسلسلي للآلة بالطرفية، فنرى كل ما يطبعه البرنامج الثابت وGRUB والنواة وsystemd كنص عادي، وهذا بالضبط ما تراه في شاشة الـ Serial Console عند أي مزود سحابة.
  • القرص if=virtio يظهر داخل النظام باسم /dev/vda لا /dev/sda، وهذا تفصيل سوف يعطل السيرفر لاحقاً في المقال.
  • الخيار smm=on مع secure,value=on شرط لنسخة OVMF التي تدعم Secure Boot، فبدونهما ترفض النسخة secboot أن تعمل.

وحتى نكتب الأوامر ونقرأ المخرج كما يفعل شخص أمام الشاشة، كتبنا سكربت Python صغيراً بالمكتبة pexpect يرسل الأحرف إلى المنفذ التسلسلي ويحفظ كل بايت يخرج منه، وكل المخرجات في هذا المقال من هذه السجلات كما هي، والسكربتات والسجلات الكاملة في مجلد المختبر lab/.

الصورة الكاملة: ست مراحل من التشغيل إلى سطر الدخول

قبل الدخول في كل مرحلة لننظر إلى الصورة كاملة، فكل مرحلة لها مهمة واحدة، وعندما تنتهي منها تسلم الدور للتالية وتخرج من الذاكرة، ولكل مرحلة شكل خاص على الشاشة إذا توقفت عندها:

ست مراحل من اليمين إلى اليسار: البرنامج الثابت UEFI ثم GRUB ثم النواة ثم initramfs ثم systemd ثم الدخول، وتحت كل مرحلة ما تراه إذا توقف الإقلاع عندها: No bootable device ثم grub> ثم Kernel panic ثم (initramfs) ثم emergency mode ثم Login incorrect
رسالة التوقف على الشاشة تخبرك بالمرحلة، والمرحلة تخبرك أين تبحث

وهذه هي المراحل نفسها في أول إقلاع للمختبر، من أول سطر طبعه البرنامج الثابت:

BdsDxe: loading Boot0001 "UEFI Misc Device" from PciRoot(0x0)/Pci(0x3,0x0)
BdsDxe: starting Boot0001 "UEFI Misc Device" from PciRoot(0x0)/Pci(0x3,0x0)
error: prohibited by secure boot policy.
  Booting `Debian GNU/Linux'

Loading Linux 6.12.116+deb13-cloud-amd64 ...
Loading initial ramdisk ...
EFI stub: Loaded initrd from LINUX_EFI_INITRD_MEDIA_GUID device path
EFI stub: UEFI Secure Boot is enabled.
[    0.000000] Linux version 6.12.116+deb13-cloud-amd64 ([email protected]) ...
[    0.000000] Command line: BOOT_IMAGE=/boot/vmlinuz-6.12.116+deb13-cloud-amd64 root=PARTUUID=e39abd19-ba7c-4edb-a5d2-a5bd25c29758 ro console=tty0 console=ttyS0,115200 earlyprintk=ttyS0,115200 consoleblank=0
...
[    2.264485] Trying to unpack rootfs image as initramfs...
...
[    3.009533] Run /init as init process
...
Welcome to Debian GNU/Linux 13 (trixie)!
...
lab-vm login:

في المخرج أعلاه لاحظ التالي:

  • السطران BdsDxe من البرنامج الثابت OVMF، وهو يقول إنه اختار مدخل الإقلاع Boot0001 وهو القرص الأول على ناقل PCI، وبعدها يختفي البرنامج الثابت من الصورة تقريباً.
  • السطر error: prohibited by secure boot policy. من GRUB، وهو خطأ حقيقي يظهر في كل إقلاع لهذه الصورة، وسوف نعرف سببه بالضبط عندما نصل إلى سطر أوامر GRUB، ولا يمنع الإقلاع.
  • Booting `Debian GNU/Linux' يعني أن GRUB اختار المدخل الأول من القائمة دون أن يعرضها، ثم حمل ملفين: النواة vmlinuz والقرص المؤقت initrd.img.
  • سطور EFI stub من النواة نفسها قبل أن تبدأ، فالنواة على UEFI تعمل كبرنامج EFI، وهي تؤكد هنا أن Secure Boot مفعلة.
  • بعد ذلك تبدأ النواة بالعد من الصفر، وأول ما تطبعه هو سطر أوامرها Command line، ثم تفك initramfs وتشغل منه /init بعد ثلاث ثوان، ثم يظهر systemd بالرسالة Welcome to Debian، وأخيراً سطر الدخول.

والسطر الذي يجمع المدة كلها يأتي من systemd-analyze بعد الدخول، وفي أول إقلاع كان كما يلي:

Startup finished in 5.155s (kernel) + 13.461s (userspace) = 18.616s
graphical.target reached after 13.118s in userspace.

وسوف نعود لهذه الأرقام بالتفصيل، ولكن لاحظ من الآن أنها تبدأ من النواة، أي أن الوقت الذي قضاه البرنامج الثابت وGRUB غير محسوب هنا، وسوف نعرف لماذا.

البرنامج الثابت Firmware: BIOS أم UEFI؟

البرنامج الثابت هو أول كود يعمل عند تشغيل الجهاز، وهو مخزن في شريحة على اللوحة الأم لا على القرص، ومهمته أن يفحص العتاد ويهيئه ثم يجد شيئاً قابلاً للإقلاع ويسلمه الدور. وهناك جيلان منه ما زالا موجودين في السيرفرات: BIOS القديم وUEFI الحديث، والفرق بينهما يظهر في كيف يجد كل منهما محمل الإقلاع.

  • BIOS القديم Legacy BIOS: لا يفهم أي نظام ملفات، فيقرأ أول 512 بايت من القرص وهي سجل الإقلاع الرئيسي MBR وينفذ ما فيها، ولأن هذه المساحة صغيرة جداً فهي تقفز إلى بقية GRUB المخزنة في مكان آخر، وعلى أقراص GPT هذا المكان قسم صغير اسمه BIOS boot.
  • UEFI: يفهم نظام الملفات FAT، فيقرأ ملفات تنفيذية بامتداد .efi من قسم خاص اسمه قسم نظام EFI واختصاراً ESP، ويحفظ قائمة الإقلاع بأسمائها وترتيبها في ذاكرة دائمة على اللوحة اسمها NVRAM، ويستطيع أن يتحقق من توقيع كل ملف قبل تشغيله.

والصورة السحابية التي نستخدمها مصممة لتقلع على الاثنين، لأن المزود قد يشغلها على أي منهما، وهذا يظهر في أقسامها:

admin@lab-vm:~$ lsblk -o NAME,SIZE,TYPE,FSTYPE,PARTTYPENAME,MOUNTPOINTS
NAME     SIZE TYPE FSTYPE  PARTTYPENAME        MOUNTPOINTS
sr0     1024M rom
vda        3G disk
├─vda1   2.9G part ext4    Linux root (x86-64) /
├─vda14    3M part         BIOS boot
└─vda15  124M part vfat    EFI System          /boot/efi
vdb      366K disk iso9660
admin@lab-vm:~$ ls /sys/firmware/efi && echo UEFI
config_table  fw_platform_size  mok-variables  runtime-map
efivars       fw_vendor         runtime        systab
UEFI

والقسم vda14 بحجم 3M هو قسم BIOS boot الذي لا يحمل نظام ملفات، والقسم vda15 بحجم 124M هو ESP بنظام FAT ومركب في /boot/efi، والقسم الرئيسي vda1 فيه النظام كله. ووجود المجلد /sys/firmware/efi هو أسرع طريقة لمعرفة أن النظام أقلع بطريقة UEFI، فإذا لم يكن موجوداً فقد أقلع بطريقة BIOS. وقد يتساءل البعض: لماذا يهمني هذا الفرق ما دام السيرفر يعمل؟ والإجابة أن كل أوامر إصلاح محمل الإقلاع تختلف بينهما، فإعادة تثبيت GRUB على BIOS تكتب في أول القرص، وعلى UEFI تنسخ ملفات إلى ESP وتسجل مدخلاً في NVRAM، وتنفيذ أوامر الطريقة الخطأ هو أشهر سبب لسيرفر لا يقلع بعد «إصلاح» GRUB.

مقارنة بين BIOS الذي ينفذ MBR ثم core.img في القسم vda14 دون تحقق، وUEFI الذي يقرأ ملفات efi من قسم ESP وهو vda15 ويحفظ BootOrder في NVRAM، وتحتهما سلسلة الثقة: البرنامج الثابت OVMF بمفتاح Microsoft ثم shimx64.efi الموقع من Microsoft ثم grubx64.efi الموقع من Debian ثم النواة vmlinuz الموقعة من Debian
نفس القرص يحمل الطريقتين، وفي UEFI مع Secure Boot يتحقق كل ملف من توقيع الملف الذي بعده

قائمة الإقلاع في NVRAM وقسم ESP

قائمة الإقلاع في UEFI ليست ملفاً على القرص، وإنما متغيرات في البرنامج الثابت، وتقرأها من داخل Linux بالأداة efibootmgr. وهذه أول سطور المخرج في المختبر، والبقية مداخل للإقلاع من الشبكة PXE وHTTP:

admin@lab-vm:~$ sudo efibootmgr -v
BootCurrent: 0001
Timeout: 0 seconds
BootOrder: 0000,0001,0002,0003,0004,0005,0006
Boot0000* UiApp	FvVol(7cb8bdc9-f8eb-4f34-aaea-3ee4af6516a1)/FvFile(462caa21-7614-4503-836e-8ab6f4662331)
Boot0001* UEFI Misc Device	PciRoot(0x0)/Pci(0x3,0x0){auto_created_boot_option}
Boot0002* UEFI Misc Device 2	PciRoot(0x0)/Pci(0x4,0x0){auto_created_boot_option}
Boot0003* UEFI PXEv4 (MAC:525400123456)	PciRoot(0x0)/Pci(0x2,0x0)/MAC(525400123456,1)/IPv4(0.0.0.00.0.0.0,0,0){auto_created_boot_option}

في المخرج أعلاه لاحظ التالي:

  • BootCurrent: 0001 هو المدخل الذي أقلع منه النظام هذه المرة، وهو نفس ما طبعه السطر BdsDxe: starting Boot0001 على الشاشة.
  • لا يوجد مدخل باسم debian، والسبب أن الصورة السحابية تقلع من المسار الاحتياطي \EFI\BOOT\BOOTX64.EFI الذي يجربه البرنامج الثابت مع أي قرص لا يعرف عنه شيئاً، فالقرص ينقل بين آلات مختلفة ولا يمكن أن يعتمد على NVRAM آلة واحدة. أما السيرفر الذي ثبتته بنفسك من ملف ISO فستجد فيه مدخلاً باسم التوزيعة يشير إلى \EFI\debian\shimx64.efi.
  • المدخل UiApp هو واجهة إعدادات البرنامج الثابت، وهو أول القائمة ولكنه لا يقلع شيئاً، فينتقل البرنامج الثابت إلى التالي.

ومحتوى ESP يوضح الصورة أكثر:

admin@lab-vm:~$ sudo ls -l /boot/efi/EFI/debian /boot/efi/EFI/BOOT
/boot/efi/EFI/BOOT:
total 4488
-rwx------ 1 root root 1036152 Nov 11 05:02 BOOTX64.EFI
-rwx------ 1 root root 2684352 Nov 11 05:02 grubx64.efi
-rwx------ 1 root root  873904 Nov 11 05:02 mmx64.efi

/boot/efi/EFI/debian:
total 4610
-rwx------ 1 root root     108 Nov 11 05:02 BOOTX64.CSV
-rwx------ 1 root root  118832 Nov 11 05:02 fbx64.efi
-rwx------ 1 root root     117 Nov 11 05:02 grub.cfg
-rwx------ 1 root root 2684352 Nov 11 05:02 grubx64.efi
-rwx------ 1 root root  873904 Nov 11 05:02 mmx64.efi
-rwx------ 1 root root 1036152 Nov 11 05:02 shimx64.efi

ولاحظ أن BOOTX64.EFI له نفس حجم shimx64.efi بالبايت، أي أنه نسخة منه، فالبرنامج الثابت يشغل shim أولاً وshim يشغل grubx64.efi من نفس المجلد. والملف mmx64.efi هو MokManager الذي سوف نذكره بعد قليل، وfbx64.efi أداة احتياطية تعيد إنشاء مدخل NVRAM إذا ضاع.

الإقلاع الآمن Secure Boot وshim باختصار

الإقلاع الآمن Secure Boot ميزة في UEFI تمنع تشغيل أي ملف .efi غير موقع بمفتاح موجود في قاعدة المفاتيح المسموحة في البرنامج الثابت، والهدف أن لا يستطيع برنامج خبيث أن يضع نفسه قبل النواة فيختفي عن كل أدوات الحماية التي تعمل بعدها. ولكن أغلب الأجهزة تأتي وفيها مفاتيح Microsoft فقط، وتوزيعات Linux لا تستطيع أن تطلب من Microsoft توقيع كل نسخة جديدة من GRUB والنواة، ولذلك ظهر shim: برنامج صغير توقعه Microsoft مرة واحدة، ويحمل بداخله مفتاح التوزيعة، فيتحقق هو من GRUB والنواة الموقعين بمفتاح Debian. وتشرح صفحة Debian SecureBoot هذه السلسلة بالتفصيل، والنتيجة في المختبر كما يلي:

admin@lab-vm:~$ mokutil --sb-state
SecureBoot enabled
admin@lab-vm:~$ sudo dmesg | grep -i -E 'secure ?boot|efi: EFI v|Linux version' | head
[    0.000000] efi: EFI v2.7 by Debian distribution of EDK II
[    0.000000] Kernel is locked down from EFI Secure Boot; see man kernel_lockdown.7
[    0.000000] secureboot: Secure boot enabled
[    2.827448] integrity: Loaded X.509 cert 'Debian Secure Boot CA: 6ccece7e4c6c0d1f6149f3dd27dfcc5cbb419ea1'

والسطر المهم هنا هو Kernel is locked down، فالنواة عندما تقلع مع Secure Boot تدخل وضع القفل Lockdown، وفيه ترفض تحميل أي وحدة نواة Kernel Module غير موقعة. وهذا يهمك عملياً إذا ثبتت تعريفاً يبنى محلياً بالأداة DKMS مثل تعريفات بعض بطاقات الرسوميات أو VirtualBox، فالوحدة سوف ترفض حتى تسجل مفتاحك الخاص في قائمة MOK بالأداة mokutil، ثم تؤكده من MokManager عند الإقلاع التالي على شاشة السيرفر نفسها، أي أن هذه الخطوة تحتاج Console ولا تكفي فيها جلسة SSH.

💡
في يوليو 2020 نشر الباحثون ثغرة BootHole CVE-2020-10713 في طريقة قراءة GRUB لملف grub.cfg، وهي تسمح بتجاوز Secure Boot كلها، فأصدرت التوزيعات تحديثات لـ GRUB وshim في نفس الأسبوع، ومنها تحديث Red Hat RHSA-2020:3216. وفي اليوم التالي فتح المستخدمون البلاغ 1861977 بعنوان «تحديث grub2 الأمني يجعل النظام غير قابل للإقلاع»، فأجهزة RHEL 8.2 بطريقة UEFI توقفت بعد إعادة التشغيل ولم تظهر قائمة GRUB أصلاً. والدرس أن تحديثات سلسلة الإقلاع (shim وGRUB والنواة) هي أخطر التحديثات على السيرفر، فطبقها على جهاز واحد أولاً، وأعد تشغيله وأنت أمام الـ Console، ولا تطبقها على كل الأجهزة في نفس الليلة.

محمل الإقلاع GRUB: من أين يأتي الملف grub.cfg؟

محمل الإقلاع Boot Loader هو البرنامج الذي يعرف أين النواة على القرص وكيف يحملها إلى الذاكرة ومعها سطر أوامرها، وعلى أغلب توزيعات السيرفرات هو GRUB 2. وعلى UEFI يبدأ GRUB من ملف صغير في ESP، وهذا الملف لا يحمل القائمة، وإنما يدل على مكانها فقط:

admin@lab-vm:~$ sudo cat /boot/efi/EFI/debian/grub.cfg
search.fs_uuid 79d53ec0-550d-407e-84a8-bf959ed6bf3f root
set prefix=($root)'/boot/grub'
configfile $prefix/grub.cfg

ثلاثة أسطر: ابحث عن نظام الملفات الذي يحمل هذا الـ UUID، واعتبر مجلد /boot/grub فيه هو البادئة prefix، ثم اقرأ الملف grub.cfg منه. وهذا يعني أن GRUB يحتاج أن يقرأ القسم الرئيسي بنفسه قبل النواة، ولذلك يحمل معه تعريفات ext4 وGPT. أما الملف الكبير /boot/grub/grub.cfg فطوله 181 سطراً في المختبر، وأول سطر فيه يقول بوضوح إنه لا يعدل يدوياً، لأن الأمر update-grub يولده من جديد عند كل تحديث للنواة، فأي تعديل يدوي فيه يختفي في أول تحديث. والتعديل الصحيح يكون في المدخلات:

  • الملف /etc/default/grub: الإعدادات العامة مثل مدة الانتظار GRUB_TIMEOUT وخيارات النواة GRUB_CMDLINE_LINUX.
  • المجلد /etc/default/grub.d/: ملفات .cfg تقرأ بعد الملف الرئيسي بالترتيب الأبجدي، فقيمها تغطي قيمه.
  • المجلد /etc/grub.d/: سكربتات يشغلها grub-mkconfig بالترتيب، و10_linux منها هو الذي يبحث عن النوى في /boot ويكتب لكل منها مدخلاً، و40_custom مكان مداخلك الإضافية.
المدخلات على اليمين: /etc/default/grub وفيه GRUB_TIMEOUT=5، والمجلد /etc/default/grub.d وفيه 15_timeout.cfg بقيمة صفر و99-lab.cfg بقيمة 10، والمجلد /etc/grub.d بسكربتاته، ثم الأمر update-grub في الوسط، ثم الناتج /boot/grub/grub.cfg على اليسار، وفي الأسفل ملف ESP ذو الأسطر الثلاثة الذي يدل عليه
تعدل المدخلات على اليمين، والأمر يولد الناتج على اليسار

لماذا لم تظهر القائمة أصلاً؟

في أول إقلاع لم نر قائمة GRUB، وإنما اختار المدخل الأول فوراً. والملف الرئيسي يقول إن مدة الانتظار 5 ثوان، فأين ذهبت؟ الإجابة في المجلد grub.d:

admin@lab-vm:~$ cat /etc/default/grub; ls /etc/default/grub.d/ && cat /etc/default/grub.d/*
...
GRUB_DEFAULT=0
GRUB_TIMEOUT=5
GRUB_DISTRIBUTOR=`lsb_release -i -s 2> /dev/null || echo Debian`
GRUB_CMDLINE_LINUX_DEFAULT=""
GRUB_CMDLINE_LINUX="console=tty0 console=ttyS0,115200 earlyprintk=ttyS0,115200 consoleblank=0"
GRUB_TERMINAL_OUTPUT="gfxterm serial"
GRUB_SERIAL_COMMAND="serial --speed=115200"
10_cloud.cfg  15_timeout.cfg
# Use PARTUUID instead of UUID for root=
GRUB_DISABLE_LINUX_UUID=true
GRUB_DISABLE_LINUX_PARTUUID=
GRUB_TIMEOUT=0

الصورة السحابية أضافت 15_timeout.cfg وفيه GRUB_TIMEOUT=0، وهو يقرأ بعد الملف الرئيسي فيغطي قيمته، والسبب منطقي لأن السيرفر السحابي لا يجلس أمامه أحد، وكل ثانية انتظار تضاف إلى زمن تشغيل كل آلة جديدة. ولاحظ أيضاً أن GRUB_TERMINAL_OUTPUT يرسل القائمة إلى المنفذ التسلسلي، وأن 10_cloud.cfg يطلب أن يكتب القسم الرئيسي في سطر النواة بصيغة PARTUUID وهي رقم القسم في جدول GPT بدلاً من رقم نظام الملفات UUID. والقاعدة هنا: إذا عدلت /etc/default/grub ولم يتغير شيء، فابحث أولاً في /etc/default/grub.d/، وأضف ملفك برقم أكبر حتى يقرأ أخيراً:

printf 'GRUB_TIMEOUT=10\nGRUB_TIMEOUT_STYLE=menu\n' | sudo tee /etc/default/grub.d/99-lab.cfg
sudo update-grub
Generating grub configuration file ...
Found linux image: /boot/vmlinuz-6.12.116+deb13-cloud-amd64
Found initrd image: /boot/initrd.img-6.12.116+deb13-cloud-amd64
Adding boot menu entry for UEFI Firmware Settings ...
done
admin@lab-vm:~$ sudo grep -n -A6 'timeout_style' /boot/grub/grub.cfg | head -12
77:  if [ x$feature_timeout_style = xy ] ; then
78:    set timeout_style=menu
79-    set timeout=10
...

والأمر update-grub في Debian وUbuntu اختصار للأمر grub-mkconfig -o /boot/grub/grub.cfg، وفي عائلة Red Hat تستخدم grub2-mkconfig مباشرة. ولاحظ في المخرج سطري Found linux image وFound initrd image، فإذا ثبتت نواة جديدة ولم ترها هنا فلن تظهر في القائمة مهما أعدت التشغيل.

ماذا يوجد داخل مدخل الإقلاع؟

المدخل الأول في grub.cfg هو ما ينفذه GRUB عندما يقلع السيرفر دون تدخل، وهذا هو كما ولده الأمر:

menuentry 'Debian GNU/Linux' --class debian --class gnu-linux --class gnu --class os $menuentry_id_option 'gnulinux-simple-79d53ec0-550d-407e-84a8-bf959ed6bf3f' {
	load_video
	insmod gzio
	if [ x$grub_platform = xxen ]; then insmod xzio; insmod lzopio; fi
	insmod part_gpt
	insmod ext2
	set root='hd0,gpt1'
	if [ x$feature_platform_search_hint = xy ]; then
	  search --no-floppy --fs-uuid --set=root --hint-bios=hd0,gpt1 --hint-efi=hd0,gpt1 --hint-baremetal=ahci0,gpt1  79d53ec0-550d-407e-84a8-bf959ed6bf3f
	else
	  search --no-floppy --fs-uuid --set=root 79d53ec0-550d-407e-84a8-bf959ed6bf3f
	fi
	echo	'Loading Linux 6.12.116+deb13-cloud-amd64 ...'
	linux	/boot/vmlinuz-6.12.116+deb13-cloud-amd64 root=PARTUUID=e39abd19-ba7c-4edb-a5d2-a5bd25c29758 ro console=tty0 console=ttyS0,115200 earlyprintk=ttyS0,115200 consoleblank=0
	echo	'Loading initial ramdisk ...'
	initrd	/boot/initrd.img-6.12.116+deb13-cloud-amd64
}

في المدخل أعلاه لاحظ التالي:

  • كلمة root لها معنيان مختلفان في نفس المدخل: set root='hd0,gpt1' هو القسم الذي يقرأ منه GRUB الملفات، أي القرص الأول والقسم الأول بترقيم GRUB، أما root=PARTUUID=… في سطر linux فهو خيار يمرر إلى النواة لتعرف أي قسم تركبه كقسم رئيسي، وGRUB لا يقرؤه أصلاً. والخلط بينهما سبب شائع للحيرة عند الإصلاح.
  • السطر search --fs-uuid يبحث عن القسم بالـ UUID، فإذا تغير ترتيب الأقراص وجده في مكانه الجديد، ولهذا لا يعتمد على hd0,gpt1 وحده.
  • السطر linux يحمل النواة ومعها كل ما بعد اسم الملف كسطر أوامر لها، والسطر initrd يحمل القرص المؤقت، والإقلاع الفعلي يحدث عندما تنتهي الأوامر.
  • السطر load_video ليس أمراً من GRUB، وإنما دالة معرفة في أعلى الملف نفسه، وسوف نرى ماذا يحدث إذا تعطل تعريفها.

القائمة على المنفذ التسلسلي Serial Console

بعد إعادة التشغيل ظهرت القائمة على المنفذ التسلسلي، وهذه هي الشاشة كما رسمها GRUB، بعد أن أعدنا تشغيل البايتات التي خرجت من المنفذ في محاكي طرفية بعرض 80 عموداً:

                        GNU GRUB  version 2.12-9+deb13u2

 +----------------------------------------------------------------------------+
 |*Debian GNU/Linux                                                           |
 | Advanced options for Debian GNU/Linux                                      |
 | UEFI Firmware Settings                                                     |
 |                                                                            |
 +----------------------------------------------------------------------------+

      Use the ^ and v keys to select which entry is highlighted.
      Press enter to boot the selected OS, `e' to edit the commands
      before booting or `c' for a command-line. ESC to return
      previous menu.

والمدخل Advanced options فيه النوى المثبتة كلها، وهنا تختار نواة أقدم إذا كانت الجديدة لا تقلع، وفيه أيضاً مدخل recovery mode الذي يضيف الكلمة single إلى سطر النواة. والحرف e يفتح محرر المدخل، والحرف c يفتح سطر أوامر GRUB، وهما أهم مفتاحين في هذا المقال كله.

تعديل مدخل الإقلاع لمرة واحدة

عندما تضغط e يعرض GRUB أوامر المدخل في محرر بسيط، وكل ما تغيره هنا يطبق على هذا الإقلاع فقط ولا يكتب في أي ملف، وهذه أهم ميزة فيه، لأنك تجرب دون أن تخاطر. وننتقل إلى السطر الذي يبدأ بكلمة linux بالسهم أو بالمفتاح Ctrl-N، ثم إلى نهايته بالمفتاح Ctrl-E، ونضيف خياراً يطلب من systemd أن يقلع إلى وضع الإنقاذ:

 |        linux        /boot/vmlinuz-6.12.116+deb13-cloud-amd64 root=PARTUUID\|
 |=e39abd19-ba7c-4edb-a5d2-a5bd25c29758 ro console=tty0 console=ttyS0,115200 \|
 |earlyprintk=ttyS0,115200 consoleblank=0  systemd.unit=rescue.target         |v
 +----------------------------------------------------------------------------+

      Minimum Emacs-like screen editing is supported. TAB lists
      completions. Press Ctrl-x or F10 to boot, Ctrl-c or F2 for
      a command-line or ESC to discard edits and return to the GRUB menu.

والعلامة \ في نهاية السطر تعني أن السطر الطويل يكمل في السطر التالي على الشاشة، فهو سطر واحد بالنسبة لـ GRUB. وبعد ذلك المفتاح Ctrl-X يقلع بالمدخل المعدل، والمفتاح ESC يلغي التعديل ويرجع إلى القائمة. وتذكر أن القائمة نفسها تحتاج أن تكون أمام الشاشة في الثواني العشر الأولى، ولذلك أول شيء تفعله مع سيرفر لا يقلع هو أن تفتح الـ Console قبل أن تعيد تشغيله، لا بعده.

سطر أوامر النواة Kernel Command Line

ما أضفناه في المحرر هو خيار في سطر أوامر النواة Kernel Command Line، وهو نص واحد يمرره محمل الإقلاع إلى النواة، وتقرؤه أنت بعد الإقلاع من الملف /proc/cmdline:

root@lab-vm:~# cat /proc/cmdline
BOOT_IMAGE=/boot/vmlinuz-6.12.116+deb13-cloud-amd64 root=PARTUUID=e39abd19-ba7c-4edb-a5d2-a5bd25c29758 ro console=tty0 console=ttyS0,115200 earlyprintk=ttyS0,115200 consoleblank=0 systemd.unit=rescue.target

والفكرة المهمة هنا أن هذا السطر لا تقرؤه النواة وحدها، وإنما يقرؤه ثلاثة: النواة نفسها، ثم سكربتات initramfs، ثم systemd، وكل منهم يأخذ الخيارات التي تخصه ويتجاهل البقية. وتجد القائمة الكاملة لخيارات النواة في توثيق النواة، ولخيارات systemd في صفحة kernel-command-line(7)، وهذه أكثرها استخداماً عند الإصلاح:

الخيارمن يقرؤهماذا يفعل
root=النواة وinitramfsالقسم الرئيسي الذي يركب كـ /، بصيغة UUID= أو PARTUUID= أو اسم الجهاز
ro / rwinitramfsيركب القسم الرئيسي للقراءة فقط أولاً حتى يفحصه fsck، ثم يعيد systemd تركيبه للكتابة
console=ttyS0,115200النواةأين تكتب رسائل النواة، وآخر console= هو الذي يصبح /dev/console
systemd.unit=systemdالهدف الذي يقلع إليه بدلاً من default.target لهذه المرة
rescue / emergency / singlesystemdاختصارات لوضع الإنقاذ ووضع الطوارئ
init=النواةالبرنامج الذي يعمل كالعملية رقم 1 بدلاً من systemd
break= / rd.breakinitramfsيتوقف داخل القرص المؤقت قبل تركيب القسم الرئيسي، الأول في initramfs-tools والثاني في dracut
quietالنواة وsystemdيخفي الرسائل، فاحذفه عند التشخيص حتى ترى أين يتوقف الإقلاع

ولتعديل السطر بشكل دائم أضف الخيار إلى GRUB_CMDLINE_LINUX في /etc/default/grub أو في ملف داخل grub.d، ثم شغل update-grub. والفرق بين GRUB_CMDLINE_LINUX وGRUB_CMDLINE_LINUX_DEFAULT أن الأول يضاف إلى كل المداخل ومنها مدخل recovery، والثاني إلى المداخل العادية فقط، ولذلك يوضع فيه quiet عادة.

النواة والقرص المؤقت initramfs

عندما يسلم GRUB الدور تبدأ النواة بتهيئة المعالج والذاكرة والأجهزة، ثم تحتاج أن تركب القسم الرئيسي. وهنا مشكلة رئيسية: تعريف القرص قد لا يكون داخل النواة نفسها وإنما وحدة منفصلة على القرص، والقرص قد يكون مشفراً أو داخل LVM أو RAID، والنواة لا تستطيع قراءة الوحدة من قرص لم تركبه بعد. والحل هو القرص المؤقت initramfs: أرشيف صغير يحمله GRUB مع النواة، تفكه النواة في الذاكرة كنظام ملفات مؤقت، وتشغل منه البرنامج /init، ومهمته الوحيدة أن يجهز كل ما يلزم ليظهر القسم الرئيسي ثم يركبه ويسلم الدور له، كما يشرح توثيق النواة. وقد شرحنا الفرق بين فضاء النواة وفضاء المستخدم في مقال فضاء النواة والمستخدم، و/init هنا هو أول برنامج يعمل في فضاء المستخدم.

وفي Debian وUbuntu يبني هذا القرص initramfs-tools، وفي عائلة Red Hat وFedora يبنيه dracut، والفكرة واحدة. وهذه إعداداته وحجمه في المختبر:

admin@lab-vm:~$ grep -v -E '^#|^$' /etc/initramfs-tools/initramfs.conf
MODULES=most
BUSYBOX=auto
KEYMAP=n
COMPRESS=zstd
DEVICE=
NFSROOT=auto
RUNSIZE=10%
FSTYPE=auto
admin@lab-vm:~$ ls -lh /boot/initrd.img-*; lsinitramfs /boot/initrd.img-$(uname -r) | wc -l
-rw-r--r-- 1 root root 18M Nov 11 05:02 /boot/initrd.img-6.12.116+deb13-cloud-amd64
459
admin@lab-vm:~$ lsinitramfs /boot/initrd.img-$(uname -r) | grep -E 'virtio_blk|/ext4|scripts/local$|^init$|bin/busybox'
usr/lib/modules/6.12.116+deb13-cloud-amd64/kernel/drivers/block/virtio_blk.ko.xz
init
scripts/local

في المخرج أعلاه لاحظ التالي:

  • MODULES=most يضع أغلب تعريفات الأقراص في القرص المؤقت، فيقلع النظام على عتاد مختلف، وهذا مناسب لصورة تنقل بين آلات، بينما MODULES=dep يضع ما يحتاجه هذا الجهاز فقط فيصغر الملف ولكنه قد لا يقلع إذا نقلت القرص.
  • التعريف virtio_blk.ko.xz موجود، وهو ما يجعل القرص /dev/vda يظهر، أما ext4 فلم يظهر كملف لأنه مبني داخل نواة السحابة نفسها.
  • BUSYBOX=auto ولكن busybox غير مثبت على الصورة السحابية، فلم يدخل القرص المؤقت، وهذا تفصيل سوف نشعر به عندما نجد أنفسنا داخل صدفة initramfs.

ويعاد بناء القرص المؤقت تلقائياً عند تثبيت نواة جديدة، ولكنك تحتاج أن تعيد بناءه بنفسك عندما تغير شيئاً يحتاجه قبل تركيب القسم الرئيسي: تعريف أضفته إلى /etc/initramfs-tools/modules، أو إعدادات التشفير في /etc/crypttab، أو إعدادات RAID وLVM، أو عندما تنقل القرص إلى عتاد يحتاج تعريفاً آخر. والأمر هو update-initramfs:

admin@lab-vm:~$ time sudo update-initramfs -u
update-initramfs: Generating /boot/initrd.img-6.12.116+deb13-cloud-amd64

real	0m9.994s
user	0m0.010s
sys	0m0.017s

والخيار -u يحدث القرص المؤقت لأحدث نواة، و-k all لكل النوى المثبتة، وفي عائلة Red Hat الأمر المقابل هو dracut -f. وقد يتساءل البعض: هل أعيد بناءه عند كل تعديل في /etc/fstab؟ والإجابة لا، فالقرص المؤقت يركب القسم الرئيسي فقط، وبقية الأقسام يركبها systemd بعده من fstab مباشرة. وهذه رسائل القرص المؤقت نفسه في إقلاع عادي للمختبر، وكل سطر Begin مرحلة من مراحله:

Loading, please wait...
Starting systemd-udevd version 257.13-1~deb13u1
Begin: Loading essential drivers ... done.
Begin: Running /scripts/init-premount ... done.
Begin: Mounting root file system ... Begin: Running /scripts/local-top ... done.
Begin: Running /scripts/local-premount ... done.
Begin: Will now check root file system ... fsck from util-linux 2.41.5
[/sbin/fsck.ext4 (1) -- /dev/vda1] fsck.ext4 -a -C0 /dev/vda1
/dev/vda1: clean, 25553/188416 files, 252460/753408 blocks
done.
done.
Begin: Running /scripts/local-bottom ... GROWROOT: NOCHANGE: partition 1 could only be grown by 2015 [fudge=2048]
done.
Begin: Running /scripts/init-bottom ... done.

ولاحظ السطر GROWROOT، فهو سكربت تضيفه الصورة السحابية ليوسع القسم الرئيسي تلقائياً إذا كبر المزود القرص، وهو ما تفعله يدوياً في سيرفر لا يملكه كما شرحنا في دليل توسيع قرص النظام مع LVM. وبعد init-bottom ينقل القرص المؤقت الجذر إلى القسم الحقيقي بالعملية switch_root ويشغل منه /sbin/init، وهو systemd.

مراحل initramfs: النواة تفك الملف وتشغل /init، ثم تحميل التعريفات مع systemd-udevd، ثم انتظار القسم الرئيسي حسب root=، ثم fsck والتركيب للقراءة فقط، ثم switch_root إلى systemd، ومن مرحلة الانتظار سهم أحمر إلى رسالة Gave up waiting for root file system device ثم ALERT /dev/sda1 does not exist ثم الصدفة (initramfs)
القرص المؤقت ينتظر القسم الذي في root=، فإذا لم يظهر سلمك صدفة بدلاً من systemd

systemd كالعملية رقم 1 والأهداف Targets

من هنا يبدأ systemd، وهو أول عملية في النظام الحقيقي ورقمها 1، وكل العمليات الأخرى تأتي منه. وقد شرحنا ما هو systemd وكيف تكتب له ملف وحدة Unit File في دليل الخدمات والسجلات، والذي يخص الإقلاع منه هو فكرة الهدف Target: مجموعة من الوحدات تمثل حالة يصل إليها النظام. وعند الإقلاع لا يشغل systemd قائمة خدمات بالترتيب، وإنما يقرأ الهدف default.target ويحسب كل ما يحتاجه هذا الهدف من وحدات واعتمادات، ثم يشغلها بالتوازي قدر الإمكان، كما تشرح صفحة bootup(7).

والمفاجأة الأولى في المختبر كانت الهدف الافتراضي نفسه:

admin@lab-vm:~$ systemctl get-default; sudo systemctl set-default multi-user.target
graphical.target
Created symlink '/etc/systemd/system/default.target' → '/usr/lib/systemd/system/multi-user.target'.

الصورة السحابية تقلع إلى graphical.target وهو هدف الواجهة الرسومية، رغم أنه لا توجد واجهة رسومية مثبتة، وهو لا يضر هنا لأنه لا يجد ما يشغله فوق multi-user.target، ولكن السيرفر مكانه multi-user.target، فغيرناه. ولاحظ ما فعله الأمر بالضبط: رابط Symlink اسمه default.target يشير إلى ملف الهدف، ولا شيء غير ذلك. والفرق بين هذا وبين systemd.unit= في GRUB أن الرابط دائم لكل إقلاع، والخيار في GRUB لمرة واحدة.

سلسلة الأهداف: sysinit.target ثم basic.target ثم multi-user.target وهو الافتراضي ثم graphical.target، وتحتها rescue.target بعد sysinit فقط مع shell يطلب باسورد root، وemergency.target الذي لا ينتظر sysinit ويصل إليه systemd عندما يفشل local-fs.target
الأهداف طبقات فوق بعضها، ووضع الإنقاذ ووضع الطوارئ يتوقفان قبل الطبقات العليا
  • sysinit.target: تركيب الأقسام من fstab والـ Swap وudev وjournald، وهو أساس كل شيء.
  • basic.target: الـ Sockets والمؤقتات Timers ومراقبة المسارات Paths، والخدمات العادية تبدأ بعده.
  • multi-user.target: النظام الكامل دون واجهة رسومية، ومعه الشبكة وSSH وخدماتك.
  • rescue.target: بعد sysinit.target فقط، ثم صدفة Shell لـ root، دون شبكة ودون خدمات.
  • emergency.target: أقل من ذلك، فهو كما تقول systemd.special(7) لا يسحب معه أي خدمات أو تركيبات، وعادة لا يعمل في النظام إلا systemd والصدفة، ويصل إليه systemd وحده عندما يفشل فحص أو تركيب قسم مطلوب.

داخل وضع الإنقاذ Rescue Mode

عندما أقلعنا بالخيار systemd.unit=rescue.target ظهرت هذه الشاشة بعد ثوان:

[  OK  ] Reached target sysinit.target - System Initialization.
[  OK  ] Started rescue.service - Rescue Shell.
[  OK  ] Reached target rescue.target - Rescue Mode.
You are in rescue mode. After logging in, type "journalctl -xb" to view
system logs, "systemctl reboot" to reboot, or "exit"
to continue bootup.
Enter root password for system maintenance
(or press Control-D to continue): 

ووضع الإنقاذ يطلب باسورد root، وليس باسورد أي مستخدم في مجموعة sudo، وهذه نقطة يقع فيها كثيرون كما سوف نرى. وبعد الدخول نرى ماذا يعمل بالضبط:

root@lab-vm:~# systemctl list-units --type=target --state=active --no-pager
  UNIT                LOAD   ACTIVE SUB    DESCRIPTION
  local-fs-pre.target loaded active active Preparation for Local File Systems
  local-fs.target     loaded active active Local File Systems
  network-pre.target  loaded active active Preparation for Network
  nss-lookup.target   loaded active active Host and Network Name Lookups
  rescue.target       loaded active active Rescue Mode
  swap.target         loaded active active Swaps
  sysinit.target      loaded active active System Initialization
  time-set.target     loaded active active System Time Set
...
8 loaded units listed.
root@lab-vm:~# systemctl is-system-running
maintenance
root@lab-vm:~# ss -tlnp
State     Recv-Q    Send-Q       Local Address:Port        Peer Address:Port    Process
LISTEN    0         4096            127.0.0.54:53               0.0.0.0:*        users:(("systemd-resolve",pid=338,fd=21))
LISTEN    0         4096               0.0.0.0:5355             0.0.0.0:*        users:(("systemd-resolve",pid=338,fd=12))
LISTEN    0         4096         127.0.0.53%lo:53               0.0.0.0:*        users:(("systemd-resolve",pid=338,fd=19))
LISTEN    0         4096                  [::]:5355                [::]:*        users:(("systemd-resolve",pid=338,fd=14))
root@lab-vm:~# systemctl list-units --type=service --state=running --no-pager
  UNIT                      LOAD   ACTIVE SUB     DESCRIPTION
  rescue.service            loaded active running Rescue Shell
  systemd-journald.service  loaded active running Journal Service
  systemd-resolved.service  loaded active running Network Name Resolution
  systemd-timesyncd.service loaded active running Network Time Synchronization
  systemd-udevd.service     loaded active running Rule-based Manager for Device…
...
5 loaded units listed.

في المخرج أعلاه لاحظ التالي:

  • local-fs.target نشط، أي أن كل الأقسام في fstab مركبة، وهذا ما يجعل وضع الإنقاذ مناسباً لإصلاح خدمة تمنع الإقلاع أو تستهلك الذاكرة حتى يتوقف السيرفر، فتعطلها بالأمر systemctl disable ثم تكمل.
  • لا يوجد multi-user.target ولا network-online.target، ولا يستمع أي شيء على المنفذ 22، أي أنك لن تدخل بالأمر SSH إلى سيرفر في وضع الإنقاذ مهما حاولت، فهذا الوضع يعمل فقط من الـ Console.
  • حالة النظام maintenance، وهي نفس الكلمة التي تراها في أدوات المراقبة إذا كانت تسأل systemctl is-system-running.

ومن هنا تكمل الإقلاع العادي بالأمر systemctl default أو بالخروج من الصدفة، أو تعيد التشغيل. وعندما كتبنا systemctl reboot ظهرت رسالة خطأ مرتين:

root@lab-vm:~# systemctl reboot
Failed to connect to system scope bus via local transport: No such file or directory
Failed to connect to system scope bus via local transport: No such file or directory

ثم أعاد السيرفر التشغيل فعلاً. والسبب أن D-Bus لا يعمل في وضع الإنقاذ، فيفشل systemctl في الطريق المعتاد ثم يرجع إلى طريق احتياطي يكلم فيه systemd مباشرة، فلا تقلق من هذه الرسالة في هذا الوضع تحديداً.

قياس الإقلاع مع systemd-analyze

بعد تغيير الهدف إلى multi-user.target أعدنا التشغيل وقسنا الإقلاع بالأداة systemd-analyze:

admin@lab-vm:~$ systemd-analyze
Startup finished in 4.416s (kernel) + 10.855s (userspace) = 15.272s
multi-user.target reached after 10.668s in userspace.

والرقم الأول هو الوقت من بداية النواة إلى أن سلمت الدور لـ systemd، ويشمل initramfs كله، والثاني من بداية systemd إلى انتهاء كل وظائف الإقلاع. وعلى جهاز يقلع بالمحمل systemd-boot تجد في هذا السطر رقمين إضافيين قبلهما: (firmware) و(loader)، لأن المحمل يسجل هذه الأوقات في متغيرات UEFI حسب واجهة Boot Loader Interface. وGRUB في Debian 2.12 يدعم هذه الواجهة عبر الوحدة bli، والسكربت 25_bli يضيف insmod bli إلى grub.cfg، ولكن هذه الوحدة ليست داخل ملف GRUB الموقع، وSecure Boot تمنع GRUB من تحميل أي وحدة من القرص، وهذا هو مصدر السطر error: prohibited by secure boot policy. الذي رأيناه في كل إقلاع. وتأكدنا من ذلك لاحقاً من سطر أوامر GRUB نفسه:

grub> insmod bli
error: prohibited by secure boot policy.

والدرس العملي أن الرسالة لا تعني أن Secure Boot رفضت النواة أو GRUB، وإنما رفضت وحدة إضافية، والنتيجة الوحيدة أن systemd-analyze لا يعرف كم استغرق البرنامج الثابت وGRUB، بما فيه الثواني العشر التي تنتظرها القائمة.

من أخذ الوقت؟ blame وcritical-chain

الأمر blame يرتب الوحدات حسب الوقت الذي استغرقه بدء كل منها:

admin@lab-vm:~$ systemd-analyze blame | head -12
3.952s cloud-init-main.service
3.893s dev-vda1.device
2.059s systemd-networkd-wait-online.service
1.576s systemd-journal-flush.service
1.568s systemd-random-seed.service
1.433s systemd-sysctl.service
1.425s systemd-tmpfiles-setup-dev-early.service
 848ms [email protected]
 840ms cloud-init-network.service
 802ms apparmor.service
 782ms cloud-init-local.service
 573ms dev-mqueue.mount

ولكن هذه القائمة تخدع من يقرؤها وحدها، لأن الوحدات تبدأ بالتوازي، فمجموع الأرقام أعلاه أكثر من 19 ثانية بينما الإقلاع كله 10.9 ثانية في فضاء المستخدم. والوحدة dev-vda1.device مثلاً هي انتظار ظهور القرص، وهي تجري في نفس الوقت مع غيرها. والسؤال الصحيح ليس «من أبطأ وحدة؟» وإنما «من كان في طريق الهدف؟»، وهذا ما يجيب عليه critical-chain:

admin@lab-vm:~$ systemd-analyze critical-chain
The time when unit became active or started is printed after the "@" character.
The time the unit took to start is printed after the "+" character.

multi-user.target @10.668s
└─unattended-upgrades.service @10.639s
  └─systemd-logind.service @10.392s +226ms
    └─basic.target @10.282s
      └─sockets.target @10.277s
        └─uuidd.socket @10.271s
          └─sysinit.target @10.184s
            └─cloud-init-network.service @9.325s +840ms
              └─systemd-networkd-wait-online.service @7.259s +2.059s
                └─systemd-networkd.service @7.065s +159ms
                  └─network-pre.target @7.046s
                    └─cloud-init-local.service @6.242s +782ms
                      └─cloud-init-main.service @2.281s +3.952s
                        └─systemd-remount-fs.service @1.920s +294ms
                          └─systemd-journald.socket @1.406s
                            └─-.mount @1.105s
                              └─-.slice @1.105s

اقرأ الشجرة من الأسفل إلى الأعلى: الرقم بعد @ هو اللحظة التي أصبحت فيها الوحدة جاهزة، والرقم بعد + هو المدة التي استغرقها بدؤها. والسلسلة تقول إن sysinit.target نفسه انتظر cloud-init حتى الثانية 10.2، وأن cloud-init انتظر الشبكة بالخدمة systemd-networkd-wait-online لمدة ثانيتين. أي أن الإقلاع هنا يمر عبر cloud-init والشبكة، وهذا طبيعي في صورة سحابية تأخذ إعداداتها من المزود عند كل إقلاع. وإذا أردت سلسلة خدمة محددة فاكتب اسمها:

admin@lab-vm:~$ systemd-analyze critical-chain ssh.service
...
ssh.service +254ms
└─basic.target @10.282s
  └─sockets.target @10.277s
...

وهذا يعني أن SSH بدأ في 254 ملي ثانية، ولكنه لم يبدأ قبل الثانية 10.3 لأنه ينتظر basic.target، فتسريع SSH نفسه لا يفيد، والذي يفيد هو تقصير ما قبله. وهذه هي القاعدة مع أي إقلاع بطيء: ابدأ من critical-chain للهدف أو للخدمة التي تهمك، ثم انظر إلى blame لتفاصيل الوحدات التي ظهرت في السلسلة فقط.

صورة الإقلاع كاملة مع plot

الأمر systemd-analyze plot > boot.svg يرسم كل وحدة كشريط على خط زمني، وهذا جزء من الملف الحقيقي الذي أخرجناه من الآلة الافتراضية:

رسم systemd-analyze plot من المختبر: شريط النواة من 0 إلى 4.4 ثانية، ثم systemd، ثم الوحدات تحته وأطولها dev-vda1.device بمدة 3.893 ثانية، وبقية الوحدات تبدأ بالتوازي بين الثانية 5.5 و7
مخرج systemd-analyze plot كما خرج من المختبر: الأحمر وقت البدء، والوحدات تبدأ معاً لا واحدة بعد الأخرى

والصورة توضح ما قلناه عن blame: عشرات الوحدات تبدأ معاً بين الثانية 5.5 و7، فلا معنى لجمع أرقامها. وقد يتساءل البعض: لماذا تختلف الأرقام بين إقلاع وآخر لنفس الآلة؟ والإجابة أن أول إقلاع كان 18.6 ثانية وفيه أنشأ cloud-init المستخدمين والمفاتيح لأول مرة، والإقلاع الثاني كان 31.2 ثانية دون أي تغيير داخل الآلة، والإقلاع بعد تغيير الهدف كان 15.3 ثانية، فالآلة الافتراضية تشارك الجهاز المضيف موارده، ولذلك لا تحكم على تغيير من إقلاع واحد، وقس ثلاث مرات على الأقل. وقد استخدمنا critical-chain لخدمة واحدة في دليل systemd، أما هنا فالمهم أن ترى الإقلاع كله كسلسلة، والرقم الذي سوف يفاجئك بعد قليل هو الإقلاع الذي استغرق دقيقة ونصفاً بسبب سطر واحد.

سيرفر لا يقلع: كيف تصل إليه أولاً؟

كل ما سبق يجري قبل أن يعمل SSH، ولذلك أول سؤال عند سيرفر لا يقلع ليس «ما العطل؟» وإنما «كيف أرى شاشته؟». وهناك ثلاثة طرق، وعليك أن تعرف أيها متاح لسيرفراتك قبل أن تحتاجه، لا في منتصف الليل:

  • المنفذ التسلسلي Serial Console: ما استخدمناه في هذا المختبر كله، وهو نص فقط، ويحتاج أن ترسل النواة رسائلها إليه بالخيار console=ttyS0,115200 كما في صورتنا، وأن يرسل GRUB قائمته إليه، وأن يعمل عليه سطر دخول، وهو ما فعله systemd وحده بالخدمة [email protected] كما يشرح توثيق النواة عن المنفذ التسلسلي.
  • شاشة المزود السحابي: أغلب المزودين يعطونك من لوحة التحكم إما Serial Console نصية وإما شاشة VNC رسومية للآلة، وبعضهم يتطلب تفعيلها أو تعيين باسورد لمستخدم قبل أن تحتاجها.
  • وحدة الإدارة BMC في السيرفرات الفعلية: iDRAC وiLO وغيرهما تعطيك الشاشة ولوحة المفاتيح وزر الطاقة من الشبكة، وقد شرحناها في دليل الإدارة عن بعد للسيرفرات.

وقبل أي تعديل على الإقلاع خذ Snapshot للقرص إذا كان المزود يسمح بذلك، فالـ Snapshot يحول أي خطأ في هذا القسم إلى دقيقة ضائعة بدلاً من ليلة كاملة. وإذا لم تكن هناك Console أصلاً، فالحل الأخير هو إيقاف الآلة وربط قرصها بآلة أخرى سليمة وإصلاح الملفات منها، وهو ما يسميه بعض المزودين وضع الإنقاذ Rescue System. ومن الشاشة تتدخل عبر أحد هذه الأبواب الأربعة، وكلها تبدأ بالحرف e في قائمة GRUB:

أربعة أبواب من قائمة GRUB: وضع الإنقاذ Rescue بالخيار systemd.unit=rescue.target مع كل الأقراص، ثم وضع الطوارئ Emergency بالخيار systemd.unit=emergency.target مع ما ركب قبل الفشل فقط، ثم init=/bin/bash دون systemd ودون باسورد، ثم داخل initramfs بالخيار break=premount أو rd.break قبل تركيب القسم الرئيسي
كلما توقفت أبكر كان النظام أصغر، فاختر أول باب يكفي للإصلاح

والآن نعطل السيرفر ثلاث مرات بأخطاء حقيقية ونصلحه في كل مرة من الـ Console فقط.

العطل الأول: سطر fstab خاطئ ووضع الطوارئ

هذا أشهر سبب لسيرفر لا يرجع بعد إعادة التشغيل: سطر في /etc/fstab لقرص بيانات لم يعد موجوداً، أو بخطأ في رقم الـ UUID. ولنجعل الحالة أقرب إلى سيرفر سحابي حقيقي أقفلنا باسورد root أولاً، لأن كثيراً من الصور السحابية تأتي بحساب root مقفل وتعتمد على مستخدم في مجموعة sudo:

admin@lab-vm:~$ sudo passwd -S root
root P 2026-11-16 0 99999 7 -1
admin@lab-vm:~$ sudo passwd -l root
passwd: password changed.
admin@lab-vm:~$ sudo passwd -S root
root L 2026-11-16 0 99999 7 -1
admin@lab-vm:~$ sudo mkdir -p /srv/data
admin@lab-vm:~$ echo 'UUID=0a3c5e1f-2b4d-4e6f-8a9b-1c2d3e4f5a6b /srv/data ext4 defaults 0 2' | sudo tee -a /etc/fstab
UUID=0a3c5e1f-2b4d-4e6f-8a9b-1c2d3e4f5a6b /srv/data ext4 defaults 0 2
admin@lab-vm:~$ sudo findmnt --verify; echo exit=$?
/srv/data
   [E] unreachable on boot required source: UUID=0a3c5e1f-2b4d-4e6f-8a9b-1c2d3e4f5a6b
   [W] your fstab has been modified, but systemd still uses the old version;
       use 'systemctl daemon-reload' to reload

0 parse errors, 1 error, 1 warning
exit=1

والحرف L في مخرج passwd -S يعني أن الحساب مقفل Locked، وP أن له باسورداً صالحاً. ولاحظ أن الأمر findmnt --verify اكتشف المشكلة قبل إعادة التشغيل وقال صراحة إن المصدر «لا يمكن الوصول إليه عند الإقلاع وهو مطلوب»، وهذا هو الفحص الذي شرحناه في دليل الأقراص، ولكننا تجاهلناه عمداً وأعدنا التشغيل كما يحدث في الواقع. وبعد الإقلاع انتظر systemd ظهور القرص، ثم استسلم:

[ TIME ] Timed out waiting for device dev-d…3c5e1f-2b4d-4e6f-8a9b-1c2d3e4f5a6b.
[DEPEND] Dependency failed for srv-data.mount - /srv/data.
[DEPEND] Dependency failed for local-fs.target - Local File Systems.
[DEPEND] Dependency failed for systemd-fsck…3c5e1f-2b4d-4e6f-8a9b-1c2d3e4f5a6b.
...
[  OK  ] Started emergency.service - Emergency Shell.
[  OK  ] Reached target emergency.target - Emergency Mode.
...
You are in emergency mode. After logging in, type "journalctl -xb" to view
system logs, "systemctl reboot" to reboot, or "exit"
to continue bootup.

Cannot open access to console, the root account is locked.
See sulogin(8) man page for more details.

Press Enter to continue.

في المخرج أعلاه لاحظ التالي:

  • السطر TIME جاء بعد 90 ثانية من الانتظار، وهي القيمة الافتراضية DefaultDeviceTimeoutSec في systemd-system.conf(5)، أي أن السيرفر بدا معلقاً دقيقة ونصفاً قبل أن يظهر أي شيء.
  • سلسلة DEPEND هي نفس سلسلة الاعتماد التي رأيناها في critical-chain ولكن بالاتجاه المعاكس: القرص لم يظهر، فلم يركب srv-data.mount، ولأن السطر بلا nofail فهو مطلوب لـ local-fs.target، فلم يصل إليه systemd، فذهب إلى emergency.target كما تقول systemd.special(7).
  • الصدفة لم تفتح أصلاً، فالبرنامج sulogin الذي يحمي وضع الطوارئ ووضع الإنقاذ يطلب باسورد root تحديداً، والحساب مقفل، والضغط على Enter يعيد نفس الرسالة. وباسورد المستخدم admin لا يفيد هنا رغم أنه في مجموعة sudo.

وهذه هي الحالة الأسوأ: السيرفر لا يقلع، ووضع الطوارئ مغلق، وSSH لا يعمل. والحل باب أبكر من systemd نفسه.

باسورد root المنسي أو المقفل: الخيار init=/bin/bash

أوقفنا الآلة من الخارج وأعدنا تشغيلها، وفي قائمة GRUB ضغطنا e وأضفنا إلى نهاية سطر linux الخيار init=/bin/bash، فطلبنا من النواة أن تشغل bash كالعملية رقم 1 بدلاً من systemd. والنتيجة صدفة root مباشرة دون أي باسورد:

Begin: Running /scripts/init-bottom ... done.
bash: cannot set terminal process group (-1): Inappropriate ioctl for device
bash: no job control in this shell
root@(none):/# echo $$; ps -p 1 -o pid,comm 2>/dev/null || cat /proc/1/comm
1
  PID COMMAND
    1 bash
root@(none):/# findmnt -o TARGET,SOURCE,OPTIONS /
TARGET SOURCE    OPTIONS
/      /dev/vda1 ro,relatime
root@(none):/# touch /x
touch: cannot touch '/x': Read-only file system
root@(none):/# mount -o remount,rw /
[    4.499770] EXT4-fs (vda1): re-mounted 79d53ec0-550d-407e-84a8-bf959ed6bf3f r/w.
root@(none):/# passwd -S root
root L 2026-11-16 0 99999 7 -1
root@(none):/# passwd root
New password:
Retype new password:
passwd: password updated successfully
root@(none):/# passwd -S root
root P 2026-11-16 0 99999 7 -1
root@(none):/# sync

في المخرج أعلاه لاحظ التالي:

  • اسم الجهاز (none) لأن systemd هو من يضبط اسم الجهاز عادة، ولم يعمل. والسطران عن job control طبيعيان لأن bash لا يملك طرفية تحكم كاملة هنا، فلا تستخدم Ctrl-C ولا Ctrl-Z في هذه الصدفة.
  • القسم الرئيسي مركب للقراءة فقط ro، لأن القرص المؤقت ركبه بالخيار ro الموجود في سطر النواة، وsystemd هو من يعيد تركيبه للكتابة عادة. ولذلك أول أمر بعد الدخول هو mount -o remount,rw /، وبدونه يفشل أي تعديل كما فشل touch.
  • الأمر passwd root يعمل عادياً، والحساب أصبح P بعد أن كان L.
  • الأمر sync يكتب كل شيء إلى القرص قبل أن نغادر، لأنه لا يوجد systemd ليغلق أنظمة الملفات بشكل صحيح عند إعادة التشغيل.

وبعد ذلك لا تكتب reboot، فهو أمر يكلم systemd وsystemd لا يعمل، وإنما استبدل الصدفة بالبرنامج الحقيقي بالأمر exec /sbin/init، فيصبح systemd العملية رقم 1 ويكمل الإقلاع من حيث توقف:

root@(none):/# exec /sbin/init
[    6.079790] Not activating Mandatory Access Control as /sbin/tomoyo-init does not exist.
[    6.390838] systemd[1]: Inserted module 'autofs4'
[    6.744537] systemd[1]: systemd 257.13-1~deb13u1 running in system mode (...)
[    6.784482] systemd[1]: Detected virtualization kvm.

وقد يتساءل البعض: إذا كان أي شخص أمام الشاشة يستطيع أن يأخذ صدفة root بهذه السهولة، فأين الحماية؟ والإجابة أن الوصول إلى الـ Console يساوي الوصول الفعلي إلى الجهاز، ولذلك يحمى حساب لوحة المزود ووحدة BMC بنفس قوة حماية root نفسه. وإذا أردت أن تمنع تعديل مداخل GRUB فيمكن وضع باسورد لـ GRUB، وإذا أردت أن تمنع قراءة القرص نفسه فالحل الوحيد تشفير القرص، فلا Secure Boot ولا باسورد GRUB يمنع من يملك القرص من قراءته على جهاز آخر. ولاحظ أيضاً أن هذه الطريقة تختلف في عائلة Red Hat، فالمعتاد هناك هو الخيار rd.break الذي يتوقف داخل القرص المؤقت ويركب القسم الحقيقي في /sysroot، كما في dracut.cmdline(7)، ومع SELinux تحتاج بعدها إعادة تسمية الملفات Relabel وإلا رفض النظام الدخول.

إصلاح fstab من وضع الطوارئ

بعد exec /sbin/init رجع السطر الخاطئ في fstab، فوصلنا إلى وضع الطوارئ مرة أخرى بعد نفس الانتظار، ولكن هذه المرة يوجد باسورد لـ root، فدخلنا:

You are in emergency mode. After logging in, type "journalctl -xb" to view
system logs, "systemctl reboot" to reboot, or "exit"
to continue bootup.
Enter root password for system maintenance
(or press Control-D to continue):
root@lab-vm:~# systemctl --failed --no-pager
  UNIT LOAD ACTIVE SUB DESCRIPTION

0 loaded units listed.
root@lab-vm:~# systemctl status srv-data.mount --no-pager -n 0
○ srv-data.mount - /srv/data
     Loaded: loaded (/etc/fstab; generated)
     Active: inactive (dead)
      Where: /srv/data
       What: /dev/disk/by-uuid/0a3c5e1f-2b4d-4e6f-8a9b-1c2d3e4f5a6b
       Docs: man:fstab(5)
             man:systemd-fstab-generator(8)

وهنا المفاجأة الثانية: systemctl --failed فارغ تماماً. والسبب أن الوحدات التي لم تبدأ بسبب فشل اعتمادها لا تعتبر فاشلة، وإنما «لم تعمل» فقط، فالحالة inactive (dead) لا failed. ولذلك لا تعتمد على --failed وحده في وضع الطوارئ، وابحث عن سطور TIME وDEPEND على الشاشة أو في journalctl -xb، والسطر Loaded: loaded (/etc/fstab; generated) يخبرك أن هذه الوحدة لم يكتبها أحد، وإنما ولدها systemd-fstab-generator من سطر في fstab. ثم الإصلاح نفسه:

root@lab-vm:~# findmnt -o TARGET,SOURCE,OPTIONS -M /; findmnt -M /boot/efi || echo /boot/efi not mounted
TARGET SOURCE    OPTIONS
/      /dev/vda1 rw,relatime,discard,errors=remount-ro
TARGET SOURCE FSTYPE OPTIONS
/boot/efi
       /dev/vda15
              vfat   rw,relatime,fmask=0077,dmask=0077,codepage=437,iocharset=as
root@lab-vm:~# findmnt --verify; echo exit=$?
/srv/data
   [E] unreachable on boot required source: UUID=0a3c5e1f-2b4d-4e6f-8a9b-1c2d3e4f5a6b

0 parse errors, 1 error, 0 warnings
exit=1
root@lab-vm:~# sed -i 's|^UUID=0a3c5e1f.*|# &|' /etc/fstab && cat /etc/fstab
PARTUUID=e39abd19-ba7c-4edb-a5d2-a5bd25c29758 / ext4 rw,discard,errors=remount-ro,x-systemd.growfs 0 1
PARTUUID=fcdf7c7b-b799-41a4-8c20-4ba8fafb8f02 /boot/efi vfat defaults,umask=077 0 2
# UUID=0a3c5e1f-2b4d-4e6f-8a9b-1c2d3e4f5a6b /srv/data ext4 defaults 0 2
root@lab-vm:~# systemctl daemon-reload
root@lab-vm:~# findmnt --verify; echo exit=$?
Success, no errors or warnings detected
exit=0
root@lab-vm:~# systemctl default

في الإصلاح أعلاه لاحظ التالي:

  • القسم الرئيسي هنا rw لأننا أعدنا تركيبه في الخطوة السابقة، وفي وضع طوارئ جديد قد تجده ro، فتحقق بالأمر findmnt قبل أي تعديل، وأعد تركيبه للكتابة إذا لزم. وقسم /boot/efi كان مركباً أيضاً لأنه ركب قبل أن يفشل الانتظار، فوضع الطوارئ يترك ما نجح كما هو.
  • جعلنا السطر تعليقاً بالعلامة # بدلاً من حذفه، لأنك سوف تحتاجه عندما تعرف القرص الصحيح، وفي الساعة الثالثة صباحاً لا تريد أن تكتب UUID من الذاكرة.
  • daemon-reload ضروري، لأن systemd يحول fstab إلى وحدات عند التحميل فقط، وبدونه يبقى يحاول تركيب السطر القديم.
  • systemctl default يكمل الإقلاع إلى default.target دون إعادة تشغيل، وبعده ظهر سطر الدخول وعاد SSH.

وعندما دخلنا بعد الإصلاح قال systemd-analyze ما حدث بالأرقام:

admin@lab-vm:~$ systemctl is-system-running
running
admin@lab-vm:~$ systemd-analyze
Startup finished in 6.182s (kernel) + 1min 33.634s (userspace) = 1min 39.816s
multi-user.target reached after 1min 37.403s in userspace.

دقيقة ونصف في فضاء المستخدم بدلاً من 11 ثانية، وهي نفس الثواني التسعين التي انتظرها systemd القرص الغائب، وبهذا الشكل يكشف systemd-analyze أيضاً عن أعطال لم توقف الإقلاع ولكنها أبطأته.

ماذا لو أضفنا nofail؟

أعدنا نفس السطر ولكن مع nofail ومدة انتظار 10 ثوان بالخيار x-systemd.device-timeout الموثق في systemd.mount(5):

UUID=0a3c5e1f-2b4d-4e6f-8a9b-1c2d3e4f5a6b /srv/data ext4 defaults,nofail,x-systemd.device-timeout=10s 0 2

ثم أعدنا التشغيل:

admin@lab-vm:~$ systemctl is-system-running
running
admin@lab-vm:~$ systemd-analyze
Startup finished in 3.899s (kernel) + 11.054s (userspace) = 14.954s
multi-user.target reached after 7.662s in userspace.
admin@lab-vm:~$ systemctl status srv-data.mount --no-pager -n 3
○ srv-data.mount - /srv/data
     Loaded: loaded (/etc/fstab; generated)
     Active: inactive (dead)
      Where: /srv/data
...

السيرفر أقلع في وقته المعتاد، وmulti-user.target وصل في 7.7 ثانية لأنه لم يعد ينتظر القرص، والانتظار لمدة 10 ثوان جرى في الخلفية. ولكن لاحظ الوجه الآخر: النظام يقول running لا degraded، والقرص غير مركب، والمجلد /srv/data موجود وفارغ على القسم الرئيسي، فإذا كتب فيه التطبيق فهو يكتب في المكان الخطأ دون أي تنبيه، كما شرحنا في دليل الأقراص. فالقاعدة: nofail لكل قرص بيانات حتى لا يوقف الإقلاع، ومعه مراقبة تتأكد أن نقطة التركيب مركبة فعلاً، وRequiresMountsFor= في خدمة التطبيق حتى لا تبدأ دون قرصها.

العطل الثاني: قيمة root= خاطئة وصدفة initramfs

الحالة هنا من الواقع أيضاً: شخص نقل إعدادات GRUB من سيرفر قديم كان قرصه /dev/sda، ومعها الخيار root=/dev/sda1 داخل GRUB_CMDLINE_LINUX، إلى سيرفر جديد قرصه /dev/vda:

admin@lab-vm:~$ grep '^GRUB_CMDLINE_LINUX=' /etc/default/grub
GRUB_CMDLINE_LINUX="console=tty0 console=ttyS0,115200 earlyprintk=ttyS0,115200 consoleblank=0"
admin@lab-vm:~$ sudo sed -i 's|^GRUB_CMDLINE_LINUX="|GRUB_CMDLINE_LINUX="root=/dev/sda1 |' /etc/default/grub
admin@lab-vm:~$ sudo update-grub 2>&1 | grep -v device-mapper
...
admin@lab-vm:~$ sudo grep -m1 -E '^\s+linux' /boot/grub/grub.cfg
	linux	/boot/vmlinuz-6.12.116+deb13-cloud-amd64 root=PARTUUID=e39abd19-ba7c-4edb-a5d2-a5bd25c29758 ro root=/dev/sda1 console=tty0 console=ttyS0,115200 earlyprintk=ttyS0,115200 consoleblank=0 

لاحظ أن السطر فيه الآن قيمتان لـ root=: الصحيحة التي يكتبها 10_linux بنفسه، والخاطئة بعد ro. ولم يعترض update-grub على شيء، فهو لا يفهم معنى الخيارات وإنما ينسخها. وبعد إعادة التشغيل حمل GRUB النواة بشكل عادي، وبدأ القرص المؤقت، ثم:

Begin: Mounting root file system ... Begin: Running /scripts/local-top ... done.
Begin: Running /scripts/local-premount ... done.
Begin: Waiting for root file system ... Begin: Running /scripts/local-block ... done.
Begin: Running /scripts/local-block ... done.
...
done.
Gave up waiting for root file system device.  Common problems:
 - Boot args (cat /proc/cmdline)
   - Check rootdelay= (did the system wait long enough?)
 - Missing modules (cat /proc/modules; ls /dev)
ALERT!  /dev/sda1 does not exist.  Dropping to a shell!
(initramfs)

والسطر local-block تكرر 31 مرة خلال قرابة 30 ثانية، وفي كل مرة يسأل السكربت: هل ظهر /dev/sda1؟ ثم استسلم وأعطانا صدفة القرص المؤقت. ولاحظ أن الرسالة نفسها تقول لك من أين تبدأ: سطر الأوامر، ومدة الانتظار، والتعريفات. ومن داخل الصدفة:

(initramfs) cat /proc/cmdline
BOOT_IMAGE=/boot/vmlinuz-6.12.116+deb13-cloud-amd64 root=PARTUUID=e39abd19-ba7c-4edb-a5d2-a5bd25c29758 ro root=/dev/sda1 console=tty0 console=ttyS0,115200 earlyprintk=ttyS0,115200 consoleblank=0
(initramfs) ls /dev/vd* /dev/sd*
/dev/sd*: No such file or directory
(initramfs) ls -l /dev/disk/by-partuuid/
-l: No such file or directory
(initramfs) blkid
/dev/vdb: BLOCK_SIZE="2048" UUID="2026-11-16-10-23-52-00" LABEL="cidata" TYPE="iso9660"
/dev/vda15: SEC_TYPE="msdos" UUID="60DA-9911" BLOCK_SIZE="512" TYPE="vfat" PARTUUID="fcdf7c7b-b799-41a4-8c20-4ba8fafb8f02"
/dev/vda1: UUID="79d53ec0-550d-407e-84a8-bf959ed6bf3f" BLOCK_SIZE="4096" TYPE="ext4" PARTUUID="e39abd19-ba7c-4edb-a5d2-a5bd25c29758"
/dev/vda14: PARTUUID="d30dcbcc-6498-4a7a-8fca-fb6bdc160d45"
(initramfs) cat /proc/filesystems | grep -v nodev
	ext3
	ext2
	ext4
	fuseblk
(initramfs) ls /scripts /bin | head -40
sh: 6: head: not found

في المخرج أعلاه لاحظ التالي:

  • سطر الأوامر يكشف المشكلة فوراً: قيمتان لـ root=، والقرص المؤقت أخذ الأخيرة، وهي القاعدة في النواة وفي سكربتات initramfs معاً: عند تكرار الخيار تفوز آخر قيمة.
  • blkid يقول إن القسم الرئيسي موجود وسليم باسم /dev/vda1 وبنفس الـ PARTUUID الصحيح، أي أن القرص والتعريف بخير والمشكلة في الاسم فقط.
  • الصدفة هنا ليست bash ولا busybox، لأن busybox غير مثبت كما رأينا في initramfs.conf، فهي صدفة klibc الصغيرة: الأمر ls لا يفهم -l، والأمر head غير موجود أصلاً. فلا تتوقع أدواتك المعتادة داخل initramfs، واكتف بالتشخيص فيه، وأصلح من مكان أكبر.

والإصلاح على مرحلتين، الأولى مؤقتة لنقلع الآن: أعدنا التشغيل، وفي قائمة GRUB ضغطنا e وأضفنا القيمة الصحيحة في آخر السطر، لأن آخر قيمة هي التي تفوز:

 |        linux        /boot/vmlinuz-6.12.116+deb13-cloud-amd64 root=PARTUUID\|
 |=e39abd19-ba7c-4edb-a5d2-a5bd25c29758 ro root=/dev/sda1 console=tty0 consol\|
 |e=ttyS0,115200 earlyprintk=ttyS0,115200 consoleblank=0  root=PARTUUID=e39ab\|
 |d19-ba7c-4edb-a5d2-a5bd25c2                                                 |v

وتستطيع بدلاً من ذلك أن تمسح root=/dev/sda1 من وسط السطر بالأسهم ومفتاح الحذف، والنتيجة واحدة، ولكن الإضافة في النهاية أسرع وأقل عرضة للخطأ على شاشة تسلسلية بطيئة. وبعد الإقلاع، المرحلة الثانية هي الإصلاح الدائم في المكان الذي جاء منه الخطأ:

admin@lab-vm:~$ cat /proc/cmdline
BOOT_IMAGE=/boot/vmlinuz-6.12.116+deb13-cloud-amd64 root=PARTUUID=e39abd19-ba7c-4edb-a5d2-a5bd25c29758 ro root=/dev/sda1 console=tty0 console=ttyS0,115200 earlyprintk=ttyS0,115200 consoleblank=0 root=PARTUUID=e39abd19-ba7c-4edb-a5d2-a5bd25c29758
admin@lab-vm:~$ findmnt -o TARGET,SOURCE /
TARGET SOURCE
/      /dev/vda1
admin@lab-vm:~$ sudo sed -i 's|root=/dev/sda1 ||' /etc/default/grub
admin@lab-vm:~$ grep '^GRUB_CMDLINE_LINUX=' /etc/default/grub
GRUB_CMDLINE_LINUX="console=tty0 console=ttyS0,115200 earlyprintk=ttyS0,115200 consoleblank=0"
admin@lab-vm:~$ sudo update-grub 2>&1 | grep -v device-mapper
...
admin@lab-vm:~$ sudo grep -m1 -E '^\s+linux' /boot/grub/grub.cfg
	linux	/boot/vmlinuz-6.12.116+deb13-cloud-amd64 root=PARTUUID=e39abd19-ba7c-4edb-a5d2-a5bd25c29758 ro console=tty0 console=ttyS0,115200 earlyprintk=ttyS0,115200 consoleblank=0 

والخطأ الذي يقع فيه كثيرون هنا أن يكتفوا بالمرحلة الأولى لأن السيرفر رجع، فيتوقف من جديد عند أول إعادة تشغيل بعد أسابيع، ولا يتذكر أحد ما حدث. والدرس الأعم أن تكتب القسم الرئيسي في سطر النواة دائماً برقم ثابت UUID= أو PARTUUID=، لا باسم الجهاز، لأن الاسم يعتمد على نوع التعريف وترتيب الاكتشاف، فنفس القرص يظهر sda على تعريف SATA أو SCSI وvda على virtio وnvme0n1 على NVMe.

العطل الثالث: grub.cfg معطوب أو مفقود

قلنا إن grub.cfg لا يعدل يدوياً، ولكن هذا يحدث في الواقع: شخص يريد تغيير مدة الانتظار بسرعة فيفتح الملف ويعدله، ويحذف قوساً دون أن ينتبه. وهذا ما فعلناه بالضبط، حذفنا أول قوس إغلاق في الملف:

admin@lab-vm:~$ sudo cp /boot/grub/grub.cfg /root/grub.cfg.bak
admin@lab-vm:~$ sudo grep -n -m3 '^}' /boot/grub/grub.cfg
43:}
56:}
96:}
admin@lab-vm:~$ sudo sed -i '0,/^}$/{/^}$/d}' /boot/grub/grub.cfg
admin@lab-vm:~$ sudo diff /root/grub.cfg.bak /boot/grub/grub.cfg
43d42
< }
admin@lab-vm:~$ sudo grub-script-check /boot/grub/grub.cfg; echo exit=$?
error: syntax error.
error: Incorrect command.
error: syntax error.
error: Incorrect command.
error: syntax error.
Syntax error at line 43
exit=1
admin@lab-vm:~$ sudo grub-script-check /root/grub.cfg.bak; echo exit=$?
exit=0

والأداة grub-script-check تفحص صياغة الملف كما سيقرؤه GRUB، وقد حددت السطر 43 بالضبط، فهي لـ grub.cfg ما يفعله findmnt --verify لـ fstab، ويجب أن تشغلها بعد أي تعديل على الملف أو على سكربت في /etc/grub.d/. وعند إعادة التشغيل طبع GRUB هذه الأخطاء:

BdsDxe: starting Boot0001 "UEFI Misc Device" from PciRoot(0x0)/Pci(0x3,0x0)
error: syntax error.
error: Incorrect command.
error: syntax error.
error: Incorrect command.
error: syntax error.
error: syntax error.
error: Incorrect command.
error: syntax error.
error: can't find command `load_video'.
error: prohibited by secure boot policy.

ثم ظهرت القائمة كاملة كأن شيئاً لم يحدث. والقوس المحذوف كان يغلق تعريف الدالة load_video في أعلى الملف، فلم تعرف الدالة، وكل مدخل يبدأ بالأمر load_video سوف يطبع خطأ قبل أن يكمل. أي أن ملف grub.cfg المعطوب لا يعني دائماً شاشة سوداء، فقد تظهر القائمة وتبدو سليمة بينما يتصرف GRUB بشكل مختلف عما تتوقع، وهذه الأخطاء السريعة في أعلى الشاشة تختفي خلال ثوان، ولا يراها إلا من كان أمام الـ Console. والإصلاح من داخل النظام سطر واحد، لأن الملف ناتج يولد من جديد:

admin@lab-vm:~$ sudo update-grub 2>&1 | grep -v device-mapper
Generating grub configuration file ...
Found linux image: /boot/vmlinuz-6.12.116+deb13-cloud-amd64
Found initrd image: /boot/initrd.img-6.12.116+deb13-cloud-amd64
Adding boot menu entry for UEFI Firmware Settings ...
done
admin@lab-vm:~$ sudo grub-script-check /boot/grub/grub.cfg; echo exit=$?
exit=0
admin@lab-vm:~$ sudo diff /root/grub.cfg.bak /boot/grub/grub.cfg && echo identical
identical

وإذا اختفى الملف: الإقلاع يدوياً من سطر grub>

الحالة الأصعب أن يختفي grub.cfg نفسه، بعد تنظيف متسرع لمجلد /boot أو تحديث توقف في منتصفه. نقلنا الملف خارج مكانه وأعدنا التشغيل، فلم تظهر أي قائمة:

admin@lab-vm:~$ sudo mv /boot/grub/grub.cfg /root/grub.cfg.moved
admin@lab-vm:~$ sudo systemctl reboot
...
BdsDxe: starting Boot0001 "UEFI Misc Device" from PciRoot(0x0)/Pci(0x3,0x0)
GNU GRUB  version 2.12-9+deb13u2

   Minimal BASH-like line editing is supported. For the first word, TAB lists possible
   command completions. Anywhere else TAB lists possible device or file completions. To
   enable less(1)-like paging, "set pager=1".

grub>

وهذا هو سطر أوامر GRUB، والسيرفر لا يعرف ماذا يقلع لأن الملف الذي يقول له ذلك غير موجود، ولكن GRUB نفسه يعمل ويقرأ الأقراص، فنستطيع أن نقول له ما كان الملف سيقوله، بأربعة أوامر:

grub> echo $prefix $root
(hd0,gpt1)/boot/grub hd0,gpt1
grub> ls
(proc) (memdisk) (hd0) (hd0,gpt15) (hd0,gpt14) (hd0,gpt1) (hd1) (cd0)
grub> ls (hd0,gpt1)/boot
efi/ config-6.12.116+deb13-cloud-amd64 vmlinuz-6.12.116+deb13-cloud-amd64 grub/
System.map-6.12.116+deb13-cloud-amd64 initrd.img-6.12.116+deb13-cloud-amd64
grub> set root=(hd0,gpt1)
grub> linux /boot/vmlinuz-6.12.116+deb13-cloud-amd64 root=PARTUUID=e39abd19-ba7c-4edb-a5d2-a5bd25c29758 ro console=ttyS0,115200
grub> initrd /boot/initrd.img-6.12.116+deb13-cloud-amd64
grub> boot

في الأوامر أعلاه لاحظ التالي:

  • echo $prefix $root يخبرك أن ملف ESP الصغير نجح في عمله ووجد القسم، ففشل الإقلاع في الخطوة التالية فقط: قراءة grub.cfg.
  • ls وحده يعرض الأقراص والأقسام بأسماء GRUB، فالقرص الأول hd0 وأقسامه الثلاثة، وhd1 هو قرص cloud-init، وls على مسار يعرض الملفات، وبه تتأكد من اسم النواة والقرص المؤقت. والمفتاح TAB يكمل الأسماء الطويلة بدلاً من كتابتها.
  • الأمر linux هو نفس سطر المدخل الذي رأيناه في grub.cfg، وأهم ما فيه root= الصحيح، وهو مكتوب في /etc/fstab إذا لم تكن تحفظه، وفي سيرفر لا تعرف عنه شيئاً يكفي غالباً root=/dev/vda1 أو ما يقابله. ولا تنس console=ttyS0,115200 وإلا لن ترى أي شيء من النواة على المنفذ التسلسلي.
  • والأمر linux عمل رغم Secure Boot، لأن النواة موقعة وshim يتحقق منها، بينما رفض insmod bli قبل قليل لأنه وحدة غير موقعة.

وأقلع السيرفر بهذا السطر اليدوي، وبعد الدخول ولدنا الملف من جديد:

admin@lab-vm:~$ cat /proc/cmdline
BOOT_IMAGE=/boot/vmlinuz-6.12.116+deb13-cloud-amd64 root=PARTUUID=e39abd19-ba7c-4edb-a5d2-a5bd25c29758 ro console=ttyS0,115200
admin@lab-vm:~$ sudo update-grub 2>&1 | grep -v device-mapper
Generating grub configuration file ...
...
done
admin@lab-vm:~$ sudo grub-script-check /boot/grub/grub.cfg; echo exit=$?
exit=0
admin@lab-vm:~$ sudo diff /root/grub.cfg.moved /boot/grub/grub.cfg && echo identical
identical
admin@lab-vm:~$ systemd-analyze
Startup finished in 3.572s (kernel) + 8.212s (userspace) = 11.784s
multi-user.target reached after 7.976s in userspace.

والملف الجديد مطابق للقديم بايتاً ببايت، وهذا دليل عملي على ما قلناه في البداية: grub.cfg ناتج لا يحمل أي معلومة غير موجودة في المدخلات، فلا تحتفظ بنسخة منه وتنسخها فوقه، وإنما احتفظ بنسخة من /etc/default/grub و/etc/default/grub.d/. أما إذا كان العطل في ملفات GRUB نفسها في ESP، أو حذف ملف النواة، فلن يكفي سطر grub>، والحل الإقلاع من ملف ISO أو وضع الإنقاذ عند المزود، ثم الدخول إلى النظام بالأمر chroot وإعادة تثبيت الحزم grub-efi-amd64-signed وshim-signed والنواة.

جدول القرار: ما تراه على الشاشة وماذا تفعل

ما تراه على الـ Consoleالمرحلةأول ما تفعله
لا شيء، أو No bootable device، أو قائمة إعدادات البرنامج الثابتالبرنامج الثابتترتيب الإقلاع في NVRAM أو BIOS، ووجود ESP وملفاته، وطريقة الإقلاع BIOS أم UEFI
grub> دون قائمةGRUBecho $prefix وls، ثم linux وinitrd وboot يدوياً، ثم update-grub
أخطاء syntax error سريعة قبل القائمةGRUBgrub-script-check /boot/grub/grub.cfg ثم update-grub
Kernel panic ... VFS: Unable to mount root fsالنواةالقرص المؤقت مفقود أو لا يناسب هذه النواة، فاختر نواة أقدم من Advanced options ثم update-initramfs -u -k all
ALERT! ... does not exist ثم (initramfs)initramfscat /proc/cmdline وblkid، وصحح root= من محرر GRUB ثم في /etc/default/grub
You are in emergency modesystemdسطور TIME وDEPEND، ثم findmnt --verify، وأصلح fstab ثم daemon-reload
root account is locked في وضع الطوارئsystemdinit=/bin/bash ثم mount -o remount,rw / ثم passwd root ثم exec /sbin/init
سطر الدخول يظهر ولكن SSH لا يردالخدماتادخل من الـ Console، ثم systemctl --failed وjournalctl -b، وتابع في دليل استكشاف الأعطال
يقلع ولكن ببطء شديدsystemdsystemd-analyze ثم critical-chain، وابحث عن انتظار 90 ثانية لجهاز غائب

وصف Kernel panic هو الوحيد في الجدول الذي لم نجربه في المختبر، ورسالته هي رسالة النواة المعروفة عندما لا تستطيع تركيب القسم الرئيسي، أما بقية الصفوف فرسائلها من المختبر نفسه. وعندما يصل السيرفر إلى سطر الدخول ولكن تطبيقاً فيه لا يعمل، فقد انتهى دور هذا المقال، والطريقة المنهجية لتلك المرحلة في دليل استكشاف أعطال السيرفر.

أخطاء شائعة

  • إعادة تشغيل سيرفر بعيد دون أن تعرف كيف تصل إلى شاشته: افتح الـ Console أولاً، وتأكد أنها تعرض شيئاً، ثم أعد التشغيل.
  • تعديل /boot/grub/grub.cfg يدوياً: يختفي التعديل في أول تحديث للنواة، أو يعطل الملف كما رأينا، والصحيح /etc/default/grub ثم update-grub.
  • تعديل /etc/default/grub دون أن تنظر في /etc/default/grub.d/: ملف هناك يغطي قيمتك، كما غطى 15_timeout.cfg مدة الانتظار في الصورة السحابية.
  • كتابة اسم الجهاز في root= أو في fstab: /dev/sda1 على سيرفر يرى القرص /dev/vda1 يوقف الإقلاع في initramfs.
  • إضافة قرص بيانات إلى fstab دون nofail، ثم إعادة التشغيل دون findmnt --verify: دقيقة ونصف انتظار ثم وضع الطوارئ.
  • الاعتماد على باسورد مستخدم sudo في وضع الطوارئ: sulogin يطلب باسورد root، وإذا كان مقفلاً فالباب التالي هو init=/bin/bash.
  • كتابة reboot داخل صدفة init=/bin/bash: لا يوجد systemd ليستقبل الأمر، والصحيح sync ثم exec /sbin/init.
  • نسيان mount -o remount,rw / في الصدفة نفسها: يفشل passwd وكل تعديل لأن القسم الرئيسي للقراءة فقط.
  • الثقة في systemctl --failed وحده في وضع الطوارئ: الوحدات التي لم تبدأ بسبب اعتماد فاشل لا تظهر فيه.
  • الاكتفاء بالإصلاح المؤقت من محرر GRUB: السيرفر يقلع اليوم ويتوقف في إعادة التشغيل القادمة.
  • جمع أرقام systemd-analyze blame والحكم بها: الوحدات تبدأ بالتوازي، والسؤال الصحيح يجيب عليه critical-chain.
  • تطبيق تحديثات shim وGRUB والنواة على كل السيرفرات معاً: جربها على جهاز واحد مع إعادة تشغيل أمام الـ Console أولاً.
  • تنفيذ أوامر إصلاح GRUB الخاصة بـ BIOS على سيرفر يقلع بطريقة UEFI أو العكس: تحقق من /sys/firmware/efi قبل أي grub-install.

قائمة تحقق Checklist قبل أي إعادة تشغيل

  • أعرف كيف أفتح الـ Console لهذا السيرفر، وجربتها مرة على الأقل.
  • يوجد Snapshot أو نسخة احتياطية للقرص إذا كان التغيير في الإقلاع أو الأقراص أو النواة.
  • findmnt --verify بلا أخطاء، وnofail لكل قرص بيانات.
  • grub-script-check /boot/grub/grub.cfg بلا أخطاء إذا عدلت أي شيء في GRUB، وupdate-grub طبع Found linux image للنواة الجديدة.
  • إذا عدلت شيئاً يحتاجه القرص المؤقت (تعريف، تشفير، RAID، LVM): update-initramfs -u نفذ دون أخطاء.
  • سطر النواة يستخدم UUID= أو PARTUUID=، وفيه console= مناسب لنوع الـ Console عند المزود.
  • يوجد طريق للدخول بصلاحية root من الـ Console: باسورد root معروف ومحفوظ في مدير الباسوردات، أو تعرف أنك ستحتاج init=/bin/bash.
  • مدة انتظار قائمة GRUB أكبر من صفر على السيرفرات التي قد تحتاج فيها إلى التدخل، أو تعرف كيف تظهرها.
  • systemctl get-default يعطي multi-user.target على السيرفر.
  • بعد الإقلاع: systemctl is-system-running وsystemd-analyze وقارن الرقم بالإقلاع السابق.

حذف المختبر Cleanup

الآلة الافتراضية تعمل داخل الـ Container، وقرصها والصورة الأصلية في Volume، فيكفي حذف الثلاثة:

docker rm -f lnxg-lab
docker volume rm lnxg-vm
docker rmi lnxg-qemu:1

الخلاصة

وصلنا لنهاية الموضوع، وأهم ما فيه:

  • الإقلاع ست مراحل: البرنامج الثابت ثم GRUB ثم النواة ثم initramfs ثم systemd ثم الدخول، ورسالة التوقف على الشاشة تحدد المرحلة: grub> أو (initramfs) أو emergency mode.
  • UEFI يقرأ ملفات .efi من قسم ESP ويحفظ القائمة في NVRAM، والصورة السحابية تحمل قسماً لـ BIOS وقسماً لـ UEFI معاً وتقلع من المسار الاحتياطي BOOTX64.EFI.
  • مع Secure Boot يتحقق shim من GRUB والنواة، والنواة تدخل Lockdown، والرسالة prohibited by secure boot policy في المختبر كانت من وحدة bli غير الموقعة، ولهذا لا يعرض systemd-analyze وقت البرنامج الثابت وGRUB.
  • grub.cfg ناتج يولده update-grub من /etc/default/grub وgrub.d و/etc/grub.d، وملف في grub.d جعل مدة الانتظار صفراً، والملف المولد من جديد كان مطابقاً للقديم بايتاً ببايت.
  • الحرف e في قائمة GRUB يعدل سطر النواة لمرة واحدة، وsystemd.unit=rescue.target وinit=/bin/bash بابان للإصلاح، وعند تكرار خيار في السطر تفوز آخر قيمة.
  • initramfs ينتظر القسم الذي في root=، وroot=/dev/sda1 على قرص virtio أعطانا صدفة klibc بعد قرابة 30 ثانية، دون head ودون ls -l.
  • سطر fstab خاطئ دون nofail جعل الإقلاع ينتظر 90 ثانية ثم يدخل وضع الطوارئ، ومع root مقفل لم يفتح الوضع أصلاً، وsystemctl --failed كان فارغاً، وsystemd-analyze أظهر دقيقة ونصفاً في فضاء المستخدم.
  • مع nofail أقلع السيرفر في وقته وقال إنه running والقرص غير مركب، فالـ nofail يحتاج مراقبة معه.
  • critical-chain يجيب عن سؤال الإقلاع البطيء، وblame يعطي التفاصيل فقط، وفي الصورة السحابية كان cloud-init والشبكة في طريق كل شيء.

وفي المقالات القادمة بإذن الله سوف نكمل مع تشخيص السيرفر الذي يقلع ولكنه بطيء أو لا يخدم، وهذه مقالات مرتبطة:

دليلإدارة الخدمات Services والسجلات Logs مع systemdننقل واجهة برمجية من nohup إلى خدمة systemd تعود وحدها بعد التوقف والإقلاع، ونقرأ سجلاتها مع journalctl، ونرى ثلاث مشاكل حقيقية واجهتنا في الطريق.دليلالأقراص في Linux: التركيب Mount والملف fstab وSwapنضيف قرص بيانات إلى سيرفر Linux من التقسيم إلى التركيب الدائم، ونرى بأعيننا لماذا تختفي الملفات ويتوقف الإقلاع ويمتلئ القرص، ثم نضيف Swap ونوسع القرص دون إيقاف.دليلتوسيع قرص النظام في Ubuntu عند استخدام LVMعندما تزيد حجم القرص من Proxmox أو من لوحة المزود ويبقى الحجم القديم، هكذا توسع قرص النظام في Ubuntu دون إيقاف السيرفر.دليلالإدارة عن بعد للسيرفرات: BMC وiDRAC وiLO وRedfishكيف تشغل سيرفرك وتطفئه وترى شاشته وحرارته وسجل أعطاله وتثبت عليه نظاماً من بعيد عبر ال BMC، مع إعداده أول مرة وشبكته المنفصلة وتجربة عملية بـ Redfish وipmitool.دليلاستكشاف أعطال السيرفر Troubleshooting: خمس حوادث حقيقيةنعطل خدمة على سيرفر Linux خمس مرات بأسباب تحدث كل يوم، ونتبع في كل مرة نفس الأسئلة الستة حتى نصل إلى السبب برقمه، ونرى أين تسكت الأدوات أو تخدعك.دليلتمارين Kata في تشخيص الأعطال بثلاثة مستويات مع الحلولحوادث صنعناها في المختبر بأعراض حقيقية، تقرر فيها ما تفحصه أولاً ولماذا، ثم تقارن مسارك بمسار التحقيق الكامل.دليلسكربتات Bash Scripts لأتمتة المهام اليوميةنكتب ونشغل ثلاثة سكربتات Bash حقيقية للنسخ الاحتياطي وتنبيه امتلاء القرص وتقرير المستخدمين، ونرى الأخطاء التي اكتشفتها ShellCheck والتي لم يكشفها إلا التشغيل من Cron وsystemd.

سجل التحديثات

  • 16 نوفمبر 2026: كتابة الدليل، وتنفيذ كل التجارب على صورة Debian 13 السحابية (genericcloud، النواة 6.12.116) داخل QEMU 10.0.13 مع KVM والبرنامج الثابت OVMF 2025.02 وSecure Boot مفعلة، مع GRUB 2.12 وshim 16.1 وsystemd 257.13 وinitramfs-tools 0.148.4، والتحكم من المنفذ التسلسلي.
نشرة عرب رووت | ArabRoot

معرفة تستحق مكاناً في بريدك.

مقالات مختارة وأدوات مفيدة وأفكار لمشروعك القادم، في رسالة واحدة كل أسبوع.

يمكنك إلغاء الاشتراك متى شئت. الخصوصية

تم استلام طلبك. افتح بريدك واضغط رابط التأكيد لإتمام الاشتراك.