تكتب sudo reboot على السيرفر بعد تحديث النواة أو بعد إضافة قرص جديد، وتنتظر دقيقة ثم تحاول الدخول بالأمر ssh فلا يرد، ثم تنتظر خمس دقائق أخرى ولا يرد، وعندما تفتح شاشة الـ Console من لوحة مزود الاستضافة تجد سطوراً لم ترها من قبل: «You are in emergency mode»، أو كلمة (initramfs) وحدها ومؤشر يومض، أو grub> على شاشة سوداء. وفي هذه اللحظة لا يفيدك أي شيء تعرفه عن الخدمات والتطبيقات، لأن السيرفر لم يصل إليها أصلاً، والسؤال الوحيد الذي يهم هو: في أي مرحلة توقف الإقلاع Boot، وماذا تحتاج هذه المرحلة حتى تكمل؟
والإقلاع ليس خطوة واحدة كما يبدو من الخارج، وإنما سلسلة من البرامج يحمل كل منها التالي ثم يختفي: البرنامج الثابت Firmware، ثم محمل الإقلاع Boot Loader وهو GRUB على أغلب السيرفرات، ثم النواة Kernel مع قرص مؤقت في الذاكرة اسمه initramfs، ثم systemd كالعملية رقم 1، ثم الخدمات وسطر الدخول. وكل رسالة غريبة على الشاشة تخبرك بالضبط أين توقفت السلسلة، إذا عرفت ما تفعله كل حلقة. ولذلك سوف نشغل في هذا الدليل سيرفراً حقيقياً من صورة Debian 13 السحابية داخل QEMU مع UEFI وSecure Boot، ونتابع إقلاعه سطراً سطراً من شاشة المنفذ التسلسلي Serial Console، ثم نعطله ثلاث مرات بأخطاء يقع فيها مديرو الأنظمة فعلاً، ونصلحه كل مرة من الشاشة نفسها.
وسوف نناقش في هذا المقال ما يلي:
- تجهيز المختبر: صورة Debian السحابية تقلع داخل QEMU مع البرنامج الثابت OVMF وSecure Boot، ونتحكم بها من المنفذ التسلسلي.
- المراحل الست للإقلاع، وما يطبعه كل منها على الشاشة.
- البرنامج الثابت: الفرق بين BIOS وUEFI، وقسم ESP، وقائمة الإقلاع في NVRAM، وSecure Boot وshim باختصار.
- GRUB: من أين يأتي الملف
grub.cfg، ولماذا لم تظهر القائمة أصلاً، وكيف تعدل مدخل الإقلاع لمرة واحدة. - سطر أوامر النواة Kernel Command Line، ومن يقرأ كل خيار فيه.
- النواة والقرص المؤقت initramfs: ماذا يفعل، ومتى تعيد بناءه.
- systemd كالعملية رقم 1، والأهداف Targets، ووضع الإنقاذ Rescue ووضع الطوارئ Emergency.
- قياس الإقلاع مع
systemd-analyzeبالأوامرblameوcritical-chainوplot. - ثلاثة أعطال حقيقية وإصلاحها: سطر fstab خاطئ، وقيمة
root=خاطئة، وملفgrub.cfgمعطوب ثم مفقود، ومعها باسورد root المقفل. - جدول قرار، وأخطاء شائعة، وقائمة تحقق قبل أي إعادة تشغيل.
وهذا المقال يكمل ما سبقه في المسار، فإدارة الخدمات وكتابة ملفات الوحدات شرحناها في دليل الخدمات والسجلات مع systemd، والملف fstab حقلاً حقلاً مع الخيار nofail في دليل الأقراص وأنظمة الملفات، ولن نكرر شيئاً منهما هنا، وإنما نأخذ منهما ما يخص الإقلاع فقط.
تجهيز المختبر: سيرفر حقيقي يقلع داخل QEMU
الـ Container لا يقلع، فهو يشارك نواة الجهاز ويبدأ مباشرة من العملية رقم 1 دون برنامج ثابت ولا محمل إقلاع ولا initramfs، ولذلك كل ما في هذا المقال يحتاج آلة افتراضية Virtual Machine كاملة. والأداة هنا QEMU، وهو نفس المحاكي الذي يعمل تحت KVM في أغلب مزودي السحابة، ومعه البرنامج الثابت OVMF وهو نسخة UEFI مفتوحة المصدر للآلات الافتراضية. ولكي يبقى المختبر نظيفاً وضعنا الأدوات داخل Container من Debian 13 يعمل بالخيار --privileged حتى يصل إلى /dev/kvm، فتعمل الآلة الافتراضية بتسريع العتاد KVM:
FROM debian:trixie-slim
RUN apt-get update && apt-get install -y --no-install-recommends qemu-system-x86 qemu-utils ovmf genisoimage python3-pexpect ca-certificates curl xz-utils && rm -rf /var/lib/apt/lists/*
WORKDIR /labdocker build -t lnxg-qemu:1 .
docker volume create lnxg-vm
docker run -d --name lnxg-lab --privileged -v lnxg-vm:/vm -v "$PWD:/g" lnxg-qemu:1 sleep infinity
docker exec lnxg-lab sh -c 'cd /vm && curl -sSL -o debian-13-genericcloud-amd64.qcow2 https://cloud.debian.org/images/cloud/trixie/latest/debian-13-genericcloud-amd64.qcow2 && qemu-img info debian-13-genericcloud-amd64.qcow2'والصورة هي صورة Debian الرسمية للسحابة من cloud.debian.org، بنفس النواة وGRUB وshim التي تجدها على سيرفر حقيقي عند المزود، وحجمها كما يلي:
image: debian-13-genericcloud-amd64.qcow2
file format: qcow2
virtual size: 3 GiB (3221225472 bytes)
disk size: 326 MiBولا نعدل هذه الصورة نفسها، وإنما ننشئ فوقها قرصاً من نوع Overlay يكتب فيه كل تغيير، فإذا أفسدنا شيئاً بدأنا من جديد بأمر واحد، وهذه نفس فكرة الـ Snapshot التي ننصح بها قبل أي تعديل على الإقلاع في سيرفر حقيقي. والصورة السحابية لا تحمل أي مستخدم أو باسورد، فهي تنتظر من يعطيها الإعدادات عبر cloud-init عند أول إقلاع، ولذلك صنعنا قرصاً صغيراً باسم cidata فيه ملف user-data يضيف المستخدم admin ويعطي root باسورداً للمختبر فقط:
cd /vm
genisoimage -quiet -output seed.iso -volid cidata -joliet -rock /g/seed/user-data /g/seed/meta-data
cp /usr/share/OVMF/OVMF_VARS_4M.ms.fd vars.fd
qemu-img create -f qcow2 -F qcow2 -b debian-13-genericcloud-amd64.qcow2 lab.qcow2والملف OVMF_VARS_4M.ms.fd هو مخزن متغيرات UEFI وفيه مفاتيح Microsoft مسجلة مسبقاً، وهو ما يجعل Secure Boot مفعلة كما في أغلب الأجهزة الحقيقية. وبعد ذلك نشغل الآلة الافتراضية بهذا الأمر:
qemu-system-x86_64 -machine q35,smm=on -accel kvm -cpu host -m 1024 -smp 2 \
-global driver=cfi.pflash01,property=secure,value=on \
-drive if=pflash,format=raw,unit=0,readonly=on,file=/usr/share/OVMF/OVMF_CODE_4M.secboot.fd \
-drive if=pflash,format=raw,unit=1,file=/vm/vars.fd \
-drive if=virtio,format=qcow2,file=/vm/lab.qcow2 \
-drive if=virtio,format=raw,readonly=on,file=/vm/seed.iso \
-nic user,model=virtio-net-pci -nographicفي الأمر أعلاه لاحظ التالي:
- الخيار
-nographicيلغي الشاشة الرسومية ويربط المنفذ التسلسلي للآلة بالطرفية، فنرى كل ما يطبعه البرنامج الثابت وGRUB والنواة وsystemd كنص عادي، وهذا بالضبط ما تراه في شاشة الـ Serial Console عند أي مزود سحابة. - القرص
if=virtioيظهر داخل النظام باسم/dev/vdaلا/dev/sda، وهذا تفصيل سوف يعطل السيرفر لاحقاً في المقال. - الخيار
smm=onمعsecure,value=onشرط لنسخة OVMF التي تدعم Secure Boot، فبدونهما ترفض النسخةsecbootأن تعمل.
وحتى نكتب الأوامر ونقرأ المخرج كما يفعل شخص أمام الشاشة، كتبنا سكربت Python صغيراً بالمكتبة pexpect يرسل الأحرف إلى المنفذ التسلسلي ويحفظ كل بايت يخرج منه، وكل المخرجات في هذا المقال من هذه السجلات كما هي، والسكربتات والسجلات الكاملة في مجلد المختبر lab/.
الصورة الكاملة: ست مراحل من التشغيل إلى سطر الدخول
قبل الدخول في كل مرحلة لننظر إلى الصورة كاملة، فكل مرحلة لها مهمة واحدة، وعندما تنتهي منها تسلم الدور للتالية وتخرج من الذاكرة، ولكل مرحلة شكل خاص على الشاشة إذا توقفت عندها:

وهذه هي المراحل نفسها في أول إقلاع للمختبر، من أول سطر طبعه البرنامج الثابت:
BdsDxe: loading Boot0001 "UEFI Misc Device" from PciRoot(0x0)/Pci(0x3,0x0)
BdsDxe: starting Boot0001 "UEFI Misc Device" from PciRoot(0x0)/Pci(0x3,0x0)
error: prohibited by secure boot policy.
Booting `Debian GNU/Linux'
Loading Linux 6.12.116+deb13-cloud-amd64 ...
Loading initial ramdisk ...
EFI stub: Loaded initrd from LINUX_EFI_INITRD_MEDIA_GUID device path
EFI stub: UEFI Secure Boot is enabled.
[ 0.000000] Linux version 6.12.116+deb13-cloud-amd64 ([email protected]) ...
[ 0.000000] Command line: BOOT_IMAGE=/boot/vmlinuz-6.12.116+deb13-cloud-amd64 root=PARTUUID=e39abd19-ba7c-4edb-a5d2-a5bd25c29758 ro console=tty0 console=ttyS0,115200 earlyprintk=ttyS0,115200 consoleblank=0
...
[ 2.264485] Trying to unpack rootfs image as initramfs...
...
[ 3.009533] Run /init as init process
...
Welcome to Debian GNU/Linux 13 (trixie)!
...
lab-vm login:في المخرج أعلاه لاحظ التالي:
- السطران
BdsDxeمن البرنامج الثابت OVMF، وهو يقول إنه اختار مدخل الإقلاعBoot0001وهو القرص الأول على ناقل PCI، وبعدها يختفي البرنامج الثابت من الصورة تقريباً. - السطر
error: prohibited by secure boot policy.من GRUB، وهو خطأ حقيقي يظهر في كل إقلاع لهذه الصورة، وسوف نعرف سببه بالضبط عندما نصل إلى سطر أوامر GRUB، ولا يمنع الإقلاع. Booting `Debian GNU/Linux'يعني أن GRUB اختار المدخل الأول من القائمة دون أن يعرضها، ثم حمل ملفين: النواةvmlinuzوالقرص المؤقتinitrd.img.- سطور
EFI stubمن النواة نفسها قبل أن تبدأ، فالنواة على UEFI تعمل كبرنامج EFI، وهي تؤكد هنا أن Secure Boot مفعلة. - بعد ذلك تبدأ النواة بالعد من الصفر، وأول ما تطبعه هو سطر أوامرها
Command line، ثم تفك initramfs وتشغل منه/initبعد ثلاث ثوان، ثم يظهر systemd بالرسالةWelcome to Debian، وأخيراً سطر الدخول.
والسطر الذي يجمع المدة كلها يأتي من systemd-analyze بعد الدخول، وفي أول إقلاع كان كما يلي:
Startup finished in 5.155s (kernel) + 13.461s (userspace) = 18.616s
graphical.target reached after 13.118s in userspace.وسوف نعود لهذه الأرقام بالتفصيل، ولكن لاحظ من الآن أنها تبدأ من النواة، أي أن الوقت الذي قضاه البرنامج الثابت وGRUB غير محسوب هنا، وسوف نعرف لماذا.
البرنامج الثابت Firmware: BIOS أم UEFI؟
البرنامج الثابت هو أول كود يعمل عند تشغيل الجهاز، وهو مخزن في شريحة على اللوحة الأم لا على القرص، ومهمته أن يفحص العتاد ويهيئه ثم يجد شيئاً قابلاً للإقلاع ويسلمه الدور. وهناك جيلان منه ما زالا موجودين في السيرفرات: BIOS القديم وUEFI الحديث، والفرق بينهما يظهر في كيف يجد كل منهما محمل الإقلاع.
- BIOS القديم Legacy BIOS: لا يفهم أي نظام ملفات، فيقرأ أول 512 بايت من القرص وهي سجل الإقلاع الرئيسي MBR وينفذ ما فيها، ولأن هذه المساحة صغيرة جداً فهي تقفز إلى بقية GRUB المخزنة في مكان آخر، وعلى أقراص GPT هذا المكان قسم صغير اسمه BIOS boot.
- UEFI: يفهم نظام الملفات FAT، فيقرأ ملفات تنفيذية بامتداد
.efiمن قسم خاص اسمه قسم نظام EFI واختصاراً ESP، ويحفظ قائمة الإقلاع بأسمائها وترتيبها في ذاكرة دائمة على اللوحة اسمها NVRAM، ويستطيع أن يتحقق من توقيع كل ملف قبل تشغيله.
والصورة السحابية التي نستخدمها مصممة لتقلع على الاثنين، لأن المزود قد يشغلها على أي منهما، وهذا يظهر في أقسامها:
admin@lab-vm:~$ lsblk -o NAME,SIZE,TYPE,FSTYPE,PARTTYPENAME,MOUNTPOINTS
NAME SIZE TYPE FSTYPE PARTTYPENAME MOUNTPOINTS
sr0 1024M rom
vda 3G disk
├─vda1 2.9G part ext4 Linux root (x86-64) /
├─vda14 3M part BIOS boot
└─vda15 124M part vfat EFI System /boot/efi
vdb 366K disk iso9660
admin@lab-vm:~$ ls /sys/firmware/efi && echo UEFI
config_table fw_platform_size mok-variables runtime-map
efivars fw_vendor runtime systab
UEFIوالقسم vda14 بحجم 3M هو قسم BIOS boot الذي لا يحمل نظام ملفات، والقسم vda15 بحجم 124M هو ESP بنظام FAT ومركب في /boot/efi، والقسم الرئيسي vda1 فيه النظام كله. ووجود المجلد /sys/firmware/efi هو أسرع طريقة لمعرفة أن النظام أقلع بطريقة UEFI، فإذا لم يكن موجوداً فقد أقلع بطريقة BIOS. وقد يتساءل البعض: لماذا يهمني هذا الفرق ما دام السيرفر يعمل؟ والإجابة أن كل أوامر إصلاح محمل الإقلاع تختلف بينهما، فإعادة تثبيت GRUB على BIOS تكتب في أول القرص، وعلى UEFI تنسخ ملفات إلى ESP وتسجل مدخلاً في NVRAM، وتنفيذ أوامر الطريقة الخطأ هو أشهر سبب لسيرفر لا يقلع بعد «إصلاح» GRUB.

قائمة الإقلاع في NVRAM وقسم ESP
قائمة الإقلاع في UEFI ليست ملفاً على القرص، وإنما متغيرات في البرنامج الثابت، وتقرأها من داخل Linux بالأداة efibootmgr. وهذه أول سطور المخرج في المختبر، والبقية مداخل للإقلاع من الشبكة PXE وHTTP:
admin@lab-vm:~$ sudo efibootmgr -v
BootCurrent: 0001
Timeout: 0 seconds
BootOrder: 0000,0001,0002,0003,0004,0005,0006
Boot0000* UiApp FvVol(7cb8bdc9-f8eb-4f34-aaea-3ee4af6516a1)/FvFile(462caa21-7614-4503-836e-8ab6f4662331)
Boot0001* UEFI Misc Device PciRoot(0x0)/Pci(0x3,0x0){auto_created_boot_option}
Boot0002* UEFI Misc Device 2 PciRoot(0x0)/Pci(0x4,0x0){auto_created_boot_option}
Boot0003* UEFI PXEv4 (MAC:525400123456) PciRoot(0x0)/Pci(0x2,0x0)/MAC(525400123456,1)/IPv4(0.0.0.00.0.0.0,0,0){auto_created_boot_option}في المخرج أعلاه لاحظ التالي:
BootCurrent: 0001هو المدخل الذي أقلع منه النظام هذه المرة، وهو نفس ما طبعه السطرBdsDxe: starting Boot0001على الشاشة.- لا يوجد مدخل باسم
debian، والسبب أن الصورة السحابية تقلع من المسار الاحتياطي\EFI\BOOT\BOOTX64.EFIالذي يجربه البرنامج الثابت مع أي قرص لا يعرف عنه شيئاً، فالقرص ينقل بين آلات مختلفة ولا يمكن أن يعتمد على NVRAM آلة واحدة. أما السيرفر الذي ثبتته بنفسك من ملف ISO فستجد فيه مدخلاً باسم التوزيعة يشير إلى\EFI\debian\shimx64.efi. - المدخل
UiAppهو واجهة إعدادات البرنامج الثابت، وهو أول القائمة ولكنه لا يقلع شيئاً، فينتقل البرنامج الثابت إلى التالي.
ومحتوى ESP يوضح الصورة أكثر:
admin@lab-vm:~$ sudo ls -l /boot/efi/EFI/debian /boot/efi/EFI/BOOT
/boot/efi/EFI/BOOT:
total 4488
-rwx------ 1 root root 1036152 Nov 11 05:02 BOOTX64.EFI
-rwx------ 1 root root 2684352 Nov 11 05:02 grubx64.efi
-rwx------ 1 root root 873904 Nov 11 05:02 mmx64.efi
/boot/efi/EFI/debian:
total 4610
-rwx------ 1 root root 108 Nov 11 05:02 BOOTX64.CSV
-rwx------ 1 root root 118832 Nov 11 05:02 fbx64.efi
-rwx------ 1 root root 117 Nov 11 05:02 grub.cfg
-rwx------ 1 root root 2684352 Nov 11 05:02 grubx64.efi
-rwx------ 1 root root 873904 Nov 11 05:02 mmx64.efi
-rwx------ 1 root root 1036152 Nov 11 05:02 shimx64.efiولاحظ أن BOOTX64.EFI له نفس حجم shimx64.efi بالبايت، أي أنه نسخة منه، فالبرنامج الثابت يشغل shim أولاً وshim يشغل grubx64.efi من نفس المجلد. والملف mmx64.efi هو MokManager الذي سوف نذكره بعد قليل، وfbx64.efi أداة احتياطية تعيد إنشاء مدخل NVRAM إذا ضاع.
الإقلاع الآمن Secure Boot وshim باختصار
الإقلاع الآمن Secure Boot ميزة في UEFI تمنع تشغيل أي ملف .efi غير موقع بمفتاح موجود في قاعدة المفاتيح المسموحة في البرنامج الثابت، والهدف أن لا يستطيع برنامج خبيث أن يضع نفسه قبل النواة فيختفي عن كل أدوات الحماية التي تعمل بعدها. ولكن أغلب الأجهزة تأتي وفيها مفاتيح Microsoft فقط، وتوزيعات Linux لا تستطيع أن تطلب من Microsoft توقيع كل نسخة جديدة من GRUB والنواة، ولذلك ظهر shim: برنامج صغير توقعه Microsoft مرة واحدة، ويحمل بداخله مفتاح التوزيعة، فيتحقق هو من GRUB والنواة الموقعين بمفتاح Debian. وتشرح صفحة Debian SecureBoot هذه السلسلة بالتفصيل، والنتيجة في المختبر كما يلي:
admin@lab-vm:~$ mokutil --sb-state
SecureBoot enabled
admin@lab-vm:~$ sudo dmesg | grep -i -E 'secure ?boot|efi: EFI v|Linux version' | head
[ 0.000000] efi: EFI v2.7 by Debian distribution of EDK II
[ 0.000000] Kernel is locked down from EFI Secure Boot; see man kernel_lockdown.7
[ 0.000000] secureboot: Secure boot enabled
[ 2.827448] integrity: Loaded X.509 cert 'Debian Secure Boot CA: 6ccece7e4c6c0d1f6149f3dd27dfcc5cbb419ea1'والسطر المهم هنا هو Kernel is locked down، فالنواة عندما تقلع مع Secure Boot تدخل وضع القفل Lockdown، وفيه ترفض تحميل أي وحدة نواة Kernel Module غير موقعة. وهذا يهمك عملياً إذا ثبتت تعريفاً يبنى محلياً بالأداة DKMS مثل تعريفات بعض بطاقات الرسوميات أو VirtualBox، فالوحدة سوف ترفض حتى تسجل مفتاحك الخاص في قائمة MOK بالأداة mokutil، ثم تؤكده من MokManager عند الإقلاع التالي على شاشة السيرفر نفسها، أي أن هذه الخطوة تحتاج Console ولا تكفي فيها جلسة SSH.
grub.cfg، وهي تسمح بتجاوز Secure Boot كلها، فأصدرت التوزيعات تحديثات لـ GRUB وshim في نفس الأسبوع، ومنها تحديث Red Hat RHSA-2020:3216. وفي اليوم التالي فتح المستخدمون البلاغ 1861977 بعنوان «تحديث grub2 الأمني يجعل النظام غير قابل للإقلاع»، فأجهزة RHEL 8.2 بطريقة UEFI توقفت بعد إعادة التشغيل ولم تظهر قائمة GRUB أصلاً. والدرس أن تحديثات سلسلة الإقلاع (shim وGRUB والنواة) هي أخطر التحديثات على السيرفر، فطبقها على جهاز واحد أولاً، وأعد تشغيله وأنت أمام الـ Console، ولا تطبقها على كل الأجهزة في نفس الليلة.محمل الإقلاع GRUB: من أين يأتي الملف grub.cfg؟
محمل الإقلاع Boot Loader هو البرنامج الذي يعرف أين النواة على القرص وكيف يحملها إلى الذاكرة ومعها سطر أوامرها، وعلى أغلب توزيعات السيرفرات هو GRUB 2. وعلى UEFI يبدأ GRUB من ملف صغير في ESP، وهذا الملف لا يحمل القائمة، وإنما يدل على مكانها فقط:
admin@lab-vm:~$ sudo cat /boot/efi/EFI/debian/grub.cfg
search.fs_uuid 79d53ec0-550d-407e-84a8-bf959ed6bf3f root
set prefix=($root)'/boot/grub'
configfile $prefix/grub.cfgثلاثة أسطر: ابحث عن نظام الملفات الذي يحمل هذا الـ UUID، واعتبر مجلد /boot/grub فيه هو البادئة prefix، ثم اقرأ الملف grub.cfg منه. وهذا يعني أن GRUB يحتاج أن يقرأ القسم الرئيسي بنفسه قبل النواة، ولذلك يحمل معه تعريفات ext4 وGPT. أما الملف الكبير /boot/grub/grub.cfg فطوله 181 سطراً في المختبر، وأول سطر فيه يقول بوضوح إنه لا يعدل يدوياً، لأن الأمر update-grub يولده من جديد عند كل تحديث للنواة، فأي تعديل يدوي فيه يختفي في أول تحديث. والتعديل الصحيح يكون في المدخلات:
- الملف
/etc/default/grub: الإعدادات العامة مثل مدة الانتظارGRUB_TIMEOUTوخيارات النواةGRUB_CMDLINE_LINUX. - المجلد
/etc/default/grub.d/: ملفات.cfgتقرأ بعد الملف الرئيسي بالترتيب الأبجدي، فقيمها تغطي قيمه. - المجلد
/etc/grub.d/: سكربتات يشغلها grub-mkconfig بالترتيب، و10_linuxمنها هو الذي يبحث عن النوى في/bootويكتب لكل منها مدخلاً، و40_customمكان مداخلك الإضافية.

لماذا لم تظهر القائمة أصلاً؟
في أول إقلاع لم نر قائمة GRUB، وإنما اختار المدخل الأول فوراً. والملف الرئيسي يقول إن مدة الانتظار 5 ثوان، فأين ذهبت؟ الإجابة في المجلد grub.d:
admin@lab-vm:~$ cat /etc/default/grub; ls /etc/default/grub.d/ && cat /etc/default/grub.d/*
...
GRUB_DEFAULT=0
GRUB_TIMEOUT=5
GRUB_DISTRIBUTOR=`lsb_release -i -s 2> /dev/null || echo Debian`
GRUB_CMDLINE_LINUX_DEFAULT=""
GRUB_CMDLINE_LINUX="console=tty0 console=ttyS0,115200 earlyprintk=ttyS0,115200 consoleblank=0"
GRUB_TERMINAL_OUTPUT="gfxterm serial"
GRUB_SERIAL_COMMAND="serial --speed=115200"
10_cloud.cfg 15_timeout.cfg
# Use PARTUUID instead of UUID for root=
GRUB_DISABLE_LINUX_UUID=true
GRUB_DISABLE_LINUX_PARTUUID=
GRUB_TIMEOUT=0الصورة السحابية أضافت 15_timeout.cfg وفيه GRUB_TIMEOUT=0، وهو يقرأ بعد الملف الرئيسي فيغطي قيمته، والسبب منطقي لأن السيرفر السحابي لا يجلس أمامه أحد، وكل ثانية انتظار تضاف إلى زمن تشغيل كل آلة جديدة. ولاحظ أيضاً أن GRUB_TERMINAL_OUTPUT يرسل القائمة إلى المنفذ التسلسلي، وأن 10_cloud.cfg يطلب أن يكتب القسم الرئيسي في سطر النواة بصيغة PARTUUID وهي رقم القسم في جدول GPT بدلاً من رقم نظام الملفات UUID. والقاعدة هنا: إذا عدلت /etc/default/grub ولم يتغير شيء، فابحث أولاً في /etc/default/grub.d/، وأضف ملفك برقم أكبر حتى يقرأ أخيراً:
printf 'GRUB_TIMEOUT=10\nGRUB_TIMEOUT_STYLE=menu\n' | sudo tee /etc/default/grub.d/99-lab.cfg
sudo update-grubGenerating grub configuration file ...
Found linux image: /boot/vmlinuz-6.12.116+deb13-cloud-amd64
Found initrd image: /boot/initrd.img-6.12.116+deb13-cloud-amd64
Adding boot menu entry for UEFI Firmware Settings ...
done
admin@lab-vm:~$ sudo grep -n -A6 'timeout_style' /boot/grub/grub.cfg | head -12
77: if [ x$feature_timeout_style = xy ] ; then
78: set timeout_style=menu
79- set timeout=10
...والأمر update-grub في Debian وUbuntu اختصار للأمر grub-mkconfig -o /boot/grub/grub.cfg، وفي عائلة Red Hat تستخدم grub2-mkconfig مباشرة. ولاحظ في المخرج سطري Found linux image وFound initrd image، فإذا ثبتت نواة جديدة ولم ترها هنا فلن تظهر في القائمة مهما أعدت التشغيل.
ماذا يوجد داخل مدخل الإقلاع؟
المدخل الأول في grub.cfg هو ما ينفذه GRUB عندما يقلع السيرفر دون تدخل، وهذا هو كما ولده الأمر:
menuentry 'Debian GNU/Linux' --class debian --class gnu-linux --class gnu --class os $menuentry_id_option 'gnulinux-simple-79d53ec0-550d-407e-84a8-bf959ed6bf3f' {
load_video
insmod gzio
if [ x$grub_platform = xxen ]; then insmod xzio; insmod lzopio; fi
insmod part_gpt
insmod ext2
set root='hd0,gpt1'
if [ x$feature_platform_search_hint = xy ]; then
search --no-floppy --fs-uuid --set=root --hint-bios=hd0,gpt1 --hint-efi=hd0,gpt1 --hint-baremetal=ahci0,gpt1 79d53ec0-550d-407e-84a8-bf959ed6bf3f
else
search --no-floppy --fs-uuid --set=root 79d53ec0-550d-407e-84a8-bf959ed6bf3f
fi
echo 'Loading Linux 6.12.116+deb13-cloud-amd64 ...'
linux /boot/vmlinuz-6.12.116+deb13-cloud-amd64 root=PARTUUID=e39abd19-ba7c-4edb-a5d2-a5bd25c29758 ro console=tty0 console=ttyS0,115200 earlyprintk=ttyS0,115200 consoleblank=0
echo 'Loading initial ramdisk ...'
initrd /boot/initrd.img-6.12.116+deb13-cloud-amd64
}في المدخل أعلاه لاحظ التالي:
- كلمة
rootلها معنيان مختلفان في نفس المدخل:set root='hd0,gpt1'هو القسم الذي يقرأ منه GRUB الملفات، أي القرص الأول والقسم الأول بترقيم GRUB، أماroot=PARTUUID=…في سطرlinuxفهو خيار يمرر إلى النواة لتعرف أي قسم تركبه كقسم رئيسي، وGRUB لا يقرؤه أصلاً. والخلط بينهما سبب شائع للحيرة عند الإصلاح. - السطر
search --fs-uuidيبحث عن القسم بالـ UUID، فإذا تغير ترتيب الأقراص وجده في مكانه الجديد، ولهذا لا يعتمد علىhd0,gpt1وحده. - السطر
linuxيحمل النواة ومعها كل ما بعد اسم الملف كسطر أوامر لها، والسطرinitrdيحمل القرص المؤقت، والإقلاع الفعلي يحدث عندما تنتهي الأوامر. - السطر
load_videoليس أمراً من GRUB، وإنما دالة معرفة في أعلى الملف نفسه، وسوف نرى ماذا يحدث إذا تعطل تعريفها.
القائمة على المنفذ التسلسلي Serial Console
بعد إعادة التشغيل ظهرت القائمة على المنفذ التسلسلي، وهذه هي الشاشة كما رسمها GRUB، بعد أن أعدنا تشغيل البايتات التي خرجت من المنفذ في محاكي طرفية بعرض 80 عموداً:
GNU GRUB version 2.12-9+deb13u2
+----------------------------------------------------------------------------+
|*Debian GNU/Linux |
| Advanced options for Debian GNU/Linux |
| UEFI Firmware Settings |
| |
+----------------------------------------------------------------------------+
Use the ^ and v keys to select which entry is highlighted.
Press enter to boot the selected OS, `e' to edit the commands
before booting or `c' for a command-line. ESC to return
previous menu.والمدخل Advanced options فيه النوى المثبتة كلها، وهنا تختار نواة أقدم إذا كانت الجديدة لا تقلع، وفيه أيضاً مدخل recovery mode الذي يضيف الكلمة single إلى سطر النواة. والحرف e يفتح محرر المدخل، والحرف c يفتح سطر أوامر GRUB، وهما أهم مفتاحين في هذا المقال كله.
تعديل مدخل الإقلاع لمرة واحدة
عندما تضغط e يعرض GRUB أوامر المدخل في محرر بسيط، وكل ما تغيره هنا يطبق على هذا الإقلاع فقط ولا يكتب في أي ملف، وهذه أهم ميزة فيه، لأنك تجرب دون أن تخاطر. وننتقل إلى السطر الذي يبدأ بكلمة linux بالسهم أو بالمفتاح Ctrl-N، ثم إلى نهايته بالمفتاح Ctrl-E، ونضيف خياراً يطلب من systemd أن يقلع إلى وضع الإنقاذ:
| linux /boot/vmlinuz-6.12.116+deb13-cloud-amd64 root=PARTUUID\|
|=e39abd19-ba7c-4edb-a5d2-a5bd25c29758 ro console=tty0 console=ttyS0,115200 \|
|earlyprintk=ttyS0,115200 consoleblank=0 systemd.unit=rescue.target |v
+----------------------------------------------------------------------------+
Minimum Emacs-like screen editing is supported. TAB lists
completions. Press Ctrl-x or F10 to boot, Ctrl-c or F2 for
a command-line or ESC to discard edits and return to the GRUB menu.والعلامة \ في نهاية السطر تعني أن السطر الطويل يكمل في السطر التالي على الشاشة، فهو سطر واحد بالنسبة لـ GRUB. وبعد ذلك المفتاح Ctrl-X يقلع بالمدخل المعدل، والمفتاح ESC يلغي التعديل ويرجع إلى القائمة. وتذكر أن القائمة نفسها تحتاج أن تكون أمام الشاشة في الثواني العشر الأولى، ولذلك أول شيء تفعله مع سيرفر لا يقلع هو أن تفتح الـ Console قبل أن تعيد تشغيله، لا بعده.
سطر أوامر النواة Kernel Command Line
ما أضفناه في المحرر هو خيار في سطر أوامر النواة Kernel Command Line، وهو نص واحد يمرره محمل الإقلاع إلى النواة، وتقرؤه أنت بعد الإقلاع من الملف /proc/cmdline:
root@lab-vm:~# cat /proc/cmdline
BOOT_IMAGE=/boot/vmlinuz-6.12.116+deb13-cloud-amd64 root=PARTUUID=e39abd19-ba7c-4edb-a5d2-a5bd25c29758 ro console=tty0 console=ttyS0,115200 earlyprintk=ttyS0,115200 consoleblank=0 systemd.unit=rescue.targetوالفكرة المهمة هنا أن هذا السطر لا تقرؤه النواة وحدها، وإنما يقرؤه ثلاثة: النواة نفسها، ثم سكربتات initramfs، ثم systemd، وكل منهم يأخذ الخيارات التي تخصه ويتجاهل البقية. وتجد القائمة الكاملة لخيارات النواة في توثيق النواة، ولخيارات systemd في صفحة kernel-command-line(7)، وهذه أكثرها استخداماً عند الإصلاح:
| الخيار | من يقرؤه | ماذا يفعل |
|---|---|---|
root= | النواة وinitramfs | القسم الرئيسي الذي يركب كـ /، بصيغة UUID= أو PARTUUID= أو اسم الجهاز |
ro / rw | initramfs | يركب القسم الرئيسي للقراءة فقط أولاً حتى يفحصه fsck، ثم يعيد systemd تركيبه للكتابة |
console=ttyS0,115200 | النواة | أين تكتب رسائل النواة، وآخر console= هو الذي يصبح /dev/console |
systemd.unit= | systemd | الهدف الذي يقلع إليه بدلاً من default.target لهذه المرة |
rescue / emergency / single | systemd | اختصارات لوضع الإنقاذ ووضع الطوارئ |
init= | النواة | البرنامج الذي يعمل كالعملية رقم 1 بدلاً من systemd |
break= / rd.break | initramfs | يتوقف داخل القرص المؤقت قبل تركيب القسم الرئيسي، الأول في initramfs-tools والثاني في dracut |
quiet | النواة وsystemd | يخفي الرسائل، فاحذفه عند التشخيص حتى ترى أين يتوقف الإقلاع |
ولتعديل السطر بشكل دائم أضف الخيار إلى GRUB_CMDLINE_LINUX في /etc/default/grub أو في ملف داخل grub.d، ثم شغل update-grub. والفرق بين GRUB_CMDLINE_LINUX وGRUB_CMDLINE_LINUX_DEFAULT أن الأول يضاف إلى كل المداخل ومنها مدخل recovery، والثاني إلى المداخل العادية فقط، ولذلك يوضع فيه quiet عادة.
النواة والقرص المؤقت initramfs
عندما يسلم GRUB الدور تبدأ النواة بتهيئة المعالج والذاكرة والأجهزة، ثم تحتاج أن تركب القسم الرئيسي. وهنا مشكلة رئيسية: تعريف القرص قد لا يكون داخل النواة نفسها وإنما وحدة منفصلة على القرص، والقرص قد يكون مشفراً أو داخل LVM أو RAID، والنواة لا تستطيع قراءة الوحدة من قرص لم تركبه بعد. والحل هو القرص المؤقت initramfs: أرشيف صغير يحمله GRUB مع النواة، تفكه النواة في الذاكرة كنظام ملفات مؤقت، وتشغل منه البرنامج /init، ومهمته الوحيدة أن يجهز كل ما يلزم ليظهر القسم الرئيسي ثم يركبه ويسلم الدور له، كما يشرح توثيق النواة. وقد شرحنا الفرق بين فضاء النواة وفضاء المستخدم في مقال فضاء النواة والمستخدم، و/init هنا هو أول برنامج يعمل في فضاء المستخدم.
وفي Debian وUbuntu يبني هذا القرص initramfs-tools، وفي عائلة Red Hat وFedora يبنيه dracut، والفكرة واحدة. وهذه إعداداته وحجمه في المختبر:
admin@lab-vm:~$ grep -v -E '^#|^$' /etc/initramfs-tools/initramfs.conf
MODULES=most
BUSYBOX=auto
KEYMAP=n
COMPRESS=zstd
DEVICE=
NFSROOT=auto
RUNSIZE=10%
FSTYPE=auto
admin@lab-vm:~$ ls -lh /boot/initrd.img-*; lsinitramfs /boot/initrd.img-$(uname -r) | wc -l
-rw-r--r-- 1 root root 18M Nov 11 05:02 /boot/initrd.img-6.12.116+deb13-cloud-amd64
459
admin@lab-vm:~$ lsinitramfs /boot/initrd.img-$(uname -r) | grep -E 'virtio_blk|/ext4|scripts/local$|^init$|bin/busybox'
usr/lib/modules/6.12.116+deb13-cloud-amd64/kernel/drivers/block/virtio_blk.ko.xz
init
scripts/localفي المخرج أعلاه لاحظ التالي:
MODULES=mostيضع أغلب تعريفات الأقراص في القرص المؤقت، فيقلع النظام على عتاد مختلف، وهذا مناسب لصورة تنقل بين آلات، بينماMODULES=depيضع ما يحتاجه هذا الجهاز فقط فيصغر الملف ولكنه قد لا يقلع إذا نقلت القرص.- التعريف
virtio_blk.ko.xzموجود، وهو ما يجعل القرص/dev/vdaيظهر، أما ext4 فلم يظهر كملف لأنه مبني داخل نواة السحابة نفسها. BUSYBOX=autoولكن busybox غير مثبت على الصورة السحابية، فلم يدخل القرص المؤقت، وهذا تفصيل سوف نشعر به عندما نجد أنفسنا داخل صدفة initramfs.
ويعاد بناء القرص المؤقت تلقائياً عند تثبيت نواة جديدة، ولكنك تحتاج أن تعيد بناءه بنفسك عندما تغير شيئاً يحتاجه قبل تركيب القسم الرئيسي: تعريف أضفته إلى /etc/initramfs-tools/modules، أو إعدادات التشفير في /etc/crypttab، أو إعدادات RAID وLVM، أو عندما تنقل القرص إلى عتاد يحتاج تعريفاً آخر. والأمر هو update-initramfs:
admin@lab-vm:~$ time sudo update-initramfs -u
update-initramfs: Generating /boot/initrd.img-6.12.116+deb13-cloud-amd64
real 0m9.994s
user 0m0.010s
sys 0m0.017sوالخيار -u يحدث القرص المؤقت لأحدث نواة، و-k all لكل النوى المثبتة، وفي عائلة Red Hat الأمر المقابل هو dracut -f. وقد يتساءل البعض: هل أعيد بناءه عند كل تعديل في /etc/fstab؟ والإجابة لا، فالقرص المؤقت يركب القسم الرئيسي فقط، وبقية الأقسام يركبها systemd بعده من fstab مباشرة. وهذه رسائل القرص المؤقت نفسه في إقلاع عادي للمختبر، وكل سطر Begin مرحلة من مراحله:
Loading, please wait...
Starting systemd-udevd version 257.13-1~deb13u1
Begin: Loading essential drivers ... done.
Begin: Running /scripts/init-premount ... done.
Begin: Mounting root file system ... Begin: Running /scripts/local-top ... done.
Begin: Running /scripts/local-premount ... done.
Begin: Will now check root file system ... fsck from util-linux 2.41.5
[/sbin/fsck.ext4 (1) -- /dev/vda1] fsck.ext4 -a -C0 /dev/vda1
/dev/vda1: clean, 25553/188416 files, 252460/753408 blocks
done.
done.
Begin: Running /scripts/local-bottom ... GROWROOT: NOCHANGE: partition 1 could only be grown by 2015 [fudge=2048]
done.
Begin: Running /scripts/init-bottom ... done.ولاحظ السطر GROWROOT، فهو سكربت تضيفه الصورة السحابية ليوسع القسم الرئيسي تلقائياً إذا كبر المزود القرص، وهو ما تفعله يدوياً في سيرفر لا يملكه كما شرحنا في دليل توسيع قرص النظام مع LVM. وبعد init-bottom ينقل القرص المؤقت الجذر إلى القسم الحقيقي بالعملية switch_root ويشغل منه /sbin/init، وهو systemd.

systemd كالعملية رقم 1 والأهداف Targets
من هنا يبدأ systemd، وهو أول عملية في النظام الحقيقي ورقمها 1، وكل العمليات الأخرى تأتي منه. وقد شرحنا ما هو systemd وكيف تكتب له ملف وحدة Unit File في دليل الخدمات والسجلات، والذي يخص الإقلاع منه هو فكرة الهدف Target: مجموعة من الوحدات تمثل حالة يصل إليها النظام. وعند الإقلاع لا يشغل systemd قائمة خدمات بالترتيب، وإنما يقرأ الهدف default.target ويحسب كل ما يحتاجه هذا الهدف من وحدات واعتمادات، ثم يشغلها بالتوازي قدر الإمكان، كما تشرح صفحة bootup(7).
والمفاجأة الأولى في المختبر كانت الهدف الافتراضي نفسه:
admin@lab-vm:~$ systemctl get-default; sudo systemctl set-default multi-user.target
graphical.target
Created symlink '/etc/systemd/system/default.target' → '/usr/lib/systemd/system/multi-user.target'.الصورة السحابية تقلع إلى graphical.target وهو هدف الواجهة الرسومية، رغم أنه لا توجد واجهة رسومية مثبتة، وهو لا يضر هنا لأنه لا يجد ما يشغله فوق multi-user.target، ولكن السيرفر مكانه multi-user.target، فغيرناه. ولاحظ ما فعله الأمر بالضبط: رابط Symlink اسمه default.target يشير إلى ملف الهدف، ولا شيء غير ذلك. والفرق بين هذا وبين systemd.unit= في GRUB أن الرابط دائم لكل إقلاع، والخيار في GRUB لمرة واحدة.

sysinit.target: تركيب الأقسام من fstab والـ Swap وudev وjournald، وهو أساس كل شيء.basic.target: الـ Sockets والمؤقتات Timers ومراقبة المسارات Paths، والخدمات العادية تبدأ بعده.multi-user.target: النظام الكامل دون واجهة رسومية، ومعه الشبكة وSSH وخدماتك.rescue.target: بعدsysinit.targetفقط، ثم صدفة Shell لـ root، دون شبكة ودون خدمات.emergency.target: أقل من ذلك، فهو كما تقول systemd.special(7) لا يسحب معه أي خدمات أو تركيبات، وعادة لا يعمل في النظام إلا systemd والصدفة، ويصل إليه systemd وحده عندما يفشل فحص أو تركيب قسم مطلوب.
داخل وضع الإنقاذ Rescue Mode
عندما أقلعنا بالخيار systemd.unit=rescue.target ظهرت هذه الشاشة بعد ثوان:
[ OK ] Reached target sysinit.target - System Initialization.
[ OK ] Started rescue.service - Rescue Shell.
[ OK ] Reached target rescue.target - Rescue Mode.
You are in rescue mode. After logging in, type "journalctl -xb" to view
system logs, "systemctl reboot" to reboot, or "exit"
to continue bootup.
Enter root password for system maintenance
(or press Control-D to continue): ووضع الإنقاذ يطلب باسورد root، وليس باسورد أي مستخدم في مجموعة sudo، وهذه نقطة يقع فيها كثيرون كما سوف نرى. وبعد الدخول نرى ماذا يعمل بالضبط:
root@lab-vm:~# systemctl list-units --type=target --state=active --no-pager
UNIT LOAD ACTIVE SUB DESCRIPTION
local-fs-pre.target loaded active active Preparation for Local File Systems
local-fs.target loaded active active Local File Systems
network-pre.target loaded active active Preparation for Network
nss-lookup.target loaded active active Host and Network Name Lookups
rescue.target loaded active active Rescue Mode
swap.target loaded active active Swaps
sysinit.target loaded active active System Initialization
time-set.target loaded active active System Time Set
...
8 loaded units listed.
root@lab-vm:~# systemctl is-system-running
maintenance
root@lab-vm:~# ss -tlnp
State Recv-Q Send-Q Local Address:Port Peer Address:Port Process
LISTEN 0 4096 127.0.0.54:53 0.0.0.0:* users:(("systemd-resolve",pid=338,fd=21))
LISTEN 0 4096 0.0.0.0:5355 0.0.0.0:* users:(("systemd-resolve",pid=338,fd=12))
LISTEN 0 4096 127.0.0.53%lo:53 0.0.0.0:* users:(("systemd-resolve",pid=338,fd=19))
LISTEN 0 4096 [::]:5355 [::]:* users:(("systemd-resolve",pid=338,fd=14))
root@lab-vm:~# systemctl list-units --type=service --state=running --no-pager
UNIT LOAD ACTIVE SUB DESCRIPTION
rescue.service loaded active running Rescue Shell
systemd-journald.service loaded active running Journal Service
systemd-resolved.service loaded active running Network Name Resolution
systemd-timesyncd.service loaded active running Network Time Synchronization
systemd-udevd.service loaded active running Rule-based Manager for Device…
...
5 loaded units listed.في المخرج أعلاه لاحظ التالي:
local-fs.targetنشط، أي أن كل الأقسام في fstab مركبة، وهذا ما يجعل وضع الإنقاذ مناسباً لإصلاح خدمة تمنع الإقلاع أو تستهلك الذاكرة حتى يتوقف السيرفر، فتعطلها بالأمرsystemctl disableثم تكمل.- لا يوجد
multi-user.targetولاnetwork-online.target، ولا يستمع أي شيء على المنفذ 22، أي أنك لن تدخل بالأمر SSH إلى سيرفر في وضع الإنقاذ مهما حاولت، فهذا الوضع يعمل فقط من الـ Console. - حالة النظام
maintenance، وهي نفس الكلمة التي تراها في أدوات المراقبة إذا كانت تسألsystemctl is-system-running.
ومن هنا تكمل الإقلاع العادي بالأمر systemctl default أو بالخروج من الصدفة، أو تعيد التشغيل. وعندما كتبنا systemctl reboot ظهرت رسالة خطأ مرتين:
root@lab-vm:~# systemctl reboot
Failed to connect to system scope bus via local transport: No such file or directory
Failed to connect to system scope bus via local transport: No such file or directoryثم أعاد السيرفر التشغيل فعلاً. والسبب أن D-Bus لا يعمل في وضع الإنقاذ، فيفشل systemctl في الطريق المعتاد ثم يرجع إلى طريق احتياطي يكلم فيه systemd مباشرة، فلا تقلق من هذه الرسالة في هذا الوضع تحديداً.
قياس الإقلاع مع systemd-analyze
بعد تغيير الهدف إلى multi-user.target أعدنا التشغيل وقسنا الإقلاع بالأداة systemd-analyze:
admin@lab-vm:~$ systemd-analyze
Startup finished in 4.416s (kernel) + 10.855s (userspace) = 15.272s
multi-user.target reached after 10.668s in userspace.والرقم الأول هو الوقت من بداية النواة إلى أن سلمت الدور لـ systemd، ويشمل initramfs كله، والثاني من بداية systemd إلى انتهاء كل وظائف الإقلاع. وعلى جهاز يقلع بالمحمل systemd-boot تجد في هذا السطر رقمين إضافيين قبلهما: (firmware) و(loader)، لأن المحمل يسجل هذه الأوقات في متغيرات UEFI حسب واجهة Boot Loader Interface. وGRUB في Debian 2.12 يدعم هذه الواجهة عبر الوحدة bli، والسكربت 25_bli يضيف insmod bli إلى grub.cfg، ولكن هذه الوحدة ليست داخل ملف GRUB الموقع، وSecure Boot تمنع GRUB من تحميل أي وحدة من القرص، وهذا هو مصدر السطر error: prohibited by secure boot policy. الذي رأيناه في كل إقلاع. وتأكدنا من ذلك لاحقاً من سطر أوامر GRUB نفسه:
grub> insmod bli
error: prohibited by secure boot policy.والدرس العملي أن الرسالة لا تعني أن Secure Boot رفضت النواة أو GRUB، وإنما رفضت وحدة إضافية، والنتيجة الوحيدة أن systemd-analyze لا يعرف كم استغرق البرنامج الثابت وGRUB، بما فيه الثواني العشر التي تنتظرها القائمة.
من أخذ الوقت؟ blame وcritical-chain
الأمر blame يرتب الوحدات حسب الوقت الذي استغرقه بدء كل منها:
admin@lab-vm:~$ systemd-analyze blame | head -12
3.952s cloud-init-main.service
3.893s dev-vda1.device
2.059s systemd-networkd-wait-online.service
1.576s systemd-journal-flush.service
1.568s systemd-random-seed.service
1.433s systemd-sysctl.service
1.425s systemd-tmpfiles-setup-dev-early.service
848ms [email protected]
840ms cloud-init-network.service
802ms apparmor.service
782ms cloud-init-local.service
573ms dev-mqueue.mountولكن هذه القائمة تخدع من يقرؤها وحدها، لأن الوحدات تبدأ بالتوازي، فمجموع الأرقام أعلاه أكثر من 19 ثانية بينما الإقلاع كله 10.9 ثانية في فضاء المستخدم. والوحدة dev-vda1.device مثلاً هي انتظار ظهور القرص، وهي تجري في نفس الوقت مع غيرها. والسؤال الصحيح ليس «من أبطأ وحدة؟» وإنما «من كان في طريق الهدف؟»، وهذا ما يجيب عليه critical-chain:
admin@lab-vm:~$ systemd-analyze critical-chain
The time when unit became active or started is printed after the "@" character.
The time the unit took to start is printed after the "+" character.
multi-user.target @10.668s
└─unattended-upgrades.service @10.639s
└─systemd-logind.service @10.392s +226ms
└─basic.target @10.282s
└─sockets.target @10.277s
└─uuidd.socket @10.271s
└─sysinit.target @10.184s
└─cloud-init-network.service @9.325s +840ms
└─systemd-networkd-wait-online.service @7.259s +2.059s
└─systemd-networkd.service @7.065s +159ms
└─network-pre.target @7.046s
└─cloud-init-local.service @6.242s +782ms
└─cloud-init-main.service @2.281s +3.952s
└─systemd-remount-fs.service @1.920s +294ms
└─systemd-journald.socket @1.406s
└─-.mount @1.105s
└─-.slice @1.105sاقرأ الشجرة من الأسفل إلى الأعلى: الرقم بعد @ هو اللحظة التي أصبحت فيها الوحدة جاهزة، والرقم بعد + هو المدة التي استغرقها بدؤها. والسلسلة تقول إن sysinit.target نفسه انتظر cloud-init حتى الثانية 10.2، وأن cloud-init انتظر الشبكة بالخدمة systemd-networkd-wait-online لمدة ثانيتين. أي أن الإقلاع هنا يمر عبر cloud-init والشبكة، وهذا طبيعي في صورة سحابية تأخذ إعداداتها من المزود عند كل إقلاع. وإذا أردت سلسلة خدمة محددة فاكتب اسمها:
admin@lab-vm:~$ systemd-analyze critical-chain ssh.service
...
ssh.service +254ms
└─basic.target @10.282s
└─sockets.target @10.277s
...وهذا يعني أن SSH بدأ في 254 ملي ثانية، ولكنه لم يبدأ قبل الثانية 10.3 لأنه ينتظر basic.target، فتسريع SSH نفسه لا يفيد، والذي يفيد هو تقصير ما قبله. وهذه هي القاعدة مع أي إقلاع بطيء: ابدأ من critical-chain للهدف أو للخدمة التي تهمك، ثم انظر إلى blame لتفاصيل الوحدات التي ظهرت في السلسلة فقط.
صورة الإقلاع كاملة مع plot
الأمر systemd-analyze plot > boot.svg يرسم كل وحدة كشريط على خط زمني، وهذا جزء من الملف الحقيقي الذي أخرجناه من الآلة الافتراضية:

والصورة توضح ما قلناه عن blame: عشرات الوحدات تبدأ معاً بين الثانية 5.5 و7، فلا معنى لجمع أرقامها. وقد يتساءل البعض: لماذا تختلف الأرقام بين إقلاع وآخر لنفس الآلة؟ والإجابة أن أول إقلاع كان 18.6 ثانية وفيه أنشأ cloud-init المستخدمين والمفاتيح لأول مرة، والإقلاع الثاني كان 31.2 ثانية دون أي تغيير داخل الآلة، والإقلاع بعد تغيير الهدف كان 15.3 ثانية، فالآلة الافتراضية تشارك الجهاز المضيف موارده، ولذلك لا تحكم على تغيير من إقلاع واحد، وقس ثلاث مرات على الأقل. وقد استخدمنا critical-chain لخدمة واحدة في دليل systemd، أما هنا فالمهم أن ترى الإقلاع كله كسلسلة، والرقم الذي سوف يفاجئك بعد قليل هو الإقلاع الذي استغرق دقيقة ونصفاً بسبب سطر واحد.
سيرفر لا يقلع: كيف تصل إليه أولاً؟
كل ما سبق يجري قبل أن يعمل SSH، ولذلك أول سؤال عند سيرفر لا يقلع ليس «ما العطل؟» وإنما «كيف أرى شاشته؟». وهناك ثلاثة طرق، وعليك أن تعرف أيها متاح لسيرفراتك قبل أن تحتاجه، لا في منتصف الليل:
- المنفذ التسلسلي Serial Console: ما استخدمناه في هذا المختبر كله، وهو نص فقط، ويحتاج أن ترسل النواة رسائلها إليه بالخيار
console=ttyS0,115200كما في صورتنا، وأن يرسل GRUB قائمته إليه، وأن يعمل عليه سطر دخول، وهو ما فعله systemd وحده بالخدمة[email protected]كما يشرح توثيق النواة عن المنفذ التسلسلي. - شاشة المزود السحابي: أغلب المزودين يعطونك من لوحة التحكم إما Serial Console نصية وإما شاشة VNC رسومية للآلة، وبعضهم يتطلب تفعيلها أو تعيين باسورد لمستخدم قبل أن تحتاجها.
- وحدة الإدارة BMC في السيرفرات الفعلية: iDRAC وiLO وغيرهما تعطيك الشاشة ولوحة المفاتيح وزر الطاقة من الشبكة، وقد شرحناها في دليل الإدارة عن بعد للسيرفرات.
وقبل أي تعديل على الإقلاع خذ Snapshot للقرص إذا كان المزود يسمح بذلك، فالـ Snapshot يحول أي خطأ في هذا القسم إلى دقيقة ضائعة بدلاً من ليلة كاملة. وإذا لم تكن هناك Console أصلاً، فالحل الأخير هو إيقاف الآلة وربط قرصها بآلة أخرى سليمة وإصلاح الملفات منها، وهو ما يسميه بعض المزودين وضع الإنقاذ Rescue System. ومن الشاشة تتدخل عبر أحد هذه الأبواب الأربعة، وكلها تبدأ بالحرف e في قائمة GRUB:

والآن نعطل السيرفر ثلاث مرات بأخطاء حقيقية ونصلحه في كل مرة من الـ Console فقط.
العطل الأول: سطر fstab خاطئ ووضع الطوارئ
هذا أشهر سبب لسيرفر لا يرجع بعد إعادة التشغيل: سطر في /etc/fstab لقرص بيانات لم يعد موجوداً، أو بخطأ في رقم الـ UUID. ولنجعل الحالة أقرب إلى سيرفر سحابي حقيقي أقفلنا باسورد root أولاً، لأن كثيراً من الصور السحابية تأتي بحساب root مقفل وتعتمد على مستخدم في مجموعة sudo:
admin@lab-vm:~$ sudo passwd -S root
root P 2026-11-16 0 99999 7 -1
admin@lab-vm:~$ sudo passwd -l root
passwd: password changed.
admin@lab-vm:~$ sudo passwd -S root
root L 2026-11-16 0 99999 7 -1
admin@lab-vm:~$ sudo mkdir -p /srv/data
admin@lab-vm:~$ echo 'UUID=0a3c5e1f-2b4d-4e6f-8a9b-1c2d3e4f5a6b /srv/data ext4 defaults 0 2' | sudo tee -a /etc/fstab
UUID=0a3c5e1f-2b4d-4e6f-8a9b-1c2d3e4f5a6b /srv/data ext4 defaults 0 2
admin@lab-vm:~$ sudo findmnt --verify; echo exit=$?
/srv/data
[E] unreachable on boot required source: UUID=0a3c5e1f-2b4d-4e6f-8a9b-1c2d3e4f5a6b
[W] your fstab has been modified, but systemd still uses the old version;
use 'systemctl daemon-reload' to reload
0 parse errors, 1 error, 1 warning
exit=1والحرف L في مخرج passwd -S يعني أن الحساب مقفل Locked، وP أن له باسورداً صالحاً. ولاحظ أن الأمر findmnt --verify اكتشف المشكلة قبل إعادة التشغيل وقال صراحة إن المصدر «لا يمكن الوصول إليه عند الإقلاع وهو مطلوب»، وهذا هو الفحص الذي شرحناه في دليل الأقراص، ولكننا تجاهلناه عمداً وأعدنا التشغيل كما يحدث في الواقع. وبعد الإقلاع انتظر systemd ظهور القرص، ثم استسلم:
[ TIME ] Timed out waiting for device dev-d…3c5e1f-2b4d-4e6f-8a9b-1c2d3e4f5a6b.
[DEPEND] Dependency failed for srv-data.mount - /srv/data.
[DEPEND] Dependency failed for local-fs.target - Local File Systems.
[DEPEND] Dependency failed for systemd-fsck…3c5e1f-2b4d-4e6f-8a9b-1c2d3e4f5a6b.
...
[ OK ] Started emergency.service - Emergency Shell.
[ OK ] Reached target emergency.target - Emergency Mode.
...
You are in emergency mode. After logging in, type "journalctl -xb" to view
system logs, "systemctl reboot" to reboot, or "exit"
to continue bootup.
Cannot open access to console, the root account is locked.
See sulogin(8) man page for more details.
Press Enter to continue.في المخرج أعلاه لاحظ التالي:
- السطر
TIMEجاء بعد 90 ثانية من الانتظار، وهي القيمة الافتراضيةDefaultDeviceTimeoutSecفي systemd-system.conf(5)، أي أن السيرفر بدا معلقاً دقيقة ونصفاً قبل أن يظهر أي شيء. - سلسلة
DEPENDهي نفس سلسلة الاعتماد التي رأيناها فيcritical-chainولكن بالاتجاه المعاكس: القرص لم يظهر، فلم يركبsrv-data.mount، ولأن السطر بلاnofailفهو مطلوب لـlocal-fs.target، فلم يصل إليه systemd، فذهب إلىemergency.targetكما تقولsystemd.special(7). - الصدفة لم تفتح أصلاً، فالبرنامج sulogin الذي يحمي وضع الطوارئ ووضع الإنقاذ يطلب باسورد root تحديداً، والحساب مقفل، والضغط على Enter يعيد نفس الرسالة. وباسورد المستخدم
adminلا يفيد هنا رغم أنه في مجموعة sudo.
وهذه هي الحالة الأسوأ: السيرفر لا يقلع، ووضع الطوارئ مغلق، وSSH لا يعمل. والحل باب أبكر من systemd نفسه.
باسورد root المنسي أو المقفل: الخيار init=/bin/bash
أوقفنا الآلة من الخارج وأعدنا تشغيلها، وفي قائمة GRUB ضغطنا e وأضفنا إلى نهاية سطر linux الخيار init=/bin/bash، فطلبنا من النواة أن تشغل bash كالعملية رقم 1 بدلاً من systemd. والنتيجة صدفة root مباشرة دون أي باسورد:
Begin: Running /scripts/init-bottom ... done.
bash: cannot set terminal process group (-1): Inappropriate ioctl for device
bash: no job control in this shell
root@(none):/# echo $$; ps -p 1 -o pid,comm 2>/dev/null || cat /proc/1/comm
1
PID COMMAND
1 bash
root@(none):/# findmnt -o TARGET,SOURCE,OPTIONS /
TARGET SOURCE OPTIONS
/ /dev/vda1 ro,relatime
root@(none):/# touch /x
touch: cannot touch '/x': Read-only file system
root@(none):/# mount -o remount,rw /
[ 4.499770] EXT4-fs (vda1): re-mounted 79d53ec0-550d-407e-84a8-bf959ed6bf3f r/w.
root@(none):/# passwd -S root
root L 2026-11-16 0 99999 7 -1
root@(none):/# passwd root
New password:
Retype new password:
passwd: password updated successfully
root@(none):/# passwd -S root
root P 2026-11-16 0 99999 7 -1
root@(none):/# syncفي المخرج أعلاه لاحظ التالي:
- اسم الجهاز
(none)لأن systemd هو من يضبط اسم الجهاز عادة، ولم يعمل. والسطران عنjob controlطبيعيان لأن bash لا يملك طرفية تحكم كاملة هنا، فلا تستخدم Ctrl-C ولا Ctrl-Z في هذه الصدفة. - القسم الرئيسي مركب للقراءة فقط
ro، لأن القرص المؤقت ركبه بالخيارroالموجود في سطر النواة، وsystemd هو من يعيد تركيبه للكتابة عادة. ولذلك أول أمر بعد الدخول هوmount -o remount,rw /، وبدونه يفشل أي تعديل كما فشلtouch. - الأمر
passwd rootيعمل عادياً، والحساب أصبحPبعد أن كانL. - الأمر
syncيكتب كل شيء إلى القرص قبل أن نغادر، لأنه لا يوجد systemd ليغلق أنظمة الملفات بشكل صحيح عند إعادة التشغيل.
وبعد ذلك لا تكتب reboot، فهو أمر يكلم systemd وsystemd لا يعمل، وإنما استبدل الصدفة بالبرنامج الحقيقي بالأمر exec /sbin/init، فيصبح systemd العملية رقم 1 ويكمل الإقلاع من حيث توقف:
root@(none):/# exec /sbin/init
[ 6.079790] Not activating Mandatory Access Control as /sbin/tomoyo-init does not exist.
[ 6.390838] systemd[1]: Inserted module 'autofs4'
[ 6.744537] systemd[1]: systemd 257.13-1~deb13u1 running in system mode (...)
[ 6.784482] systemd[1]: Detected virtualization kvm.وقد يتساءل البعض: إذا كان أي شخص أمام الشاشة يستطيع أن يأخذ صدفة root بهذه السهولة، فأين الحماية؟ والإجابة أن الوصول إلى الـ Console يساوي الوصول الفعلي إلى الجهاز، ولذلك يحمى حساب لوحة المزود ووحدة BMC بنفس قوة حماية root نفسه. وإذا أردت أن تمنع تعديل مداخل GRUB فيمكن وضع باسورد لـ GRUB، وإذا أردت أن تمنع قراءة القرص نفسه فالحل الوحيد تشفير القرص، فلا Secure Boot ولا باسورد GRUB يمنع من يملك القرص من قراءته على جهاز آخر. ولاحظ أيضاً أن هذه الطريقة تختلف في عائلة Red Hat، فالمعتاد هناك هو الخيار rd.break الذي يتوقف داخل القرص المؤقت ويركب القسم الحقيقي في /sysroot، كما في dracut.cmdline(7)، ومع SELinux تحتاج بعدها إعادة تسمية الملفات Relabel وإلا رفض النظام الدخول.
إصلاح fstab من وضع الطوارئ
بعد exec /sbin/init رجع السطر الخاطئ في fstab، فوصلنا إلى وضع الطوارئ مرة أخرى بعد نفس الانتظار، ولكن هذه المرة يوجد باسورد لـ root، فدخلنا:
You are in emergency mode. After logging in, type "journalctl -xb" to view
system logs, "systemctl reboot" to reboot, or "exit"
to continue bootup.
Enter root password for system maintenance
(or press Control-D to continue):
root@lab-vm:~# systemctl --failed --no-pager
UNIT LOAD ACTIVE SUB DESCRIPTION
0 loaded units listed.
root@lab-vm:~# systemctl status srv-data.mount --no-pager -n 0
○ srv-data.mount - /srv/data
Loaded: loaded (/etc/fstab; generated)
Active: inactive (dead)
Where: /srv/data
What: /dev/disk/by-uuid/0a3c5e1f-2b4d-4e6f-8a9b-1c2d3e4f5a6b
Docs: man:fstab(5)
man:systemd-fstab-generator(8)وهنا المفاجأة الثانية: systemctl --failed فارغ تماماً. والسبب أن الوحدات التي لم تبدأ بسبب فشل اعتمادها لا تعتبر فاشلة، وإنما «لم تعمل» فقط، فالحالة inactive (dead) لا failed. ولذلك لا تعتمد على --failed وحده في وضع الطوارئ، وابحث عن سطور TIME وDEPEND على الشاشة أو في journalctl -xb، والسطر Loaded: loaded (/etc/fstab; generated) يخبرك أن هذه الوحدة لم يكتبها أحد، وإنما ولدها systemd-fstab-generator من سطر في fstab. ثم الإصلاح نفسه:
root@lab-vm:~# findmnt -o TARGET,SOURCE,OPTIONS -M /; findmnt -M /boot/efi || echo /boot/efi not mounted
TARGET SOURCE OPTIONS
/ /dev/vda1 rw,relatime,discard,errors=remount-ro
TARGET SOURCE FSTYPE OPTIONS
/boot/efi
/dev/vda15
vfat rw,relatime,fmask=0077,dmask=0077,codepage=437,iocharset=as
root@lab-vm:~# findmnt --verify; echo exit=$?
/srv/data
[E] unreachable on boot required source: UUID=0a3c5e1f-2b4d-4e6f-8a9b-1c2d3e4f5a6b
0 parse errors, 1 error, 0 warnings
exit=1
root@lab-vm:~# sed -i 's|^UUID=0a3c5e1f.*|# &|' /etc/fstab && cat /etc/fstab
PARTUUID=e39abd19-ba7c-4edb-a5d2-a5bd25c29758 / ext4 rw,discard,errors=remount-ro,x-systemd.growfs 0 1
PARTUUID=fcdf7c7b-b799-41a4-8c20-4ba8fafb8f02 /boot/efi vfat defaults,umask=077 0 2
# UUID=0a3c5e1f-2b4d-4e6f-8a9b-1c2d3e4f5a6b /srv/data ext4 defaults 0 2
root@lab-vm:~# systemctl daemon-reload
root@lab-vm:~# findmnt --verify; echo exit=$?
Success, no errors or warnings detected
exit=0
root@lab-vm:~# systemctl defaultفي الإصلاح أعلاه لاحظ التالي:
- القسم الرئيسي هنا
rwلأننا أعدنا تركيبه في الخطوة السابقة، وفي وضع طوارئ جديد قد تجدهro، فتحقق بالأمرfindmntقبل أي تعديل، وأعد تركيبه للكتابة إذا لزم. وقسم/boot/efiكان مركباً أيضاً لأنه ركب قبل أن يفشل الانتظار، فوضع الطوارئ يترك ما نجح كما هو. - جعلنا السطر تعليقاً بالعلامة
#بدلاً من حذفه، لأنك سوف تحتاجه عندما تعرف القرص الصحيح، وفي الساعة الثالثة صباحاً لا تريد أن تكتب UUID من الذاكرة. daemon-reloadضروري، لأن systemd يحول fstab إلى وحدات عند التحميل فقط، وبدونه يبقى يحاول تركيب السطر القديم.systemctl defaultيكمل الإقلاع إلىdefault.targetدون إعادة تشغيل، وبعده ظهر سطر الدخول وعاد SSH.
وعندما دخلنا بعد الإصلاح قال systemd-analyze ما حدث بالأرقام:
admin@lab-vm:~$ systemctl is-system-running
running
admin@lab-vm:~$ systemd-analyze
Startup finished in 6.182s (kernel) + 1min 33.634s (userspace) = 1min 39.816s
multi-user.target reached after 1min 37.403s in userspace.دقيقة ونصف في فضاء المستخدم بدلاً من 11 ثانية، وهي نفس الثواني التسعين التي انتظرها systemd القرص الغائب، وبهذا الشكل يكشف systemd-analyze أيضاً عن أعطال لم توقف الإقلاع ولكنها أبطأته.
ماذا لو أضفنا nofail؟
أعدنا نفس السطر ولكن مع nofail ومدة انتظار 10 ثوان بالخيار x-systemd.device-timeout الموثق في systemd.mount(5):
UUID=0a3c5e1f-2b4d-4e6f-8a9b-1c2d3e4f5a6b /srv/data ext4 defaults,nofail,x-systemd.device-timeout=10s 0 2ثم أعدنا التشغيل:
admin@lab-vm:~$ systemctl is-system-running
running
admin@lab-vm:~$ systemd-analyze
Startup finished in 3.899s (kernel) + 11.054s (userspace) = 14.954s
multi-user.target reached after 7.662s in userspace.
admin@lab-vm:~$ systemctl status srv-data.mount --no-pager -n 3
○ srv-data.mount - /srv/data
Loaded: loaded (/etc/fstab; generated)
Active: inactive (dead)
Where: /srv/data
...السيرفر أقلع في وقته المعتاد، وmulti-user.target وصل في 7.7 ثانية لأنه لم يعد ينتظر القرص، والانتظار لمدة 10 ثوان جرى في الخلفية. ولكن لاحظ الوجه الآخر: النظام يقول running لا degraded، والقرص غير مركب، والمجلد /srv/data موجود وفارغ على القسم الرئيسي، فإذا كتب فيه التطبيق فهو يكتب في المكان الخطأ دون أي تنبيه، كما شرحنا في دليل الأقراص. فالقاعدة: nofail لكل قرص بيانات حتى لا يوقف الإقلاع، ومعه مراقبة تتأكد أن نقطة التركيب مركبة فعلاً، وRequiresMountsFor= في خدمة التطبيق حتى لا تبدأ دون قرصها.
العطل الثاني: قيمة root= خاطئة وصدفة initramfs
الحالة هنا من الواقع أيضاً: شخص نقل إعدادات GRUB من سيرفر قديم كان قرصه /dev/sda، ومعها الخيار root=/dev/sda1 داخل GRUB_CMDLINE_LINUX، إلى سيرفر جديد قرصه /dev/vda:
admin@lab-vm:~$ grep '^GRUB_CMDLINE_LINUX=' /etc/default/grub
GRUB_CMDLINE_LINUX="console=tty0 console=ttyS0,115200 earlyprintk=ttyS0,115200 consoleblank=0"
admin@lab-vm:~$ sudo sed -i 's|^GRUB_CMDLINE_LINUX="|GRUB_CMDLINE_LINUX="root=/dev/sda1 |' /etc/default/grub
admin@lab-vm:~$ sudo update-grub 2>&1 | grep -v device-mapper
...
admin@lab-vm:~$ sudo grep -m1 -E '^\s+linux' /boot/grub/grub.cfg
linux /boot/vmlinuz-6.12.116+deb13-cloud-amd64 root=PARTUUID=e39abd19-ba7c-4edb-a5d2-a5bd25c29758 ro root=/dev/sda1 console=tty0 console=ttyS0,115200 earlyprintk=ttyS0,115200 consoleblank=0 لاحظ أن السطر فيه الآن قيمتان لـ root=: الصحيحة التي يكتبها 10_linux بنفسه، والخاطئة بعد ro. ولم يعترض update-grub على شيء، فهو لا يفهم معنى الخيارات وإنما ينسخها. وبعد إعادة التشغيل حمل GRUB النواة بشكل عادي، وبدأ القرص المؤقت، ثم:
Begin: Mounting root file system ... Begin: Running /scripts/local-top ... done.
Begin: Running /scripts/local-premount ... done.
Begin: Waiting for root file system ... Begin: Running /scripts/local-block ... done.
Begin: Running /scripts/local-block ... done.
...
done.
Gave up waiting for root file system device. Common problems:
- Boot args (cat /proc/cmdline)
- Check rootdelay= (did the system wait long enough?)
- Missing modules (cat /proc/modules; ls /dev)
ALERT! /dev/sda1 does not exist. Dropping to a shell!
(initramfs)والسطر local-block تكرر 31 مرة خلال قرابة 30 ثانية، وفي كل مرة يسأل السكربت: هل ظهر /dev/sda1؟ ثم استسلم وأعطانا صدفة القرص المؤقت. ولاحظ أن الرسالة نفسها تقول لك من أين تبدأ: سطر الأوامر، ومدة الانتظار، والتعريفات. ومن داخل الصدفة:
(initramfs) cat /proc/cmdline
BOOT_IMAGE=/boot/vmlinuz-6.12.116+deb13-cloud-amd64 root=PARTUUID=e39abd19-ba7c-4edb-a5d2-a5bd25c29758 ro root=/dev/sda1 console=tty0 console=ttyS0,115200 earlyprintk=ttyS0,115200 consoleblank=0
(initramfs) ls /dev/vd* /dev/sd*
/dev/sd*: No such file or directory
(initramfs) ls -l /dev/disk/by-partuuid/
-l: No such file or directory
(initramfs) blkid
/dev/vdb: BLOCK_SIZE="2048" UUID="2026-11-16-10-23-52-00" LABEL="cidata" TYPE="iso9660"
/dev/vda15: SEC_TYPE="msdos" UUID="60DA-9911" BLOCK_SIZE="512" TYPE="vfat" PARTUUID="fcdf7c7b-b799-41a4-8c20-4ba8fafb8f02"
/dev/vda1: UUID="79d53ec0-550d-407e-84a8-bf959ed6bf3f" BLOCK_SIZE="4096" TYPE="ext4" PARTUUID="e39abd19-ba7c-4edb-a5d2-a5bd25c29758"
/dev/vda14: PARTUUID="d30dcbcc-6498-4a7a-8fca-fb6bdc160d45"
(initramfs) cat /proc/filesystems | grep -v nodev
ext3
ext2
ext4
fuseblk
(initramfs) ls /scripts /bin | head -40
sh: 6: head: not foundفي المخرج أعلاه لاحظ التالي:
- سطر الأوامر يكشف المشكلة فوراً: قيمتان لـ
root=، والقرص المؤقت أخذ الأخيرة، وهي القاعدة في النواة وفي سكربتات initramfs معاً: عند تكرار الخيار تفوز آخر قيمة. blkidيقول إن القسم الرئيسي موجود وسليم باسم/dev/vda1وبنفس الـ PARTUUID الصحيح، أي أن القرص والتعريف بخير والمشكلة في الاسم فقط.- الصدفة هنا ليست bash ولا busybox، لأن busybox غير مثبت كما رأينا في
initramfs.conf، فهي صدفة klibc الصغيرة: الأمرlsلا يفهم-l، والأمرheadغير موجود أصلاً. فلا تتوقع أدواتك المعتادة داخل initramfs، واكتف بالتشخيص فيه، وأصلح من مكان أكبر.
والإصلاح على مرحلتين، الأولى مؤقتة لنقلع الآن: أعدنا التشغيل، وفي قائمة GRUB ضغطنا e وأضفنا القيمة الصحيحة في آخر السطر، لأن آخر قيمة هي التي تفوز:
| linux /boot/vmlinuz-6.12.116+deb13-cloud-amd64 root=PARTUUID\|
|=e39abd19-ba7c-4edb-a5d2-a5bd25c29758 ro root=/dev/sda1 console=tty0 consol\|
|e=ttyS0,115200 earlyprintk=ttyS0,115200 consoleblank=0 root=PARTUUID=e39ab\|
|d19-ba7c-4edb-a5d2-a5bd25c2 |vوتستطيع بدلاً من ذلك أن تمسح root=/dev/sda1 من وسط السطر بالأسهم ومفتاح الحذف، والنتيجة واحدة، ولكن الإضافة في النهاية أسرع وأقل عرضة للخطأ على شاشة تسلسلية بطيئة. وبعد الإقلاع، المرحلة الثانية هي الإصلاح الدائم في المكان الذي جاء منه الخطأ:
admin@lab-vm:~$ cat /proc/cmdline
BOOT_IMAGE=/boot/vmlinuz-6.12.116+deb13-cloud-amd64 root=PARTUUID=e39abd19-ba7c-4edb-a5d2-a5bd25c29758 ro root=/dev/sda1 console=tty0 console=ttyS0,115200 earlyprintk=ttyS0,115200 consoleblank=0 root=PARTUUID=e39abd19-ba7c-4edb-a5d2-a5bd25c29758
admin@lab-vm:~$ findmnt -o TARGET,SOURCE /
TARGET SOURCE
/ /dev/vda1
admin@lab-vm:~$ sudo sed -i 's|root=/dev/sda1 ||' /etc/default/grub
admin@lab-vm:~$ grep '^GRUB_CMDLINE_LINUX=' /etc/default/grub
GRUB_CMDLINE_LINUX="console=tty0 console=ttyS0,115200 earlyprintk=ttyS0,115200 consoleblank=0"
admin@lab-vm:~$ sudo update-grub 2>&1 | grep -v device-mapper
...
admin@lab-vm:~$ sudo grep -m1 -E '^\s+linux' /boot/grub/grub.cfg
linux /boot/vmlinuz-6.12.116+deb13-cloud-amd64 root=PARTUUID=e39abd19-ba7c-4edb-a5d2-a5bd25c29758 ro console=tty0 console=ttyS0,115200 earlyprintk=ttyS0,115200 consoleblank=0 والخطأ الذي يقع فيه كثيرون هنا أن يكتفوا بالمرحلة الأولى لأن السيرفر رجع، فيتوقف من جديد عند أول إعادة تشغيل بعد أسابيع، ولا يتذكر أحد ما حدث. والدرس الأعم أن تكتب القسم الرئيسي في سطر النواة دائماً برقم ثابت UUID= أو PARTUUID=، لا باسم الجهاز، لأن الاسم يعتمد على نوع التعريف وترتيب الاكتشاف، فنفس القرص يظهر sda على تعريف SATA أو SCSI وvda على virtio وnvme0n1 على NVMe.
العطل الثالث: grub.cfg معطوب أو مفقود
قلنا إن grub.cfg لا يعدل يدوياً، ولكن هذا يحدث في الواقع: شخص يريد تغيير مدة الانتظار بسرعة فيفتح الملف ويعدله، ويحذف قوساً دون أن ينتبه. وهذا ما فعلناه بالضبط، حذفنا أول قوس إغلاق في الملف:
admin@lab-vm:~$ sudo cp /boot/grub/grub.cfg /root/grub.cfg.bak
admin@lab-vm:~$ sudo grep -n -m3 '^}' /boot/grub/grub.cfg
43:}
56:}
96:}
admin@lab-vm:~$ sudo sed -i '0,/^}$/{/^}$/d}' /boot/grub/grub.cfg
admin@lab-vm:~$ sudo diff /root/grub.cfg.bak /boot/grub/grub.cfg
43d42
< }
admin@lab-vm:~$ sudo grub-script-check /boot/grub/grub.cfg; echo exit=$?
error: syntax error.
error: Incorrect command.
error: syntax error.
error: Incorrect command.
error: syntax error.
Syntax error at line 43
exit=1
admin@lab-vm:~$ sudo grub-script-check /root/grub.cfg.bak; echo exit=$?
exit=0والأداة grub-script-check تفحص صياغة الملف كما سيقرؤه GRUB، وقد حددت السطر 43 بالضبط، فهي لـ grub.cfg ما يفعله findmnt --verify لـ fstab، ويجب أن تشغلها بعد أي تعديل على الملف أو على سكربت في /etc/grub.d/. وعند إعادة التشغيل طبع GRUB هذه الأخطاء:
BdsDxe: starting Boot0001 "UEFI Misc Device" from PciRoot(0x0)/Pci(0x3,0x0)
error: syntax error.
error: Incorrect command.
error: syntax error.
error: Incorrect command.
error: syntax error.
error: syntax error.
error: Incorrect command.
error: syntax error.
error: can't find command `load_video'.
error: prohibited by secure boot policy.ثم ظهرت القائمة كاملة كأن شيئاً لم يحدث. والقوس المحذوف كان يغلق تعريف الدالة load_video في أعلى الملف، فلم تعرف الدالة، وكل مدخل يبدأ بالأمر load_video سوف يطبع خطأ قبل أن يكمل. أي أن ملف grub.cfg المعطوب لا يعني دائماً شاشة سوداء، فقد تظهر القائمة وتبدو سليمة بينما يتصرف GRUB بشكل مختلف عما تتوقع، وهذه الأخطاء السريعة في أعلى الشاشة تختفي خلال ثوان، ولا يراها إلا من كان أمام الـ Console. والإصلاح من داخل النظام سطر واحد، لأن الملف ناتج يولد من جديد:
admin@lab-vm:~$ sudo update-grub 2>&1 | grep -v device-mapper
Generating grub configuration file ...
Found linux image: /boot/vmlinuz-6.12.116+deb13-cloud-amd64
Found initrd image: /boot/initrd.img-6.12.116+deb13-cloud-amd64
Adding boot menu entry for UEFI Firmware Settings ...
done
admin@lab-vm:~$ sudo grub-script-check /boot/grub/grub.cfg; echo exit=$?
exit=0
admin@lab-vm:~$ sudo diff /root/grub.cfg.bak /boot/grub/grub.cfg && echo identical
identicalوإذا اختفى الملف: الإقلاع يدوياً من سطر grub>
الحالة الأصعب أن يختفي grub.cfg نفسه، بعد تنظيف متسرع لمجلد /boot أو تحديث توقف في منتصفه. نقلنا الملف خارج مكانه وأعدنا التشغيل، فلم تظهر أي قائمة:
admin@lab-vm:~$ sudo mv /boot/grub/grub.cfg /root/grub.cfg.moved
admin@lab-vm:~$ sudo systemctl reboot
...
BdsDxe: starting Boot0001 "UEFI Misc Device" from PciRoot(0x0)/Pci(0x3,0x0)
GNU GRUB version 2.12-9+deb13u2
Minimal BASH-like line editing is supported. For the first word, TAB lists possible
command completions. Anywhere else TAB lists possible device or file completions. To
enable less(1)-like paging, "set pager=1".
grub>وهذا هو سطر أوامر GRUB، والسيرفر لا يعرف ماذا يقلع لأن الملف الذي يقول له ذلك غير موجود، ولكن GRUB نفسه يعمل ويقرأ الأقراص، فنستطيع أن نقول له ما كان الملف سيقوله، بأربعة أوامر:
grub> echo $prefix $root
(hd0,gpt1)/boot/grub hd0,gpt1
grub> ls
(proc) (memdisk) (hd0) (hd0,gpt15) (hd0,gpt14) (hd0,gpt1) (hd1) (cd0)
grub> ls (hd0,gpt1)/boot
efi/ config-6.12.116+deb13-cloud-amd64 vmlinuz-6.12.116+deb13-cloud-amd64 grub/
System.map-6.12.116+deb13-cloud-amd64 initrd.img-6.12.116+deb13-cloud-amd64
grub> set root=(hd0,gpt1)
grub> linux /boot/vmlinuz-6.12.116+deb13-cloud-amd64 root=PARTUUID=e39abd19-ba7c-4edb-a5d2-a5bd25c29758 ro console=ttyS0,115200
grub> initrd /boot/initrd.img-6.12.116+deb13-cloud-amd64
grub> bootفي الأوامر أعلاه لاحظ التالي:
echo $prefix $rootيخبرك أن ملف ESP الصغير نجح في عمله ووجد القسم، ففشل الإقلاع في الخطوة التالية فقط: قراءةgrub.cfg.lsوحده يعرض الأقراص والأقسام بأسماء GRUB، فالقرص الأولhd0وأقسامه الثلاثة، وhd1هو قرص cloud-init، وlsعلى مسار يعرض الملفات، وبه تتأكد من اسم النواة والقرص المؤقت. والمفتاح TAB يكمل الأسماء الطويلة بدلاً من كتابتها.- الأمر
linuxهو نفس سطر المدخل الذي رأيناه فيgrub.cfg، وأهم ما فيهroot=الصحيح، وهو مكتوب في/etc/fstabإذا لم تكن تحفظه، وفي سيرفر لا تعرف عنه شيئاً يكفي غالباًroot=/dev/vda1أو ما يقابله. ولا تنسconsole=ttyS0,115200وإلا لن ترى أي شيء من النواة على المنفذ التسلسلي. - والأمر
linuxعمل رغم Secure Boot، لأن النواة موقعة وshim يتحقق منها، بينما رفضinsmod bliقبل قليل لأنه وحدة غير موقعة.
وأقلع السيرفر بهذا السطر اليدوي، وبعد الدخول ولدنا الملف من جديد:
admin@lab-vm:~$ cat /proc/cmdline
BOOT_IMAGE=/boot/vmlinuz-6.12.116+deb13-cloud-amd64 root=PARTUUID=e39abd19-ba7c-4edb-a5d2-a5bd25c29758 ro console=ttyS0,115200
admin@lab-vm:~$ sudo update-grub 2>&1 | grep -v device-mapper
Generating grub configuration file ...
...
done
admin@lab-vm:~$ sudo grub-script-check /boot/grub/grub.cfg; echo exit=$?
exit=0
admin@lab-vm:~$ sudo diff /root/grub.cfg.moved /boot/grub/grub.cfg && echo identical
identical
admin@lab-vm:~$ systemd-analyze
Startup finished in 3.572s (kernel) + 8.212s (userspace) = 11.784s
multi-user.target reached after 7.976s in userspace.والملف الجديد مطابق للقديم بايتاً ببايت، وهذا دليل عملي على ما قلناه في البداية: grub.cfg ناتج لا يحمل أي معلومة غير موجودة في المدخلات، فلا تحتفظ بنسخة منه وتنسخها فوقه، وإنما احتفظ بنسخة من /etc/default/grub و/etc/default/grub.d/. أما إذا كان العطل في ملفات GRUB نفسها في ESP، أو حذف ملف النواة، فلن يكفي سطر grub>، والحل الإقلاع من ملف ISO أو وضع الإنقاذ عند المزود، ثم الدخول إلى النظام بالأمر chroot وإعادة تثبيت الحزم grub-efi-amd64-signed وshim-signed والنواة.
جدول القرار: ما تراه على الشاشة وماذا تفعل
| ما تراه على الـ Console | المرحلة | أول ما تفعله |
|---|---|---|
| لا شيء، أو No bootable device، أو قائمة إعدادات البرنامج الثابت | البرنامج الثابت | ترتيب الإقلاع في NVRAM أو BIOS، ووجود ESP وملفاته، وطريقة الإقلاع BIOS أم UEFI |
grub> دون قائمة | GRUB | echo $prefix وls، ثم linux وinitrd وboot يدوياً، ثم update-grub |
أخطاء syntax error سريعة قبل القائمة | GRUB | grub-script-check /boot/grub/grub.cfg ثم update-grub |
Kernel panic ... VFS: Unable to mount root fs | النواة | القرص المؤقت مفقود أو لا يناسب هذه النواة، فاختر نواة أقدم من Advanced options ثم update-initramfs -u -k all |
ALERT! ... does not exist ثم (initramfs) | initramfs | cat /proc/cmdline وblkid، وصحح root= من محرر GRUB ثم في /etc/default/grub |
You are in emergency mode | systemd | سطور TIME وDEPEND، ثم findmnt --verify، وأصلح fstab ثم daemon-reload |
root account is locked في وضع الطوارئ | systemd | init=/bin/bash ثم mount -o remount,rw / ثم passwd root ثم exec /sbin/init |
| سطر الدخول يظهر ولكن SSH لا يرد | الخدمات | ادخل من الـ Console، ثم systemctl --failed وjournalctl -b، وتابع في دليل استكشاف الأعطال |
| يقلع ولكن ببطء شديد | systemd | systemd-analyze ثم critical-chain، وابحث عن انتظار 90 ثانية لجهاز غائب |
وصف Kernel panic هو الوحيد في الجدول الذي لم نجربه في المختبر، ورسالته هي رسالة النواة المعروفة عندما لا تستطيع تركيب القسم الرئيسي، أما بقية الصفوف فرسائلها من المختبر نفسه. وعندما يصل السيرفر إلى سطر الدخول ولكن تطبيقاً فيه لا يعمل، فقد انتهى دور هذا المقال، والطريقة المنهجية لتلك المرحلة في دليل استكشاف أعطال السيرفر.
أخطاء شائعة
- إعادة تشغيل سيرفر بعيد دون أن تعرف كيف تصل إلى شاشته: افتح الـ Console أولاً، وتأكد أنها تعرض شيئاً، ثم أعد التشغيل.
- تعديل
/boot/grub/grub.cfgيدوياً: يختفي التعديل في أول تحديث للنواة، أو يعطل الملف كما رأينا، والصحيح/etc/default/grubثمupdate-grub. - تعديل
/etc/default/grubدون أن تنظر في/etc/default/grub.d/: ملف هناك يغطي قيمتك، كما غطى15_timeout.cfgمدة الانتظار في الصورة السحابية. - كتابة اسم الجهاز في
root=أو في fstab:/dev/sda1على سيرفر يرى القرص/dev/vda1يوقف الإقلاع في initramfs. - إضافة قرص بيانات إلى fstab دون
nofail، ثم إعادة التشغيل دونfindmnt --verify: دقيقة ونصف انتظار ثم وضع الطوارئ. - الاعتماد على باسورد مستخدم sudo في وضع الطوارئ:
suloginيطلب باسورد root، وإذا كان مقفلاً فالباب التالي هوinit=/bin/bash. - كتابة
rebootداخل صدفةinit=/bin/bash: لا يوجد systemd ليستقبل الأمر، والصحيحsyncثمexec /sbin/init. - نسيان
mount -o remount,rw /في الصدفة نفسها: يفشلpasswdوكل تعديل لأن القسم الرئيسي للقراءة فقط. - الثقة في
systemctl --failedوحده في وضع الطوارئ: الوحدات التي لم تبدأ بسبب اعتماد فاشل لا تظهر فيه. - الاكتفاء بالإصلاح المؤقت من محرر GRUB: السيرفر يقلع اليوم ويتوقف في إعادة التشغيل القادمة.
- جمع أرقام
systemd-analyze blameوالحكم بها: الوحدات تبدأ بالتوازي، والسؤال الصحيح يجيب عليهcritical-chain. - تطبيق تحديثات shim وGRUB والنواة على كل السيرفرات معاً: جربها على جهاز واحد مع إعادة تشغيل أمام الـ Console أولاً.
- تنفيذ أوامر إصلاح GRUB الخاصة بـ BIOS على سيرفر يقلع بطريقة UEFI أو العكس: تحقق من
/sys/firmware/efiقبل أيgrub-install.
قائمة تحقق Checklist قبل أي إعادة تشغيل
- أعرف كيف أفتح الـ Console لهذا السيرفر، وجربتها مرة على الأقل.
- يوجد Snapshot أو نسخة احتياطية للقرص إذا كان التغيير في الإقلاع أو الأقراص أو النواة.
findmnt --verifyبلا أخطاء، وnofailلكل قرص بيانات.grub-script-check /boot/grub/grub.cfgبلا أخطاء إذا عدلت أي شيء في GRUB، وupdate-grubطبعFound linux imageللنواة الجديدة.- إذا عدلت شيئاً يحتاجه القرص المؤقت (تعريف، تشفير، RAID، LVM):
update-initramfs -uنفذ دون أخطاء. - سطر النواة يستخدم
UUID=أوPARTUUID=، وفيهconsole=مناسب لنوع الـ Console عند المزود. - يوجد طريق للدخول بصلاحية root من الـ Console: باسورد root معروف ومحفوظ في مدير الباسوردات، أو تعرف أنك ستحتاج
init=/bin/bash. - مدة انتظار قائمة GRUB أكبر من صفر على السيرفرات التي قد تحتاج فيها إلى التدخل، أو تعرف كيف تظهرها.
systemctl get-defaultيعطيmulti-user.targetعلى السيرفر.- بعد الإقلاع:
systemctl is-system-runningوsystemd-analyzeوقارن الرقم بالإقلاع السابق.
حذف المختبر Cleanup
الآلة الافتراضية تعمل داخل الـ Container، وقرصها والصورة الأصلية في Volume، فيكفي حذف الثلاثة:
docker rm -f lnxg-lab
docker volume rm lnxg-vm
docker rmi lnxg-qemu:1الخلاصة
وصلنا لنهاية الموضوع، وأهم ما فيه:
- الإقلاع ست مراحل: البرنامج الثابت ثم GRUB ثم النواة ثم initramfs ثم systemd ثم الدخول، ورسالة التوقف على الشاشة تحدد المرحلة:
grub>أو(initramfs)أوemergency mode. - UEFI يقرأ ملفات
.efiمن قسم ESP ويحفظ القائمة في NVRAM، والصورة السحابية تحمل قسماً لـ BIOS وقسماً لـ UEFI معاً وتقلع من المسار الاحتياطيBOOTX64.EFI. - مع Secure Boot يتحقق shim من GRUB والنواة، والنواة تدخل Lockdown، والرسالة
prohibited by secure boot policyفي المختبر كانت من وحدةbliغير الموقعة، ولهذا لا يعرضsystemd-analyzeوقت البرنامج الثابت وGRUB. grub.cfgناتج يولدهupdate-grubمن/etc/default/grubوgrub.dو/etc/grub.d، وملف فيgrub.dجعل مدة الانتظار صفراً، والملف المولد من جديد كان مطابقاً للقديم بايتاً ببايت.- الحرف
eفي قائمة GRUB يعدل سطر النواة لمرة واحدة، وsystemd.unit=rescue.targetوinit=/bin/bashبابان للإصلاح، وعند تكرار خيار في السطر تفوز آخر قيمة. - initramfs ينتظر القسم الذي في
root=، وroot=/dev/sda1على قرص virtio أعطانا صدفة klibc بعد قرابة 30 ثانية، دونheadودونls -l. - سطر fstab خاطئ دون
nofailجعل الإقلاع ينتظر 90 ثانية ثم يدخل وضع الطوارئ، ومع root مقفل لم يفتح الوضع أصلاً، وsystemctl --failedكان فارغاً، وsystemd-analyzeأظهر دقيقة ونصفاً في فضاء المستخدم. - مع
nofailأقلع السيرفر في وقته وقال إنهrunningوالقرص غير مركب، فالـnofailيحتاج مراقبة معه. critical-chainيجيب عن سؤال الإقلاع البطيء، وblameيعطي التفاصيل فقط، وفي الصورة السحابية كان cloud-init والشبكة في طريق كل شيء.
وفي المقالات القادمة بإذن الله سوف نكمل مع تشخيص السيرفر الذي يقلع ولكنه بطيء أو لا يخدم، وهذه مقالات مرتبطة:
دليلإدارة الخدمات Services والسجلات Logs مع systemdننقل واجهة برمجية من nohup إلى خدمة systemd تعود وحدها بعد التوقف والإقلاع، ونقرأ سجلاتها مع journalctl، ونرى ثلاث مشاكل حقيقية واجهتنا في الطريق.
دليلالأقراص في Linux: التركيب Mount والملف fstab وSwapنضيف قرص بيانات إلى سيرفر Linux من التقسيم إلى التركيب الدائم، ونرى بأعيننا لماذا تختفي الملفات ويتوقف الإقلاع ويمتلئ القرص، ثم نضيف Swap ونوسع القرص دون إيقاف.
دليلتوسيع قرص النظام في Ubuntu عند استخدام LVMعندما تزيد حجم القرص من Proxmox أو من لوحة المزود ويبقى الحجم القديم، هكذا توسع قرص النظام في Ubuntu دون إيقاف السيرفر.
دليلالإدارة عن بعد للسيرفرات: BMC وiDRAC وiLO وRedfishكيف تشغل سيرفرك وتطفئه وترى شاشته وحرارته وسجل أعطاله وتثبت عليه نظاماً من بعيد عبر ال BMC، مع إعداده أول مرة وشبكته المنفصلة وتجربة عملية بـ Redfish وipmitool.
دليلاستكشاف أعطال السيرفر Troubleshooting: خمس حوادث حقيقيةنعطل خدمة على سيرفر Linux خمس مرات بأسباب تحدث كل يوم، ونتبع في كل مرة نفس الأسئلة الستة حتى نصل إلى السبب برقمه، ونرى أين تسكت الأدوات أو تخدعك.
دليلتمارين Kata في تشخيص الأعطال بثلاثة مستويات مع الحلولحوادث صنعناها في المختبر بأعراض حقيقية، تقرر فيها ما تفحصه أولاً ولماذا، ثم تقارن مسارك بمسار التحقيق الكامل.
دليلسكربتات Bash Scripts لأتمتة المهام اليوميةنكتب ونشغل ثلاثة سكربتات Bash حقيقية للنسخ الاحتياطي وتنبيه امتلاء القرص وتقرير المستخدمين، ونرى الأخطاء التي اكتشفتها ShellCheck والتي لم يكشفها إلا التشغيل من Cron وsystemd.سجل التحديثات
- 16 نوفمبر 2026: كتابة الدليل، وتنفيذ كل التجارب على صورة Debian 13 السحابية (genericcloud، النواة 6.12.116) داخل QEMU 10.0.13 مع KVM والبرنامج الثابت OVMF 2025.02 وSecure Boot مفعلة، مع GRUB 2.12 وshim 16.1 وsystemd 257.13 وinitramfs-tools 0.148.4، والتحكم من المنفذ التسلسلي.