> ## Content Index
> Fetch the complete content index at: https://arabroot.io/llms.txt
> Use this file to discover other available public pages before exploring further.

# عنقود Proxmox VE من ثلاث عقد: Quorum مع التوفر العالي HA
- URL: https://arabroot.io/articles/عنقود-proxmox-ve-من-ثلاث-عقد-quorum-مع-التوفر-العالي-ha/
- Published: 2026-11-04T11:16:31.000Z
- Updated: 2026-11-04T12:15:50.000Z
- Description: بنينا عنقود Proxmox VE من ثلاث عقد، وقسنا النقل الحي والتوفر العالي بالثواني، ثم قطعنا الشبكة عن عقدة لنرى كيف يمنع النصاب الـ Split-brain.
- Author: فريق عرب رووت
- Tags: الأدلة التقنية, الشبكات والبنية التحتية, هوم لاب, لينكس والسيرفرات, الاستضافة الذاتية, Proxmox

بعد أن نقل فريق الجهة أجهزتهم من VMware كما في [الانتقال من VMware إلى Proxmox VE](https://arabroot.io/articles/%D8%A7%D9%84%D8%A7%D9%86%D8%AA%D9%82%D8%A7%D9%84-%D9%85%D9%86-vmware-%D8%A7%D9%84%D9%89-proxmox-ve-%D8%A7%D9%84%D8%A7%D8%B3%D8%AA%D9%8A%D8%B1%D8%A7%D8%AF-%D9%85%D8%B9-%D8%AE%D8%B7%D8%A9-%D8%A7%D9%84%D8%B1%D8%AC%D9%88%D8%B9/)، أصبح لديهم ثلاثة سيرفرات Proxmox VE، كل منها يعمل وحده، ولكل منها واجهته وأجهزته. ولنفرض أن مزود الطاقة في أحد السيرفرات احترق مساء خميس، فتوقفت معه اثنا عشر جهازاً، منها نظام الحضور والانصراف الذي يحتاجه الموظفون صباح الأحد، ولم يكن هناك ما يشغل هذه الأجهزة على السيرفرين الآخرين إلا أن يحضر أحدهم ويستعيدها يدوياً من النسخ الاحتياطي. وفي VMware كان vCenter مع HA يفعل ذلك تلقائياً، وهذا بالضبط ما يتوقعه المدير من المنصة الجديدة.

والحل في Proxmox VE أن تجمع السيرفرات في عنقود Cluster واحد، فتديرها من أي واحد منها، وتنقل الأجهزة بينها وهي تعمل، وتطلب من المنصة أن تشغل الجهاز على سيرفر آخر إذا سقط سيرفره. ولكن العنقود يأتي معه بمفاهيم جديدة لم يحتجها الفريق مع سيرفر واحد: النصاب Quorum، والعزل Fencing، والـ Split-brain، وكل منها قد يوقف عنقوداً سليماً إذا لم تفهمه. وقد شرحنا المفاهيم العامة في [مفاهيم التوفر العالي High Availability](https://arabroot.io/articles/%D9%85%D9%81%D8%A7%D9%87%D9%8A%D9%85-%D8%A7%D9%84%D8%AA%D9%88%D9%81%D8%B1-%D8%A7%D9%84%D8%B9%D8%A7%D9%84%D9%8A-high-availability-%D9%84%D9%84%D9%85%D8%A8%D8%AA%D8%AF%D8%A6%D9%8A%D9%86/)، وفي هذا المقال سوف نبني عنقوداً حقيقياً من ثلاث عقد، ونقيس فيه ما يحدث فعلاً بالثواني.

وسوف نناقش في هذا المقال ما يلي:

- كيف تتفق العقد فيما بينها: Corosync ونظام الملفات pmxcfs، ولماذا ثلاث عقد وليس اثنتين.
- بناء العنقود بالأوامر، وقراءة مخرج `pvecm status` سطراً سطراً.
- التخزين في العنقود: مشترك أم منسوخ، مع النسخ المتماثل Replication بـ ZFS وأرقامه الحقيقية.
- النقل الحي Live Migration: ما قاسه Proxmox، وما رآه المستخدم، والفرق الكبير بينهما.
- التوفر العالي HA بالقواعد Rules الجديدة في الإصدار 9، وإطفاء عقدة فجأة وقياس وقت العودة.
- ماذا لو انقطعت الشبكة عن عقدة؟ وكيف يمنع العنقود الـ Split-brain، ومتى تحتاج QDevice.

## لماذا عنقود Cluster؟ وما الذي لا يعطيك إياه

العنقود في Proxmox VE مجموعة سيرفرات تتشارك إعداداً واحداً، فكل جهاز افتراضي وكل مخزن وكل مستخدم معرف في مكان واحد تراه كل العقد، وهذا يعطيك ثلاثة أشياء: إدارة كل السيرفرات من أي واحد منها، والنقل الحي للأجهزة بين السيرفرات دون إيقافها، والتوفر العالي، أي أن المنصة تشغل الجهاز على سيرفر آخر إذا سقط سيرفره. ولكن هناك أشياء لا يعطيك إياها العنقود، ويجب أن تعرفها قبل أن تعد بها أحداً:

- **العنقود ليس نسخة احتياطية Backup:** إذا حذف أحدهم ملفات قاعدة البيانات داخل الجهاز، فالعنقود سوف ينقل الحذف إلى كل نسخة بأمانة، لذلك تبقى النسخ الاحتياطية كما في [Proxmox Backup Server](https://arabroot.io/articles/proxmox-backup-server-%D9%86%D8%B3%D8%AE-%D8%A7%D9%84%D8%A7%D8%AC%D9%87%D8%B2%D8%A9-%D8%A7%D9%84%D8%A7%D9%81%D8%AA%D8%B1%D8%A7%D8%B6%D9%8A%D8%A9-%D9%85%D8%B9-%D8%A7%D9%84%D8%A7%D8%B3%D8%AA%D8%B9%D8%A7%D8%AF%D8%A9/) مستقلة عنه.
- **التوفر العالي إعادة تشغيل:** عندما يسقط سيرفر، يعاد تشغيل أجهزته على سيرفر آخر من البداية، كأنك ضغطت زر التشغيل، فما كان في الذاكرة يضيع، والنظام يقلع من جديد، وسوف نرى كم يأخذ ذلك.
- **العنقود ليس موقعاً احتياطياً:** كل العقد في نفس الشبكة المحلية، لأن Corosync يحتاج زمن استجابة منخفضاً جداً، فإذا احترق المبنى احترق العنقود معه.

## Corosync مع pmxcfs: كيف تتفق العقد؟

في قلب العنقود برنامجان. الأول [Corosync](https://pve.proxmox.com/pve-docs/chapter-pvecm.html?ref=arabroot.io)، وهو المسؤول عن العضوية Membership: من من العقد حي الآن، ومن انقطع، وكم صوتاً يملك الحاضرون. والثاني pmxcfs، وهو نظام ملفات خاص بـ Proxmox يظهر في المسار `/etc/pve` على كل عقدة، ويحفظ فيه كل إعداد العنقود: ملفات الأجهزة الافتراضية، والمخازن، والمستخدمين، والشهادات. فعندما تنشئ جهازاً على أي عقدة يكتب ملف إعداده في `/etc/pve`، فيرسله pmxcfs عبر Corosync إلى البقية، فيظهر عندهم فوراً. والصورة التالية تبين ذلك في عنقود المختبر:

![عنقود من ثلاث عقد pve1 وpve2 وpve3 على العناوين 10.20.0.11 و10.20.0.12 و10.20.0.13، لكل عقدة صوت واحد، وفوقها شريط Corosync على link0 بالشبكة 10.20.0.0/24 ومنافذ UDP 5405 إلى 5412 ويحتاج زمن استجابة أقل من 5 ملي ثانية. في كل عقدة pmxcfs في المسار /etc/pve وتخزين local-zfs على قرص محلي. VM 100 تعمل على pve1، وسهمان أخضران للنسخ المتماثل 100-0 إلى pve2 و100-1 إلى pve3، بجدول كل دقيقة، وأي عقدتين من الثلاث تكفيان للنصاب](https://arabroot.io/content/images/2026/11/proxmox-cluster-01-cluster.webp)

Corosync ينقل العضوية والأصوات، وpmxcfs ينقل الإعداد، والنسخ المتماثل ينقل الأقراص

ويقول توثيق العنقود إن Corosync يحتاج بين كل العقد زمن استجابة أقل من 5 ملي ثانية، أي أداء شبكة محلية، وإن العقد يجب أن تصل إلى بعضها على منافذ UDP من 5405 إلى 5412، وينصح ببطاقة شبكة مخصصة له، ويذكر أن بطاقة 1 Gbit تكفي في أغلب الحالات، لأن Corosync لا يحتاج سرعة عالية وإنما تأخيراً منخفضاً ثابتاً. والسبب أن رسائله صغيرة ولكنها حساسة للوقت، فإذا تأخرت لأن الشبكة مزدحمة بنقل حي أو نسخ احتياطي ظنت العقد أن إحداها ماتت. ويدعم Corosync حتى ثماني وصلات Links، فإذا كان عندك بطاقتان فاجعل كل وصلة على شبكة فعلية مستقلة، حتى لا يسقط العنقود بسقوط Switch واحد.

### متى يقرر Corosync أن عقدة ماتت؟ مهلة الـ Token

تتبادل العقد في Corosync رسالة تدور بينها اسمها الـ Token، وكل عقدة تنتظر أن تصلها، فإذا لم تصلها خلال مهلة محددة أعلنت أن الـ Token ضاع، وبدأت العقد تعيد تكوين العضوية من الحاضرين. وحسب [صفحة corosync.conf](https://manpages.debian.org/trixie/corosync/corosync.conf.5.en.html?ref=arabroot.io) فالمهلة الافتراضية `token` هي 3000 ملي ثانية، وفي العنقود الذي فيه ثلاث عقد أو أكثر تحسب المهلة الحقيقية بالمعادلة token + (عدد العقد - 2) × token\_coefficient. وفي ملف المختبر `token_coefficient: 125`، أي أن المهلة لعنقود الثلاث عقد 3000 + 125 = 3125 ملي ثانية، ثم مهلة الاتفاق `consensus` وقيمتها الافتراضية 1.2 من مهلة الـ Token. وهذا يفسر لماذا رأى العنقود العقدة الميتة خلال ثوان في المختبر، ولماذا يأخذ التوفر العالي دقيقتين مع ذلك: فاكتشاف الغياب سريع، أما الانتظار الطويل فهو انتظار العزل Fencing كما سوف نرى.

ولا تقم بزيادة هذه المهل لتتجنب انقطاعات في شبكة سيئة، والسبب أنك بذلك تؤخر اكتشاف الأعطال الحقيقية، وتخفي المشكلة الأصلية وهي الشبكة نفسها. والأصح أن تعطي Corosync شبكته الخاصة، أو على الأقل أولوية في الـ Switch، وأن تراقب سجل `corosync` بحثاً عن رسائل مثل `Token has not been received`، فهي إنذار مبكر قبل أن يفقد العنقود النصاب.

## النصاب Quorum: لماذا ثلاث عقد؟

لكل عقدة صوت واحد افتراضياً، والعنقود لا يقبل أي تغيير في الإعداد إلا إذا كان مع الجزء الحاضر أغلبية الأصوات، أي أكثر من النصف. وهذا هو النصاب. والسبب أن الشبكة قد تنقسم، فيظن كل جزء أن الآخر مات، فإذا سمحنا للجزأين بالعمل فسوف يشغل كل منهما نفس الجهاز، ويكتب كل منهما على نسخته من القرص، وهذا هو الـ Split-brain. أما مع شرط الأغلبية فلا يمكن أن يكون للجزأين أغلبية في نفس الوقت، فيعمل جزء واحد فقط. والصورة التالية تبين الحساب:

![جدول: 3 عقد بثلاثة أصوات والنصاب 2 تتحمل سقوط عقدة واحدة. عقدتان بصوتين والنصاب 2 لا تتحمل شيئاً، أي سقوط يوقف الكتابة. عقدتان مع QDevice بثلاثة أصوات والنصاب 2 تتحمل سقوط عقدة والـ QDevice يرجح. 4 عقد بأربعة أصوات والنصاب 3 تتحمل سقوط عقدة، وانقسام 2 مقابل 2 يوقف الجميع. 5 عقد بخمسة أصوات والنصاب 3 تتحمل سقوط عقدتين. وفي الأسفل: العقدة التي تفقد النصاب يصبح /etc/pve عندها للقراءة فقط Read-only، وإذا كانت عليها أجهزة HA فإن الـ Watchdog يعيد تشغيلها بعد 60 ثانية](https://arabroot.io/content/images/2026/11/proxmox-cluster-02-quorum.webp)

العدد الفردي من العقد هو الأساس، وعقدتان وحدهما لا تتحملان أي سقوط

ولاحظ في الجدول نقطتين: الأولى أن عنقوداً من عقدتين لا يتحمل سقوط أي منهما، لأن الباقية تملك صوتاً من اثنين، وهذا ليس أغلبية، لذلك يقول [توثيق HA](https://pve.proxmox.com/pve-docs/chapter-ha-manager.html?ref=arabroot.io) إن التوفر العالي يحتاج ثلاث عقد على الأقل للحصول على نصاب موثوق. والثانية أن أربع عقد لا تتحمل أكثر من ثلاث، فالعقدة الرابعة تضيف سعة ولكنها لا تضيف تحملاً، وإذا انقسمت الشبكة نصفين متساويين توقف الجميع عن الكتابة. وما الذي يحدث في العقدة التي تفقد النصاب؟ يقول التوثيق إن العنقود يتحول إلى وضع القراءة فقط، فلا تستطيع أن تنشئ جهازاً أو تشغله أو تغير إعداده من تلك العقدة، والأجهزة التي تعمل عليها تبقى تعمل، إلا أجهزة HA كما سوف نرى في المختبر.

## بناء العنقود Cluster خطوة بخطوة

في المختبر ثلاث عقد Proxmox VE 9.2.2، كل منها بمعالجين و4 GB من الذاكرة وقرص ZFS، مثبتة كما في [تثبيت Proxmox VE يدوياً أو بملف إجابات](https://arabroot.io/articles/%D8%AA%D8%AB%D8%A8%D9%8A%D8%AA-proxmox-ve-%D9%8A%D8%AF%D9%88%D9%8A%D8%A7-%D8%A7%D9%88-%D8%A8%D9%85%D9%84%D9%81-%D8%A7%D8%AC%D8%A7%D8%A8%D8%A7%D8%AA-%D8%AB%D9%85-%D8%A7%D9%88%D9%84-%D8%AA%D8%AD%D8%AF%D9%8A%D8%AB/)، وكلها على شبكة واحدة 10.20.0.0/24\. وعلى العقدة الأولى جهاز افتراضي واحد VM 100 بنظام Debian 13، وهو الذي سوف ننقله ونطفئ سيرفره.

### قبل الإنشاء: المتطلبات Requirements

- **نفس الإصدار على كل العقد:** لأن العقد تتبادل ملفات الإعداد وتنفذ أوامر على بعضها، والإصدارات المختلفة قد تختلف في صيغة الإعداد.
- **أسماء وعناوين ثابتة وفريدة:** اسم العقدة جزء من مسارها في `/etc/pve/nodes`، وتغييره بعد الانضمام عملية صعبة، لذلك اختره قبل الإنشاء.
- **العقدة التي تنضم لا تحمل أجهزة:** الانضمام يكتب فوق إعدادها في `/etc/pve` بإعداد العنقود، كما يقول التوثيق «All existing configuration in /etc/pve is overwritten when joining a cluster»، فإذا كان عليها أجهزة فانقلها أو انسخها احتياطياً أولاً.
- **الوقت متزامن:** لأن الشهادات والأقفال تعتمد على الوقت، وProxmox يأتي بـ chrony مفعلاً.

⚠️

إذا كنت تبني العقد بنسخ قرص سيرفر مثبت مسبقاً بدل التثبيت على كل سيرفر، فغير قبل الانضمام كل ما يجعل السيرفر فريداً: الاسم في `/etc/hostname` و`/etc/hosts`، والعنوان في `/etc/network/interfaces`، ومعرف الجهاز `/etc/machine-id`، ومفاتيح SSH للسيرفر ومفتاح root، ثم أعد إصدار شهادة العقدة بـ `pvecm updatecerts -f`. وإذا بقيت عقدتان بنفس معرف الجهاز أو نفس مفاتيح SSH فسوف تظهر لك أخطاء غريبة في النقل والنسخ المتماثل يصعب ربطها بالسبب.

### إنشاء العنقود pvecm create ثم الانضمام Join

على العقدة الأولى ننشئ العنقود باسم لا يتغير بعد ذلك، ونحدد عنوان وصلة Corosync صراحة:

```bash
pvecm create lab-cluster --link0 10.20.0.11
```

```text
Corosync Cluster Engine Authentication key generator.
Gathering 2048 bits for key from /dev/urandom.
Writing corosync key to /etc/corosync/authkey.
Writing corosync config to /etc/pve/corosync.conf
Restart corosync and cluster filesystem
```

ثم على كل عقدة أخرى ننضم. والأمر المعتاد `pvecm add 10.20.0.11` يسأل عن كلمة مرور root في العقدة الأولى، ولأننا أردنا تنفيذ المختبر من سكربت استخدمنا الـ API نفسه الذي تستخدمه الواجهة، مع بصمة شهادة العقدة الأولى حتى نتأكد أننا ننضم إلى السيرفر الصحيح:

```bash
FP=$(pvesh get /cluster/config/join --output-format json | jq -r '.nodelist[0].pve_fp')
pvesh create /cluster/config/join --hostname 10.20.0.11 --fingerprint $FP --password '...' --link0 10.20.0.12
```

```text
Establishing API connection with host '10.20.0.11'
Login succeeded.
check cluster join API version
Request addition of this node
Join request OK, finishing setup locally
stopping pve-cluster service
backup old database to '/var/lib/pve-cluster/backup/config-1793789444.sql.gz'
waiting for quorum...OK
(re)generate node files
generate new node certificate
merge authorized SSH keys
generated new node certificate, restart pveproxy and pvedaemon services
successfully added node 'pve2' to cluster.
```

في المخرج أعلاه لاحظ التالي: العقدة الجديدة تحفظ نسخة من قاعدة بياناتها القديمة في `/var/lib/pve-cluster/backup` قبل أن تستبدلها، ثم تنتظر النصاب، ثم تصدر شهادة جديدة موقعة من العنقود، وتدمج مفاتيح SSH، والسبب أن العقد سوف تتصل ببعضها عبر SSH في النقل والنسخ المتماثل. وأخذ إنشاء العنقود مع انضمام العقدتين ست دقائق على أجهزة المختبر البطيئة.

### قراءة pvecm status

```bash
pvecm status
```

```text
Cluster information
-------------------
Name:             lab-cluster
Config Version:   3
Transport:        knet
Secure auth:      on

Quorum information
------------------
Date:             Wed Nov  4 13:55:32 2026
Quorum provider:  corosync_votequorum
Nodes:            3
Node ID:          0x00000001
Ring ID:          1.19
Quorate:          Yes

Votequorum information
----------------------
Expected votes:   3
Highest expected: 3
Total votes:      3
Quorum:           2
Flags:            Quorate

Membership information
----------------------
    Nodeid      Votes Name
0x00000001          1 10.20.0.11 (local)
0x00000002          1 10.20.0.12
0x00000003          1 10.20.0.13
```

وفيما يلي معنى كل جزء:

- `Transport: knet` يعني أن Corosync يستخدم طبقة Kronosnet، وهي التي تدعم الوصلات المتعددة والتبديل بينها، و`Secure auth: on` يعني أن الرسائل موقعة بالمفتاح `/etc/corosync/authkey` الذي رأيناه عند الإنشاء.
- `Config Version: 3` يزيد مع كل تعديل في `corosync.conf`، وكان 1 عند الإنشاء ثم زاد مع كل عقدة، وإذا عدلت الملف يدوياً فعليك أن تزيده بنفسك، وإلا لن ينتشر التعديل.
- `Expected votes: 3` هو عدد الأصوات المتوقع، و`Total votes: 3` الحاضر الآن، و`Quorum: 2` هو الحد الأدنى، و`Quorate: Yes` النتيجة. وهذه الأسطر الأربعة هي أول ما تنظر إليه في أي مشكلة في العنقود.

أما ملف `/etc/pve/corosync.conf` فيحمل نفس المعلومات بشكل إعداد:

```text
nodelist {
  node {
    name: pve1
    nodeid: 1
    quorum_votes: 1
    ring0_addr: 10.20.0.11
  }
  ...
}
quorum {
  provider: corosync_votequorum
}
totem {
  cluster_name: lab-cluster
  config_version: 3
  interface {
    linknumber: 0
  }
  ip_version: ipv4-6
  link_mode: passive
  secauth: on
  token_coefficient: 125
  version: 2
}
```

ولاحظ `ring0_addr` لكل عقدة، وهو عنوان الوصلة الأولى، فإذا أضفت لاحقاً شبكة مخصصة لـ Corosync أضفت `ring1_addr` لكل عقدة ووصلة جديدة في `totem`. و`link_mode: passive` يعني أن Corosync يستخدم وصلة واحدة في كل وقت، الأعلى أولوية، وينتقل إلى الأخرى عند سقوطها.

## التخزين Storage في العنقود: مشترك أم منسوخ؟

النقل الحي والتوفر العالي يحتاجان أن يكون قرص الجهاز متاحاً على العقدة الأخرى، وهناك طريقتان لذلك، وقد شرحنا أنواع المخازن في [التخزين في Proxmox](https://arabroot.io/articles/%D8%A7%D9%84%D8%AA%D8%AE%D8%B2%D9%8A%D9%86-%D9%81%D9%8A-proxmox-zfs-%D8%A7%D9%88-lvm-thin-%D8%A7%D9%88-nfs-%D9%88%D9%85%D8%AA%D9%89-%D8%AA%D8%AD%D8%AA%D8%A7%D8%AC-ceph/):

- **التخزين المشترك Shared Storage:** القرص في مكان واحد تراه كل العقد، مثل NFS أو iSCSI أو Ceph الذي شرحناه في [Ceph للمبتدئين](https://arabroot.io/articles/ceph-%D9%84%D9%84%D9%85%D8%A8%D8%AA%D8%AF%D8%A6%D9%8A%D9%86-%D8%AA%D8%AE%D8%B2%D9%8A%D9%86-%D9%85%D9%88%D8%B2%D8%B9-%D9%8A%D8%AA%D8%AD%D9%85%D9%84-%D8%AA%D8%B9%D8%B7%D9%84-%D8%A7%D9%84%D8%B3%D9%8A%D8%B1%D9%81%D8%B1%D8%A7%D8%AA/). والنقل هنا ينقل الذاكرة فقط، والتوفر العالي لا يخسر أي بيانات مكتوبة على القرص، ولكن التخزين المشترك نفسه يجب أن يكون متاحاً دائماً، وإلا أصبح نقطة فشل واحدة.
- **النسخ المتماثل Replication بـ ZFS:** لكل عقدة قرصها المحلي، وProxmox يأخذ Snapshot من قرص الجهاز كل فترة ويرسل الفرق فقط إلى العقد الأخرى. وهو أرخص بكثير، ولا يحتاج إلا ZFS المحلي، ولكن عند سقوط العقدة يعود الجهاز من آخر نسخة، أي أنك قد تخسر ما كتب بعدها، كما يقول [توثيق النسخ المتماثل](https://pve.proxmox.com/pve-docs/chapter-pvesr.html?ref=arabroot.io).

وفي المختبر استخدمنا الطريقة الثانية لأنها ما يملكه أغلب من يبدأ بثلاثة سيرفرات دون SAN، وأنشأنا مهمتين للجهاز 100 إلى العقدتين الأخريين، كل دقيقة، وهو أقصر جدول يسمح به Proxmox:

```bash
pvesr create-local-job 100-0 pve2 --schedule '*/1'
pvesr create-local-job 100-1 pve3 --schedule '*/1'
pvesr status
```

```text
JobID      Enabled    Target                           LastSync             NextSync   Duration  FailCount State
100-0      Yes        local/pve2            2026-11-04_13:59:56              pending 220.146494          0 OK
100-1      Yes        local/pve3            2026-11-04_14:03:41              pending 202.733083          0 OK
```

والمزامنة الأولى كاملة، فأخذت 220 ثانية إلى pve2 و203 ثوان إلى pve3 لقرص فيه 543 MB، أما المزامنة التالية فكانت فرقاً فقط، كما يبين سجل المهمة:

```text
2026-11-04 14:08:09 100-0: create snapshot '__replicate_100-0_1793790476__' on local-zfs:vm-100-disk-0
2026-11-04 14:08:09 100-0: incremental sync 'local-zfs:vm-100-disk-0' (__replicate_100-0_1793789996__ => __replicate_100-0_1793790476__)
... total estimated size is 9.41M
2026-11-04 14:08:32 100-0: end replication job
```

أي 9.41 MB في 35 ثانية، وأغلب الوقت هنا ليس في الإرسال وإنما في إنشاء الـ Snapshot والتنسيق مع العقدة الأخرى عبر SSH. ولاحظ شيئاً مهماً في التوقيت: الجدول كل دقيقة، ولكن آخر مزامنة إلى pve2 كانت 13:59:56 ثم 14:07:56، أي بعد ثماني دقائق، والسبب أن المهمتين تعملان واحدة بعد الأخرى، وكل منهما تأخذ عشرات الثواني على هذه الأجهزة، فالجدول هو الحد الأدنى للفترة لا الفترة الحقيقية. وهذا يعني أن نقطة الاستعادة RPO، أي كم دقيقة من البيانات قد تخسرها، تحسبها من `LastSync` الفعلي في المراقبة، لا من الجدول المكتوب.

### متى تنتقل من النسخ المتماثل إلى Ceph؟

النسخ المتماثل بـ ZFS مناسب عندما تكون الأجهزة قليلة، وفقد دقائق من الكتابات مقبولاً، والسيرفرات ثلاثة أو أربعة. ولكن مع كل جهاز جديد تزيد مهام `pvesr`، فعشرون جهازاً بمهمتين لكل منها تعني أربعين مهمة تتنافس على نفس الأقراص والشبكة، وقد رأينا كيف أصبح جدول الدقيقة الواحدة ثماني دقائق مع جهاز واحد على سيرفرات بطيئة. وعندما يصبح الـ RPO المطلوب قرابة الصفر، أو يصبح عدد الأجهزة كبيراً، فالخطوة التالية تخزين مشترك، وفي Proxmox VE الخيار المدمج هو Ceph، الذي يوزع كل كتلة على ثلاث عقد ويكتبها عليها كلها قبل أن يؤكد الكتابة. والثمن هنا شبكة أسرع، فالتوثيق ينصح بشبكة مخصصة لـ Ceph بسرعة 10 Gbps على الأقل، وأقراص أكثر، وخبرة تشغيل جديدة، فلا تنتقل إليه لأنه الأحدث، وإنما لأن الـ RPO الذي يحتاجه نظامك لا تحققه النسخة كل خمس دقائق.

### الشبكة في العقد: نفس أسماء الـ Bridges

وهناك شرط يغفل عنه كثيرون: الجهاز الذي ينتقل يحمل في إعداده اسم الجسر الذي تتصل به بطاقته، مثل `bridge=vmbr0`، فإذا لم يكن على العقدة الهدف جسر بنفس الاسم يصل إلى نفس الشبكة، فشل النقل، أو أسوأ من ذلك، نجح ووصل الجهاز إلى شبكة أخرى. لذلك اجعل أسماء الجسور والـ VLANs متطابقة على كل العقد، أو استخدم SDN الذي يعرفها مرة واحدة للعنقود كله كما شرحنا في [الشبكات في Proxmox](https://arabroot.io/articles/%D8%A7%D9%84%D8%B4%D8%A8%D9%83%D8%A7%D8%AA-%D9%81%D9%8A-proxmox-linux-bridge-%D9%85%D8%B9-vlan-%D8%AB%D9%85-sdn/).

## النقل الحي Live Migration: القياس الحقيقي

الآن ننقل الجهاز 100 من pve1 إلى pve2 وهو يعمل، وفي نفس الوقت نرسل إليه ping كل 200 ملي ثانية من جهاز آخر على الشبكة، لنقيس ما يراه المستخدم لا ما يقوله السجل فقط:

```bash
qm migrate 100 pve2 --online --with-local-disks
```

```text
2026-11-04 14:09:47 found local, replicated disk 'local-zfs:vm-100-disk-0' (attached)
2026-11-04 14:09:47 scsi0: start tracking writes using block-dirty-bitmap 'repl_scsi0'
2026-11-04 14:09:47 replicating disk images
2026-11-04 14:09:55 incremental sync 'local-zfs:vm-100-disk-0' (__replicate_100-0_1793790476__ => __replicate_100-0_1793790587__)
... total estimated size is 1.02M
2026-11-04 14:10:26 starting VM 100 on remote node 'pve2'
2026-11-04 14:10:50 scsi0: start migration to nbd:unix:/run/qemu-server/100_nbd.migrate:exportname=drive-scsi0
drive mirror re-using dirty bitmap 'repl_scsi0'
2026-11-04 14:10:51 starting online/live migration on unix:/run/qemu-server/100.migrate
2026-11-04 14:10:51 migration downtime limit: 100 ms
2026-11-04 14:10:53 migration active, transferred 8.3 MiB of 768.8 MiB VM-state, 4.5 MiB/s
...
2026-11-04 14:11:16 average migration speed: 30.8 MiB/s - downtime 260 ms
2026-11-04 14:11:16 migration completed, transferred 225.5 MiB VM-state
2026-11-04 14:11:55 migration finished successfully (duration 00:02:13)
```

والصورة التالية تلخص المراحل والأرقام:

![النقل الأول من pve1 إلى pve2 بمدة كاملة دقيقتين و13 ثانية في أربع مراحل: 1 Replication فرق 1.02 MB فقط لأن القرص منسوخ مسبقاً، 2 Drive Mirror للكتابات الجديدة فقط عبر NBD بـ dirty bitmap، 3 ذاكرة الجهاز RAM نقل 225.5 من 768.8 MiB بمتوسط 30.8 MiB/s، 4 التبديل downtime 260 ms حسب سجل QEMU. وتحتها باللون الأحمر: ولكن الـ ping كل 200 ms انقطع 25.12 ثانية بعد التبديل، والنقل العكسي downtime 158 ms في السجل وانقطاع 27.31 ثانية في الـ ping، وجسر الشبكة في المختبر لم يتعلم المنفذ الجديد للجهاز إلا بعد 28 ثانية. والدرس: قس التوقف من جهة المستخدم لا من سجل الـ Hypervisor](https://arabroot.io/content/images/2026/11/proxmox-cluster-03-migration.webp)

260 ملي ثانية في السجل، و25 ثانية عند المستخدم

وفيما يلي ما حدث في كل مرحلة:

1. **النسخ المتماثل أولاً:** لأن القرص منسوخ على pve2 مسبقاً، أرسل Proxmox الفرق فقط، 1.02 MB، بدل 543 MB، وهذه فائدة النسخ المتماثل في النقل.
2. **مرآة القرص Drive Mirror:** بدأ Proxmox الجهاز على pve2 متوقفاً، ثم نسخ إليه ما كتب على القرص بعد الـ Snapshot عبر NBD، مستخدماً خريطة الكتل المتغيرة Dirty Bitmap التي بدأ تتبعها في أول سطر.
3. **نقل الذاكرة RAM:** نقل QEMU 225.5 MiB فقط من 768.8 MiB، لأن الصفحات الفارغة لا تنقل، ثم أعاد نقل الصفحات التي تغيرت أثناء النقل، حتى صغر الباقي بما يكفي لينقل في حدود `downtime limit: 100 ms`.
4. **التبديل:** جمد QEMU الجهاز على pve1، ونقل الباقي، وشغله على pve2، وقال السجل إن التجميد أخذ 260 ملي ثانية.

ولكن الـ ping قال شيئاً آخر: انقطع 25.12 ثانية بالضبط عند لحظة التبديل. وأعدنا التجربة في الاتجاه العكسي، ومعها مراقبة جدول العناوين في جسر الشبكة Bridge الذي يربط العقد في المختبر، وهو يقوم هنا بدور الـ Switch، فكان التجميد في السجل 158 ملي ثانية، والانقطاع 27.31 ثانية، وظل الجسر يرسل حزم الجهاز إلى منفذ العقدة القديمة حتى 28 ثانية بعد التبديل، ثم تعلم المنفذ الجديد. أي أن الجهاز كان يعمل على العقدة الجديدة بعد أقل من ثانية، ولكن الشبكة لم تعرف ذلك. وفي الشبكات الحقيقية يرسل QEMU بعد النقل إعلاناً بعنوان الجهاز حتى تحدث الـ Switches جداولها، وأغلبها يحدث خلال ثانية، ولكن الدرس الذي لا يتغير: قس التوقف من جهة المستخدم في شبكتك أنت، ولا تعد أحداً بأن النقل الحي «دون انقطاع» لأن السجل قال 260 ملي ثانية.

### لماذا تنتقل الذاكرة أكثر من مرة؟ Pre-copy

طريقة QEMU في النقل الحي تسمى النسخ المسبق Pre-copy: ينسخ كل صفحات الذاكرة والجهاز يعمل، والجهاز أثناء ذلك يكتب في بعض الصفحات فتصبح متسخة Dirty، فينسخها مرة ثانية، ثم ما اتسخ أثناء النسخة الثانية، وهكذا، حتى يصبح الباقي صغيراً بما يكفي لينقل خلال حد التوقف `downtime limit`، وهو في السجل 100 ملي ثانية، عندها يجمد الجهاز وينقل الباقي ويشغله في الطرف الآخر. ولذلك ترى في السجل أن السرعة تتغير من ثانية لأخرى، بين 3.7 و485.5 MiB/s، لأن كل جولة تنقل كمية مختلفة. وهذا يعني أمرين عملياً: الأول أن جهازاً يكتب في ذاكرته بسرعة، مثل قاعدة بيانات تحت ضغط، قد لا يصل أبداً إلى حجم صغير متبق، فيطول النقل أو يرفع QEMU حد التوقف تدريجياً، فانقله في وقت هادئ. والثاني أن شبكة النقل نفسها تحدد السرعة، فإذا كانت على نفس شبكة Corosync فإن نقلاً كبيراً قد يؤخر رسائل العنقود، لذلك يسمح Proxmox بتحديد شبكة خاصة للنقل في إعداد الـ Datacenter.

### مشكلة: can't lock file pve-migrate-100

وعندما حاولنا النقل العكسي أول مرة فشل الأمر بعد عشرين ثانية:

```text
trying to acquire lock...
can't lock file '/var/lock/pve-manager/pve-migrate-100' - got timeout
```

ثم فشل مرة ثانية بنفس الرسالة، والسبب أن النقل ومهام النسخ المتماثل تأخذ نفس القفل على الجهاز، ومع جدول كل دقيقة ومهمتين تأخذ كل منهما قرابة 40 ثانية على أجهزة المختبر، كانت إحدى المهمتين تعمل دائماً تقريباً، فلا يجد النقل وقتاً يأخذ فيه القفل. فغيرنا الجدول إلى كل خمس دقائق:

```bash
pvesr update 100-0 --schedule '*/5'
pvesr update 100-1 --schedule '*/5'
```

فنجح النقل العكسي من أول محاولة. ولاحظ أيضاً في `pvesr status` بعد النقل الأول أن المهمة 100-0 أصبح هدفها `local/pve1` بدل pve2، والسبب أن Proxmox يعكس اتجاه النسخ المتماثل تلقائياً بعد النقل، لأن الجهاز الآن على pve2، فيصبح pve1 هو الذي يحتاج نسخة. والدرس أن الجدول الأقصر ليس الأفضل دائماً: احسب مدة المهمة الواحدة على سيرفراتك، واجعل الجدول أطول منها بوضوح.

## التوفر العالي HA: من Groups إلى Rules

النقل الحي يحتاج أن تكون العقدة المصدر حية، أما عندما تموت العقدة فجأة فنحتاج التوفر العالي. وفي Proxmox VE يتكون من خدمتين: `pve-ha-crm` مدير الموارد في العنقود، وواحد منها فقط يكون Master في كل وقت، و`pve-ha-lrm` المدير المحلي على كل عقدة، الذي يشغل الأجهزة ويوقفها بأمر الـ Master. وتغير شيء مهم في الإصدار 9.0: مجموعات HA Groups أصبحت مهملة وتحولت إلى قواعد ارتباط بالعقد Node Affinity Rules، كما يقول توثيق HA، ومعها قواعد ارتباط بين الأجهزة Resource Affinity لإبقاء جهازين معاً أو منعهما من العمل على نفس العقدة.

أضفنا الجهاز إلى HA، وقاعدة تفضل pve1 ثم البقية:

```bash
ha-manager add vm:100 --state started --max_restart 1 --max_relocate 1
ha-manager rules add node-affinity prefer-pve1 --resources vm:100 --nodes 'pve1:2,pve2:1,pve3:1'
ha-manager status
```

```text
quorum OK
master pve3 (active, Wed Nov  4 14:20:46 2026)
fencing armed (CRM watchdog active)
lrm pve1 (active, watchdog active, Wed Nov  4 14:20:53 2026)
lrm pve2 (idle, watchdog standby, Wed Nov  4 14:20:53 2026)
lrm pve3 (idle, watchdog standby, Wed Nov  4 14:20:52 2026)
service vm:100 (pve1, started)
```

في المخرج أعلاه لاحظ التالي:

- الـ Master على pve3، وليس على pve1 التي عليها الجهاز، وهذا طبيعي، فالـ Master يختار نفسه بين العقد ولا علاقة له بمكان الأجهزة.
- `fencing armed (CRM watchdog active)` و`lrm pve1 (active, watchdog active ...)`: الـ Watchdog مفعل فقط على العقدة التي عليها أجهزة HA، أما pve2 وpve3 فـ `idle` و`watchdog standby`. والـ Watchdog هنا وحدة النواة `softdog`، لأن أجهزة المختبر ليس فيها Watchdog عتادي، وفي السيرفرات الحقيقية يمكنك تفعيل وحدة العتاد في `/etc/default/pve-ha-manager`.
- `pve1:2,pve2:1,pve3:1` أولويات، والأعلى يفضل، والقاعدة غير صارمة Non-strict افتراضياً، أي أن الجهاز يعمل على غير pve1 إذا لم تكن متاحة. و`--max_restart 1` و`--max_relocate 1` هما القيمتان الافتراضيتان أصلاً: محاولة إعادة تشغيل واحدة على نفس العقدة، ثم محاولة نقل واحدة.

وما الفرق بين حالات الجهاز في HA؟ `started` يعني أن المدير يشغله ويعيده إذا سقط، و`stopped` يبقيه متوقفاً ولكن ينقله إذا سقطت عقدته حتى يكون جاهزاً هناك، و`disabled` يوقفه ولا ينقله، وهي الحالة الوحيدة التي تخرج الجهاز من حالة الخطأ Error، أما `ignored` فيخرج الجهاز من إدارة HA مؤقتاً دون حذف إعداده، وهو مفيد عندما تريد أن تصلح جهازاً بيدك دون أن يتدخل المدير فيعيد تشغيله أثناء عملك. وهذا الفرق مهم في الصيانة: إذا أوقفت جهاز HA بالأمر العادي `qm stop` وهو في حالة `started` فسوف يعيد المدير تشغيله، والسبب أن الحالة المطلوبة لم تتغير، لذلك غير الحالة بـ `ha-manager set vm:100 --state stopped` كما فعلنا في نهاية المختبر.

### إطفاء عقدة فجأة: القياس Failover Test

الآن الاختبار الذي يهم المدير: أطفأنا pve1 بقتل عملية QEMU التي تشغلها بـ `kill -9`، وهذا يعادل قطع الكهرباء عن السيرفر، وراقبنا `ha-manager status` من pve3 كل بضع ثوان:

```text
kill pve1 at 11:21:34 UTC
+0s   lrm pve1 (active, watchdog active, Wed Nov  4 14:21:24 2026) service vm:100 (pve1, started)
+25s  lrm pve1 (old timestamp - dead?, watchdog standby, Wed Nov  4 14:21:24 2026) service vm:100 (pve1, started)
+69s  lrm pve1 (old timestamp - dead?, watchdog standby, Wed Nov  4 14:21:24 2026) service vm:100 (pve1, fence)
+122s lrm pve1 (old timestamp - dead?, watchdog standby, Wed Nov  4 14:21:24 2026) service vm:100 (pve2, starting)
+153s lrm pve1 (old timestamp - dead?, watchdog standby, Wed Nov  4 14:21:24 2026) service vm:100 (pve2, started)
ping back after 357s
```

![خط زمني من اليمين: 0 ثانية إطفاء pve1 بـ kill -9 كانقطاع الكهرباء، 25 ثانية old timestamp - dead? والـ LRM توقف عن التحديث، 69 ثانية vm:100 حالة fence ننتظر أن تنتهي مهلة الـ Watchdog، 122 ثانية starting على pve2 من القرص المنسوخ، 153 ثانية started على pve2 حسب ha-manager، 357 ثانية أول رد ping بعد إقلاع النظام الضيف. وفي الأسفل: ماذا خسرنا؟ الجهاز قام من آخر نسخة متماثلة على pve2 وجدولها */5 فقد تضيع حتى 5 دقائق من الكتابات، ومع تخزين مشترك مثل Ceph يصبح قرابة الصفر، والجهاز أعيد تشغيله من البداية فالتوفر العالي هنا إعادة تشغيل وليس نقلاً حياً](https://arabroot.io/content/images/2026/11/proxmox-cluster-04-failover.webp)

دقيقتان ونصف حتى يعمل الجهاز على عقدة أخرى، ثم وقت إقلاع النظام نفسه

وفيما يلي تفسير الخط الزمني:

- **حتى 25 ثانية:** العقدة ماتت، ولكن العنقود يحتاج أن يلاحظ ذلك: Corosync يكتشف غيابها خلال ثوان، والـ Master يرى أن آخر تحديث من الـ LRM على pve1 قديم، فيكتب `old timestamp - dead?`.
- **حتى 69 ثانية:** الحالة `fence`، أي أن الـ Master يعرف أن العقدة غائبة، ولكنه لا يشغل الجهاز في مكان آخر حتى يتأكد أنها لا تشغله هي أيضاً. والطريقة الوحيدة للتأكد دون جهاز إطفاء خارجي أن ينتظر حتى يستطيع أن يأخذ قفل العقدة، وهذا لا يحدث إلا بعد أن تنتهي مهلة الـ Watchdog عليها، وهي 60 ثانية حسب التوثيق، فإذا كانت حية ولكن معزولة فقد أعادت تشغيل نفسها خلالها.
- **122 ثانية:** أخذ الـ Master القفل، فاختار pve2، لأنها التالية في القاعدة ولأن عليها نسخة من القرص، وبدأ التشغيل.
- **153 ثانية:** الجهاز في حالة `started` على pve2، وهذا قريب من الرقم الذي يذكره التوثيق «about 2 minutes» لاكتشاف العطل والانتقال.
- **357 ثانية:** أول رد على الـ ping، لأن الجهاز قام من البداية، فأقلع النظام، وشغل cloud-init، ثم الشبكة. وهذا الجزء يعتمد على نظامك وتطبيقك، وعلى أجهزة المختبر المزدحمة كان أطول بكثير مما سوف تراه على سيرفر حقيقي.

وهناك رقم ثالث لا يظهر في السجل: البيانات. فالجهاز قام على pve2 من آخر نسخة متماثلة، والجدول كان كل خمس دقائق، أي أن ما كتب بعد آخر مزامنة ضاع. وهذا مقبول لنظام حضور وانصراف، وغير مقبول إطلاقاً لنظام مالي، فإما تخزين مشترك، أو تكرار في التطبيق نفسه، مثل قاعدة بيانات بنسخة ثانوية.

### مشكلة: العودة Failback فشلت مرات متتالية

عندما أعدنا تشغيل pve1، رأى الـ Master أن القاعدة تفضلها بأولوية 2، فبدأ ينقل الجهاز إليها تلقائياً، وهذا ما يسمى العودة Failback. ولكن النقل فشل، ثم أعاد الـ Master المحاولة، ففشل، وهكذا:

```text
pve-ha-crm: migrate service 'vm:100' to node 'pve1' (running)
pve-ha-crm: service 'vm:100' - migration failed (exit code 1)
pve-ha-crm: service 'vm:100': state changed from 'migrate' to 'started'  (node = pve2)
pve-ha-crm: migrate service 'vm:100' to node 'pve1' (running)
```

وفي سجل مهمة النقل نفسها وجدنا السبب:

```text
full send of rpool/data/vm-100-cloudinit@__migration__ estimated size is 81.5K
volume 'rpool/data/vm-100-cloudinit' already exists
ERROR: storage migration for 'local-zfs:vm-100-cloudinit' to storage 'local-zfs' failed
TASK ERROR: migration aborted
```

فقرص cloud-init الصغير للجهاز ما زال موجوداً على pve1 منذ كان الجهاز يعمل عليها قبل أن تموت، لأن العقدة الميتة لم تحذفه، وهذا القرص غير منسوخ، فيحاول النقل إرساله كاملاً، فيرفض ZFS لأنه موجود. أما قرص النظام فلم يكن مشكلة، لأن النسخ المتماثل يعرف كيف يكمل عليه. فحذفنا القرص القديم على pve1، بعد أن تأكدنا أن الجهاز يعمل على pve2:

```bash
zfs destroy -r rpool/data/vm-100-cloudinit
```

فنجحت المحاولة التالية خلال دقائق. والصورة التالية من واجهة العنقود في تجربة العزل التي سوف تأتي، وفيها نفس النمط مرة أخرى، مهام نقل حمراء متتالية حتى حذفنا القرص:

![واجهة Proxmox Virtual Environment: الشجرة Datacenter (lab-cluster) وتحتها pve1 وpve2 وpve3 بعلامة خضراء، وفي سجل المهام على pve2 سلسلة مهام VM 100 - Migrate: واحدة جارية، ثم ثلاث بحالة Error: migration aborted، ثم واحدة Error: can't lock file '/var/lock...](https://arabroot.io/content/images/2026/11/proxmox-cluster-06-failback-tasks.webp)

محاولات العودة التلقائية إلى pve1 تفشل واحدة بعد الأخرى في سجل المهام

والدرس هنا من جهتين: الأولى أن العودة التلقائية ليست مجانية، فهي نقل حي إضافي في وقت قد يكون فيه السيرفر العائد غير مستقر، فإذا لم تردها فاجعل أولويات العقد متساوية في القاعدة، فلا يكون هناك سبب للعودة، ثم انقل الجهاز بنفسك في وقت تختاره. والثانية أن العقدة التي ماتت وعادت قد تحمل بقايا من أجهزة كانت عليها، فراجع `zfs list` عليها قبل أن تعيدها إلى العمل الكامل.

### الصيانة المخططة Maintenance: لا تطفئ عقدة عليها أجهزة HA

ما رأيناه في الإطفاء المفاجئ هو ما لا تريده في الصيانة المخططة، أي دقيقتان ونصف من التوقف ثم إقلاع النظام، وفقد ما كتب بعد آخر نسخة متماثلة. لذلك لا تقم بإعادة تشغيل عقدة عليها أجهزة HA مباشرة لتثبيت تحديث، وإنما ضعها في وضع الصيانة أولاً بالأمر `ha-manager crm-command node-maintenance enable pve1` كما في [صفحة ha-manager](https://pve.proxmox.com/pve-docs/ha-manager.1.html?ref=arabroot.io)، فينقل مدير الموارد أجهزتها نقلاً حياً إلى العقد الأخرى، ثم تحدث العقدة وتعيد تشغيلها، ثم تخرجها من الصيانة بـ `disable`. وأضاف الإصدار 9.2 حسب [خارطة الطريق](https://pve.proxmox.com/wiki/Roadmap?ref=arabroot.io) أمرين لصيانة العنقود كله، `disarm-ha` و`arm-ha`، لحالات مثل تغيير شبكة Corosync نفسها، حيث تريد أن يتوقف التوفر العالي عن التصرف مؤقتاً بدل أن يعزل العقد. وقبل أي صيانة تأكد أن العقد الباقية فيها ذاكرة تكفي لأجهزة العقدة التي تخرج، والسبب أن ثلاث عقد ممتلئة بنسبة 80% لا تستطيع أن تحمل أجهزة عقدة كاملة على اثنتين.

## ماذا لو انقطعت الشبكة عن عقدة؟ Split-brain

إطفاء العقدة حالة سهلة، فهي ميتة ولا تفعل شيئاً. أما الحالة الأخطر فعقدة حية تعمل وعليها أجهزة، ولكنها لا ترى بقية العنقود، بسبب كابل أو منفذ Switch. فهل تستمر في تشغيل الجهاز؟ وهل تشغله العقد الأخرى أيضاً؟ لنجرب ذلك: فتحنا جلسة على pve1 تسجل كل خمس ثوان حالة النصاب، ومحاولة كتابة في `/etc/pve`، وحالة HA، ثم قطعنا شبكة pve1 وحدها:

```text
14:41:40
Quorate:          Yes
Total votes:      3
lrm pve1 (active, watchdog active, Wed Nov  4 14:41:39 2026)
service vm:100 (pve1, started)
14:42:07
Quorate:          No
Total votes:      1
touch: cannot touch '/etc/pve/test-write': Permission denied
lrm pve1 (old timestamp - dead?, watchdog standby, Wed Nov  4 14:41:39 2026)
service vm:100 (pve1, started)
```

فالعقدة المعزولة رأت نفسها بصوت واحد من ثلاثة، فأصبح `/etc/pve` عندها للقراءة فقط. وبعد إعادة الشبكة قرأنا سجلها من الإقلاع السابق:

```text
Nov 04 14:41:49 pve1 pmxcfs[904]: [status] notice: node lost quorum
Nov 04 14:41:49 pve1 pve-ha-lrm[1377]: lost lock 'ha_agent_pve1_lock - cfs lock update failed - Permission denied
Nov 04 14:41:50 pve1 pve-ha-crm[1231]: status change slave => wait_for_quorum
Nov 04 14:41:55 pve1 pve-ha-lrm[1377]: status change active => lost_agent_lock
Nov 04 14:42:12 pve1 pvescheduler[3619]: replication: cfs-lock 'file-replication_cfg' error: no quorum!
Nov 04 14:42:29 pve1 watchdog-mux[725]: client (PID 1377) watchdog is about to expire
Nov 04 14:42:39 pve1 watchdog-mux[725]: client (PID 1377) watchdog expired - disable watchdog updates
Nov 04 14:42:40 pve1 kernel: watchdog: watchdog0: watchdog did not stop!
```

في السجل أعلاه لاحظ التالي:

- فقدت العقدة النصاب بعد سبع ثوان من القطع، فلم تستطع أن تجدد قفلها `ha_agent_pve1_lock`، لأن التجديد كتابة في `/etc/pve`، والكتابة ممنوعة دون نصاب.
- الـ LRM دون القفل لا يجدد الـ Watchdog، فبعد خمسين ثانية تقريباً قال `watchdog expired`، وبعدها بثانية أعادت النواة تشغيل العقدة، أي أن العقدة أطفأت نفسها ومعها الجهاز 100، وهذا هو العزل الذاتي Self-fencing.
- حتى النسخ المتماثل توقف: `replication: ... no quorum!`، فالعقدة المعزولة لا تغير أي شيء في العنقود.

وفي نفس الوقت كانت الأغلبية، pve2 مع pve3، ترى العكس، فبعد 60 ثانية أصبح الجهاز في حالة `fence`، وبعد 141 ثانية بدأ على pve2، وبعد 164 ثانية كان `started`. والصورة التالية تجمع الجانبين:

![على اليسار بالأحمر pve1 وحدها بصوت 1 من 3: Quorate No، و/etc/pve للقراءة فقط، وVM 100 كانت تعمل هنا، والـ Watchdog لا يجدد بدون نصاب فتعيد العقدة تشغيل نفسها حتى لا تبقى نسختان تكتبان. خط أحمر متقطع ip link down. على اليمين بالأخضر pve2 مع pve3 بصوتين من 3: Quorate Yes والـ CRM على pve3، تنتظر حتى تتأكد أن pve1 أطفأت نفسها، ثم تشغل VM 100 على pve2 من النسخة المتماثلة: fence بعد 60 ثانية، starting بعد 141 ثانية، started بعد 164 ثانية. وفي الأسفل: لماذا لا يحدث Split-brain هنا؟ الجانب الذي فيه الأغلبية فقط يستطيع أن يكتب ويشغل الأجهزة، والجانب الأقلية يوقف نفسه بالـ Watchdog قبل أن يبدأ الآخر بتشغيل نسخته، ولذلك لا تستخدم pvecm expected 1 على عقدة معزولة والعقد الأخرى ما زالت تعمل](https://arabroot.io/content/images/2026/11/proxmox-cluster-05-split.webp)

الأقلية تطفئ نفسها، والأغلبية تنتظر ثم تشغل الجهاز، فلا يعمل الجهاز في مكانين

وهذا هو السبب في ترتيب التوقيت: الأغلبية تنتظر قرابة دقيقتين، والأقلية تطفئ نفسها خلال دقيقة، فلا توجد لحظة يعمل فيها الجهاز على العقدتين ويكتب كل منهما على نسخته. ولهذا أيضاً فالأمر `pvecm expected 1` الذي يذكره التوثيق لحالات خاصة، مثل حذف عقدة من عنقود بقيت فيه عقدة واحدة، خطير جداً على عقدة معزولة: فهو يقول لها إن صوتها وحده أغلبية، فتشغل أجهزتها، والعقد الأخرى قد تكون شغلتها أيضاً، وهنا يحدث الـ Split-brain الحقيقي الذي صمم العنقود ليمنعه.

🛑

لاحظ ماذا يعني ذلك لشبكة Corosync: إذا انقطعت شبكة العنقود عن كل العقد معاً، مثلاً بسبب Switch واحد تتصل به كل العقد، فكل عقدة تصبح أقلية بصوت واحد، فتطفئ كل العقد التي عليها أجهزة HA نفسها بعد دقيقة، أي أن التوفر العالي نفسه يوقف كل شيء. لذلك فوصلة Corosync ثانية على Switch مستقل ليست رفاهية في الإنتاج.

## عنقود من عقدتين مع QDevice

وماذا لو كان عندك سيرفران فقط؟ رأينا أن عقدتين وحدهما لا تتحملان سقوط أي منهما، والحل الذي يقدمه Proxmox هو الـ QDevice: برنامج صغير اسمه `corosync-qnetd` تشغله على جهاز ثالث مستقل، ولو كان جهازاً صغيراً أو VM في مكان آخر، فيعطي العنقود صوتاً ثالثاً دون أن يشغل أي أجهزة. والخطوات من [توثيق العنقود](https://pve.proxmox.com/pve-docs/chapter-pvecm.html?ref=arabroot.io):

```bash
# على الجهاز الثالث المستقل
apt install corosync-qnetd
# على كل عقدة في العنقود
apt install corosync-qdevice
# على عقدة واحدة
pvecm qdevice setup 10.20.0.50
pvecm status
```

ويتصل الـ QDevice بالعقد عبر TCP على المنفذ 5403، فإذا ظهر في `pvecm status` بحالة `NA` فتأكد أن هذا المنفذ مفتوح. وعندما تنقسم العقدتان ولا ترى إحداهما الأخرى، يعطي الـ QDevice صوته لجزء واحد فقط، وإذا كان الجزآن متساويين اختار صاحب أصغر رقم عقدة Node ID، ويمكن تغيير ذلك بالخيار `tie_breaker`.

ولكن لاحظ ما يقوله التوثيق بوضوح: الـ QDevice مدعوم للعناقيد بعدد زوجي من العقد، وينصح به لعنقود العقدتين، أما العدد الفردي فلا ينصح به. والسبب أن الـ QDevice في العنقود الفردي يأخذ عدد أصوات يساوي عدد العقد ناقص واحد، فإذا سقط الـ QDevice نفسه لا تتحمل أي عقدة السقوط، كما أن عقدة واحدة باقية مع الـ QDevice قد تحمل كل أجهزة HA وحدها. لذلك لم نضفه إلى عنقود المختبر الثلاثي: ثلاث عقد تكفي نفسها.

## أخطاء شائعة Common Mistakes

- **عنقود من عقدتين دون QDevice:** ثم توقع أن يعمل HA، فأول سقوط يوقف الكتابة في العقدة الباقية.
- **Corosync على نفس شبكة النسخ الاحتياطي والنقل الحي:** فيتأخر وقت الضغط، وتظن العقد أن إحداها ماتت.
- **وصلة Corosync واحدة على Switch واحد:** سقوطه يجعل كل عقدة أقلية، فتطفئ عقد HA نفسها جميعاً.
- **الوعد بـ «دون انقطاع» في النقل الحي:** قس من جهة المستخدم، ففي المختبر كان السجل 260 ملي ثانية والانقطاع 25 ثانية.
- **جدول نسخ متماثل أقصر من مدة المهمة:** فيصبح RPO الحقيقي أطول من المكتوب، ويفشل النقل بـ `can't lock file`.
- **اعتبار HA بديلاً عن النسخ الاحتياطي:** HA يعيد تشغيل الجهاز، ولا يعيد ملفاً حذف.
- **ترك العودة التلقائية دون تخطيط:** نقل حي إضافي إلى سيرفر عاد للتو، وقد يحمل بقايا تجعل النقل يفشل.
- **استخدام `pvecm expected 1` لحل مشكلة نصاب:** على عقدة معزولة هو الطريق المباشر إلى Split-brain.
- **بناء العقد بنسخ القرص دون تغيير الهوية:** نفس معرف الجهاز ومفاتيح SSH على عقدتين.

## قائمة تحقق Checklist قبل الإنتاج

| البند                         | كيف تتحقق منه                                                                                                                                                                                                                                                                              |
| ----------------------------- | ------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------ |
| ثلاث عقد أو عقدتان مع QDevice | pvecm status: Expected votes فردي، وQuorate: Yes                                                                                                                                                                                                                                           |
| شبكة Corosync مستقرة          | زمن استجابة أقل من 5 ملي ثانية بين كل العقد، ومنافذ UDP 5405 إلى 5412 مفتوحة                                                                                                                                                                                                               |
| وصلتان لـ Corosync            | ring0\_addr وring1\_addr لكل عقدة على شبكتين فعليتين مختلفتين                                                                                                                                                                                                                              |
| التخزين متاح للعقد الأخرى     | تخزين مشترك، أو مهام pvesr لكل جهاز HA إلى عقدتين                                                                                                                                                                                                                                          |
| RPO معروف                     | LastSync في pvesr status مراقب، وتنبيه إذا تأخر، كما في [مراقبة Proxmox VE](https://arabroot.io/articles/%D9%85%D8%B1%D8%A7%D9%82%D8%A8%D8%A9-proxmox-ve-%D8%A7%D9%84%D9%85%D9%82%D8%A7%D9%8A%D9%8A%D8%B3-%D9%85%D8%B9-%D8%A7%D9%84%D8%AA%D9%86%D8%A8%D9%8A%D9%87%D8%A7%D8%AA-prometheus/) |
| الـ Watchdog يعمل             | ha-manager status يظهر fencing armed، ووحدة العتاد مفعلة إن وجدت                                                                                                                                                                                                                           |
| اختبار سقوط عقدة              | إطفاء عقدة في نافذة صيانة وقياس الوقت حتى يرد التطبيق نفسه، لا حتى started                                                                                                                                                                                                                 |
| اختبار النقل الحي             | قياس الانقطاع من جهة المستخدم في شبكتك                                                                                                                                                                                                                                                     |
| العودة Failback مخططة         | أولويات القاعدة مقصودة، وفحص بقايا الأقراص على العقدة العائدة                                                                                                                                                                                                                              |
| النسخ الاحتياطي مستقل         | نسخ إلى Proxmox Backup Server خارج العنقود مع استعادة مجربة                                                                                                                                                                                                                                |

## تدريب عملي Practice

- أضف قاعدة Resource Affinity سالبة لجهازين يجب ألا يعملا على نفس العقدة، مثل سيرفري قاعدة بيانات أساسي وثانوي، ثم أطفئ عقدة وراقب أين يقوم كل منهما.
- اجعل أولويات العقد متساوية في قاعدة الجهاز 100، ثم أطفئ عقدته وأعدها، وتأكد أن الجهاز لا يعود تلقائياً.

## حذف المختبر Cleanup

```bash
ha-manager remove vm:100
pvesr delete 100-0; pvesr delete 100-1
qm destroy 100 --purge
```

## الخلاصة Summary

وصلنا لنهاية الموضوع، وأهم ما فيه:

- العنقود يجمع الإعداد في `/etc/pve` عبر pmxcfs، والعضوية والأصوات عبر Corosync الذي يحتاج زمن استجابة أقل من 5 ملي ثانية، وثلاث عقد هي الحد الأدنى المعقول.
- العقدة التي تفقد النصاب تصبح للقراءة فقط، وإذا كانت عليها أجهزة HA أطفأت نفسها بالـ Watchdog، ورأينا ذلك بعد خمسين ثانية من فقد النصاب في المختبر.
- النسخ المتماثل بـ ZFS أرسل الفرق فقط، 9.41 MB بدل 543 MB، ولكن الـ RPO الحقيقي من `LastSync` لا من الجدول، والجدول القصير منع النقل بـ `can't lock file`.
- النقل الحي سجل 260 و158 ملي ثانية، أما المستخدم فانقطع عنه 25 و27 ثانية حتى تعلم جسر الشبكة المنفذ الجديد، فقس من جهة المستخدم.
- بعد إطفاء عقدة فجأة عمل الجهاز على عقدة أخرى بعد 153 ثانية، ورد على الـ ping بعد 357 ثانية، من آخر نسخة متماثلة.
- العودة التلقائية فشلت حتى حذفنا قرص cloud-init قديماً على العقدة العائدة، فخطط للعودة ولا تتركها للصدفة.
- الـ QDevice لعنقود العقدتين، ولا ينصح به للعدد الفردي.

[![](https://arabroot.io/content/images/2026/10/ha-concepts-cover-cover.webp)دليلمفاهيم التوفر العالي High Availability للمبتدئينماذا يعني أن تبقى خدمتك تعمل رغم تعطل جزء منها، وكيف تحسب التوفر وتجد نقاط الفشل الواحدة وتقرر متى يستحق ذلك تكلفته.](https://arabroot.io/articles/%D9%85%D9%81%D8%A7%D9%87%D9%8A%D9%85-%D8%A7%D9%84%D8%AA%D9%88%D9%81%D8%B1-%D8%A7%D9%84%D8%B9%D8%A7%D9%84%D9%8A-high-availability-%D9%84%D9%84%D9%85%D8%A8%D8%AA%D8%AF%D8%A6%D9%8A%D9%86/)[![](https://arabroot.io/content/images/2026/11/proxmox-storage-cover-cover.webp)دليلالتخزين في Proxmox: ZFS أو LVM-thin أو NFS، ومتى Ceph؟بنينا أربعة مخازن على سيرفر Proxmox واحد وقسنا ما يأخذه القرص والـ Snapshot من كل منها، ثم ملأنا مخزناً رقيقاً عمداً لنرى ما يحدث للأجهزة عندما نعدها بأكثر مما نملك.](https://arabroot.io/articles/%D8%A7%D9%84%D8%AA%D8%AE%D8%B2%D9%8A%D9%86-%D9%81%D9%8A-proxmox-zfs-%D8%A7%D9%88-lvm-thin-%D8%A7%D9%88-nfs-%D9%88%D9%85%D8%AA%D9%89-%D8%AA%D8%AD%D8%AA%D8%A7%D8%AC-ceph/)[![](https://arabroot.io/content/images/2026/11/proxmox-backup-server-cover-cover.webp)دليلProxmox Backup Server: نسخ الأجهزة الافتراضية مع الاستعادةنسخ احتياطي للأجهزة الافتراضية يحفظ ما تغير فقط، جربناه بخمس نسخ وقطعة تالفة واستعادة حقيقية ونسخة في موقع آخر.](https://arabroot.io/articles/proxmox-backup-server-%D9%86%D8%B3%D8%AE-%D8%A7%D9%84%D8%A7%D8%AC%D9%87%D8%B2%D8%A9-%D8%A7%D9%84%D8%A7%D9%81%D8%AA%D8%B1%D8%A7%D8%B6%D9%8A%D8%A9-%D9%85%D8%B9-%D8%A7%D9%84%D8%A7%D8%B3%D8%AA%D8%B9%D8%A7%D8%AF%D8%A9/)[![](https://arabroot.io/content/images/2026/11/vmware-to-proxmox-cover-cover.webp)دليلمن VMware إلى Proxmox VE: الاستيراد Import مع خطة الرجوعاستوردنا ملف OVA رسمياً من VMware إلى Proxmox VE 9.2 وواجهنا ما يواجهه كل فريق ينتقل: أجهزة VMware الافتراضية، والإقلاع، والتعريفات، ثم كتبنا خطة انتقال على دفعات مع خطة رجوع.](https://arabroot.io/articles/%D8%A7%D9%84%D8%A7%D9%86%D8%AA%D9%82%D8%A7%D9%84-%D9%85%D9%86-vmware-%D8%A7%D9%84%D9%89-proxmox-ve-%D8%A7%D9%84%D8%A7%D8%B3%D8%AA%D9%8A%D8%B1%D8%A7%D8%AF-%D9%85%D8%B9-%D8%AE%D8%B7%D8%A9-%D8%A7%D9%84%D8%B1%D8%AC%D9%88%D8%B9/)

## سجل التحديثات Changelog

- نوفمبر 2026: كتابة الدليل وتنفيذ المختبر على عنقود من ثلاث عقد Proxmox VE 9.2.2 مع Corosync 3.1.10 والنسخ المتماثل بـ ZFS، والتحقق من التوثيق الرسمي في 4 نوفمبر 2026.