الحوسبة السحابية وبدائلها الأدلة التقنية

Apache CloudStack وOpenNebula: بدائل أخف من OpenStack

كيف يعمل CloudStack وOpenNebula من الداخل، ومختبر حقيقي على OpenNebula 7.4 بحصص وجدولة، ومتى تختار كلاً منهما بدل OpenStack.

Apache CloudStack وOpenNebula: بدائل أخف من OpenStack

إذا كانت جهتك تملك عشرين أو خمسين سيرفراً، وتريد أن تطلب الإدارات أجهزتها الافتراضية بنفسها بحصص Quotas محددة، دون أن تكتب تذكرة Ticket وتنتظر أسبوعاً، فأول اسم سوف تسمعه هو OpenStack. ثم تقرأ أن OpenStack مجموعة من الخدمات المستقلة، لكل منها قاعدة بيانات Database وإعداد وطريقة ترقية Upgrade، وأن CERN نجحت به كما شرحنا في دراسة حالة سحابة CERN على OpenStack، ولكن بفريق كامل يعمل عليه منذ 2012. وهنا يأتي السؤال الطبيعي: هل هناك منصة تعطيني الخدمة الذاتية Self-service وتعدد المستأجرين Multi-tenancy والـ API، دون أن أشغل عشر خدمات قبل أول جهاز افتراضي؟

والإجابة نعم، فهناك مشروعان مفتوحا المصدر Open Source يعملان في الإنتاج Production منذ أكثر من عشر سنوات، وكلاهما يدير KVM على سيرفراتك ويعطيك سحابة خاصة Private Cloud كاملة: Apache CloudStack وOpenNebula. والفكرة في الاثنين أن طبقة الإدارة Control Plane أصغر بكثير من OpenStack، ولكن كل واحد منهما اختار طريقاً مختلفاً، فالأول بني لمزودي الخدمة الذين يبيعون السحابة لعملائهم، والثاني بني ليكون طبقة خفيفة فوق KVM تدير مراكز بيانات متعددة من مكان واحد.

سوف نناقش في هذا المقال ما يلي:

  • ماذا تعني كلمة «أخف» فعلاً: عدد الخدمات التي تشغلها وترقيها في كل منصة.
  • Apache CloudStack من الداخل: الـ Management Server، وتقسيم المناطق Zones والـ Pods والعناقيد Clusters، والتخزين الأساسي والثانوي، وأجهزة النظام System VMs.
  • OpenNebula من الداخل: الخدمة المركزية oned، وبرامج التشغيل Drivers عبر SSH، والمخازن Datastores، ومراكز البيانات الافتراضية VDC والحصص.
  • مختبر حقيقي: تثبيت OpenNebula 7.4 بأداة miniONE على Ubuntu 24.04، وتشغيل جهاز Alpine، وحصة لمجموعة يرفض oned تجاوزها، وجهاز لا تتسع له العقدة.
  • نقاط القوة ونقاط الضعف لكل منصة، وجدول مقارنة مع OpenStack، وجدول قرار، وأخطاء شائعة وقائمة تحقق.

وهذا المقال من مرحلة السحابة الخاصة مفتوحة المصدر Private Cloud في مسار الحوسبة السحابية وبدائلها. والمواضيع في هذه المرحلة:

  • السحابة الخاصة Private Cloud: متى تبنيها وماذا تحتاج قبلها
  • OpenStack من الداخل: Nova وNeutron وCinder وKeystone
  • سحابة OpenStack صغيرة بيدك: من التثبيت إلى أول جهاز افتراضي
  • Apache CloudStack وOpenNebula: بدائل أخف من OpenStack (الموضوع الحالي)
  • Harvester وProxmox Cluster: الحوسبة المتقاربة HCI بأدوات مفتوحة
  • OpenStack أم CloudStack أم OpenNebula أم Proxmox؟ قرار مبني على الفريق والحجم

والمقالات التالية هي أقرب ما تحتاجه قبل هذا المقال وبعده: أساسيات OpenStack ومختبره لتعرف ما الذي نقارن به، ومقال بدائل VMware الذي عرض OpenNebula باختصار بين منصات المحاكاة الافتراضية Virtualization:

دليلOpenStack من الداخل: Nova وNeutron وCinder وKeystoneماذا تفعل كل خدمة في OpenStack، وكيف يمر طلب إنشاء جهاز افتراضي بين Keystone وNova وPlacement وNeutron وCinder، مع مخرجات حقيقية من سحابة 2026.2.دليلسحابة OpenStack صغيرة بيدك: من التثبيت إلى أول جهازبنينا OpenStack 2026.2 بـ DevStack في جهاز افتراضي واحد، ثم أنشأنا مشروعاً وشبكة وجهازاً بعنوان عائم وقرصاً، ومعها المشكلات الحقيقية التي ظهرت وما حدث بعد إعادة التشغيل.دليلبدائل VMware بعد Broadcom: أي منصة Virtualization تختار؟قارنا Proxmox VE وXCP-ng وIncus وOpenNebula وHarvester وHyper-V بالترخيص والتكلفة والنسخ الاحتياطي والتوفر العالي، ونقلنا جهازاً فعلياً من Proxmox VE إلى Incus لنرى كلفة الخروج.دليلKVM على سيرفر Linux: libvirt مع virsh ثم Cockpitشغلنا أجهزة افتراضية على سيرفر Debian عادي بـ libvirt وvirt-install وCockpit دون Proxmox، مع جسر وSnapshots وتشغيل تلقائي، وثلاث مشكلات واجهناها، ومتى يكفيك هذا ومتى تحتاج Proxmox.

الخلاصة السريعة Quick Summary

💡
Apache CloudStack وOpenNebula يعطيانك سحابة خاصة فوق KVM بطبقة إدارة أصغر من OpenStack. CloudStack برنامج إدارة واحد مكتوب بـ Java مع MySQL، ويضع الشبكة والتخزين داخل أجهزة نظام System VMs يشغلها بنفسه، وهو الأنسب لمن يبيع السحابة لعملاء أو إدارات بحسابات وحدود وفواتير. وOpenNebula خدمة مركزية واحدة اسمها oned تنفذ برامجها على العقد عبر SSH، فالعقد لا تحتاج إلا KVM وlibvirt، وهو الأنسب لمن يريد طبقة خفيفة فوق KVM بمراكز بيانات افتراضية VDC وحصص Quotas. وفي المختبر ثبتنا OpenNebula 7.4.1 بأداة miniONE، وشغلنا جهاز Alpine، ورفض oned جهازاً ثالثاً تجاوز حصة مجموعة من جهازين، وبقي جهاز بذاكرة 8 GB معلقاً لأن العقدة فيها 5.8 GB فقط.

ماذا تعني «أخف من OpenStack» فعلاً؟

الكلمة «أخف» لا تعني أن الأجهزة الافتراضية تعمل أسرع، فالمنصات الثلاث تشغل الأجهزة بنفس الطريقة تقريباً: KVM في نواة Linux مع QEMU وlibvirt على كل سيرفر، كما شرحنا في ما هي المحاكاة الافتراضية Virtualization وKVM على سيرفر Linux مع libvirt. والفرق كله في طبقة الإدارة Control Plane، أي البرامج التي تستقبل طلب المستخدم، وتختار له السيرفر، وتجهز القرص والشبكة، وتحفظ الحالة في قاعدة البيانات. فهذه الطبقة هي التي تثبتها وتراقبها وترقيها وتتعامل مع أعطالها، وحجمها هو الذي يحدد كم شخصاً تحتاج في الفريق.

والصورة التالية تضع الطبقات الثلاث جنباً إلى جنب:

ثلاثة أعمدة. OpenStack: Keystone وNova مع Placement وNeutron مع OVN وGlance وCinder وHorizon وRabbitMQ مع MariaDB وMemcached، وعلى كل عقدة nova-compute وovn-controller مع libvirt. Apache CloudStack: Management Server واحد بلغة Java وMySQL وUsage Server اختياري وأجهزة نظام SSVM وCPVM وVirtual Router، وعلى كل عقدة cloudstack-agent مع libvirt ومخزن أساسي وثانوي. OpenNebula: oned مع XML-RPC API وScheduler مع onemonitord وMySQL أو SQLite وSunstone مع OneFlow وOneGate، وعلى كل عقدة opennebula-node-kvm مع libvirt فقط وتنفذ عليها برامج التشغيل عبر SSH
الثلاثة تدير KVM، والفرق في عدد الخدمات التي تشغلها أنت في طبقة الإدارة

في الشكل أعلاه لاحظ التالي:

  • في OpenStack كل وظيفة خدمة مستقلة لها API وقاعدة بيانات وإعداد، وتتواصل عبر طابور رسائل Message Queue، وهذا ما يعطيه مرونته الكبيرة، وهو أيضاً ما يجعل ترقيته مشروعاً في كل مرة، كما رأينا في ترقيات CERN.
  • في CloudStack برنامج إدارة واحد يحمل الواجهة والـ API والجدولة، ولكنه يحتاج أجهزة نظام System VMs داخل السحابة نفسها لتقوم بالتخزين والشبكة، فالتعقيد انتقل من خدمات كثيرة على سيرفرات الإدارة إلى أجهزة صغيرة يديرها البرنامج تلقائياً.
  • في OpenNebula خدمة مركزية واحدة، وكل العمل على العقد يتم عبر سكربتات تنفذها الواجهة الأمامية Front-end بالـ SSH، فالعقدة شبه فارغة، ولا يوجد عليها برنامج وكيل Agent يعمل باستمرار سوى خدمات المراقبة الخفيفة.

وقد يتساءل البعض: إذا كانت هاتان المنصتان أخف، فلماذا يسمع الناس عن OpenStack أكثر؟ والإجابة أن OpenStack يغطي حالات لا يغطيها غيره بنفس العمق، مثل الشبكات المعرفة برمجياً SDN المعقدة، والأجهزة الحقيقية Bare Metal عبر Ironic، وخدمات كثيرة فوق الحوسبة الأساسية، وله أكبر مجتمع من المزودين والمساهمين. وشرح ذلك من الداخل موضوع مقال OpenStack من الداخل في هذه المرحلة، أما هنا فنركز على ما يعطيه البديلان وكيف يعملان.

Apache CloudStack: سحابة بنيت لمن يبيع السحابة

بدأ CloudStack في 2008 مشروعاً لشركة ناشئة اسمها VMOps، ثم تغير اسمها إلى Cloud.com، ونشرت أغلب الكود في مايو 2010 بترخيص GPLv3. واشترت Citrix الشركة في يوليو 2011، ثم أعادت ترخيص المشروع بـ Apache 2.0 وقدمته إلى مؤسسة Apache، فدخل حاضنتها Incubator في 16 أبريل 2012، وأصبح مشروعاً رئيسياً فيها في 20 مارس 2013، كما تروي صفحة تاريخ المشروع. وهذا الأصل مهم لفهم تصميمه، فالمشروع بني من البداية لمزودي الخدمة الذين يبيعون أجهزة افتراضية لعملائهم، لذلك تجد فيه الحسابات Accounts والفوترة Billing والحدود Limits والشبكات المعزولة Isolated Networks لكل عميل كجزء أساسي من النموذج، وليس كإضافة.

ويعرف التوثيق الرسمي المشروع بأنه منصة بنية تحتية كخدمة IaaS تدير مجموعات من موارد التخزين والشبكة والحوسبة لبناء سحابة عامة أو خاصة. ويدعم في السحابة الواحدة أكثر من نوع من الـ Hypervisor معاً: KVM وVMware vSphere عبر vCenter وXenServer وXen Project وHyper-V وLXC، والأجهزة الحقيقية عبر IPMI، وهذا من أهم ما يميزه عن OpenNebula الذي يركز على KVM وLXC فقط.

الـ Management Server: برنامج واحد مع MySQL

في قلب CloudStack برنامج واحد اسمه Management Server، ويقول التوثيق إنه يعمل داخل حاوية تطبيقات Java، ويحتاج قاعدة بيانات MySQL ليحفظ فيها حالة السحابة كلها. وهذا البرنامج يقدم واجهة المدير وواجهة المستخدم، ويقدم الـ API الخاص بـ CloudStack وطبقة ترجمة لواجهة EC2 تسمح باستخدام أدوات AWS المعتادة، ويختار السيرفر لكل جهاز، ويوزع عناوين IP العامة والخاصة، ويخصص التخزين عند إنشاء الجهاز، ويدير الـ Snapshots والقوالب Templates وملفات ISO.

ولاحظ نقطة مهمة في التوثيق: توقف الـ Management Server للصيانة أو بسبب عطل لا يوقف الأجهزة الافتراضية التي تعمل، لأن الأجهزة تعمل على الـ Hypervisor مباشرة، والبرنامج يديرها ولا يحملها. وهذا الفصل بين طبقة الإدارة وطبقة العمل نفس الفكرة التي رأيناها في تجربة CERN، وهو ما يجعل ترقية الـ Management Server عملية مقبولة: تتوقف الواجهة والـ API فترة، والأنظمة تبقى تعمل. وللتوفر العالي High Availability يمكن تشغيل أكثر من Management Server خلف موزع ضغط Load Balancer، مع نسخ قاعدة البيانات Replication.

وأقل تثبيت ممكن، حسب دليل التثبيت، سيرفر واحد يعمل فيه الـ Management Server مع KVM معاً، أما المتطلبات المكتوبة لسيرفر الإدارة فهي 4 GB من الذاكرة RAM و250 GB من القرص، وينصح الدليل بـ 500 GB، مع عنوان IP ثابت واسم نطاق كامل FQDN. وكل سيرفر Hypervisor يحتاج دعم المحاكاة في المعالج CPU كما شرحنا في دعم المعالج للأجهزة الافتراضية، و4 GB من الذاكرة و36 GB من القرص على الأقل، ويشترط الدليل أن تكون السيرفرات في العنقود الواحد متطابقة في نوع المعالج وعدده وخصائصه، والسبب أن النقل الحي Live Migration بين معالجات مختلفة قد يفشل إذا اختفت خاصية كان الجهاز يستخدمها.

المنطقة Zone والـ Pod والعنقود Cluster: كيف يقسم مركز البيانات؟

يقسم CloudStack البنية إلى مستويات متداخلة، ولكل مستوى معنى فعلي في مركز البيانات وليس مجرد اسم في الواجهة. والصورة التالية تبين ذلك:

منطقة Region تضم Zone هي مركز بيانات واحد، وفيها Pod 1 وPod 2، وكل Pod خزانة مع Switch من الطبقة الثانية، وفي كل Pod عناقيد Clusters من سيرفرات متطابقة، لكل عنقود مخزن أساسي Primary Storage لأقراص الأجهزة وهي تعمل، وأحد العناقيد بسيرفرات VMware. وبجانبها مخزن ثانوي Secondary Storage لكل الـ Zone للقوالب وملفات ISO والـ Snapshots يكتب فيه جهاز النظام SSVM
المستوى الذي تضع فيه الشيء يحدد من يشاركه ومن يتأثر بعطله
  • المنطقة Region: مجموعة Zones متقاربة جغرافياً يديرها عنقود واحد من الـ Management Server، وهي أكبر وحدة في CloudStack، والحسابات Accounts يمكن أن تمتد على أكثر من منطقة.
  • الـ Zone: تساوي غالباً مركز بيانات واحداً بكهربائه وشبكته، وهي ما يختاره المستخدم عند إنشاء الجهاز، ويمكن أن تكون عامة لكل المستخدمين أو خاصة بـ Domain معين.
  • الـ Pod: خزانة Rack أو صف خزانات مع Switch من الطبقة الثانية Layer 2، وفي الشبكة الأساسية Basic Zone يكون كل Pod نطاق بث Broadcast Domain مستقلاً بمجال عناوين خاص به.
  • العنقود Cluster: سيرفرات متطابقة بنفس الـ Hypervisor تتشارك مخزناً أساسياً، والنقل الحي يتم داخل العنقود.
  • السيرفر Host: عقدة حوسبة واحدة، وعليها في حالة KVM برنامج cloudstack-agent يتصل بالـ Management Server.

ولماذا كل هذه المستويات؟ لأنها تعبر عن حدود العطل Failure Domains. فإذا تعطل Switch في خزانة، تتأثر الـ Pod التي فيها وحدها، وإذا انقطعت الكهرباء عن مركز بيانات، تتأثر الـ Zone وحدها، والمستخدم الذي وزع أجهزته على Zones مختلفة يبقى نظامه يعمل. وهذا قريب من فكرة المناطق Regions ومناطق التوفر Availability Zones في السحابة العامة التي شرحناها في نماذج النشر السحابي.

المخزن الأساسي Primary والمخزن الثانوي Secondary

يفصل CloudStack التخزين إلى نوعين لكل منهما وظيفة. فالمخزن الأساسي Primary Storage يحمل أقراص الأجهزة وهي تعمل، ويكون عادة لكل عنقود، ويمكن أن يكون NFS أو iSCSI أو Ceph RBD أو قرصاً محلياً. والمخزن الثانوي Secondary Storage لكل الـ Zone، ويحفظ القوالب Templates وملفات ISO والـ Snapshots، ويكون عادة NFS أو تخزين كائنات Object Storage. والسبب في هذا الفصل أن القالب يستخدمه الجميع ويكفي أن يحفظ مرة واحدة في كل Zone، أما القرص العامل فيحتاج سرعة عالية وقرباً من السيرفر، فلكل منهما نوع تخزين وتكلفة مختلفة. وإذا كنت تفكر في Ceph لهذا الدور، فقد شرحنا أساسياته في Ceph للمبتدئين.

أجهزة النظام System VMs: لماذا يشغل CloudStack أجهزة لنفسه؟

هنا أكبر فرق في التصميم بين CloudStack وغيره. فبدل أن يثبت خدمة على سيرفرات الإدارة لكل وظيفة شبكة أو تخزين، ينشئ CloudStack أجهزة افتراضية صغيرة داخل السحابة نفسها من قالب واحد، ويشغلها ويوقفها حسب الحاجة. ويقول دليل أجهزة النظام إن القالب مبني على Debian 12 بأقل عدد من الحزم، وإن عرض النظام System Offering لهذه الأجهزة يجب ألا يقل عن 512 MB من الذاكرة. والصورة التالية تبين الأنواع الثلاثة:

الـ Management Server ينشئ أجهزة النظام من قالب Debian 12 بعرض لا يقل عن 512 MB. جهاز التخزين الثانوي SSVM يكتب في المخزن الثانوي وينزل القوالب وملفات ISO وينسخها بين المناطق وينقل الـ Snapshots. بروكسي الشاشة CPVM يوصل متصفح المستخدم بشاشة جهازه عبر VNC وله عنوان عام واحد. الـ Virtual Router لكل شبكة معزولة يقدم DHCP وDNS والـ NAT والجدار الناري وتحويل المنافذ وتوزيع الضغط والـ VPN
الشبكة والتخزين في CloudStack أجهزة صغيرة يديرها البرنامج، وليست خدمات تثبتها أنت
  • جهاز التخزين الثانوي Secondary Storage VM: كل ما يكتب في المخزن الثانوي يمر عبره، فهو الذي ينزل القالب من الرابط الذي يعطيه المستخدم، وينسخ القوالب بين الـ Zones، وينقل الـ Snapshots.
  • بروكسي الشاشة Console Proxy VM: عندما يضغط المستخدم على أيقونة الشاشة في الواجهة، يفتح المتصفح اتصالاً بهذا الجهاز، وهو يتصل بمنفذ VNC في الـ Hypervisor، فلا يحتاج المستخدم أن يصل إلى شبكة السيرفرات مباشرة.
  • الـ Virtual Router: لكل شبكة معزولة Isolated Network جهاز يقدم لها DHCP وDNS والـ NAT والجدار الناري Firewall وتحويل المنافذ Port Forwarding وتوزيع الضغط والـ VPN. ويقول التوثيق إن المستخدم لا يصل إليه مباشرة، وإنما يغير إعداده من الواجهة، والمدير يستطيع إعادة تشغيله.

وهذا التصميم له وجهان. فمن جهة، الشبكة لكل عميل تعمل دون أن تحتاج SDN معقدة، لأن الـ Virtual Router جهاز Linux عادي فيه iptables وdnsmasq وHAProxy، وإذا تعطل يعيد CloudStack إنشاءه. ومن جهة أخرى، كل شبكة معزولة تستهلك جهازاً افتراضياً بذاكرته ومعالجه، وعندما يتأخر جهاز النظام في الإقلاع أو يفشل تنزيل قالبه، تتوقف أشياء كثيرة معه، لذلك أول ما يفحصه المدير عند مشكلة في CloudStack هو حالة أجهزة النظام.

الشبكة الأساسية Basic والشبكة المتقدمة Advanced

عند إنشاء الـ Zone تختار نوع الشبكة، وحسب توثيق إعداد الشبكة:

  • الشبكة الأساسية Basic Zone: شبكة مسطحة واحدة من الطبقة الثانية، تشبه نموذج AWS القديم، والعزل بين الأجهزة في الطبقة الثالثة عبر الجسر Bridge في الـ Hypervisor ومجموعات الأمان Security Groups، ولا توجد فيها شبكة عامة منفصلة، فإما أن تكون عناوين الأجهزة عامة أو خاصة مباشرة.
  • الشبكة المتقدمة Advanced Zone: أكثر من شبكة فعلية، وعزل في الطبقة الثانية بالـ VLAN غالباً، وشبكات معزولة لكل حساب خلف Virtual Router، وشبكات مشتركة Shared Networks، والسحابة الخاصة الافتراضية VPC التي تجمع عدة شبكات فرعية لحساب واحد بـ Router واحد وقواعد بينها.

وأغلب السحب الخاصة في المؤسسات تبدأ بالشبكة المتقدمة، لأن الإدارات تريد شبكات منفصلة وعناوين خاصة، والـ VLAN شيء يعرفه فريق الشبكات أصلاً.

الحسابات والـ Domains: من يرى ماذا في CloudStack؟

يقول دليل الحسابات إن الحساب Account يمثل عادة عميلاً لمزود الخدمة أو إدارة في مؤسسة كبيرة، وإن الحسابات تجمع في Domains لها مديرون مفوضون، فمزود خدمة لديه موزعون يستطيع أن ينشئ Domain لكل موزع. والموارد ملك الحساب وليست ملك المستخدم، والمستخدمون داخل الحساب الواحد غير معزولين عن بعضهم، ومعزولون عن الحسابات الأخرى. ومدير الـ Domain يدير مستخدميه ولا يرى السيرفرات الفعلية ولا الـ Domains الأخرى، أما المدير الرئيسي Root Admin فيرى كل شيء. ويمكنك أيضاً أن تخصص Zone أو Pod أو Cluster أو Host كاملاً لحساب أو Domain، وهذا ما تحتاجه إدارة تشترط ألا يشاركها أحد في العتاد.

الإصدارات والدعم Releases

حسب صفحة التنزيل في 19 نوفمبر 2026، أحدث إصدار هو 4.23.0.0، وهو إصدار عادي Regular صدر في 2 سبتمبر 2026، والإصدار طويل الدعم LTS الحالي هو 4.22.1.1 الصادر في 21 أغسطس 2026. وتقول الصفحة إن الإصدارات طويلة الدعم تحصل على إصلاحات الأخطاء والأمن لمدة 18 شهراً، أما الإصدارات العادية فتحصل على الإصلاحات الحرجة فقط لفترة قصيرة، لذلك اختر LTS للإنتاج. والمشروع يوزع الكود المصدري رسمياً، والحزم الجاهزة DEB وRPM يبنيها أعضاء المجتمع، وتذكر الصفحة حزماً من شركة ShapeBlue أيضاً. ومع المشروع أداة سطر أوامر CLI اسمها CloudMonkey، ومزود Terraform رسمي، وخدمة Kubernetes اسمها CKS.

نقاط القوة ونقاط الضعف في CloudStack

نقاط القوة:

  • طبقة إدارة واحدة مع MySQL، فالتثبيت والترقية والمراقبة أبسط بكثير من مجموعة خدمات مستقلة.
  • تعدد المستأجرين جزء من النموذج منذ البداية: Domains وحسابات وحدود ومشاريع وتخصيص عتاد، مع خادم الاستخدام Usage Server لسجلات الفوترة.
  • أكثر من نوع Hypervisor في سحابة واحدة، وهذا مفيد لمن يملك VMware اليوم ويريد الانتقال تدريجياً.
  • الشبكات المعزولة والـ VPC والجدار الناري وتوزيع الضغط تعمل عبر الـ Virtual Router دون SDN خارجية.
  • إصدارات LTS بدعم 18 شهراً، ومؤسسة Apache كمظلة محايدة لا تملكها شركة واحدة.

نقاط الضعف:

  • أجهزة النظام طبقة إضافية يجب أن تفهمها، وعطل في قالبها أو في الوصول إلى المخزن الثانوي يوقف إنشاء الأجهزة.
  • كل شبكة معزولة تستهلك Virtual Router، فالعدد الكبير من الشبكات الصغيرة يعني أجهزة كثيرة تستهلك ذاكرة.
  • المجتمع والمنظومة Ecosystem حوله أصغر من OpenStack، والخدمات فوق الحوسبة الأساسية أقل.
  • الحزم الرسمية مصدرية فقط، فتعتمد على حزم المجتمع أو مزود تجاري.

OpenNebula: طبقة سحابة خفيفة فوق KVM

أول إصدار من OpenNebula كان في 2008 كما يذكر توثيق المشروع، والكود بترخيص Apache 2.0، وتطوره شركة OpenNebula Systems مع المجتمع. وفي مقال بدائل VMware بعد Broadcom عرضناه باختصار بين منصات المحاكاة الافتراضية، وهنا ندخل في تفاصيله ونشغله فعلاً. وأحدث إصدار هو 7.4 واسمه Helix، صدر وسم الإصدار release-7.4.0 في 26 يوليو 2026، ثم 7.4.1 في 11 سبتمبر 2026 وهو الذي ثبتناه في المختبر. ويقول ما الجديد في 7.4 إن هذا الإصدار أعاد تصميم Sunstone، وجعل خدمة Kubernetes المدارة OneKS وتخزين LVM متاحين في النسخة المجتمعية.

كيف يعمل OpenNebula من الداخل؟ oned وبرامج التشغيل Drivers

يقول توثيق المكونات إن الخدمة الأساسية هي oned، وهي التي تدير العقد والشبكات الافتراضية والمخازن والمجموعات والمستخدمين والأجهزة، وتقدم XML-RPC API لبقية الخدمات وللمستخدمين، وتحفظ الحالة في قاعدة بيانات SQL. ومعها مجدول Scheduler يختار العقدة والمخزن والشبكة لكل جهاز، وخدمة مراقبة onemonitord تجمع حالة العقد والأجهزة، وكلاهما يبدأ مع oned. وفوق ذلك Sunstone للواجهة الرسومية، وOneFlow لتشغيل خدمات من عدة أجهزة كوحدة واحدة بقواعد توسع تلقائي، وOneGate الذي يسمح للجهاز نفسه بأن يرسل معلومات إلى OpenNebula ويقرأ منها. والصورة التالية تبين ذلك:

في الأعلى واجهات الوصول: Sunstone والـ CLI وXML-RPC مع OCA بلغات Ruby وGo وPython وJava، وTerraform وAnsible. في الوسط الواجهة الأمامية Front-end وفيها oned والـ Scheduler وonemonitord وقاعدة MySQL أو SQLite وOneFlow مع OneGate، وتحتها برامج التشغيل للتخزين والمحاكاة والمراقبة والشبكة والهوية والسوق. سهم يقول إن برامج التشغيل تنفذ على العقد عبر SSH بالمستخدم oneadmin، وفي الأسفل عقدتا KVM مع libvirt وQEMU وجسر شبكة ومخزن نظام، وعقدة LXC اختيارية
كل الذكاء في الواجهة الأمامية، والعقدة تنفذ سكربتات تصلها عبر SSH

والفكرة المهمة هنا برامج التشغيل Drivers. فكل عملية على العقدة، مثل نسخ القرص أو تشغيل الجهاز أو نقله، يقوم بها سكربت صغير في الواجهة الأمامية ينفذ على العقدة عبر SSH بالمستخدم oneadmin. وهذا يعني أنك تستطيع أن تقرأ كل خطوة وتعدلها، فإذا كان عندك تخزين خاص أو إجراء معين عند تشغيل كل جهاز، تكتب سكربتك بدل أن تكتب إضافة بلغة برمجة. ويعني أيضاً أن الواجهة الأمامية نقطة مركزية مهمة: إذا كانت مشغولة أو بطيئة، يتأخر كل شيء، كما سوف نرى في المختبر. ويذكر دليل تصميم السحابة أن نسخة واحدة من OpenNebula تدير حتى 2,500 سيرفر و10,000 جهاز افتراضي، وأن قاعدة SQLite هي الافتراضية، وينصح بـ MySQL أو MariaDB للحجم الكبير، مع إمكان تشغيل الواجهة الأمامية بالتوفر العالي.

المخازن Datastores والشبكات الافتراضية Virtual Networks

في OpenNebula ثلاثة أنواع من المخازن حسب توثيق المخازن: مخزن الصور Image Datastore الذي يحفظ مستودع الأقراص Repository، ومخزن النظام System Datastore الذي يحمل أقراص الأجهزة وهي تعمل، وتنسخ إليه عادة من مخزن الصور، ومخزن الملفات Files Datastore للملفات الصغيرة التي يحتاجها إعداد الجهاز. وهذا يشبه فكرة المخزن الثانوي والأساسي في CloudStack، ولكن بدون جهاز نظام في المنتصف، فالنقل تقوم به برامج تشغيل التخزين مباشرة، بطرق مختلفة حسب نوع المخزن: SSH أو نظام ملفات مشترك أو Ceph أو LVM.

والشبكة الافتراضية Virtual Network في OpenNebula جسر Bridge على العقدة مع مجال عناوين Address Range، وبرنامج تشغيل الشبكة يحدد طريقة العزل: جسر عادي، أو 802.1Q VLAN، أو VXLAN، أو Open vSwitch. ويوزع OpenNebula العنوان على الجهاز من المجال، ويرسله إليه عبر قرص الإعداد Contextualization، بدل أن يعتمد على DHCP خارجي.

المجموعات Groups ومراكز البيانات الافتراضية VDC والحصص Quotas

يبني OpenNebula تعدد المستأجرين على ثلاث أدوات. الأولى المستخدمون Users والمجموعات Groups، وكل مستخدم في مجموعة أساسية، ويمكن أن يكون للمجموعة مدير Group Admin. والثانية مركز البيانات الافتراضي VDC، ويعرفه توثيق الـ VDC بأنه ربط مجموعة أو أكثر بمجموعة من الموارد الفعلية من عنقود أو أكثر، ويمكن أن تكون في Zones مختلفة أو سحب عامة خارجية. والثالثة الحصص Quotas التي يقول توثيق الحصص إنها تحد استخدام المستخدم أو المجموعة في عدد الأجهزة VMS والذاكرة MEMORY والمعالج CPU، وفي عدد العناوين من كل شبكة، وفي استخدام صورة معينة، ومعها قوائم الصلاحيات ACL التي تحدد من يستخدم ماذا. والصورة التالية تقارن ذلك بنموذج CloudStack:

عمود CloudStack: الـ Domain الرئيسي ROOT مع Root Admin يرى كل شيء، تحته Domain فرعي root/sales بمدير لا يرى السيرفرات الفعلية، تحته الحساب Account والموارد ملكه، تحته المستخدمون، ومشروع Project لموارد مشتركة، وفي الأسفل الحدود وتخصيص Zone أو Pod أو Cluster أو Host. عمود OpenNebula: مركز البيانات الافتراضي VDC يربط مجموعات بعناقيد ومخازن وشبكات، تحته المجموعة sc3-team بمدير اختياري، تحتها المستخدم dev1، وقوائم الصلاحيات ACL، والحصص Quotas التي حددنا فيها للمجموعة جهازين و512 MB ورفض oned ما تجاوزها، والأدوار Cloud User وCloud Operator وCloud Administrator
CloudStack يفكر بالعميل والحساب، وOpenNebula يفكر بالمجموعة ومركز البيانات الافتراضي

ولاحظ أن الـ VDC الافتراضي default يسمح باستخدام كل الموارد، ويقول التوثيق إن أي مجموعة جديدة تضاف إليه تلقائياً، لذلك إذا أردت أن تحصر إدارة في عنقود معين، أخرج مجموعتها من الـ VDC الافتراضي أولاً، وإلا بقيت ترى كل شيء.

الإصدارات والاشتراك Releases and Subscription

تقول صفحة خيارات الاشتراك إن كل إصدار رئيسي وفرعي من OpenNebula ينشر علناً بترخيص Apache، بنفس الكود للجميع، وإن المشتركين في الاشتراك المؤسسي Enterprise يحصلون إضافة على حزم صيانة مختبرة فيها إصلاحات الأخطاء والأمن بين الإصدارات، وعلى الدعم الطويل LTS، ودعم فني باتفاقية مستوى خدمة SLA. وهذا يعني عملياً أن النسخة المجتمعية تعطيك كل الميزات، ولكن الإصلاحات الأمنية بين الإصدارات لا تصلك إلا مع الإصدار التالي، فإذا كنت تشغل الإنتاج دون اشتراك، فخطط لترقية منتظمة مع كل إصدار.

نقاط القوة ونقاط الضعف في OpenNebula

نقاط القوة:

  • أقل طبقة إدارة بين الثلاثة: خدمة مركزية وقاعدة بيانات، والعقدة لا تحتاج إلا KVM مع libvirt.
  • برامج التشغيل سكربتات تقرؤها وتعدلها، فالتكامل مع تخزين أو إجراء خاص لا يحتاج كتابة إضافة كبيرة.
  • تعدد مستأجرين بالمجموعات والـ VDC والحصص وقوائم الصلاحيات، وإدارة عناقيد ومواقع متعددة من واجهة واحدة.
  • متجر Marketplace جاهز للقوالب، وOneFlow للخدمات متعددة الأجهزة، وOneKS لعناقيد Kubernetes.

نقاط الضعف:

  • الواجهة الأمامية مركز كل شيء، فإذا لم تخطط لتوفرها العالي فتوقفها يوقف كل الإدارة.
  • يركز على KVM وLXC، فلا يجمع VMware وغيره في سحابة واحدة كما يفعل CloudStack.
  • حزم الصيانة بين الإصدارات والدعم الطويل للمشتركين فقط، وأسعار الاشتراك غير منشورة.
  • مجتمعه أصغر، والشركة المطورة هي المصدر الأساسي للتطوير، وهذا اعتماد يجب أن تحسبه.

المختبر Lab: سحابة OpenNebula 7.4 على سيرفر واحد

الآن سوف نقوم بتثبيت OpenNebula فعلاً، ونشغل عليه جهازاً، ونجرب الحصص والجدولة، لأن قراءة التوثيق شيء ورؤية ما يفعله oned عند الخطأ شيء آخر. والأداة التي نستخدمها هي miniONE، وهي سكربت رسمي يثبت الواجهة الأمامية والعقدة على سيرفر واحد، ويقول دليله إنها للتقييم والتعلم وليست للإنتاج، وللإنتاج دليل تثبيت آخر وأداة OneDeploy المبنية على Ansible. والسيرفر في المختبر جهاز Ubuntu 24.04.5 فيه معالجان و6 GB من الذاكرة، ودعم KVM متاح فيه، أي أن /dev/kvm موجود.

التثبيت بأداة miniONE

نزلنا السكربت من مستودع miniONE الرسمي، ثم شغلناه بكلمة مرور معروفة بدل الكلمة العشوائية، وبالخيار --yes حتى لا يسأل:

curl -fsSL -o minione https://raw.githubusercontent.com/OpenNebula/minione/master/minione
sudo bash minione --yes --password sc3lab --version 7.4

وأول ما يطبعه السكربت قائمة بما سوف يفعله قبل أن يبدأ:

### Main deployment steps:
Install OpenNebula frontend version 7.4
Install and configure MariaDB (MySQL backend)
Pause unattended-upgrades during install (re-enabled afterwards)
Configure bridge minionebr with IP 172.16.100.1/24
Enable NAT over ens3
Modify AppArmor
Install OpenNebula KVM node
Export appliance and update VM template

في المخرج أعلاه لاحظ التالي:

  • السكربت يثبت MariaDB كقاعدة بيانات، وليس SQLite الافتراضية، وهذا أقرب إلى الإنتاج.
  • ينشئ جسراً اسمه minionebr بالعنوان 172.16.100.1/24، ويفعل الـ NAT عبر بطاقة السيرفر ens3، فالأجهزة تحصل على عناوين خاصة وتخرج إلى الإنترنت عبر السيرفر.
  • يثبت حزمة العقدة على نفس السيرفر، فالواجهة الأمامية والـ Hypervisor في جهاز واحد.
  • آخر خطوة تنزيل قالب Alpine Linux 3.20 من الـ Marketplace ليكون عندك جهاز تجربه فوراً.

مشكلة: فشل تشغيل oned بسبب Driver initialization time out

بعد تنزيل الحزم وإعداد قاعدة البيانات، توقف السكربت عند تشغيل الخدمات:

Starting OpenNebula services  FAILED

--- STDERR ---
Job for opennebula.service failed because the control process exited with error code.
See "systemctl status opennebula.service" and "journalctl -xeu opennebula.service" for details.

ورسالة systemd هنا لا تقول شيئاً عن السبب، لذلك المكان الصحيح للبحث هو سجل Log الخدمة oned نفسها في /var/log/one/oned.log، وفيه وجدنا:

sudo grep -n "Driver initialization time out\|Unable to start driver" /var/log/one/oned.log
330:Thu Nov 19 13:42:00 2026 [Z0][DrM][E]: Unable to start driver 'kvm': Driver initialization time out
651:Thu Nov 19 13:42:56 2026 [Z0][DrM][E]: Unable to start driver 'hook_exe': Driver initialization time out
653:Thu Nov 19 13:42:56 2026 [Z0][HKM][E]: Driver initialization time out
972:Thu Nov 19 13:43:47 2026 [Z0][DrM][E]: Unable to start driver 'hook_exe': Driver initialization time out

وهذا يرجع إلى ما شرحناه في المعمارية: oned عند بدايته يشغل كل برنامج تشغيل كعملية Ruby مستقلة، وينتظر أن ترد عليه خلال مهلة محددة داخل البرنامج، فإذا لم ترد، يعتبر البداية فاشلة ويخرج. وفي تلك اللحظة كان المعالج مشغولاً بالكامل، فالأمر top أظهر أن أكثر من 40% من وقت المعالج يذهب إلى الـ Steal Time، أي أن المعالج الفعلي مشغول بأجهزة أخرى، فتأخرت عمليات Ruby في البداية. وقد أعاد systemd تشغيل الخدمة تلقائياً، ونجحت في المحاولة الرابعة، ثم أكملنا خطوات السكربت الباقية.

والدرس من هذه المشكلة عملي: لا تضع الواجهة الأمامية لـ OpenNebula على سيرفر مزدحم، ولا تشغلها كجهاز افتراضي صغير على عقدة تعمل بكامل طاقتها، والسبب أن كل عملية في السحابة تمر عبر برامج التشغيل التي تبدأ منها. وإذا رأيت هذه الرسالة في سجلك، فابحث عن سبب انشغال المعالج أو بطء القرص قبل أي شيء آخر، ولا تقم بتعديل ملفات برامج التشغيل لتتجاوزها.

وبعد اكتمال التثبيت يطبع السكربت التقرير التالي:

### Report
OpenNebula 7.4 was installed
Database backend: MySQL (MariaDB), database 'opennebula'
Sunstone is running on:
  http://10.0.2.15/
Use following to login:
  user: oneadmin
  password: sc3lab

والإصدار الفعلي الذي ثبت هو 7.4.1، فالسكربت يأخذ آخر إصدار في سلسلة 7.4 من المستودع:

oned --version; dpkg -l | grep -E " (opennebula|opennebula-node-kvm|libvirt-daemon-system|qemu-system-x86|mariadb-server) " | awk '{print $2, $3}'
OpenNebula 7.4.1 (27b39092)
Copyright 2002-2026, OpenNebula Project, OpenNebula Systems
libvirt-daemon-system 10.0.0-2ubuntu8.19
mariadb-server 1:10.11.14-0ubuntu0.24.04.1
opennebula 7.4.1-1
opennebula-node-kvm 7.4.1-1
qemu-system-x86 1:8.2.2+ds-0ubuntu1.18
⚠️
بعد التثبيت ظهرت في oneimage list صورة ثانية اسمها OneKS Appliance بحجم 4G في حالة lock، وهي تنزل من الـ Marketplace لخدمة Kubernetes المدارة. فإذا كنت لا تحتاج OneKS في التجربة، احذفها بالأمر oneimage delete <id> --force واحذف قالبها، حتى لا تملأ مخزن الصور بأربعة جيجابايت لا تستخدمها.

ماذا أنشأ التثبيت؟ العقدة والمخازن والشبكة

كل أوامر OpenNebula تعمل بالمستخدم oneadmin، وأول أمر نبدأ به قائمة العقد:

sudo -iu oneadmin
onehost list
  ID NAME            CLUSTER    TVM      ALLOCATED_CPU      ALLOCATED_MEM STAT
   0 localhost       default      0       0 / 200 (0%)     0K / 5.8G (0%) on

في المخرج أعلاه لاحظ التالي:

  • العقدة الوحيدة اسمها localhost، لأن الواجهة الأمامية والـ Hypervisor في نفس السيرفر، وهي في العنقود default.
  • ALLOCATED_CPU هي 0 / 200: يحسب OpenNebula المعالج بالنسبة المئوية، فكل نواة 100، والسيرفر فيه نواتان، وسوف نرى بعد قليل كيف يحجز الجهاز جزءاً منها.
  • ALLOCATED_MEM هي 0K / 5.8G: الذاكرة التي يمكن حجزها للأجهزة، والجدولة تعتمد على هذا الرقم وليس على الاستخدام الفعلي.
  • STAT هي on، أي أن المراقبة تعمل وoned يستطيع أن يضع أجهزة على العقدة.

والأمر onehost show 0 يعطي التفاصيل، وهذا أوله:

HOST 0 INFORMATION
ID                    : 0
NAME                  : localhost
CLUSTER               : default
STATE                 : MONITORED
IM_MAD                : kvm
VM_MAD                : kvm
LAST MONITORING TIME  : 11/19 14:02:22

HOST SHARES
RUNNING VMS           : 0
MEMORY
  TOTAL               : 5.8G
  TOTAL +/- RESERVED  : 5.8G
  USED (REAL)         : 1.4G
  USED (ALLOCATED)    : 0K
CPU
  TOTAL               : 200
  TOTAL +/- RESERVED  : 200
  USED (REAL)         : 194
  USED (ALLOCATED)    : 0                   

ولاحظ هنا السطرين IM_MAD وVM_MAD: الأول برنامج تشغيل المراقبة Information Manager، والثاني برنامج تشغيل المحاكاة Virtual Machine Manager، وكلاهما kvm، وهما نفس برامج التشغيل التي فشلت في البداية عند انشغال المعالج. ولاحظ الفرق بين USED (REAL) وUSED (ALLOCATED): فالمعالج مستخدم فعلياً بنسبة 194 من 200 بسبب برامج الواجهة الأمامية نفسها، ولكن المحجوز للأجهزة صفر، والمجدول ينظر إلى المحجوز. والسطر TOTAL +/- RESERVED هو المكان الذي تحجز فيه جزءاً من الذاكرة أو المعالج للسيرفر نفسه، بالقيمتين RESERVED_MEM وRESERVED_CPU في قالب العقدة، وهذا مهم عندما تعمل الواجهة الأمامية على نفس العقدة كما في المختبر.

ثم المخازن والشبكات والصور والقوالب:

onedatastore list; onevnet list; oneimage list; onetemplate list
  ID NAME         SIZE AVA CLUSTERS IMAGES TYPE DS      TM      STAT
   2 files       23.2G 76% 0             0 fil  fs      local   on
   1 default     23.2G 76% 0             1 img  fs      qcow2   on
   0 system      23.2G 76% 0             0 sys  -       qcow2   on
  ID USER     GROUP    NAME            CLUSTERS   BRIDGE   STATE  LEASES OUTD ERRO
   0 oneadmin oneadmin vnet            0          minioneb rdy         0    0    0
  ID USER     GROUP    NAME            DATASTORE     SIZE TYPE PER STAT RVMS
   1 oneadmin oneadmin Alpine Linux 3. default       512M OS    No rdy     0
  ID USER     GROUP    NAME                    REGTIME
   1 oneadmin oneadmin Alpine Linux 3.  11/19 13:54:41

في المخرج أعلاه لاحظ التالي:

  • المخازن الثلاثة التي شرحناها موجودة: files من النوع fil، وdefault وهو مخزن الصور img، وsystem مخزن النظام sys. والعمود TM هو برنامج النقل Transfer Manager، وقيمته qcow2 تعني أن قرص الجهاز سوف ينشأ كملف qcow2 من الصورة.
  • كل المخازن على نفس القرص، لذلك الحجم 23.2G والمتاح 76% متساويان فيها، وفي الإنتاج يكون مخزن النظام عادة على تخزين سريع ومخزن الصور على تخزين أكبر وأرخص.
  • الشبكة vnet على الجسر minionebr وفيها صفر عقود إيجار Leases، أي أن أحداً لم يأخذ منها عنواناً بعد.
  • الصورة Alpine Linux 3.20 حجمها 512M وحالتها rdy، أي جاهزة، والعمود PER قيمته No، أي أنها غير دائمة Non-persistent: كل جهاز يأخذ نسخة منها، وتحذف النسخة عند حذف الجهاز.

وقالب الجهاز هو الذي يربط هذه الأشياء معاً، وهذا محتواه من onetemplate show 1:

CONTEXT=[
  NETWORK="YES",
  PASSWORD="9uJ2qjeAca27bqDP6aEK+A==",
  REPORT_READY="YES",
  SSH_PUBLIC_KEY="$USER[SSH_PUBLIC_KEY]",
  TOKEN="YES" ]
CPU="1"
DISK=[
  IMAGE_ID="1" ]
GRAPHICS=[
  LISTEN="0.0.0.0",
  TYPE="vnc" ]
HYPERVISOR="kvm"
MEMORY="256"
NIC=[
  NETWORK="vnet",
  NETWORK_UNAME="oneadmin",
  SECURITY_GROUPS="0" ]
SCHED_REQUIREMENTS="HYPERVISOR=kvm"

في القالب أعلاه لاحظ التالي:

  • CONTEXT هو قرص الإعداد الذي يقرؤه الجهاز عند الإقلاع: NETWORK="YES" يعني أن يأخذ عنوانه من OpenNebula، وSSH_PUBLIC_KEY يأخذ المفتاح من قالب المستخدم، وREPORT_READY="YES" وTOKEN="YES" يسمحان للجهاز بأن يبلغ OneGate أنه أصبح جاهزاً. وهذه الفكرة نفسها التي يقوم بها cloud-init في السحب الأخرى، كما شرحنا في الإعداد الأول للسيرفر مع cloud-init.
  • CPU="1" هو حصة المعالج الفعلي التي يحجزها الجهاز، أي نواة كاملة، وهي غير VCPU الذي يحدد عدد المعالجات التي يراها النظام داخل الجهاز. والفصل بينهما هو ما يسمح بالتحميل الزائد Overcommit: جهاز بأربعة VCPU وحصة CPU="0.5" مثلاً.
  • SECURITY_GROUPS="0" مجموعة الأمان الافتراضية، وفيها قاعدتان تسمحان بكل شيء داخلاً وخارجاً، كما سوف نرى في تفاصيل الجهاز، لذلك عدلها قبل أي استخدام حقيقي.

تشغيل الجهاز: من القالب إلى RUNNING

الآن نقوم بإنشاء جهاز من القالب:

onetemplate instantiate 1 --name alpine1
VM ID: 0

ثم راقبنا حالته كل بضع ثوان:

14:05:53 0,alpine1,prol
14:06:29 0,alpine1,prol
14:06:37 0,alpine1,boot
14:07:10 0,alpine1,boot
14:07:27 0,alpine1,runn

والحالات هنا هي دورة حياة الجهاز Lifecycle في OpenNebula: يبدأ معلقاً pend حتى يختار له المجدول عقدة، ثم prol وهي مرحلة Prolog التي ينسخ فيها برنامج النقل القرص من مخزن الصور إلى مخزن النظام على العقدة، ثم boot عندما يطلب برنامج المحاكاة من libvirt تشغيل الجهاز، ثم runn. والأوقات الدقيقة نجدها في سجل الجهاز نفسه، فالأمر onevm show 0 -x يعطي الطوابع الزمنية Timestamps:

STIME  14:05:25   (إنشاء الجهاز)
PSTIME 14:05:30   (بداية Prolog)
PETIME 14:06:31   (نهاية Prolog)
RSTIME 14:06:31   (بداية التشغيل)

أي أن المجدول وضع الجهاز على العقدة خلال خمس ثوان، وأخذ نسخ القرص 61 ثانية، وهي أطول مرحلة. وفي الإنتاج هذا الرقم هو ما يقرر كم ينتظر المستخدم، ويعتمد على نوع المخزن: فالنسخ عبر SSH بين سيرفرين أبطأ بكثير من Ceph أو نظام ملفات مشترك ينشئ نسخة qcow2 خفيفة دون نقل البيانات.

مشكلة: Parse error عند تشغيل الأمر من سكربت

في أول محاولة كتبنا الأوامر في سكربت يقرؤه bash من المدخل القياسي stdin، فجاء الرد التالي:

[one.template.instantiate] Parse error: syntax error, unexpected VARIABLE, expecting EQUAL or EQUAL_EMPTY at line 0, columns 5:6

وظننا في البداية أن المشكلة في اسم الجهاز، ثم تبين السبب: أوامر OpenNebula مثل onetemplate instantiate تقرأ قالباً إضافياً من stdin إذا لم يكن متصلاً بطرفية Terminal، فقرأ الأمر بقية أسطر السكربت على أنها قالب، وحاول أن يفهمها كأزواج KEY=VALUE، فظهر خطأ الصياغة. والحل أن تعطي هذه الأوامر مدخلاً فارغاً في السكربتات:

onetemplate instantiate 1 --name alpine-test --hold </dev/null
VM ID: 1

وهذا مهم لكل من يكتب سكربتات أتمتة Automation حول OpenNebula أو يشغل الأوامر من أداة مثل Ansible، والأفضل في الأتمتة الحقيقية أن تستخدم الـ API أو مزود Terraform بدل تجميع أوامر CLI، كما شرحنا في Terraform أم OpenTofu.

RUNNING لا يعني أن النظام جاهز

بعد أن أصبحت الحالة runn حاولنا الوصول إلى الجهاز مباشرة، فجاء الرد:

From 172.16.100.1 icmp_seq=1 Destination Host Unreachable
ssh: connect to host 172.16.100.2 port 22: No route to host

والسبب أن RUNNING في OpenNebula تعني أن عملية QEMU بدأت وأن libvirt يقول إن الجهاز يعمل، ولا تعني أن نظام التشغيل داخله أقلع وأعد شبكته. والأمر virsh screenshot أظهر أن نواة Alpine ما زالت في مرحلة فحص أجهزة PCI، فانتظرنا حتى رد الجهاز:

ping -c 3 172.16.100.2
ssh [email protected] 'cat /etc/alpine-release; uname -r; ip -4 addr show eth0 | grep inet; ip route | head -2; free -m | head -2'
64 bytes from 172.16.100.2: icmp_seq=1 ttl=64 time=20.4 ms
64 bytes from 172.16.100.2: icmp_seq=2 ttl=64 time=1.93 ms
64 bytes from 172.16.100.2: icmp_seq=3 ttl=64 time=2.17 ms
3.20.10
6.6.142-0-virt
    inet 172.16.100.2/24 scope global eth0
default via 172.16.100.1 dev eth0 metric 1 onlink
169.254.16.9 dev eth0 scope link
              total        used        free      shared  buff/cache   available
Mem:            218          38         124           2          57         171

في المخرج أعلاه لاحظ التالي:

  • العنوان 172.16.100.2 هو أول عنوان في مجال الشبكة vnet، أخذه الجهاز من قرص الإعداد وليس من DHCP، والبوابة 172.16.100.1 هي الجسر على السيرفر.
  • المسار إلى 169.254.16.9 هو عنوان بروكسي OneGate الذي يضيفه miniONE، ومنه يتصل الجهاز بـ OneGate ليبلغ أنه جاهز أو ليقرأ معلومات عن نفسه.
  • الذاكرة داخل الجهاز 218 MB من 256 MB في القالب، والفرق تحجزه النواة.
  • دخلنا بالـ SSH بمفتاح المستخدم oneadmin الذي وضعه الإعداد في الجهاز، فلم نحتج كلمة مرور.

لذلك لا تقم ببناء أتمتة تنتظر الحالة RUNNING ثم تتصل بالجهاز فوراً، والسبب أن بين الحالتين وقتاً يختلف من نظام إلى آخر. والأصح أن تستخدم REPORT_READY مع OneGate، فيضع الجهاز القيمة READY=YES في قالبه بعد انتهاء الإعداد، أو أن تفحص المنفذ الذي تحتاجه قبل أن تبدأ.

الحصص Quotas: مجموعة لا تتجاوز جهازين

الآن نجرب تعدد المستأجرين: ننشئ مجموعة لفريق، ومستخدماً فيها، ونحدد للمجموعة جهازين و512 MB من الذاكرة ونواتين كحد أقصى، ثم نسمح للمجموعات الأخرى باستخدام القالب والصورة والشبكة، لأنها ملك oneadmin:

onegroup create sc3-team
oneuser create dev1 sc3dev
oneuser chgrp dev1 sc3-team
printf 'VM=[ VMS="2", MEMORY="512", CPU="2" ]\n' > /tmp/q.txt
onegroup quota sc3-team /tmp/q.txt
onetemplate chmod 1 604; oneimage chmod 1 604; onevnet chmod 0 604
onegroup show sc3-team
ID: 100
ID: 2

VMS USAGE & QUOTAS

CLUSTERS       VMS          MEMORY             CPU   PCI DEV   PCI NIC       DISK SIZE
           0 /   2     0M /   512M    0.0 /   2.00   0 /   -   0 /   -     0M /      -

في الإعداد أعلاه لاحظ التالي:

  • المجموعة أخذت الرقم 100، لأن OpenNebula يبدأ ترقيم المجموعات التي ينشئها المدير من 100، والمستخدم أخذ الرقم 2 بعد oneadmin وserveradmin اللذين ينشئهما التثبيت.
  • الصلاحية 604 بنفس فكرة صلاحيات الملفات في Linux: المالك يستخدم ويدير، والآخرون يستخدمون فقط، فيستطيع dev1 أن ينشئ جهازاً من القالب دون أن يعدله أو يحذفه.
  • جدول الحصة يعرض الاستخدام مقابل الحد: صفر من جهازين، وصفر من 512M، وصفر من نواتين.

ثم نعمل بالمستخدم dev1 ونطلب ثلاثة أجهزة، ونستخدم الخيار --hold حتى تنشأ الأجهزة دون أن تعمل، لأن الحصة تحسب الجهاز من لحظة إنشائه وليس من تشغيله:

export ONE_AUTH=/tmp/dev1.auth; echo 'dev1:sc3dev' > $ONE_AUTH
for n in a b c; do onetemplate instantiate 1 --name dev1-$n --hold; done
onevm list
VM ID: 2
VM ID: 3
[one.template.instantiate] User [2] : group [100] limit of 2 reached for VMS quota in VM.
  ID USER     GROUP    NAME            STAT  CPU     MEM HOST             TIME
   3 dev1     sc3-team dev1-b          hold    1    256M              0d 00h00
   2 dev1     sc3-team dev1-a          hold    1    256M              0d 00h00

ولاحظ أن الرفض جاء فوراً من oned عند الطلب، والرسالة تقول بالضبط ما الذي منع الجهاز: المستخدم 2 في المجموعة 100 وصل إلى حد جهازين في حصة VMS. ولاحظ أيضاً أن dev1 لا يرى في onevm list إلا أجهزته، أما جهاز alpine1 الذي يملكه oneadmin فلا يظهر له. وهذا بالضبط ما تحتاجه عندما تعطي كل إدارة حصتها: الطلب الزائد يرفض قبل أن يصل إلى العتاد، ولا يحتاج أحد أن يراجعه يدوياً.

ماذا لو طلبنا جهازاً أكبر من العقدة؟ What-if

الحصة تمنع الطلب الزائد عن حد المجموعة، ولكن ماذا لو طلب المدير نفسه، وهو بلا حصة، جهازاً بذاكرة 8 GB على عقدة فيها 5.8 GB؟

onetemplate instantiate 1 --name big --memory 8G
onevm list
onevm show big | grep -E "STATE|SCHED_MESSAGE"
VM ID: 4
  ID USER     GROUP    NAME            STAT  CPU     MEM HOST             TIME
   4 oneadmin oneadmin big             pend    1      8G              0d 00h00
   0 oneadmin oneadmin alpine1         runn    1    256M localhost    0d 00h34
STATE               : PENDING
LCM_STATE           : LCM_INIT
SCHED_MESSAGE="Thu Nov 19 14:39:55 2026: [HOST] Not enough MEMORY on hosts: 0"

وهنا الفرق المهم بين الحالتين: الطلب قبل بنجاح وأخذ الرقم 4، ولم يظهر أي خطأ للمستخدم، ثم بقي الجهاز في الحالة pend لأن المجدول لم يجد عقدة فيها ذاكرة كافية، وكتب السبب في SCHED_MESSAGE: العقدة 0 لا تملك ذاكرة كافية. وسوف يبقى الجهاز معلقاً حتى تضيف عقدة أكبر، أو تحذفه، أو تسمح بالتحميل الزائد للذاكرة على العقدة. لذلك راقب الأجهزة المعلقة في سحابتك، فهي طلبات قبلت ولم تنفذ، وصاحبها قد يظن أن جهازه في الطريق.

الواجهة الرسومية Sunstone

كل ما فعلناه بالأوامر متاح من Sunstone، وهي واجهة الويب التي يدخل منها المدير والمستخدمون، وكل مستخدم يرى فيها ما تسمح به مجموعته وصلاحياته. والصورة التالية شاشة الدخول من المختبر:

شاشة الدخول في Sunstone من OpenNebula 7.4.1 وفيها حقل المستخدم oneadmin وحقل كلمة المرور وخيار Keep me logged in وزر Sign In Now
شاشة الدخول في Sunstone بعد تثبيت miniONE

وبعد الدخول تظهر لوحة المتابعة Dashboard، وهذه حالتها بعد تشغيل alpine1:

لوحة Overview في Sunstone: Zone OpenNebula مع عنقود واحد وعقدة واحدة، وبطاقة Virtual Machines فيها جهاز واحد Running، وبطاقة Hosts فيها عقدة واحدة Monitoring، وبطاقة Virtual networks فيها شبكة واحدة وعنوان واحد مستخدم، وبطاقة Images فيها صورة واحدة 512 MB، وفي الأسفل CPU allocated 100 of 200 وMemory allocated 256 MB من 5.8 GB بنسبة 4.3%، ومستخدمان ومجموعتان
لوحة المتابعة تعرض المحجوز وليس المستخدم فعلياً: 100 من 200 للمعالج و256 MB من 5.8 GB

ولاحظ في الصورة السطر CPU allocated : 100 of 200، وهو نفس ما شرحناه في القالب: الجهاز يحجز CPU="1"، أي نواة كاملة من نواتين، مع أنه لا يستخدم منها إلا القليل. فإذا كنت تخطط لعدد كبير من الأجهزة الصغيرة، فقرر سياسة الحجز من البداية، لأن الحجز الكامل لكل جهاز يملأ العقد بسرعة على الورق وهي فارغة في الواقع.

وفي قائمة الأجهزة Instances ثم VMs يظهر الجهازان اللذان بقيا بعد التجارب: alpine1 يعمل على localhost، وbig معلق:

قائمة VMs في Sunstone فيها جهازان: big بالحالة Pending ورقم 4 والمالك oneadmin والمعالج 1 والذاكرة 8 GB والقرص 512 MB والعنوان 172.16.100.6، وalpine1 بالحالة Running ورقم 0 على localhost بذاكرة 256 MB والعنوان 172.16.100.2
الجهاز المعلق big حجز عنواناً من الشبكة مع أنه لم يعمل بعد

ولاحظ في الصورة أن الجهاز المعلق big أخذ العنوان 172.16.100.6 من الشبكة مع أنه لم يعمل على أي عقدة، لأن OpenNebula يحجز العنوان عند إنشاء الجهاز وليس عند تشغيله. وهذا سبب آخر لمراقبة الأجهزة المعلقة: في شبكة صغيرة بمجال محدود، الطلبات المعلقة تستهلك العناوين، فيفشل إنشاء أجهزة حقيقية بعد ذلك بسبب نفاد العناوين لا بسبب العتاد. وأخيراً صفحة العقد Infrastructure ثم Hosts:

صفحة Hosts في Sunstone فيها العقدة localhost بالحالة MONITORED، ورقم 0 والعنقود default وIM MAD kvm وVM MAD kvm وجهاز واحد يعمل، وAllocated CPU 100 من 200 بنسبة 50%، وAllocated Memory 256 MB من 6 GB بنسبة 4%
العقدة تعرض المحجوز: نصف المعالج لجهاز واحد صغير

حذف المختبر Cleanup

onevm terminate --hard alpine1,big
onevm terminate --hard dev1-a,dev1-b
oneuser delete dev1; onegroup delete sc3-team
onevm list
# لإزالة OpenNebula من السيرفر كله
sudo bash minione --purge --yes

مقارنة CloudStack وOpenNebula وOpenStack في جدول واحد

الجدول التالي يجمع ما سبق في البنود التي يسأل عنها من يختار، وOpenStack فيه للمقارنة فقط، وتفاصيله في مقالي OpenStack في هذه المرحلة:

البندApache CloudStackOpenNebulaOpenStack
طبقة الإدارة Control PlaneManagement Server واحد بلغة Java مع MySQLoned مع المجدول والمراقبة وMySQL أو SQLiteخدمات مستقلة كثيرة مع RabbitMQ وMariaDB
ما يعمل على العقدةcloudstack-agent مع libvirtlibvirt فقط، وبرامج التشغيل عبر SSHnova-compute وعميل الشبكة مع libvirt
الـ HypervisorKVM وVMware وXenServer وXen وHyper-V وLXC وBare MetalKVM وLXCKVM أساساً، وغيره بدرجات دعم مختلفة
الشبكة NetworkingBasic أو Advanced، والـ Virtual Router لكل شبكة معزولة، وVPCجسر وVLAN وVXLAN وOpen vSwitch عبر برامج التشغيل، وموجهات افتراضية اختياريةNeutron مع OVN، وأوسعها في SDN
التخزين StoragePrimary لكل عنقود وSecondary لكل Zone عبر SSVMمخازن Image وSystem وFilesCinder للأقراص وGlance للصور وSwift للكائنات
تعدد المستأجرينDomains وحسابات ومشاريع وحدود وتخصيص عتادمجموعات وVDC وحصص وACLDomains ومشاريع وأدوار وحصص في Keystone
الـ APIREST مع طبقة EC2، وCloudMonkey وTerraformXML-RPC وgRPC وOCA، وTerraform وAnsibleREST لكل خدمة، وأدوات ومكتبات كثيرة
KubernetesCKSOneKSMagnum وغيره
الإصدارات والدعمLTS بإصلاحات 18 شهراً، تحت مظلة Apacheكل إصدار علني، وحزم الصيانة وLTS للمشتركينإصدار كل ستة أشهر، ودعم تجاري من عدة شركات
آخر إصدار في 19 نوفمبر 20264.23.0.0، وLTS 4.22.1.17.4.12026.2

وما الذي يعنيه الجدول عملياً؟ إذا كان ما يقلقك هو عدد الخدمات التي يجب أن يفهمها الفريق، فـ OpenNebula أقلها، ثم CloudStack، ثم OpenStack. وإذا كان ما تحتاجه شبكات معزولة لعملاء كثيرين بفوترة وحسابات، فـ CloudStack بني لهذا من أول يوم. وإذا كنت تحتاج منظومة خدمات واسعة وSDN متقدمة وأجهزة حقيقية تدار كالأجهزة الافتراضية، أو تبني سحابة بحجم آلاف السيرفرات بفريق متخصص، فـ OpenStack هو الذي يغطي ذلك.

جدول القرار Decision Table

الجدول التالي يطبق ما سبق على حالات شائعة، وهو للتوضيح، والقرار النهائي يعتمد على فريقك وأنظمتك، ومقال المقارنة الشاملة في نهاية هذه المرحلة يضيف Proxmox VE إلى الخيارات:

حالتكالأقربوالسبب
مزود خدمة يبيع أجهزة افتراضية لعملاء بحسابات وفواتير وشبكات معزولةCloudStackالحسابات والـ Domains والـ Virtual Router والـ Usage Server جزء من النموذج
جهة لديها VMware وKVM وتريد واجهة واحدة أثناء الانتقالCloudStackيجمع أكثر من Hypervisor في سحابة واحدة
فريق صغير يدير عشرات سيرفرات KVM ويريد خدمة ذاتية بحصص للإداراتOpenNebulaأقل طبقة إدارة، ومجموعات وحصص وVDC جاهزة
مواقع متعددة وفروع تريد إدارتها من مكان واحدOpenNebulaواجهة أمامية واحدة تدير عناقيد في مواقع مختلفة، أو Zones متحدة
آلاف السيرفرات وخدمات كثيرة وفريق متخصص لكل مكونOpenStackأوسع منظومة، ومثال CERN يبين أين يصل
ثلاثة إلى عشرة سيرفرات وأربعون جهازاً، ولا يحتاج أحد الخدمة الذاتيةليست سحابة خاصةعنقود محاكاة افتراضية يكفي، مثل عنقود Proxmox VE

والصورة التالية تلخص الجدول في أربعة أسئلة تجيب عنها بالترتيب:

أربعة أسئلة بالترتيب: هل يوجد مستخدمون غير فريق التقنية ينشئون أجهزتهم بحصص؟ إذا لا فعنقود محاكاة افتراضية مثل Proxmox VE. هل تبيع الأجهزة لعملاء أو تجمع VMware مع KVM؟ إذا نعم فـ Apache CloudStack. هل تحتاج خدمات كثيرة وSDN متقدمة وBare Metal بآلاف السيرفرات وفريق متخصص؟ إذا نعم فـ OpenStack. فريق صغير وعشرات سيرفرات KVM وإدارات بحصص؟ إذا نعم فـ OpenNebula
أول إجابة «نعم» تعطيك الأقرب، ثم تحقق منها بمختبر صغير

والحالة الأخيرة في الجدول هي الأهم، لأن كثيراً من الجهات تبدأ بسؤال «أي منصة سحابة نختار؟» وهي في الواقع لا تحتاج سحابة. فإذا كان فريق تقنية المعلومات هو الوحيد الذي ينشئ الأجهزة، ولا توجد إدارات تطلب بنفسها، ولا تحتاج حصصاً ولا فوترة داخلية، فـ عنقود Proxmox VE من ثلاث عقد يعطيك التوفر العالي والنقل الحي بطبقة أبسط من الثلاثة.

أخطاء شائعة Common Mistakes

  • اختيار المنصة قبل تحديد من سوف يستخدم الخدمة الذاتية: قيمة CloudStack وOpenNebula في الحسابات والحصص والواجهة للمستخدم، فإذا لم يكن هناك مستخدمون غير فريق التقنية، فأنت تدفع ثمن طبقة لا تستخدمها.
  • تشغيل الواجهة الأمامية على عقدة مزدحمة: رأينا في المختبر oned يفشل في تشغيل برامجه عندما كان المعالج مشغولاً، فأعط طبقة الإدارة سيرفراً أو جهازاً بموارد محجوزة لها.
  • نسيان أجهزة النظام في CloudStack عند التخطيط للموارد: كل شبكة معزولة Virtual Router، وكل Zone لها SSVM وCPVM، وهذه تستهلك ذاكرة ومعالجاً من نفس العقد.
  • ترك مجموعة الأمان الافتراضية كما هي: في OpenNebula تسمح بكل شيء داخلاً وخارجاً، فعدلها قبل أن تعطي أي مجموعة أجهزة حقيقية.
  • ترك المجموعات الجديدة في الـ VDC الافتراضي: فهي ترى كل الموارد، والعزل الذي ظننت أنك صنعته غير موجود.
  • اعتبار RUNNING علامة على الجاهزية: الأتمتة التي تتصل بالجهاز فور تغير الحالة سوف تفشل أحياناً، فاعتمد على REPORT_READY أو فحص المنفذ.
  • تجاهل الأجهزة المعلقة PENDING: الطلب الذي لا تتسع له العقد لا يرفض، وإنما يبقى معلقاً، فضع تنبيهاً على عددها.
  • تشغيل الإنتاج على النسخة المجتمعية دون خطة ترقية: إصلاحات OpenNebula بين الإصدارات للمشتركين، وإصدارات CloudStack العادية تحصل على إصلاحات حرجة قصيرة فقط، فاختر LTS أو اشتراكاً أو جدول ترقية واضحاً.

قائمة تحقق Checklist قبل أن تختار

  • كتبت من سوف يستخدم السحابة غير فريق التقنية، وكم مستخدماً ومجموعة.
  • تعرف هل تحتاج شبكات معزولة لكل مستخدم أو إدارة، أم تكفي شبكات VLAN مشتركة.
  • تعرف أنواع الـ Hypervisor الموجودة اليوم، وهل يجب أن تبقى في نفس السحابة.
  • اخترت نوع التخزين للأقراص العاملة وللصور، وتعرف كم ثانية يأخذ إنشاء جهاز عليه.
  • حددت أين تعمل طبقة الإدارة، وكيف تكون متوفرة عند تعطل سيرفرها.
  • حددت الحصص لكل مجموعة أو حساب قبل فتح الخدمة.
  • عدلت مجموعة الأمان الافتراضية وصلاحيات القوالب والشبكات.
  • عندك خطة ترقية مع كل إصدار، أو اشتراك يعطيك حزم الصيانة.
  • جربت المنصة في معمل صغير، ورأيت الأخطاء الحقيقية قبل الإنتاج.

تدريب عملي Practice

  • ثبت OpenNebula بأداة miniONE على جهاز تجربة، وأنشئ مجموعتين بحصتين مختلفتين، ثم أدخل بمستخدم من كل مجموعة إلى Sunstone ولاحظ ما يراه كل منهما.
  • غير في قالب الجهاز CPU إلى 0.5 وVCPU إلى 2، ثم أنشئ جهازين وقارن السطر ALLOCATED_CPU في onehost list قبل التغيير وبعده.

الخلاصة Summary

وصلنا لنهاية الموضوع، وأهم ما فيه:

  • CloudStack وOpenNebula يديران KVM ويعطيان سحابة خاصة بخدمة ذاتية وتعدد مستأجرين، بطبقة إدارة أصغر من OpenStack.
  • CloudStack برنامج إدارة واحد مع MySQL، يقسم البنية إلى Zones وPods وClusters، ويضع التخزين والشبكة في أجهزة نظام SSVM وCPVM وVirtual Router، وبني لمزودي الخدمة بحسابات وDomains، وآخر إصداراته 4.23.0.0 وLTS 4.22.1.1.
  • OpenNebula خدمة oned مركزية تنفذ برامجها على العقد عبر SSH، بمخازن Image وSystem وFiles، ومجموعات وVDC وحصص، وآخر إصداراته 7.4.1.
  • في المختبر فشل oned في البداية بسبب Driver initialization time out عندما كان المعالج مشغولاً، ثم عمل، ونسخ القرص أخذ 61 ثانية، وRUNNING سبقت جاهزية النظام بوقت ملحوظ.
  • الحصة رفضت الجهاز الثالث فوراً برسالة واضحة، أما الجهاز الأكبر من العقدة فقبل وبقي معلقاً مع السبب في SCHED_MESSAGE.
  • اختر CloudStack لمن يبيع السحابة أو يجمع أكثر من Hypervisor، وOpenNebula لفريق صغير يريد طبقة خفيفة فوق KVM، وOpenStack للحجم الكبير بفريق متخصص، وعنقود محاكاة افتراضية إذا لم يكن هناك مستخدمون يحتاجون الخدمة الذاتية.

وفي المقال التالي بإذن الله ننتقل إلى الحوسبة المتقاربة HCI مع Harvester وعنقود Proxmox، ثم مقال القرار الذي يجمع الخيارات كلها.

دليلHarvester وعنقود Proxmox: الحوسبة المتقاربة HCIما الذي تكسبه وتدفعه حين تجمع المعالجة والتخزين في نفس السيرفرات، وكيف يبني Harvester ذلك فوق Kubernetes مقارنة بـ Proxmox مع Ceph، مع مختبر KubeVirt حقيقي.دليلOpenStack أم CloudStack أم OpenNebula أم Proxmox؟قرار السحابة الخاصة مبني على فريقك وحجمك وحاجتك إلى تعدد المستأجرين، مع معايير المقارنة وأسعار الدعم المنشورة وشجرة قرار ومثال لتكلفة سنة.دليلالسحابة الخاصة Private Cloud: متى تبنيها وماذا تحتاجمتى تحتاج مؤسستك سحابة خاصة بدل عنقود أجهزة افتراضية، وما الذي تجهزه من فريق وعتاد وعمليات وميزانية قبل أن تبدأ.دليلعنقود Proxmox VE من ثلاث عقد: Quorum مع التوفر العالي HAبنينا عنقود Proxmox VE من ثلاث عقد، وقسنا النقل الحي والتوفر العالي بالثواني، ثم قطعنا الشبكة عن عقدة لنرى كيف يمنع النصاب الـ Split-brain.

سجل التحديثات Changelog

  • 2026-11-19: كتابة المقال، وتنفيذ المختبر على OpenNebula 7.4.1 مثبت بأداة miniONE على Ubuntu 24.04.5 مع libvirt 10.0.0 وQEMU 8.2.2 وMariaDB 10.11.14، وقراءة توثيق Apache CloudStack 4.23 وصفحة التنزيل وتوثيق OpenNebula 7.4 في 19 نوفمبر 2026.
نشرة عرب رووت | ArabRoot

معرفة تستحق مكاناً في بريدك.

مقالات مختارة وأدوات مفيدة وأفكار لمشروعك القادم، في رسالة واحدة كل أسبوع.

يمكنك إلغاء الاشتراك متى شئت. الخصوصية

تم استلام طلبك. افتح بريدك واضغط رابط التأكيد لإتمام الاشتراك.