DevOps والتشغيل الأدلة التقنية

النسخة خارج السيرفر Off-site: إلى S3 مع restic أو Kopia

متى تكون النسخة خارج الموقع فعلاً، وأين تضعها، وكم تحتاج النسخة الأولى من الوقت، ومن يملك صلاحية حذفها، مع تجربة أربعين يوماً من النسخ إلى Garage وتمرين استعادة على سيرفر جديد.

النسخة خارج السيرفر Off-site: إلى S3 مع restic أو Kopia

في مارس 2021 احترق مبنى كامل في أحد مراكز بيانات OVHcloud، وتوقف معه ما بجانبه، واكتشف عدد من العملاء أن نسخهم الاحتياطية كانت في المبنى نفسه أو في الموقع نفسه، فاحترقت مع البيانات التي كانت تحميها، كما شرحنا في حريق OVHcloud. وهؤلاء لم يكونوا مهملين، فقد كانت عندهم نسخ تعمل كل ليلة، ولكن النسخة كانت في المكان الخطأ.

والآن لنفرض أن فريق برنامج نقاط الولاء الذي أصلح نسخه في مقال نسخ قواعد البيانات قد أصلح النسخ الاحتياطي أخيراً: تفريغ متسق لقاعدة PostgreSQL كل ليلة، وأرشيف للملفات المرفوعة، وسكربت يستعيد آخر نسخة ويتحقق منها. ثم يأتي السؤال الذي يطرحه أي مراجع: أين تحفظ هذه النسخ؟ والإجابة الصادقة غالباً: في مجلد على السيرفر نفسه، أو على قرص ثان في السيرفر نفسه، أو في Bucket لدى المزود نفسه وبالحساب نفسه. وكل هذه الأماكن تختفي في الحدث نفسه الذي يختفي فيه السيرفر: قرص يتلف، أو حساب يغلق بسبب فاتورة، أو مخترق يملك صلاحيات السيرفر، أو حريق في مركز البيانات كما حدث في حريق مركز بيانات OVHcloud في 2021، حين اكتشف عملاء أن نسخهم كانت في المبنى نفسه الذي احترق.

وقد شرحنا في النسخ الاحتياطي بقاعدة 3-2-1 لماذا تحتاج نسخة خارج الموقع Off-site، وقارنا الأدوات في أي أداة نسخ احتياطي تناسب سيرفرك، وشرحنا حماية النسخ من الحذف في النسخ إلى S3 مع Object Lock. وهذا المقال يتناول النسخة الخارجية نفسها كمشروع تشغيلي: ما الذي يجعلها خارجية فعلاً، وأين تضعها، وكم تحتاج من Bandwidth، وماذا يرى من يستضيفها، ومن يملك صلاحية حذفها، وكيف تعرف كل صباح أن نسخة الليلة وصلت، وكم تأخذ الاستعادة منها عندما يختفي السيرفر الأصلي. والتجربة كلها على Garage في Container يمثل المخزن الخارجي، مع restic 0.19.1 وKopia 0.23.1.

وسوف نناقش في هذا المقال ما يلي:

  • مجالات الفشل Failure Domains: متى تكون النسخة خارج الموقع فعلاً، ومتى تكون في المكان نفسه باسم مختلف.
  • أماكن النسخة الخارجية: تخزين متوافق مع S3، وHetzner Storage Box كما تصفه وثائقه، وسيرفر ثان في موقع آخر، والدفع Push مقابل السحب Pull.
  • الحجم وال Bandwidth: حساب النسخة الأولى والنسخ اليومية، وحد الرفع، والنسخة التي تنقطع في منتصفها، ثم تكرار النسخ الخارجي وتكلفته.
  • التشفير Encryption: ماذا يرى صاحب المخزن فعلاً، وأين تحفظ كلمة المرور.
  • المفاتيح والصلاحيات، والاحتفاظ Retention على المخزن البعيد وما يكلفه التنظيف Prune.
  • المراقبة وتمرين الاستعادة من الخارج، وrestic مقابل Kopia في هذا الدور.
  • تجربة عملية: أربعون يوماً من النسخ إلى Garage، وقفل عالق بعد نسخة قطعت، و«آخر نسخة» ليست الأحدث، ومفتاح السيرفر يحذف التاريخ كله.

متى تكون النسخة خارج الموقع فعلاً؟ Failure Domains

مجال الفشل Failure Domain هو كل ما يمكن أن يفشل دفعة واحدة: القرص، والسيرفر، ومركز البيانات، والمزود، والحساب لدى المزود، ومجموعة المفاتيح التي تفتح كل شيء. والنسخة تكون خارج الموقع بالنسبة لحدث معين إذا كانت في مجال فشل لا يصيبه هذا الحدث. فالنسخة على قرص ثان في السيرفر نفسه تنجو من تلف القرص الأول، ولا تنجو من حذف السيرفر. والنسخة في Bucket لدى المزود نفسه تنجو من حذف السيرفر، ولا تنجو من إغلاق الحساب أو من مخترق يملك مفتاح API للحساب. والنسخة لدى مزود آخر في منطقة أخرى تنجو من كل ذلك، ولكنها قد لا تنجو من مخترق يملك على سيرفرك مفتاحاً يكتب ويحذف في ذلك المزود، وهذه النقطة سوف نراها بأعيننا في التجربة.

دوائر متداخلة لمجالات الفشل: القرص داخل السيرفر داخل مركز البيانات داخل حساب المزود، ونسخة خارج كل الدوائر لدى مزود آخر، ومع كل دائرة الحدث الذي يصيبها كتلف القرص وحذف السيرفر والحريق وإغلاق الحساب، وسهم من مفتاح على السيرفر يصل إلى النسخة البعيدة
كل دائرة مجال فشل، والنسخة تنجو من الأحداث التي تقع داخل الدوائر التي ليست فيها، ما لم يكن على السيرفر مفتاح يصل إليها

وهناك مجال فشل لا يفكر فيه الكثيرون، وهو المجال القانوني، فإذا كانت في نسختك بيانات شخصية لعملاء في المملكة فخروجها إلى مزود في بلد آخر نقل للبيانات خارج المملكة له أحكامه، وقد شرحنا ذلك في متى تخرج البيانات من المملكة دون أن تنتبه. لذلك قبل أن تختار مكان النسخة الخارجية اسأل سؤالين: هل هذا المكان خارج مجالات الفشل التي أخاف منها؟ وهل يسمح لي النظام بوضع هذه البيانات فيه؟

وكم يجب أن تبعد النسخة الخارجية؟ لا يوجد رقم واحد، ولكن الفكرة أن الحدث الذي يصيب الموقع الأول يجب ألا يصيب الثاني: انقطاع الكهرباء عن منطقة، أو سيل، أو انقطاع شبكة مزود الإنترنت في مدينة كاملة. لذلك لا يكفي مبنيان متجاوران لدى المزود نفسه، والأفضل منطقة Region أخرى أو مزود آخر في مدينة أخرى. وفي المقابل كلما بعدت النسخة زاد زمن الوصول Latency وقلت سرعة النقل الفعلية أحياناً، فقس سرعة الرفع إلى المكان الذي تختاره قبل أن تعتمد عليه، لأن هذا الرقم هو الذي يحدد زمن النسخة الأولى وزمن الاستعادة كما سنرى.

والقاعدة العملية التي نستخدمها: النسخة الخارجية لدى مزود مختلف أو في موقع مادي مختلف على الأقل، وبحساب مختلف، وبمفاتيح لا يملك سيرفر التطبيق منها إلا ما يكفي ليكتب نسخة جديدة. والشرط الأخير هو الأصعب، وسوف نعود إليه.

أين تضع النسخة الخارجية؟ Off-site Targets

هناك ثلاث عائلات معروفة لمكان النسخة الخارجية، ولكل منها طريقة وصول وحدود مختلفة:

المكانطريقة الوصولالحماية من الحذفمناسب لـ
تخزين كائنات متوافق مع S3، سحابي أو على سيرفر آخرHTTP مع مفتاح لكل BucketObject Lock إذا دعمه المخزنrestic وKopia مباشرة، وأغلب السيرفرات
صندوق تخزين عبر SSH مثل Hetzner Storage BoxSFTP وSCP وrsync وBorg عبر SSH، وSMB وWebDAVBorg بوضع الإضافة فقط، ولقطات المزودBorg وrestic عبر SFTP، وrsync
سيرفر ثان تديره بنفسك في موقع آخرما تثبته عليه: Garage أو rest-server أو SSHappend-only أو السحب Pullمن يملك موقعين أو سيرفراً رخيصاً عند مزود آخر

تخزين متوافق مع S3

هذا هو الخيار الأكثر انتشاراً اليوم، والسبب أن الأدوات الحديثة تكتب إليه مباشرة دون أي برنامج على الطرف الآخر، وأن الصلاحيات فيه لكل مفتاح ولكل Bucket، وأن كثيراً من المزودين يقدمونه بأسعار تخزين منخفضة. وقد يكون المخزن خدمة سحابية، أو برنامجاً تشغله أنت على سيرفر آخر مثل Garage أو SeaweedFS كما في تخزين الكائنات على سيرفرك. أما MinIO فقد تغير وضع نسخته المجتمعية كثيراً منذ 2025، وفصلنا ما حدث بمصادره في ما الذي تغير في MinIO، لذلك اخترنا Garage في التجربة. وانتبه عند اختيار المخزن إلى الميزات التي تحتاجها للنسخ بالذات، فمثلاً لا يدعم Garage قفل الكائنات Object Lock ولا ال Versioning بحسب صفحة التوافق مع S3، فإذا كانت الحماية من الحذف عندك تعتمد على القفل فاختر مخزناً يدعمه.

Hetzner Storage Box كما تصفه وثائقه

صندوق التخزين Storage Box من Hetzner مثال على العائلة الثانية، ونصفه هنا من وثائق Hetzner الرسمية فقط، لأنه منتشر بين من يستضيفون سيرفراتهم بأنفسهم، ولأن تفاصيله تبين ما يجب أن تسأل عنه في أي خدمة مشابهة:

  • أين تحفظ البيانات: على عدة أقراص في مصفوفة RAID في سيرفر واحد، مع بصمات لكل كتلة تكشف أخطاء البتات وتصلحها. أي أن الصندوق محمي من تلف قرص، ولكنه سيرفر واحد في موقع واحد، فهو نسختك الخارجية وليس نسخة لا تفنى.
  • طرق الوصول: FTP وFTPS على المنفذ 21، وSFTP وSCP على المنفذ 22 دائماً، وخدمة SSH موسعة على المنفذ 23 تعمل عليها rsync وBorgBackup وبعض الأوامر بعد أن تفعلها، إضافة إلى SMB وWebDAV. وإذا أردت الوصول من خارج شبكة Hetzner فهناك خيار External Reachability يجب تفعيله، كما تذكر صفحة الوصول عبر SSH وrsync وBorg.
  • الأدوات: تقدم Hetzner عدة إصدارات من Borg على الصندوق وتوصي بتحديد الإصدار بالخيار --remote-path مثل borg-1.4، وتذكر أن Borg يعمل بوضع الإضافة فقط Append-only إذا ضبطته، وتشرح استخدام rclone عبر SFTP، وأي أداة تكتب عبر SFTP مثل restic تعمل عليه أيضاً.
  • الحسابات الفرعية Sub-accounts: حتى 100 حساب فرعي لكل صندوق، ولكل منها مجلده الخاص، ويمكن جعل مجلد الحساب الفرعي للقراءة فقط، والحساب الرئيسي يرى كل المجلدات. وهذا مفيد لكي يكون لكل سيرفر حسابه، فلا يرى سيرفر نسخ سيرفر آخر.
  • اللقطات Snapshots: لقطات ZFS يدوية وتلقائية، من 10 إلى 40 بحسب الخطة، وتوضح صفحة اللقطات أنها ليست نسخاً كاملة، وأنها تحفظ على الصندوق نفسه وتستهلك من مساحته، وأن استعادة لقطة تحذف كل ما كتب بعدها حتى اللقطات الأحدث. والفائدة المهمة لها في النسخ أنها تؤخذ من جهة المزود، فالمخترق الذي يملك كلمة مرور SFTP على سيرفرك لا يستطيع حذفها عبر SFTP.
  • الحدود: حتى 10 اتصالات متزامنة لكل حساب، والنقل Traffic غير محدود بحسب الوثائق نفسها.

وإذا أردت أن تكتب إليه restic فالطريق هو SFTP، وتشرح وثائق إنشاء المستودع في restic صيغة العنوان مع منفذ غير المعتاد مثل sftp://user@host:23//path، أو تعرف المنفذ والمستخدم في ملف ~/.ssh/config باسم مختصر، وهو الأوضح عندما يكون لكل سيرفر حسابه الفرعي ومفتاح SSH خاص به. ولاحظ أن الصندوق يحتاج مفتاح SSH بصيغة مختلفة بحسب المنفذ كما تذكر وثائقه، فإذا عمل SFTP على منفذ ولم يعمل على الآخر فابدأ من هنا.

والدرس العام من هذا الوصف أن تسأل أي مزود تخزين خمسة أسئلة: كم نسخة من بياناتي عندكم وأين؟ ما البروتوكولات؟ هل يوجد حساب فرعي بصلاحيات محدودة لكل سيرفر؟ هل توجد لقطات أو قفل لا يستطيع مفتاحي حذفه؟ وما حدود الاتصالات والنقل؟

سيرفر ثان في موقع آخر، والسحب Pull

العائلة الثالثة أن تملك سيرفراً ثانياً عند مزود آخر أو في مكتبك، وتشغل عليه Garage أو rest-server بوضع الإضافة فقط كما في تجربة 3-2-1. وهذا يعطيك تحكماً كاملاً وتكلفة ثابتة، ولكنه سيرفر آخر تديره وتحدثه وتراقبه، وإذا نسيته سنة كاملة فقد يكون هو أضعف نقطة في بنيتك.

وهنا يظهر سؤال الاتجاه: هل يدفع سيرفر التطبيق النسخ إلى الخارج Push، أم يسحبها سيرفر النسخ Pull؟ في الدفع يحتاج سيرفر التطبيق مفتاحاً يكتب في المخزن البعيد، فمن يخترق سيرفر التطبيق يملك هذا المفتاح. وفي السحب يتصل سيرفر النسخ بسيرفر التطبيق ويقرأ منه، فلا يوجد على سيرفر التطبيق أي مفتاح للنسخ، ولكن سيرفر النسخ أصبح يملك صلاحية قراءة على كل سيرفراتك، فيجب أن يكون أكثر سيرفر محمي عندك. والحل الوسط الشائع هو الدفع إلى مخزن لا يسمح للمفتاح المستخدم بالحذف، كوضع الإضافة فقط أو قفل الكائنات، مع عمليات الحذف والتنظيف من جهاز آخر.

ثلاثة أنماط للنسخة الخارجية: الدفع من سيرفر التطبيق بمفتاح يكتب ويحذف، والدفع إلى مخزن بوضع الإضافة فقط مع التنظيف من جهاز آخر، والسحب من سيرفر نسخ يتصل بسيرفر التطبيق، ومع كل نمط من يملك صلاحية الحذف
السؤال في كل نمط واحد: إذا اخترق سيرفر التطبيق، فهل يستطيع المخترق حذف النسخة الخارجية؟

الحجم وال Bandwidth: كم تحتاج النسخة الأولى؟

النسخة الخارجية الأولى هي الأصعب، لأنها ترفع كل شيء، وما بعدها يرفع الفرق فقط بفضل إزالة التكرار Deduplication. وفي التجربة رفعت النسخة الأولى 277 ميجابايت بعد الضغط من بيانات حجمها 444، ثم كانت كل نسخة يومية ترفع قرابة 2 ميجابايت. والحساب بسيط: الحجم بالميجابايت ضرب 8.39 تقسيم سرعة الرفع بالميجابت في الثانية يعطيك الثواني. فإذا كان عندك سيرفر عليه 200 جيجابايت وسرعة الرفع الفعلية إلى المخزن 50 ميجابت في الثانية، فالنسخة الأولى تحتاج قرابة 9.5 ساعات، وعلى 20 ميجابت قرابة 24 ساعة، أي أنها لن تنتهي في نافذة الليل، وسوف تتداخل مع ساعات العمل.

أعمدة تبين زمن رفع النسخة الأولى لسيرفر عليه 200 جيجابايت على سرعات 20 و50 و100 ميجابت في الثانية، 24 و9.5 و4.8 ساعات، مقابل النسخة اليومية التي ترفع قرابة 2 ميجابايت في التجربة، وتجربة حد الرفع 8 ميجابايت في الثانية التي أخذت 38 ثانية بدلاً من 10.6
النسخة الأولى مشروع له خطة، والنسخ اليومية بعدها صغيرة بفضل إزالة التكرار

ولذلك خطط للنسخة الأولى كمهمة مستقلة: ابدأها في نهاية الأسبوع، أو قسمها بالمجلدات، وحدد سرعة الرفع لكي لا تأخذ كل الخط من التطبيق، وفي restic يتم ذلك بالخيار --limit-upload بوحدة KiB في الثانية، وفي التجربة رفعنا النسخة نفسها مرة دون حد في 10.6 ثانية، ومرة بحد 8 ميجابايت في الثانية في 38 ثانية، وهو ما يطابق الحساب تقريباً. وتذكر أن النسخة الأولى قد تنقطع، فالشبكة تنقطع والسيرفر يعاد تشغيله، وسوف ترى في التجربة أن النسخة التي قطعت تركت قفلاً Lock عالقاً منع الفحص لاحقاً، وأن السبب طريقة تشغيلنا لـ restic داخل Container.

وفي الاتجاه المعاكس احسب زمن الاستعادة بالطريقة نفسها، فالبيانات التي استعدناها في التجربة، 444 ميجابايت، تحتاج قرابة 37 ثانية على 100 ميجابت، وثلاث دقائق على 20 ميجابت، و200 جيجابايت تحتاج ساعات. وهذا رقم يدخل مباشرة في ال RTO الذي شرحناه في مقال 3-2-1، ولدى بعض المزودين السحابيين تدفع أيضاً مقابل النقل الخارج Egress عند الاستعادة، فاحسبه قبل أن تحتاجه.

كم مرة تنسخ إلى الخارج؟ RPO للنسخة الخارجية

ليس من الضروري أن تكون النسخة الخارجية بتكرار النسخة المحلية نفسها، فالسؤال الذي يحدد التكرار هو: إذا اختفى السيرفر ومعه النسخ المحلية، فكم ساعة من البيانات أقبل أن أخسر؟ وهذا هو ال RPO للكارثة الكبيرة، وغالباً يكون أطول من ال RPO للأخطاء اليومية التي تستعيدها من النسخة المحلية. فكثير من الفرق تنسخ محلياً كل ساعة أو كل ليلة، وترسل إلى الخارج كل ليلة، وهذا توازن معقول، أما إذا كانت بياناتك تتغير كثيراً وتكلفة خسارة يوم كبيرة، فأرسل إلى الخارج بتكرار أعلى، وتذكر أن كل نسخة صغيرة بفضل إزالة التكرار.

وهناك طريقتان لإرسال النسخة إلى الخارج. الأولى أن تشغل النسخ مرتين من البيانات الأصلية، مرة إلى المستودع المحلي ومرة إلى المستودع الخارجي، وهي أبسط، ولكنها تقرأ البيانات مرتين، والنسختان في لحظتين مختلفتين. والثانية أن تنسخ النسخ نفسها من المستودع المحلي إلى الخارجي بالأمر restic copy، فتكون النسخة الخارجية هي النسخة المحلية نفسها برقمها ووقتها، وتقول وثائق العمل مع المستودعات إن إزالة التكرار بين المستودعين لا تعمل إلا إذا أنشأت المستودع الثاني بالخيار --copy-chunker-params، لأن طريقة تقسيم الملفات إلى أجزاء يجب أن تكون واحدة في الاثنين، وإلا رفعت كل البيانات من جديد. والطريقة الثانية تعني أيضاً أن خطأ في النسخة المحلية ينتقل كما هو إلى الخارج، فاختبر الاستعادة من الخارج بشكل مستقل ولا تفترض أنها مثل المحلية.

تكلفة النسخة الخارجية Cost

فاتورة المخزن الخارجي لا تقتصر على المساحة، وقد فصلنا بنود فاتورة S3 في أين تذهب الفاتورة فعلاً، وفي النسخ الاحتياطي بالذات تظهر ثلاثة بنود: المساحة، وهي تكبر مع البيانات أكثر مما تكبر مع عدد النسخ كما سترى في التجربة، والطلبات، فكل ملف ترفعه أو تقرؤه أو تحذفه طلب، والتنظيف Prune والفحص الكامل يقرآن كثيراً، والنقل الخارج Egress عند الاستعادة أو الفحص الكامل لدى المزودين الذين يحتسبونه. لذلك قبل أن تختار مزوداً احسب تكلفة استعادة كاملة واحدة، لأنها اللحظة التي لا تريد فيها أن تتردد بسبب الفاتورة، واحسب تكلفة الفحص الكامل الشهري إذا كنت تقرأ كل البيانات. وصناديق التخزين عبر SSH غالباً بسعر ثابت ونقل غير محدود، والمخازن السحابية غالباً بسعر لكل جيجابايت مع بنود الطلبات والنقل، وسيرفرك الثاني تكلفته ثابتة ولكن وقتك في إدارته جزء من التكلفة.

التشفير Encryption: ماذا يرى صاحب المخزن؟

النسخة الخارجية تعني أن بياناتك أصبحت على قرص لا تملكه، لذلك يجب أن تكون مشفرة قبل أن تخرج من سيرفرك، وهذا ما تفعله restic وKopia دائماً، فلا يوجد فيهما وضع دون تشفير، وقد قارنا خوارزمياتهما في التشفير والحماية من الحذف. ولكي نرى ما يراه صاحب المخزن فعلاً، قرأنا في التجربة ال Bucket مباشرة بمفتاح S3 دون كلمة مرور المستودع، فوجدنا ملفاً صغيراً اسمه config ومجلد data فيه ملفات بأسماء هاش وأحجام بين 9 و18 ميجابايت، وعندما فتحنا أحدها كانت العشوائية Entropy فيه 8.0 بت لكل بايت، أي أقصى قيمة ممكنة، ولم نجد فيه نص INSERT INTO مع أن جزءاً كبيراً من البيانات ملف SQL نصي.

وتفعل Kopia الشيء نفسه بخوارزمية مختلفة، فهي تشفر كل كتلة بمفتاح مشتق من كلمة مرور المستودع قبل أن تكتبها، كما تشرح وثائق التشفير في Kopia، والنتيجة من جهة صاحب المخزن واحدة: ملفات بأسماء لا معنى لها ومحتوى لا يقرأ. والفرق العملي الوحيد الذي يهمك هنا أن كلمة المرور في الأداتين تفتح مفتاحاً محفوظاً داخل المستودع نفسه، فمن يملك كلمة المرور ونسخة من المستودع يملك البيانات، ومن يملك المستودع دون كلمة المرور لا يملك شيئاً.

ولكن التشفير لا يخفي كل شيء، فصاحب المخزن يرى عدد الملفات وأحجامها ومواعيد كتابتها، فيعرف أنك تنسخ كل ليلة في الثانية فجراً، وكم تكبر بياناتك كل يوم. وهذا مقبول في أغلب الحالات، ولكن اعرفه.

ما يراه صاحب المخزن وما لا يراه: يرى أسماء ملفات بهاش وأحجامها وأوقات كتابتها وعددها، ولا يرى المحتوى إذ العشوائية 8.0 بت لكل بايت ولا يوجد أي نص من ملف SQL، وكلمة المرور ومفتاح التشفير على سيرفرك ونسختين خارجه فقط
المحتوى مشفر قبل أن يخرج، والأحجام والمواعيد ظاهرة لصاحب المخزن

والجانب الآخر من التشفير أن كلمة المرور هي النسخة، فإذا ضاعت ضاعت النسخ كلها، وهذا ما تقوله restic عند إنشاء المستودع: Losing your password means that your data is irrecoverably lost، وفي التجربة استخدمنا كلمة مرور خاطئة فكان الرد Fatal: wrong password or no key found ولا شيء غير ذلك. والخطأ المعتاد أن تكون كلمة مرور المستودع الخارجي في ملف على السيرفر فقط، فإذا ضاع السيرفر ضاعت معه، فلا تنفعك النسخة الخارجية في الحدث الوحيد الذي صنعت له. لذلك احفظ كلمة المرور ومفتاح المخزن في مكانين خارج السيرفر على الأقل، مثل مدير كلمات مرور الفريق وورقة مطبوعة في خزنة، واجعل تمرين الاستعادة يبدأ من هذين المكانين وليس من السيرفر.

المفاتيح والصلاحيات Credentials

أنشئ لكل سيرفر مفتاحاً خاصاً به، لا يملك إلا الوصول إلى Bucket نسخه، ولا يستطيع إنشاء Buckets جديدة، وهذا ما فعلناه في Garage بالمفتاح app-server: Can create buckets: false وصلاحية القراءة والكتابة على ال Bucketين فقط. ولكن انتبه إلى ما تعنيه «الكتابة» في مخزنك، ففي Garage وأغلب المخازن صلاحية الكتابة تشمل الحذف، وهذا يعني أن المفتاح الموجود على سيرفر التطبيق يستطيع أن يحذف التاريخ كله، وفي آخر التجربة استخدمناه كما يستخدمه مخترق، فحذف بأمر واحد 11 نسخة من 12، وبقيت آخر نسخة فقط.

وقد يتساءل البعض: وما الضرر إذا بقيت آخر نسخة؟ والإجابة أن برامج الفدية تشفر الملفات على السيرفر أولاً، ثم تعمل النسخة الليلية كالعادة فتنسخ الملفات المشفرة، فتصبح آخر نسخة هي النسخة المشفرة، وما حذفه المخترق هو بالضبط النسخ السليمة التي كنت ستعود إليها. لذلك يحتاج المفتاح الموجود على سيرفر التطبيق إلى واحد من ثلاثة: مخزن بوضع الإضافة فقط كما في rest-server، أو قفل كائنات Object Lock يمنع الحذف قبل مدة كما في مقال Object Lock، أو لقطات من جهة المزود لا يصل إليها المفتاح كما في Storage Box. وتنفذ سياسة الاحتفاظ والتنظيف من جهاز آخر بمفتاح آخر، وهو ما توصي به أيضاً إرشادات CISA ضد الفدية حين تطلب نسخاً مشفرة غير متصلة Offline.

الاحتفاظ Retention على المخزن البعيد

سياسة الاحتفاظ نفسها شرحناها في مقال 3-2-1، والجديد هنا ما تعنيه على مخزن بعيد. ففي restic تتم السياسة بأمرين: forget يحذف سجلات النسخ Snapshots بحسب القواعد، وprune يحذف البيانات التي لم تعد أي نسخة تستخدمها، كما في وثائق forget. وفي التجربة أنشأنا 41 نسخة بتواريخ أربعين يوماً، ثم طبقنا سياسة سبع يومية وأربع أسبوعية وست شهرية، فبقيت 11 نسخة وحذفت 30. والمفاجأة كانت في prune: حذف 30 نسخة حرر 3.4 ميجابايت فقط، لأن الملفات المرفوعة كانت تتراكم ولا تحذف، فكل ملف قديم ما زالت تستخدمه النسخ الأحدث، والذي تحرر هو فقط أجزاء ملف SQL التي تغيرت ثم تغيرت. وفي المقابل أعاد prune تجميع Repack قرابة 76 ميجابايت، أي أنه نزلها من المخزن البعيد وأعاد رفعها، وعلى مخزن سحابي بعيد يعني هذا وقتاً ونقلاً وطلبات تدفع ثمنها.

خط زمني لواحد وأربعين نسخة على أربعين يوماً، وبعد سياسة 7 يومية و4 أسبوعية و6 شهرية بقيت 11 نسخة، ونتيجة prune: حذف 3.4 ميجابايت فقط وإعادة تجميع 76 ميجابايت تنزل من المخزن وترفع إليه
حذف النسخ القديمة لا يوفر المساحة إذا كانت البيانات تتراكم، والتنظيف على مخزن بعيد ينزل البيانات ويرفعها

ومن هذا تخرج ثلاث قواعد عملية. الأولى أن تشغل forget مع كل نسخة إذا أردت، وأن تشغل prune أسبوعياً أو أقل، لأنه الأمر المكلف. والثانية أن تقبل بعض المساحة غير المستخدمة مقابل تقليل إعادة التجميع، وفي restic يتحكم في ذلك الخيار --max-unused. والثالثة، وهي الأهم، أن يشغل هذين الأمرين جهاز غير سيرفر التطبيق، لأن من يستطيع تشغيل forget يستطيع حذف التاريخ كما رأيت. أما Kopia فتضع سياسة الاحتفاظ داخل المستودع نفسه، وتشغل الصيانة Maintenance تلقائياً، سريعة كل ساعة وكاملة كل 24 ساعة كما ظهر عند إنشاء المستودع وكما تشرح وثائق الصيانة، ولكن من جهاز مالك الصيانة فقط، وهو افتراضياً الجهاز الذي أنشأ المستودع، فإذا أنشأته من سيرفر التطبيق فقد أعطيته دور الحذف أيضاً، فانقل الملكية إلى جهاز آخر.

وانتبه إلى تفصيل صغير ظهر في التجربة: قاعدة «احتفظ بنسخة لكل يوم» تحتفظ بآخر نسخة في ذلك اليوم، فالنسخة اليدوية التي أخذناها مساءً حلت محل النسخة الليلية لليوم نفسه في السياسة، فحذفت الليلية. وهذا صحيح من جهة الأداة، ولكنه يعني أن «آخر نسخة في اليوم» قد لا تكون النسخة التي تظنها، كما سنرى بشكل أوضح في تمرين الاستعادة.

المراقبة Monitoring: هل وصلت نسخة الليلة؟

النسخة الخارجية تفشل بصمت أكثر من غيرها، لأن أسباب فشلها خارج سيرفرك: مفتاح انتهت صلاحيته، أو مخزن امتلأ، أو شبكة انقطعت، أو قفل عالق من نسخة سابقة. لذلك لا تكتف بأن السكربت على السيرفر خرج بصفر، وإنما اسأل المخزن البعيد نفسه من جهاز آخر: متى كانت آخر نسخة لهذا السيرفر؟ وفي التجربة كتبنا فحصاً صغيراً يقرأ آخر نسخة بالخيار --latest 1 --json ويخرج بالرمز 2 إذا كان عمرها أكثر من 26 ساعة، وهو رمز تفهمه أغلب أنظمة المراقبة، فتربطه بالتنبيهات كما شرحنا في التنبيهات Alerting. وأضف إليه فحصاً دورياً يقرأ جزءاً من البيانات نفسها، مثل restic check --read-data-subset=5% أسبوعياً، لكي تعرف أن ما في المخزن ما زال سليماً، وليس فقط أن سجل النسخ موجود.

تمرين الاستعادة من الخارج Restore Drill

التمرين الذي يثبت أن النسخة الخارجية تعمل هو أن تفترض أن السيرفر اختفى تماماً، ثم تستعيد على جهاز جديد لم يلمس السيرفر الأصلي، بشيئين فقط: كلمة مرور المستودع ومفتاح المخزن، من مكان حفظهما خارج السيرفر. وفي التجربة شغلنا restic على جهاز باسم dr-host واستعدنا آخر نسخة، فظهرت مشكلة لم نكن نبحث عنها: الأمر restore latest اختار النسخة ذات الوقت الأحدث، وكانت النسخة اليدوية التي أخذناها في اليوم الأول للتجربة، لأننا أعطينا النسخ اليومية تواريخ في الماضي لنحاكي أربعين يوماً، فاستعاد بيانات قديمة، وأظهرت مقارنة البصمات أن الملفات مختلفة عن السيرفر.

وهذا في الإنتاج ليس افتراضاً، فالأدوات تختار «الأحدث» بالوقت المسجل في النسخة، والوقت يأتي من ساعة السيرفر الذي أخذها، فإذا كانت ساعة أحد السيرفرات خاطئة، أو نسخت بيانات من جهاز آخر، فقد لا تكون «آخر نسخة» هي النسخة التي تريدها. لذلك يتحقق التمرين من ثلاثة أشياء: رقم النسخة ووقتها كما يطبعه الأمر في أول سطر، ومحتواها مقارنة بما تتوقعه، مثل أحدث ملف أو أحدث صف كما في فحص الحداثة في اختبار استعادة القاعدة، والزمن الذي أخذته. وبعد أن أخذنا نسخة جديدة واستعدناها كانت البصمات متطابقة لكل الملفات المئة والواحد والأربعين، وأخذت الاستعادة 7.7 ثانية على الشبكة المحلية، ومع Kopia 10.8 ثانية، وهذه الأرقام على الإنترنت تصبح ما حسبناه في قسم ال Bandwidth. واكتب خطوات هذا التمرين في دليل تشغيل Runbook وكرره كل ثلاثة أشهر على الأقل.

تمرين الاستعادة من الخارج: جهاز جديد يحصل على كلمة المرور والمفتاح من مدير كلمات المرور، ثم يستعيد من المخزن البعيد، ثم يتحقق من رقم النسخة ووقتها ومن البصمات والزمن، مع المحاولة الأولى التي استعادت نسخة قديمة لأن latest اختار الوقت الأحدث
التمرين يبدأ من خارج السيرفر وينتهي بمقارنة المحتوى، وليس بنجاح الأمر

restic أم Kopia للنسخة الخارجية؟

في التجربة كتبت الأداتان البيانات نفسها إلى Garage فكان الحجم المخزن متقارباً جداً: 275.5 ميجابايت لـ restic و274.7 لـ Kopia مع ضغط zstd، والاستعادة 7.7 ثانية مقابل 10.8. والفرق الحقيقي بينهما في هذا الدور ليس الأرقام، وإنما من يقرر ومن يحذف. ففي restic تعيش سياسة الاحتفاظ في السكربت الذي يشغل forget، وتستطيع بسهولة أن تجعل سيرفر التطبيق يكتب فقط وجهازاً آخر يشغل السياسة. وفي Kopia تعيش السياسة داخل المستودع، والصيانة تلقائية من جهاز مالك الصيانة، وهذا مريح لفريق لا يريد سكربتات، ولكنه يتطلب أن تنتبه إلى أي جهاز هو المالك. وKopia تدعم أيضاً قفل الكائنات في S3 مباشرة، وفيها واجهة رسومية للاستعادة، كما ذكرنا في أي أداة تختار. والقرار المعقول: restic إذا كان لديك سكربتات ومراقبة وتريد التحكم في كل خطوة، وKopia إذا أردت سياسات داخل المستودع وواجهة لمن ليس من فريق التشغيل.

تجربة عملية Lab: أربعون يوماً من النسخ إلى Garage

في هذه التجربة يمثل Container لـ Garage المخزن الخارجي، ويمثل Volume باسم dv2o-app-data بيانات سيرفر التطبيق، وتعمل restic وKopia في Containers مؤقتة كما تعمل على السيرفر. وكل الملفات في مجلد lab مع المقال.

Garage كوجهة خارجية

metadata_dir = "/var/lib/garage/meta"
data_dir = "/var/lib/garage/data"
db_engine = "sqlite"
replication_factor = 1
rpc_bind_addr = "[::]:3901"
rpc_public_addr = "127.0.0.1:3901"
rpc_secret = "RPC_SECRET"

[s3_api]
s3_region = "garage"
api_bind_addr = "[::]:3900"

[admin]
api_bind_addr = "[::]:3903"
admin_token = "ADMIN_TOKEN"
sed -e "s/RPC_SECRET/$(openssl rand -hex 32)/" -e "s#ADMIN_TOKEN#$(openssl rand -hex 24)#" garage.toml.tpl > garage.toml
docker network create dv2o-off
docker run -d --name dv2o-garage --network dv2o-off -v "$PWD/garage.toml:/etc/garage.toml:ro" \
  -v dv2o-garage:/var/lib/garage dxflrs/garage:v2.4.1 /garage server --single-node
docker exec dv2o-garage /garage bucket create offsite-restic
docker exec dv2o-garage /garage bucket create offsite-kopia
docker exec dv2o-garage /garage key create app-server
docker exec dv2o-garage /garage bucket allow --read --write offsite-restic --key app-server
docker exec dv2o-garage /garage bucket allow --read --write offsite-kopia --key app-server
Key ID:              GK2d696d97c07cb88ca47d7d2c
Key name:            app-server
Can create buckets:  false
...
Permissions  Access key                              Local aliases
RW           GK2d696d97c07cb88ca47d7d2c  app-server

المفتاح لا ينشئ Buckets، ويقرأ ويكتب في ال Bucketين فقط، ووضعنا هويته وسره في ملف s3.env بصلاحية 600 لا يدخل Git. ثم أنشأنا البيانات: ستون ملفاً مرفوعاً حجم كل منها 2 ميجابايت من بيانات عشوائية تمثل ملفات مضغوطة مسبقاً مثل PDF والصور، وتفريغ SQL نصي بحجم 75 ميجابايت:

#!/bin/sh
# Day 0 of the app server: 120 MB of uploads (already compressed, like photos and PDFs) and a 60 MB SQL dump (text).
set -e
mkdir -p /data/uploads /data/dumps
i=1; while [ $i -le 60 ]; do head -c 2000000 /dev/urandom > /data/uploads/scan-$i.pdf; i=$((i+1)); done
seq 1 1100000 | awk '{printf "INSERT INTO transfers VALUES (%d, %d, %d, %d, '\''2026-10-%02d'\'');\n", $1, $1%200000, ($1*7)%200000, $1%50, $1%28+1}' > /data/dumps/loyalty.sql
du -sh /data/uploads /data/dumps

والدالة التي نشغل بها restic كأنها على سيرفر التطبيق:

#!/bin/sh
# restic.sh <args>: restic in a container on the app server, writing to the off-site bucket
W=$(cygpath -w "$(dirname "$0")")
exec docker run --rm -i --name "${RNAME:-dv2o-restic}" --network dv2o-off --hostname app-server \
  -v dv2o-app-data:/data:ro -v dv2o-restore:/restore \
  -v "$W\restic-pass:/run/secrets/restic-pass:ro" --env-file "$W\s3.env" \
  -e RESTIC_REPOSITORY=s3:http://dv2o-garage:3900/offsite-restic \
  -e RESTIC_PASSWORD_FILE=/run/secrets/restic-pass \
  restic/restic:0.19.1 "$@"

النسخة الأولى ونسخة قطعت في المنتصف Stale Lock

بدأنا النسخة الأولى بحد رفع 2 ميجابايت في الثانية، وأوقفنا ال Container بالأمر docker kill بعد 30 ثانية كما لو انقطعت الشبكة أو أعيد تشغيل السيرفر، ثم شغلنا النسخة من جديد دون حد:

no parent snapshot found, will read all files

Files:          61 new,     0 changed,     0 unmodified
Dirs:            3 new,     0 changed,     0 unmodified
Added to the repository: 189.603 MiB (120.169 MiB stored)

processed 61 files, 189.574 MiB in 0:04
snapshot 42613285 saved

نجحت النسخة الثانية ورفعت كل شيء من البداية، لأن المحاولة المقطوعة لم تكتب فهرساً يجعل ما رفعته قابلاً للاستخدام. ثم حاولنا فحص المستودع:

create exclusive lock for repository
repo already locked, waiting up to 0s for the lock
unable to create lock in backend: repository is already locked by PID 1 on app-server by root (UID 0, GID 0)
lock was created at 2026-11-03 20:18:57 (55.861506503s ago)
storage ID 6771bec8
the `unlock` command can be used to remove stale locks

المحاولة المقطوعة تركت قفلها في المخزن. والنسخة العادية تأخذ قفلاً غير حصري فلم تتأثر، أما الفحص والتنظيف فيحتاجان قفلاً حصرياً فرفضا. والطريف أن الأمر restic unlock الذي تقترحه الرسالة لم يحذف شيئاً، والسبب في وثائق restic عن الأقفال: القفل يعتبر عالقاً إذا كان عمره أكثر من 30 دقيقة، أو إذا كان من الجهاز نفسه وعمليته لم تعد موجودة. والقفل هنا عمره دقيقة، ومن «الجهاز نفسه» لأننا نعطي كل Container الاسم app-server، وعمليته رقم 1، وفي كل Container جديد توجد عملية رقمها 1، فظنت restic أن العملية ما زالت تعمل. والحل أن تتأكد بنفسك أن لا نسخة تعمل، ثم تحذف الأقفال كلها:

./restic.sh unlock --remove-all
./restic.sh check --read-data
successfully removed 1 locks
[0:01] 100.00%  9 / 9 packs
no errors were found

أو انتظر 30 دقيقة فيعتبر القفل عالقاً تلقائياً. والدرس لمن يشغل restic في Containers: إما أن تقبل هذا الانتظار، وإما أن يحذف سكربت الصيانة الأقفال بعد أن يتأكد من عدم وجود نسخة تعمل، والأسوأ أن يحذفها كل سكربت قبل أن يبدأ، لأنه قد يحذف قفل نسخة تعمل فعلاً.

حد الرفع Upload Limit

لنرى أثر الحد على الزمن، رفعنا البيانات كلها، 444 ميجابايت تصبح 277 بعد الضغط، إلى مستودعين جديدين، مرة دون حد ومرة بحد 8192 KiB في الثانية:

Added to the repository: 444.380 MiB (276.893 MiB stored)
limit=none: 10.6326 s
Added to the repository: 444.381 MiB (276.902 MiB stored)
limit=8192: 38.0362 s

277 ميجابايت على 8 ميجابايت في الثانية تساوي قرابة 35 ثانية، والباقي تجهيز وقراءة، أي أن الحد يعمل كما يقول، والحساب في قسم ال Bandwidth صالح للتخطيط.

ماذا يرى صاحب المخزن؟ Provider View

هذا السكربت يستخدم مفتاح S3 فقط، دون كلمة مرور المستودع، أي ما يملكه صاحب المخزن أو من يسرق مفتاحه:

# What does the storage provider see? List a few objects and look inside one data pack.
import collections, math, os, boto3
s3 = boto3.client("s3", endpoint_url="http://dv2o-garage:3900", region_name="garage")
objs = s3.list_objects_v2(Bucket="offsite-restic")["Contents"]
for o in sorted(objs, key=lambda o: o["Key"])[:6]:
    print(f'{o["Size"]:>10}  {o["Key"]}')
pack = next(o["Key"] for o in objs if o["Key"].startswith("data/") and o["Size"] > 1_000_000)
body = s3.get_object(Bucket="offsite-restic", Key=pack)["Body"].read()
counts = collections.Counter(body)
entropy = -sum(c / len(body) * math.log2(c / len(body)) for c in counts.values())
print("pack", pack[:20], "bytes", len(body), "entropy", round(entropy, 4), "bits/byte")
print("contains 'INSERT INTO':", b"INSERT INTO" in body)
print(body[:64].hex())
       155  config
  17698836  data/08/08c57cfba596ffb0da82ec3c9f5af7ddba8da0930477753662ab6a1cf9ccb7d3
  16825265  data/10/10f118479e08a34510a60b8eaae7494f1910ca499f3d60b97a71cbe506ce9d12
  17955638  data/12/121079fea2d754672f0960805e188d20ce5a3313bc39bc510b304ad5127e7947
   9692689  data/1d/1d512c88a7e483ef219c9b40d10009357c36ece92b5f2098b9cde2201df6eef7
  18355076  data/24/24464f48b364330401c7c8fb44fe9e3727ce6094dd991fea224db4f4b9434363
pack data/08/08c57cfba596 bytes 17698836 entropy 8.0 bits/byte
contains 'INSERT INTO': False
d3d22ac54bb7b996ed96387493aa57ec09a75a3b20cc8b48f2cbc9772956a19c0cace2f9a697dcb188c07663e6003e0bf2890f24665b3daae7c085af884ac48f

في المخرج أعلاه لاحظ التالي:

  • أسماء الملفات هاش لمحتواها المشفر، فلا تكشف أسماء ملفاتك ولا مجلداتك.
  • العشوائية 8.0 بت لكل بايت، أي أن المحتوى لا يمكن تمييزه عن بيانات عشوائية، ولا يوجد فيه نص SQL مع أن التفريغ نصي.
  • الأحجام وعدد الملفات ظاهرة، ومنها يعرف صاحب المخزن تقريباً كم تكبر بياناتك.

أربعون يوماً ثم الاحتفاظ Retention

لكي نرى سياسة الاحتفاظ دون أن ننتظر أربعين يوماً، أضفنا كل «يوم» ملفاً مرفوعاً و20 ألف سطر إلى التفريغ، ثم أخذنا نسخة بالخيار --time الذي يضع للنسخة وقتاً نختاره:

for d in $(seq 1 40); do
  docker run --rm -v dv2o-app-data:/data -v "$PWD:/lab:ro" alpine:3.24 sh /lab/day.sh $((d+40))
  t=$(date -u -d "2026-09-24 02:00 UTC $d days" '+%Y-%m-%d %H:%M:%S')
  ./restic.sh backup --tag daily --time "$t" /data | grep 'Added to the repository'
done

وفي أول محاولة كتبنا التاريخ بالصيغة "2026-09-24 02:00 + $d day"، فظن الأمر date أن + 1 منطقة زمنية، فأعطى أوقاتاً خاطئة ثم أخطاء invalid date من اليوم 25، فحذفنا تلك النسخ وأعدنا بالصيغة أعلاه. وكانت النتيجة لكل يوم بعد الأول قرابة 2 ميجابايت مخزنة، بين 1.975 و2.104:

day 2 (2026-09-26 02:00:00): Added to the repository: 3.269 MiB (1.975 MiB stored)
day 3 (2026-09-27 02:00:00): Added to the repository: 4.548 MiB (2.027 MiB stored)
...
day 40 (2026-11-03 02:00:00): Added to the repository: 4.261 MiB (2.020 MiB stored)
./restic.sh forget --keep-daily 7 --keep-weekly 4 --keep-monthly 6 --compact
Applying Policy: keep 7 daily, 4 weekly, 6 monthly snapshots
keep 11 snapshots:
ID        Time                 Host        Tags    Size
--------------------------------------------------------------
73eb3653  2026-09-25 02:00:00  app-server  daily   320.046 MiB
9f1cfb82  2026-09-30 02:00:00  app-server  daily   335.978 MiB
50f70832  2026-10-18 02:00:00  app-server  daily   393.333 MiB
0c24d41b  2026-10-25 02:00:00  app-server  daily   415.638 MiB
39d356d2  2026-10-28 02:00:00  app-server  daily   425.197 MiB
42ea0201  2026-10-29 02:00:00  app-server  daily   428.383 MiB
22b80221  2026-10-30 02:00:00  app-server  daily   431.570 MiB
e500a6dd  2026-10-31 02:00:00  app-server  daily   434.756 MiB
9421be75  2026-11-01 02:00:00  app-server  daily   437.943 MiB
69ba2ca1  2026-11-02 02:00:00  app-server  daily   441.129 MiB
42613285  2026-11-03 20:19:28  app-server  daily   189.574 MiB
--------------------------------------------------------------
11 snapshots
remove 30 snapshots:
...

ولاحظ السطر الأخير: النسخة اليدوية الأولى أخذت مكان يوم 3 نوفمبر لأنها آخر نسخة في ذلك اليوم بالوقت، فحذفت الليلية التي حجمها 444 ميجابايت وبقيت اليدوية التي حجمها 190. ثم التنظيف:

to repack:           190 blobs / 75.880 MiB
this removes:         29 blobs / 882.836 KiB
to delete:           124 blobs / 2.553 MiB
total prune:         153 blobs / 3.415 MiB
remaining:           461 blobs / 275.490 MiB
unused size after prune: 0 B (0.00% of remaining size)
removing 80 old packs
done

real	0m7.299s

الشيء نفسه مع Kopia

#!/bin/sh
# kopia.sh <args>: Kopia in a container on the app server; its config and cache live in the dv2o-kopia-config volume
W=$(cygpath -w "$(dirname "$0")")
exec docker run --rm -i --network dv2o-off --hostname app-server --entrypoint /bin/kopia \
  -v dv2o-app-data:/data:ro -v dv2o-restore:/restore -v dv2o-kopia-config:/app/config -v dv2o-kopia-cache:/app/cache \
  --env-file "$W\s3.env" -e KOPIA_PASSWORD="$(cat "$(dirname "$0")/kopia-pass")" \
  -e KOPIA_CONFIG_PATH=/app/config/repository.config -e KOPIA_CACHE_DIRECTORY=/app/cache -e USER=root \
  kopia/kopia:0.23.1 "$@"
./kopia.sh repository create s3 --bucket=offsite-kopia --endpoint=dv2o-garage:3900 --disable-tls \
  --region=garage --access-key="$AWS_ACCESS_KEY_ID" --secret-access-key="$AWS_SECRET_ACCESS_KEY"
./kopia.sh policy set --global --keep-latest 0 --keep-hourly 0 --keep-daily 7 --keep-weekly 4 \
  --keep-monthly 6 --keep-annual 0 --compression zstd
./kopia.sh snapshot create /data
./kopia.sh repository validate-provider
NOTE: Kopia will perform quick maintenance of the repository automatically every 1h0m0s
and full maintenance every 24h0m0s when running as root@app-server.
...
Created snapshot with root kfbd1f22f28b39b25d565e451dbeb7e0f and ID b2bbc42e726eca7b43c6b8dc0e3c9758 in 9s
...
Running concurrency test for 30s...
All good.

ولاحظ في أول سطر أن مالك الصيانة هو root@app-server، أي سيرفر التطبيق نفسه، وهذا ما قلنا إنه يجب نقله إلى جهاز آخر في الإنتاج. والأمر validate-provider يختبر توافق المخزن مع ما تحتاجه Kopia من قراءة جزئية وكتابة متزامنة، وهو فحص مفيد قبل أن تعتمد على أي مخزن متوافق مع S3. وكان حجم ال Bucket بعد النسخة 274.7 ميجابايت في 25 ملفاً.

الاستعادة على سيرفر جديد Restore

docker run --rm --network dv2o-off --hostname dr-host -v dv2o-dr:/restore \
  -v "$PWD/restic-pass:/run/secrets/restic-pass:ro" --env-file s3.env \
  -e RESTIC_REPOSITORY=s3:http://dv2o-garage:3900/offsite-restic -e RESTIC_PASSWORD_FILE=/run/secrets/restic-pass \
  restic/restic:0.19.1 restore latest --host app-server --target /restore
restoring snapshot 42613285 of [/data] at 2026-11-03 20:19:28.581222803 +0000 UTC by root@app-server to /restore
Summary: Restored 64 files/dirs (189.574 MiB) in 0:01
141
DIFFERENT

السطر الأول هو المهم: latest اختار النسخة 42613285 لأن وقتها الأحدث، وهي النسخة اليدوية القديمة ذات 190 ميجابايت، فخرجت مقارنة البصمات مع 141 ملفاً على السيرفر بالنتيجة DIFFERENT. ولو كان التمرين يتوقف عند «نجح الأمر» لاعتبرناه ناجحاً. وبعد نسخة جديدة:

snapshot 5d3608ed saved
restoring snapshot 5d3608ed of [/data] at 2026-11-03 20:40:44.307592506 +0000 UTC by root@app-server to /restore
Summary: Restored 144 files/dirs (444.315 MiB) in 0:02

real	0m7.704s
141
identical: all checksums match

ومع Kopia من الجهاز نفسه:

Restored 141 files, 3 directories and 0 symbolic links (465.9 MB).

real	0m10.773s

فحص عمر آخر نسخة Freshness Check

#!/bin/sh
# Alert if the newest off-site snapshot of this host is older than MAX_AGE hours (run it from another machine, e.g. the monitoring server).
MAX_AGE=${MAX_AGE:-26}
json=$("$(dirname "$0")/restic.sh" snapshots --host app-server --latest 1 --json 2>/dev/null) || { echo "CRITICAL: cannot read the off-site repository"; exit 2; }
age=$(echo "$json" | node -e 'let s="";process.stdin.on("data",d=>s+=d).on("end",()=>{const a=JSON.parse(s);if(!a.length){console.log(-1);return}const t=a.map(x=>new Date(x.time)).sort((x,y)=>y-x)[0];console.log(Math.floor((Date.now()-t)/3600000))})')
[ "$age" -ge 0 ] || { echo "CRITICAL: no snapshot for app-server"; exit 2; }
[ "$age" -lt "$MAX_AGE" ] || { echo "CRITICAL: newest off-site snapshot is ${age} h old"; exit 2; }
echo "OK: newest off-site snapshot is ${age} h old"
OK: newest off-site snapshot is 0 h old
exit 0

ولكي نرى مسار التنبيه شغلناه مع MAX_AGE=0:

CRITICAL: newest off-site snapshot is 0 h old
exit 2

ولاحظ أن الفحص يرتب النسخ بالوقت بنفسه بدلاً من الاعتماد على ترتيب الأداة، ويخرج بالرمز 2 إذا لم يستطع قراءة المستودع أصلاً، لأن «لا أعرف» في النسخ الاحتياطي يجب أن يعامل معاملة «فشل».

ماذا لو استخدم المخترق مفتاح السيرفر؟ What If

المفتاح وكلمة المرور الموجودان على سيرفر التطبيق كافيان لهذا الأمر:

./restic.sh forget --keep-last 1 --prune
Applying Policy: keep 1 latest snapshots
keep 1 snapshots:
remove 11 snapshots:
11 snapshots have been removed, running prune
...
5d3608ed  2026-11-03 20:40:44  app-server  daily   444.315 MiB
1 snapshots

بقيت نسخة واحدة من 12، وحجم ال Bucket لم يتغير تقريباً، 277.3 ميجابايت، لأن البيانات ما زالت تستخدمها النسخة الباقية. ولكن كل نقاط العودة إلى الماضي اختفت، فلو كانت الملفات على السيرفر مشفرة ببرنامج فدية قبل هذه النسخة، لكانت النسخة الوحيدة الباقية نسخة من الملفات المشفرة. وهذا ما يجعل الحماية من الحذف جزءاً من تصميم النسخة الخارجية وليست إضافة لاحقة.

النتائج في جدول Results

القياسالنتيجة
النسخة الأولى، 444 ميجابايت من البيانات277 ميجابايت مخزنة، 10.6 ثانية دون حد، و38 ثانية بحد 8 ميجابايت في الثانية
النسخة اليوميةبين 1.975 و2.104 ميجابايت مخزنة
نسخة قطعت في منتصفهاقفل عالق منع الفحص، وunlock لم يحذفه، والحل --remove-all بعد التأكد
ما يراه صاحب المخزنعشوائية 8.0 بت لكل بايت، ولا نص، والأحجام ظاهرة
الاحتفاظ 7 يومية و4 أسبوعية و6 شهرية11 نسخة من 41
التنظيف pruneحرر 3.4 ميجابايت، وأعاد تجميع 76 ميجابايت
restic مقابل Kopia275.5 مقابل 274.7 ميجابايت مخزنة، والاستعادة 7.7 مقابل 10.8 ثانية
تمرين الاستعادة الأولlatest اختار نسخة قديمة، والبصمات مختلفة
مفتاح السيرفر بيد مخترق11 نسخة حذفت من 12 بأمر واحد

التنظيف Cleanup

docker rm -f dv2o-garage
docker volume rm dv2o-garage dv2o-app-data dv2o-restore dv2o-dr dv2o-kopia-config dv2o-kopia-cache
docker network rm dv2o-off
docker rmi dxflrs/garage:v2.4.1 restic/restic:0.19.1 kopia/kopia:0.23.1

أخطاء شائعة Common Mistakes

  • نسخة «خارجية» لدى المزود نفسه وبالحساب نفسه: تنجو من تلف السيرفر ولا تنجو من إغلاق الحساب أو من مفتاح API مسروق.
  • كلمة مرور المستودع على السيرفر فقط: النسخة الخارجية لا تفتح في الحدث الوحيد الذي صنعت له.
  • مفتاح على سيرفر التطبيق يكتب ويحذف: في التجربة حذف 11 نسخة من 12 بأمر واحد.
  • تشغيل prune من سيرفر التطبيق وفي كل ليلة: مكلف على المخزن البعيد، ويعطي سيرفر التطبيق دور الحذف.
  • نسخة أولى دون خطة: 200 جيجابايت على 20 ميجابت تحتاج يوماً كاملاً، فتتداخل مع العمل أو تنقطع.
  • حذف الأقفال قبل كل نسخة تلقائياً: قد يحذف قفل نسخة تعمل فعلاً، فتأكد أولاً.
  • الثقة بكلمة «latest»: تعني الوقت الأحدث، وليس المحتوى الذي تريده.
  • الاعتماد على لقطات المزود وحدها: لقطات Storage Box على الصندوق نفسه وليست نسخاً كاملة كما تقول وثائقه.
  • مراقبة رمز خروج السكربت على السيرفر فقط: اسأل المخزن البعيد من جهاز آخر عن عمر آخر نسخة.
  • نسيان مكان البيانات قانونياً: بيانات شخصية لعملاء في المملكة تخرج إلى بلد آخر دون قرار واع.

قائمة تحقق Checklist

  • النسخة الخارجية لدى مزود أو موقع مختلف، وبحساب مختلف، ومكانها مسموح للبيانات التي فيها.
  • مفتاح خاص لكل سيرفر، لا ينشئ Buckets، ولا يستطيع الحذف، أو مخزن بوضع الإضافة فقط أو قفل الكائنات.
  • كلمة مرور المستودع والمفتاح محفوظان في مكانين خارج السيرفر.
  • النسخة الأولى مخطط لها بالحجم والسرعة، مع حد رفع مناسب.
  • forget وprune من جهاز غير سيرفر التطبيق، وprune أسبوعياً.
  • فحص من جهاز آخر لعمر آخر نسخة، وفحص دوري لجزء من البيانات.
  • تمرين استعادة كل ثلاثة أشهر من جهاز جديد، يتحقق من رقم النسخة ومحتواها وزمنها.
  • زمن الاستعادة عبر الإنترنت محسوب ومقارن بال RTO، مع تكلفة النقل الخارج إن وجدت.

الخلاصة Summary

وصلنا لنهاية الموضوع، وأهم ما فيه:

  • النسخة خارج الموقع إذا كانت خارج مجالات الفشل التي تخاف منها، والمفتاح الموجود على السيرفر قد يعيدها إلى مجال فشله.
  • S3 المتوافق هو الأسهل للأدوات الحديثة، وصناديق SSH مثل Storage Box سيرفر واحد بأقراص RAID ولقطات على الصندوق نفسه، والسيرفر الثاني يعطي تحكماً بثمن إدارته.
  • النسخة الأولى مشروع يحسب بالحجم والسرعة، والنسخ اليومية بعدها صغيرة، وفي التجربة قرابة 2 ميجابايت يومياً.
  • التشفير يخفي المحتوى ولا يخفي الأحجام والمواعيد، وكلمة المرور هي النسخة، فاحفظها خارج السيرفر.
  • الحذف والتنظيف من جهاز آخر، فمفتاح السيرفر حذف التاريخ كله في التجربة، والتنظيف على مخزن بعيد ينزل البيانات ويرفعها.
  • راقب عمر آخر نسخة من الخارج، وتمرن على الاستعادة من جهاز جديد، وتحقق من المحتوى، فكلمة latest أعادت لنا نسخة قديمة.

وإذا أردت أن تحمي النسخة الخارجية من الحذف بالكامل فاقرأ النسخ إلى S3 مع Object Lock ضد الفدية، وإذا كنت تختار المخزن نفسه فقارن الخيارات في أي تخزين S3 مستضاف ذاتياً يناسبك.

دليلالنسخ الاحتياطي بقاعدة 3-2-1 واختبار الاستعادةكيف تحدد كم بيانات تقبل أن تخسر، وتبني نسخاً لا يستطيع المخترق حذفها، وتتأكد أنك تستطيع استعادتها فعلاً.دليلأي أداة نسخ احتياطي Backup تناسب سيرفرك؟مقارنة عملية لأشهر أدوات النسخ الاحتياطي مفتوحة المصدر على البيانات نفسها في الوقت والحجم والذاكرة، لتعرف أيها يناسب سيرفرك.دليلالنسخ الاحتياطي إلى S3 مع Object Lock ضد الفديةكيف تقفل نسخك الاحتياطية في S3 حتى لا يمحوها من يسرق مفاتيحها، وكيف تستعيدها إلى ما قبل الهجوم.دليلحريق OVHcloud في ستراسبورغ: نسخ احتياطية احترقت مع البياناتماذا حدث في حريق مركز بيانات OVHcloud سنة 2021، ولماذا فقد عملاء نسخهم الاحتياطية، وكيف تتأكد أن نسختك خارج الموقع فعلاً.

سجل التحديثات Changelog

  • نوفمبر 2026: كتابة المقال، وتنفيذ التجربة على Docker Engine 29.8.0 مع Garage 2.4.1 (dxflrs/garage:v2.4.1) وrestic 0.19.1 (restic/restic:0.19.1) وKopia 0.23.1 (kopia/kopia:0.23.1) وboto3 1.40.70 على Python 3.13، ووصف Hetzner Storage Box من وثائق Hetzner الرسمية كما كانت في نوفمبر 2026.
نشرة عرب رووت | ArabRoot

معرفة تستحق مكاناً في بريدك.

مقالات مختارة وأدوات مفيدة وأفكار لمشروعك القادم، في رسالة واحدة كل أسبوع.

يمكنك إلغاء الاشتراك متى شئت. الخصوصية

تم استلام طلبك. افتح بريدك واضغط رابط التأكيد لإتمام الاشتراك.