الوسائط: الصور والفيديو والبث الأدلة التقنية

تحويل مكتبة الفيديو Transcoding تلقائياً مع Tdarr

كيف تحول أرشيف فيديو كاملاً إلى HEVC أو AV1 بأداة Tdarr دون أن تخاطر بالأصل، بتجربة كشفت أربعة أعطال قبل أن تلمس المكتبة الحقيقية.

تحويل مكتبة الفيديو Transcoding تلقائياً مع Tdarr

مجلد التسجيلات على سيرفر الجهة يكبر كل أسبوع: محاضرات مسجلة من برنامج تسجيل الشاشة بمعدل ثابت، وتسجيلات فعاليات قديمة بصيغة MPEG-2 من كاميرا اشترتها الجهة قبل خمس عشرة سنة، ومقاطع تعريفية وصلت من شركة الإنتاج بأعلى جودة ممكنة لأن أحداً لم يطلب غير ذلك. وفي يوم ما يرسل لك النظام تنبيهاً بأن القرص وصل إلى 90%، وتكتشف أن أغلب المساحة فيديوهات لا يشاهدها أحد كل يوم، ولكن لا أحد يقبل أن تحذفها. والحل المنطقي معروف: أن تعيد ترميز Transcoding هذه الفيديوهات بمرمز أحدث يعطي نفس الجودة بحجم أقل بكثير، ولكن الطريق إليه ليس سهلاً كما يبدو، فأنت تتحدث عن آلاف الملفات بصيغ مختلفة، بعضها معطوب، وبعضها مرمز أصلاً بالمرمز الجديد، وأي خطأ في السكربت قد يستبدل تسجيلاً لا توجد منه نسخة أخرى بملف فارغ.

وقد شرحنا في FFmpeg عملياً كيف تكتب أمر التحويل نفسه وكيف تقرأ سجله ورموز خروجه، وفي البث المتكيف بنينا مجلداً مراقباً وسكربتاً يحول كل فيديو جديد، وذكرنا في آخره أن المنصة عندما تكبر تحتاج طابوراً وWorkers أو أداة مثل Tdarr. وهذا المقال هو تلك الخطوة: سوف نأخذ مكتبة صغيرة من سبعة ملفات حقيقية فيها كل المشكلات التي تقابلها في الأرشيف الحقيقي، ونشغل عليها Tdarr في Docker، ونقيس الحجم قبل وبعد والوقت والجودة، ونرى بالتفصيل أين أخطأت الأداة وأين أخطأنا نحن.

وسوف نناقش في هذا المقال:

  • متى يستحق تحويل مكتبة كاملة العناء، والحساب الذي تبدأ منه قبل أي أداة.
  • الخيارات المتاحة: سكربت FFmpeg، وTdarr، وبدائل مفتوحة المصدر، ورخصة Tdarr التي يجب أن تقرأها قبل أن تشغله في مؤسسة.
  • كيف يعمل Tdarr من الداخل: الـ Server وال Nodes وال Workers والمجلد المؤقت.
  • المكتبة Library وال Flow والإضافات Plugins، ومن الفحص إلى الناتج: ماذا يحدث للملف؟.
  • H.264 أم H.265 أم AV1، والمعالج CPU أم بطاقة الرسوميات GPU، بأرقام من نفس المقطع.
  • قواعد الأمان قبل أن تلمس الملف الأصلي.
  • تجربة عملية كاملة بأربعة أعطال حقيقية ظهرت فيها، والنتائج بالحجم والوقت ومقياس SSIM.
  • الانتقال من التجربة إلى مكتبة حقيقية، والأخطاء الشائعة، وقائمة تحقق.

متى يستحق تحويل المكتبة كلها العناء؟

قبل أن تثبت أي أداة احسب ما سوف تكسبه، لأن التحويل ليس مجانياً: كل ساعة فيديو تحتاج دقائق أو ساعات من وقت المعالج، وكل تحويل يفقد شيئاً من الجودة مهما كان صغيراً، لأن الترميز بفقد Lossy Encoding يعني أنك تبني نسخة جديدة من نسخة فقدت أصلاً بعض التفاصيل. لذلك فالسؤال الأول ليس «كيف أحول؟» وإنما «كم سوف أوفر، وبكم؟». وقد شرحنا في مفاهيم الفيديو للمبتدئين أن حجم الملف يساوي معدل البت Bitrate مضروباً في المدة، وبالتالي فالمكسب يأتي من الفرق بين معدل البت الحالي والمعدل الذي يحتاجه المرمز الأحدث لنفس الجودة.

والقاعدة العملية أن المكسب الأكبر يأتي من ثلاثة أنواع من الملفات: الأول ملفات مرمزة بمعدل ثابت عال لا يحتاجه المحتوى، مثل تسجيلات الشاشة التي يكتبها برنامج التسجيل بمعدل 8 ميجابت حتى لو كانت الشاشة شريحة ثابتة، والثاني صيغ قديمة مثل MPEG-2 التي تحتاج أضعاف ما يحتاجه H.264 لنفس الصورة، والثالث نسخ «الماستر» القادمة من الإنتاج بمعدلات عالية. أما الملفات المرمزة جيداً أصلاً بمعدل معتدل فالمكسب منها أقل، وسوف نرى في التجربة أن مقطعاً من هذا النوع لم ينخفض إلا إلى 43% من حجمه، بينما انخفض ملف MPEG-2 إلى 19%.

والحساب الثاني هو الوقت، فإذا كانت المكتبة 2 تيرابايت وكان سيرفرك يحول الفيديو بسرعة أبطأ من زمن الفيديو نفسه، فأنت تتحدث عن أسابيع من العمل المتواصل، وسوف نحسب هذا بالأرقام بعد التجربة في قسم من التجربة إلى مكتبة حقيقية. والحساب الثالث هو التوافق Compatibility: الملف الأصغر الذي لا يعمل على أجهزة المشاهدين ليس مكسباً، ولذلك يرتبط قرار المرمز بمن يشاهد هذه الملفات وكيف.

الخيارات: سكربت، أم Tdarr، أم أداة أخرى؟

هناك ثلاثة طرق لتحويل مكتبة كاملة، ولكل منها مكانه:

  • سكربت FFmpeg على حلقة Loop: الطريقة البسيطة، تمر على الملفات وتحول كل ملف بأمر ثابت. تعمل بشكل ممتاز لمئة ملف تراقبها بنفسك، ولكنها تفشل عندما تكبر المكتبة، لأنك سوف تكتب بنفسك كل ما يلي: تذكر الملفات التي انتهت والتي فشلت، وتجاوز الملفات المرمزة أصلاً، والتحقق من الناتج قبل استبدال الأصل، وتوزيع العمل على أكثر من جهاز، والاستئناف بعد انقطاع الكهرباء، وواجهة يرى منها زميلك ما يحدث. وهذا بالضبط ما بنينا نسخة صغيرة منه في البث المتكيف.
  • Tdarr: أداة متخصصة في هذه المشكلة بالذات، أي تحويل المكتبات الكبيرة آلياً وتوزيع العمل على عدة أجهزة Distributed Transcoding، وفحص سلامة الملفات Health Checks، مع واجهة ويب وقاعدة بيانات تتذكر حالة كل ملف، وقواعد تبنيها بالسحب والإفلات تسمى Flows.
  • أدوات أخرى بنفس الفكرة، أشهرها Unmanic وهي مفتوحة المصدر بالكامل، وهي أبسط من Tdarr وأقل مرونة في التوزيع على عدة أجهزة.

وسوف نركز في هذا المقال على Tdarr لأنه الأكثر انتشاراً في هذا المجال، ولأن فكرة Server ينسق وNodes تنفذ هي نفسها التي سوف تحتاجها في أي حل تبنيه بنفسك. ولكن هناك نقطة يجب أن تعرفها قبل أن تقرر: Tdarr ليس برنامجاً مفتوح المصدر. فالإضافات Plugins مكتوبة بلغة JavaScript ومنشورة في مستودع مفتوح، أما البرنامج نفسه فيوزع بـ اتفاقية ترخيص EULA تمنع الهندسة العكسية وإعادة التوزيع، وتقسم الاستخدام إلى ثلاث فئات: شخصي مجاني، وشخصي باشتراك، واشتراك للأعمال Business Subscription. لذلك إذا كنت تشغله في جهة أو شركة فاقرأ الاتفاقية مع الجهة القانونية لديكم قبل الإنتاج، وسوف تلاحظ في لقطات الواجهة أن بعض أجزاء لوحة التحكم مغلقة خلف النسخة Pro.

💡
إذا كانت سياسة الجهة تشترط برمجيات مفتوحة المصدر، فالأفكار في هذا المقال كلها تنطبق على Unmanic أو على سكربت تكتبه بنفسك: الفحص الصارم قبل التحويل، ومقارنة الحجم والمدة، ومجلد الناتج المنفصل، وخيار الخيوط في x265. وما يختلف هو الواجهة فقط.

كيف يعمل Tdarr من الداخل؟ Server وNodes وWorkers

يتكون Tdarr من قطعتين منفصلتين. الأولى هي الـ Server، وهو الذي يملك قاعدة البيانات وفيها كل ملف في المكتبة وخصائصه وحالته، ويملك الطابور Queue والواجهة والإعدادات وتقارير كل مهمة Job Reports، ولكنه لا يحول أي ملف بنفسه. والثانية هي الـ Node، وهي برنامج يعمل على أي جهاز فيه معالج أو بطاقة رسوميات، يتصل بالسيرفر على المنفذ 8266 ويطلب منه مهاماً، وداخل كل Node عدد من الـ Workers، كل Worker يعالج ملفاً واحداً في نفس الوقت. وتشرح صفحة ال Workers في التوثيق أنها أربعة أنواع: تحويل بالمعالج Transcode CPU، وتحويل ببطاقة الرسوميات Transcode GPU، وفحص بالمعالج Health Check CPU، وفحص ببطاقة الرسوميات Health Check GPU، وتحدد أنت عدد كل نوع في كل Node.

والصورة التالية تبين كيف تتصل القطع: سيرفر واحد، وNode داخلية في نفس ال Container كما في تجربتنا، وNode ثانية على جهاز آخر فيه GPU، وكلها ترى نفس الملفات.

رسم معمارية Tdarr: على اليمين مكتبة الفيديو على NAS بمسار /media ومجلد الناتج /output، وفي الوسط Tdarr Server على المنفذين 8265 للواجهة و8266 للواجهة البرمجية وفيه قاعدة بيانات الملفات والطابور والمكتبات وال Flows والتقارير مع ملاحظة أنه لا يحول أي ملف بنفسه، وعلى اليسار Internal Node فيها Worker يشغل libx265 وWorker فارغ ومجلد مؤقت /temp، وتحتها Node ثانية على جهاز فيه GPU فيها Workers يستخدمان NVENC أو QSV وترجمة مسار من /mnt/videos إلى /media
السيرفر يقرر ويحفظ الحالة، وال Workers داخل ال Nodes هي التي تشغل FFmpeg أو HandBrake

وقد يتساءل البعض: لماذا هذا الفصل؟ والإجابة أن التحويل هو العمل الثقيل الوحيد، وهو الذي تريد أن توزعه على أي جهاز متاح: السيرفر القديم في غرفة السيرفرات، وجهاز المونتاج الذي فيه بطاقة NVIDIA ولا يعمل في الليل، وحتى جهاز مكتبي فارغ في عطلة نهاية الأسبوع. وبالتالي فالسيرفر يبقى خفيفاً ويعمل دائماً، وكل Node يمكن أن تضاف وتزال دون أن يتأثر شيء.

كيف ترى كل Node نفس الملفات؟ المسارات وترجمتها

النوع الافتراضي من ال Nodes هو Mapped Node، أي Node ترى ملفات المكتبة مباشرة على نظام الملفات، سواءً كانت على نفس الجهاز أو على مجلد مشترك عبر الشبكة مثل NFS أو SMB، وتقرأ الملف وتكتب الناتج بنفسها. والمشكلة أن المسار قد يختلف من جهاز لآخر: السيرفر يرى المكتبة في /media والجهاز الثاني يراها في /mnt/videos، ولذلك يوفر Tdarr ترجمة المسارات Path Translators التي تقول للـ Node: «كلما قال لك السيرفر /media فاقرأ /mnt/videos». وتذكر صفحة ال Nodes أن مجلد المصدر ومجلد ال Cache يجب أن يشيرا إلى نفس المكان من وجهة نظر كل Node، وأي خطأ هنا يظهر كملف «غير موجود» في منتصف المهمة.

وهناك نوع ثان اسمه Unmapped Node، لا يرى نظام الملفات، وإنما يحمل الملف من السيرفر عبر الشبكة ويرفع الناتج، وهو مفيد لجهاز بعيد لا تستطيع أن تعطيه مجلداً مشتركاً. ولكنه بحسب نفس الصفحة من مزايا النسخة Pro، وفي النسخة المجانية محدود بملفات فيديو حتى 10 ميجابايت، أي أنه غير عملي لأرشيف حقيقي دون اشتراك.

المجلد المؤقت Transcode Cache

لا يكتب Tdarr الناتج فوق الأصل مباشرة، وإنما في مجلد مؤقت تسميه الأداة Transcode Cache، ثم ينقله إلى مكانه في الخطوة الأخيرة فقط إذا نجحت كل الخطوات. وهذا التصميم هو أهم ميزة أمان في الأداة، لأن انقطاع الكهرباء في منتصف التحويل يترك ملفاً ناقصاً في ال Cache وليس في المكتبة. وتنصح صفحة ال Cache بقرص SSD رخيص له، ويفضل أن يكون على قرص غير قرص المكتبة، والسبب أن ال Worker يقرأ من المكتبة ويكتب في ال Cache في نفس الوقت، فإذا كانا على نفس القرص الميكانيكي تزاحمت القراءة والكتابة. واحسب مساحته بحجم أكبر ملف في المكتبة مضروباً في عدد ال Workers، مع هامش، لأن كل Worker يحتاج مكان ملفه كاملاً.

المكتبة Library وال Flow: من يقرر ماذا يحدث للملف؟

المكتبة Library في Tdarr هي مجلد مصدر وإعدادات: أين الملفات، وأين ال Cache، وأي امتدادات تدخل، ومتى يفحص المجلد بحثاً عن ملفات جديدة Folder Watch، وفي أي ساعات من الأسبوع يسمح بالمعالجة Schedule. وعندما تضيف مكتبة يفحص السيرفر Scan كل ملف بأداتي ffprobe وExifTool ويحفظ الترميز والدقة والحجم والمدة في قاعدة البيانات، ثم يضع كل ملف في طابور التحويل وطابور الفحص.

أما القرار، أي ماذا يحدث لكل ملف، فله طريقتان في Tdarr. الأولى قديمة اسمها مجموعة الإضافات Classic Plugin Stack، وهي قائمة إضافات تعمل بالترتيب، كل إضافة تقرر هل تعمل على الملف أم تتركه. والثانية هي ال Flows، وهي مخطط تبنيه في الواجهة بسحب الإضافات وربطها بخطوط، وكل إضافة لها مخرج أو أكثر، فإضافة «هل الترميز HEVC؟» لها مخرجان: نعم ولا، وتربط كل مخرج بالخطوة المناسبة. وال Flows هي الطريقة التي يوصي بها المشروع الآن، وهي التي سوف نستخدمها، لأنها تجعل المنطق مرئياً: أي زميل يفتح المخطط يفهم ماذا يحدث للملف دون أن يقرأ كوداً.

وال Flow في تجربتنا يقوم بما يلي بالترتيب: يفحص الملف فحصاً صارماً، ثم يتجاوز الملفات المرمزة أصلاً بـ HEVC، ثم يبني أمر FFmpeg بمرمز libx265 وجودة ثابتة CRF 26، ثم ينفذه، ثم يقارن حجم الناتج بالأصل، ثم ينسخ الناتج إلى مجلد منفصل فقط إذا كان أصغر من 90% من الأصل. والصورة التالية لقطة حقيقية لهذا ال Flow في محرر Tdarr:

لقطة من محرر ال Flows في Tdarr 3.08 تبين ال Flow المسمى HEVC archive copy: Input File ثم Strict decode check ثم Already HEVC? وله مخرجان، ومن مخرج لا: FFmpeg Command Begin Command ثم HEVC CRF 26 ثم Even size + x265 pool ثم MKV container ثم Execute ثم Smaller than 90%? وله مخرجان: الأول إلى Copy to /output ثم Back to original، والثاني إلى Discard (not smaller)
ال Flow كما بنيناه في التجربة، بعد إصلاح الأعطال الأربعة التي سوف نراها

ولاحظ أن كل مربع في المخطط هو إضافة Flow Plugin لها توثيق مستقل، مثل Set Video Encoder التي تختار المرمز والجودة، وCompare File Size Ratio التي تقارن الحجم، وأن إضافات FFmpeg Command لا تشغل شيئاً بنفسها، وإنما تبني الأمر خطوة خطوة، ثم تأتي إضافة Execute فتشغله مرة واحدة. وهذه الطريقة تشبه بناء أمر FFmpeg يدوياً كما فعلنا في تشريح الأمر، ولكن كل جزء منه أصبح مربعاً مستقلاً.

من الفحص إلى الناتج: ماذا يحدث للملف؟

من المهم أن تفهم أين يكون الملف في كل لحظة، لأن كل خطأ في Tdarr سوف تقرؤه بدلالة هذه المراحل. والصورة التالية تبين ما يمر به ملف واحد والحالات التي تظهر في الواجهة:

رسم مراحل ملف في Tdarr بست خطوات مرقمة: ملف في المكتبة lecture-week01.mp4، ثم الفحص Scan بأداتي ffprobe وExifTool، ثم الطابور بحالة Queued، ثم Worker يأخذ الملف ويشغل ال Flow، ثم المجلد المؤقت /temp حيث يكتب FFmpeg الناتج، ثم فحوص قبل خروج الملف: هل فك الترميز بلا أخطاء وهل الناتج أصغر من 90% وهل المدة نفسها. وفي الأسفل ثلاث نهايات: Transcode success عندما ينجح كل شيء، وNot required عندما يكون الملف HEVC أو الناتج ليس أصغر، وTranscode error عند الفشل والأصل كما هو
الأصل لا يتغير إلا في الخطوة الأخيرة، وفقط إذا طلبت ذلك في ال Flow

والحالات الثلاث في الأسفل هي ما سوف تراه في صفحة البحث Search ولوحة التحكم: نجح التحويل Transcode success، أو لم يكن مطلوباً Not required، أو فشل Transcode error. وكل مهمة تكتب تقريراً كاملاً Job Report فيه كل إضافة شغلت ومدخلاتها والأمر الذي نفذته ومخرجه، وقد كانت هذه التقارير مصدر كل ما اكتشفناه في التجربة، كما تشرح صفحة التقارير.

H.264 أم H.265 أم AV1؟

قرار المرمز هو أهم قرار في المشروع كله، لأنه يحدد الحجم والوقت ومن يستطيع أن يشغل الملفات بعد التحويل. وقد شرحنا الفرق بين المرمزات من جهة المفاهيم والرخص ودعم المتصفحات في أي ترميز يعمل في أي متصفح، أما هنا فالسؤال عملي: ماذا يحدث لنفس المقطع بكل مرمز على نفس الجهاز؟ أخذنا مسار الفيديو من مقطع Big Buck Bunny الدعائي بدقة 1080p، ومدته 33 ثانية ومعدله الأصلي 7.2 ميجابت، وحولناه بأربعة إعدادات باستخدام FFmpeg 8.1.2، وقسنا الحجم والوقت وتشابه الناتج مع الأصل بمقياس SSIM، وهو رقم من 0 إلى 1 يقيس تشابه البنية في الصورة، وكلما اقترب من 1 كان الناتج أقرب للأصل:

رسم بياني لنفس المقطع بأربعة مرمزات: الأصلي H.264 بحجم 29.5 ميجابايت، وlibx264 CRF 23 medium بحجم 8.97 ميجابايت في 34.5 ثانية وSSIM 0.9935، وlibx265 CRF 26 medium بحجم 4.85 ميجابايت في 77.4 ثانية وSSIM 0.9908، وSVT-AV1 preset 8 CRF 35 بحجم 4.18 ميجابايت في 24.1 ثانية وSSIM 0.9905، وSVT-AV1 preset 6 CRF 35 بحجم 3.91 ميجابايت في 58.8 ثانية وSSIM 0.9909
HEVC وAV1 أعطيا نصف حجم H.264 الجديد تقريباً بنفس SSIM، والأرقام لهذا المقطع وهذا الجهاز

وعند قراءة الأرقام لاحظ التالي:

  • إعادة الترميز بـ H.264 نفسه خفضت الحجم من 29.5 إلى 9 ميجابايت تقريباً، والسبب أن الأصل مرمز بمعدل أعلى مما يحتاجه المحتوى. وهذا يعني أن جزءاً كبيراً من المكسب في أرشيفك قد يأتي من الجودة الثابتة CRF وليس من المرمز الأحدث، وأن خيار H.264 بجودة ثابتة قد يكفيك إذا كان التوافق أهم شيء.
  • HEVC أعطى نصف حجم H.264 الجديد تقريباً، ولكنه استغرق ضعف الوقت. والمرمز libx265 أبطأ من libx264 بطبيعته لأنه يجرب طرقاً أكثر لتقسيم الصورة وتوقع الحركة.
  • SVT-AV1 بالإعداد السريع preset 8 كان الأسرع والأصغر معاً في هذا المقطع، وهذا تغير حقيقي خلال السنوات الأخيرة، فقد كان AV1 بطيئاً جداً على المعالج، ثم جاء مرمز SVT-AV1 بإعدادات سريعة تنافس x265. والإعداد الأبطأ preset 6 وفر 7% إضافية من الحجم مقابل ضعفي الوقت ونصف.
  • أرقام SSIM متقاربة جداً بين HEVC وAV1، ولكن لا تعتمد على رقم واحد متوسط، فالمتوسط يخفي المشاهد الصعبة كما سوف نرى في التجربة، وشاهد عينة من الملفات بعينك قبل أي قرار.

والتوافق هو ما يحسم القرار في الغالب. وقد يتساءل البعض: إذا كان AV1 أصغر وأسرع فلماذا لا نستخدمه دائماً؟ والإجابة أن الأجهزة التي تفك AV1 بالعتاد ما زالت أقل من التي تفك HEVC، وفك AV1 بالبرمجيات على جهاز قديم أو هاتف متوسط يستهلك المعالج والبطارية، أما HEVC فمدعوم بالعتاد في أغلب الأجهزة منذ سنوات ولكن دعمه في المتصفحات يعتمد على النظام والعتاد بسبب رخصه. والجدول التالي يلخص القرار:

المرمزمتى تختاره للأرشيفنقاط القوةنقاط الضعف
H.264 بجودة ثابتة CRFالملفات تشاهد في كل مكان، أو تعرض في متصفح دون تحويليعمل على كل جهاز تقريباً، وسريعأكبر حجم من الثلاثة
H.265 / HEVCأرشيف يشاهد عبر خادم وسائط Media Server أو تطبيقات، أو أجهزة حديثةنصف حجم H.264 تقريباً، وفك بالعتاد منتشرأبطأ في الترميز، ودعم المتصفحات غير مضمون، ورخص براءات الاختراع
AV1أرشيف طويل الأمد، أو منصة تتحكم في المشغلالأصغر، ومفتوح دون رسوم براءات، وسريع مع SVT-AV1فك العتاد غير متوفر في كل الأجهزة القديمة

وفي تجربتنا اخترنا HEVC لأن السيناريو أرشيف يشاهد عبر تطبيقات وأجهزة حديثة، ولأنه الخيار الافتراضي في إضافة Set Video Encoder، ويكفي أن تغير قيمة outputCodec إلى av1 في نفس الإضافة لتنتقل إلى AV1، فقد قرأنا كود الإضافة في الإصدار المثبت ووجدنا أنها تختار libsvtav1 في هذه الحالة.

المعالج CPU أم بطاقة الرسوميات GPU؟

الترميز بالعتاد Hardware Encoding يعني أن تستخدم دوائر مخصصة للفيديو في بطاقة الرسوميات أو المعالج، مثل NVENC في بطاقات NVIDIA وQuick Sync في معالجات Intel، وقد ذكرنا في الخيوط وتسريع العتاد أنها أسرع بكثير وتستهلك طاقة أقل، ولكنها تعطي في الغالب ملفاً أكبر لنفس الجودة. وفي سياق تحويل مكتبة كاملة هناك تفصيل إضافي يجب أن تعرفه: إضافة Set Video Encoder في Tdarr ترسل الجودة للمرمز البرمجي بالخيار -crf، أما للمرمز العتادي فترسلها بالخيار -qp، أي معامل تكميم ثابت لكل إطار، وليس جودة ثابتة تتكيف مع المحتوى. وقد وجدنا هذا في كود الإضافة نفسها، وهذا يعني أن نفس الرقم 26 لا يعطي نفس النتيجة على المعالج وعلى البطاقة، فلا تنقل الرقم من Worker لآخر دون قياس.

والقاعدة العملية لأرشيف يحول مرة ويخزن سنوات: المعالج بإعداد أبطأ يوفر في التخزين على المدى الطويل، وبطاقة الرسوميات مناسبة عندما يكون الوقت هو القيد، مثل مكتبة ضخمة تريد أن تنتهي منها في أسبوع، أو عندما يكون الجهاز الوحيد المتاح فيه بطاقة قوية ومعالج ضعيف. ويسمح Tdarr بأن تجمع الاثنين: Workers للمعالج على السيرفر، وWorkers للبطاقة على جهاز المونتاج، وخيار «Allow GPU workers to do CPU tasks» يجعل Workers البطاقة تأخذ مهام المعالج عندما يفرغ طابورها. ولتمرير البطاقة إلى ال Container تحتاج إعدادات خاصة بكل نوع تشرحها صفحة التحويل بالعتاد.

⚠️
جهاز التجربة لا يمرر بطاقة رسوميات إلى Docker، لذلك كل أرقام هذا المقال من المعالج فقط، ولم نقس NVENC أو Quick Sync. إذا كان عندك Node فيها بطاقة فقس عليها نفس المقطع بنفس الطريقة قبل أن تقرر.

قواعد الأمان قبل أن تلمس الملف الأصلي

أخطر لحظة في هذا المشروع كله هي اللحظة التي تختار فيها إضافة «Replace Original File»، لأنها تستبدل الأصل بالناتج، وإذا كان الناتج معطوباً أو ناقصاً أو بجودة سيئة فقد خسرت الأصل. ولا توجد أداة تحميك من هذا بنسبة 100%، ولكن هناك بوابات تقلل الخطر إلى حد مقبول، وكل بوابة منها ظهرت أهميتها في تجربتنا بشكل مباشر:

رسم خمس بوابات أمان: الأصل لا يحذف ولا يستبدل، ثم مكتبة اختبار من 20 إلى 50 ملفاً متنوعاً، ثم فحص صارم بأمر ffmpeg -xerror حتى لا يحول المعطوب، ثم نسبة الحجم بين 5% و90%، ثم نسبة المدة بين 99.5% و100.5%، ثم مجلد ناتج منفصل /output يراجع ثم يستبدل الأصل بعد مدة. وفي مربع جانبي ما أوقفته البوابات في التجربة: ملف معطوب مر من الفحص المعتاد برمز خروج 0 وفيه 65 خطأ، وملف HEVC تجاوز التحويل في 6 ثوان، وملف بعرض 853 بكسل رفضه libx265
كل بوابة ترجع الملف إلى حالته الأصلية عند الشك
  1. مكتبة اختبار Test Library: انسخ عينة من 20 إلى 50 ملفاً تمثل المكتبة كلها، من كل صيغة وكل مصدر، وشغل ال Flow عليها أولاً. والسبب أن كل خطأ في ال Flow يتكرر على آلاف الملفات، ومكتبتنا الصغيرة من سبعة ملفات كشفت أربعة أعطال قبل أن تلمس أي أرشيف حقيقي.
  2. فحص صارم قبل التحويل: الملف المعطوب يجب أن يتوقف قبل التحويل، لأن تحويله ينتج ملفاً «سليماً» تقنياً فيه نفس العطب، ثم يستبدل الأصل الذي كان يمكن إصلاحه. وسوف نرى أن الفحص الافتراضي لم يكتشف ملفاً معطوباً في تجربتنا.
  3. نسبة الحجم: إذا كان الناتج أكبر من الأصل أو قريباً منه فلا فائدة من الاستبدال، وإذا كان أصغر بشكل غير منطقي، مثل 1% من الأصل، فالغالب أن التحويل توقف مبكراً.
  4. نسبة المدة: إضافة Compare File Duration Ratio تتأكد أن مدة الناتج هي نفس مدة الأصل تقريباً، فالفيديو الذي فقد آخر دقيقتين قد يمر من فحص الحجم.
  5. مجلد ناتج منفصل، ثم الاستبدال لاحقاً: في المرحلة الأولى انسخ الناتج إلى مجلد آخر بإضافة Copy to Directory ولا تستبدل الأصل، وراجع عينة، ثم احذف الأصول على دفعات بعد أن تتأكد، أو انقل ال Flow إلى الاستبدال بعد أن يمر شهر دون مشكلات.

وفوق هذا كله يجب أن تكون للمكتبة نسخة احتياطية Backup قبل أن تبدأ، وأن تكون قد جربت استرجاع ملف منها، لأن التحويل يمكن إعادته أما الحذف فلا. وقد شرحت صفحة ال Cache أن الناتج ينسخ فوق الأصل في النهاية، وتقول اتفاقية الترخيص صراحة إن Tdarr غير مسؤول عن أي فقد للبيانات أثناء المعالجة، فالمسؤولية عليك أنت.

تجربة عملية: سبعة ملفات وأربعة أعطال

في هذه التجربة نشغل Tdarr 3.08.00 في Docker على مكتبة صغيرة تشبه أرشيف جهة حقيقية، ونبني ال Flow، ونشغله، ونقرأ تقارير المهام عند كل عطل، ثم نقيس النتائج. وكل الملفات حرة الرخصة أو مولدة بأداة FFmpeg نفسها.

مكتبة الاختبار

جمعنا سبعة ملفات في ثلاثة مجلدات، وكل ملف اخترناه ليمثل حالة نقابلها في الأرشيف: ثلاثة مقاطع دعائية من أفلام Blender المفتوحة، Sintel وBig Buck Bunny بدقتين، ورخصتها CC BY 3.0، ومحاضرة مولدة تشبه تسجيل الشاشة بمعدل عال، وتسجيل فعالية قديم بصيغة MPEG-2، ومقطع مرمز أصلاً بـ HEVC، ونسخة من مقطع Sintel أفسدنا في وسطها 300 كيلوبايت ببيانات عشوائية لنحاكي ملفاً تلف على القرص:

# محاضرة 1080p بمعدل 8 ميجابت كما يكتبها برنامج تسجيل الشاشة: خلفية ثابتة ونافذة متحركة ومؤشر
ffmpeg -f lavfi -i "color=c=0xf4f4f4:s=1920x1080:r=30,drawgrid=w=160:h=90:t=2:c=0xd0d0d0" \
  -f lavfi -i "testsrc2=s=480x270:r=30" -f lavfi -i "color=c=red:s=24x24:r=30" \
  -f lavfi -i "sine=frequency=330:sample_rate=48000" \
  -filter_complex "[0][1]overlay=x=1300:y=120[a];[a][2]overlay=x='200+mod(t*90,1400)':y='700+60*sin(t)'" \
  -t 90 -c:v libx264 -preset veryfast -b:v 8M -maxrate 8M -bufsize 16M -g 60 -pix_fmt yuv420p \
  -c:a aac -b:a 160k lectures/lecture-week01.mp4

# تسجيل فعالية قديم: MPEG-2 بدقة 720x576 وصوت MP2
ffmpeg -f lavfi -i "testsrc2=s=720x576:r=25" -f lavfi -i "sine=frequency=440:sample_rate=48000" \
  -t 40 -c:v mpeg2video -b:v 6M -c:a mp2 -b:a 192k archive/event-2009.mpg

# مقطع HEVC أصلاً: يجب أن يتجاوزه ال Flow
ffmpeg -i sintel_trailer-1080p.mp4 -t 20 -vf scale=1280:-2 -c:v libx265 -crf 28 -preset fast -c:a copy films/sintel-clip-hevc.mkv

# ملف تالف: 300 كيلوبايت عشوائية بعد أول 7 ميجابايت
cp sintel_trailer-1080p.mp4 archive/sintel-damaged.mp4
dd if=/dev/urandom of=archive/sintel-damaged.mp4 bs=1024 seek=7000 count=300 conv=notrunc

ثم قرأنا خصائص كل ملف بأداة ffprobe قبل أي تحويل، والمخرج سوف يكون كما يلي:

archive/event-2009.mpg              31148032 B  mpeg2video,720,576, 40.010022,6228045
archive/sintel-damaged.mp4          14621544 B  h264,1920,1080 52.208333,2240491
films/sintel-clip-hevc.mkv           1039945 B  hevc,1280,720 20.010000,415770
films/sintel_trailer-1080p.mp4      14621544 B  h264,1920,1080 52.208333,2240491
films/trailer_1080p.mov             30874052 B  h264,1920,1080 32.995000,7485752
films/trailer_480p.mov              11061011 B  h264,853,480 32.995000,2681863
lectures/lecture-week01.mp4         29698990 B  h264,1920,1080 90.000000,2639910

في المخرج أعلاه لاحظ التالي:

  • الملف التالف له نفس الحجم ونفس الخصائص تماماً مثل الأصل السليم، لأن العطب في البيانات وليس في الفهرس، فأي فحص يقرأ الخصائص فقط سوف يراه سليماً.
  • المحاضرة طلبنا لها 8 ميجابت، ولكن المعدل الفعلي 2.6 ميجابت، والسبب أن libx264 لم يجد في الصورة الثابتة ما يصرف عليه البتات، فالخيار -b:v هدف وليس التزاماً. وهذا لا يغير الفكرة: 2.6 ميجابت لشريحة ثابتة ما زالت أكثر بكثير من الحاجة.
  • المقطع trailer_480p.mov عرضه 853 بكسل، وهو رقم فردي، وتذكر هذا الرقم لأنه سوف يظهر في العطل الثالث.

ولاحظ أننا نعطي Tdarr نسخة من المكتبة وليس المكتبة الأصلية، فالمجلد lib0 يبقى كما هو للمقارنة، والمجلد lib هو الذي يراه Tdarr.

تشغيل Tdarr في Docker

نشغل السيرفر مع Node داخلية في Container واحد، وهو الإعداد الذي يوصي به دليل التثبيت بأداة Docker Compose للبداية، والملف التالي هو نفس الإعدادات التي شغلنا بها التجربة:

services:
  tdarr:
    image: ghcr.io/haveagitgat/tdarr:3.08.00
    container_name: sp10-tdarr
    ports:
      - "9530:8265"   # web UI
      - "9531:8266"   # server API (external Nodes connect here)
    environment:
      - TZ=Asia/Riyadh
      - PUID=1000
      - PGID=1000
      - serverIP=0.0.0.0
      - serverPort=8266
      - webUIPort=8265
      - internalNode=true
      - inContainer=true
      - ffmpegVersion=7
      - nodeName=sp10-internal
      - auth=false          # lab only: turn it on (auth=true + apiKey) on any shared network
      - openBrowser=false
      - startPaused=true    # start with workers paused until the flow is ready
    volumes:
      - server:/app/server  # database, job reports, backups
      - configs:/app/configs
      - logs:/app/logs
      - ./lib:/media
      - ./out:/output
      - cache:/temp         # transcode cache: fast disk, enough room for the largest file x workers
volumes:
  server:
  configs:
  logs:
  cache:

في الإعداد أعلاه لاحظ التالي:

  • رقم الإصدار 3.08.00 ثابت وليس latest، لأن Tdarr يصدر نسخة كل أسبوع تقريباً، وأنت لا تريد أن يتغير سلوك ال Flow في منتصف مكتبة لأن ال Container أعيد تشغيله.
  • ffmpegVersion=7: هذا الإصدار يأتي بنسختين من FFmpeg المعدل من مشروع Jellyfin، والسجل عند التشغيل يقول Installed FFmpeg version is: 8.1.2-Jellyfin ثم يختار 7.1.4 بسبب هذا المتغير. وتقول ملاحظات الإصدار 3.08.00 التي ظهرت لنا في الواجهة إن الملفات شديدة التلف «تفشل الآن بدلاً من أن تنتهي» مع النسخة الجديدة، وهذا سبب إضافي لأن تختار النسخة عمداً وتجرب الانتقال على مكتبة الاختبار.
  • startPaused=true يجعل ال Node تبدأ متوقفة، فلا يبدأ أي تحويل قبل أن تنتهي من بناء ال Flow. وبدون هذا الخيار قد يبدأ Tdarr بالإعدادات الافتراضية على المكتبة بمجرد أن تضيفها.
  • auth=false في التجربة فقط، أما على أي شبكة مشتركة فشغل المصادقة كما تشرح صفحة المصادقة، والسبب أن من يصل إلى الواجهة يستطيع أن يكتب Flow يحذف المكتبة كلها، أو يشغل أي أمر عبر إضافة Run CLI.
  • عدد ال Workers يبدأ صفراً لكل نوع، وقد رفعنا Transcode CPU إلى 1 فقط، لأن قياس الوقت لكل ملف يكون أوضح بدون تزاحم، ولأن libx265 يستخدم كل الأنوية أصلاً.

وعند تشغيل ال Container سوف تجد في السجل أن السيرفر بدأ ثم سجلت ال Node الداخلية نفسها:

[INFO] Tdarr_Server - Starting Tdarr_Server_Rust
[INFO] Tdarr_Server - version: 3.08.00, buildDate: 2026_11_13T06_27_12z
[INFO] Tdarr_Server - Tdarr_Server listening at http://0.0.0.0:8266
[INFO] Tdarr_Server - FFmpeg version:  7.1.4-jellyfin
[INFO] Tdarr_Node - Node version 3.08.00 matches Server version 3.08.00
[INFO] Tdarr_Server - Node sp10-internal [ID=A2EXSLe] [Address=127.0.0.1] [PID=715] registered
[INFO] Tdarr_Node - Node connected & registered, count:1

ولاحظ السطر Starting Tdarr_Server_Rust، فالسيرفر في هذه السلسلة يعمل بمحرك مكتوب بلغة Rust كما يقول السجل وحالة السيرفر "serverEngine":"rust"، والواجهة البرمجية API تعرض نفسها في المسار /api/v2/public/api-docs، وقد استخدمناها لإنشاء المكتبة وال Flow من سكربت بدلاً من النقر في الواجهة، حتى يكون الإعداد قابلاً للتكرار. وبعد إنشاء المكتبة وفحصها ظهرت الملفات السبعة في صفحة البحث بخصائصها:

لقطة من صفحة Search في Tdarr تبين سبعة ملفات في مكتبة Org video archive مع المسارات والترميز والدقة والحجم والمعدل والمدة: trailer_1080p.mov بترميز h264 وحجم 29.44 ميجابايت، وsintel-damaged.mp4 وsintel_trailer-1080p.mp4 بحجم 13.94 ميجابايت لكل منهما، وlecture-week01.mp4 بحجم 28.32 ميجابايت ومدة دقيقة ونصف، وsintel-clip-hevc.mkv بترميز hevc، وevent-2009.mpg بترميز mpeg2video ودقة 576p، وtrailer_480p.mov
نتيجة الفحص الأول: كل ملف وخصائصه في قاعدة بيانات السيرفر

العطل الأول: الملف بقي في ال Cache

النسخة الأولى من ال Flow كانت بسيطة: فحص Thorough، ثم التحقق من HEVC، ثم التحويل، ثم مقارنة الحجم، ثم Copy to Directory إلى /output وانتهى. وبعد أول ملف كانت النتيجة «Transcode error»، مع أن التحويل نفسه نجح والناتج وصل إلى مجلد الناتج. وفي تقرير المهمة كان السبب في آخره:

New file has size 6.256 MB which is 21.24591550211809% of original file size:  29.444 MB
[Step W03] [C9] [HEVC archive copy] Running Community plugin: 1.0.0: copyToDirectory: Copy to /output
Output path: /output/films
No next plugin
[-error-]
Final working file is still in the transcode cache, not allowed: /temp/tdarr-workDir2-KwCQtZh/1794849735291/trailer_1080p.mkv.
The file should do something such as replace the original file or be moved to an output folder.

والسبب أن Tdarr يتتبع ما يسميه «الملف العامل Working File»، وهو الملف الذي ستعمل عليه الإضافة التالية، وبعد Execute أصبح الملف العامل هو الناتج في ال Cache. وإضافة Copy to Directory تنسخ ولا تنقل، فبقي الملف العامل في ال Cache، ويرفض Tdarr أن ينهي مهمة ملفها العامل في ال Cache، لأنه سوف يحذف ال Cache بعدها ولا يعرف هل كنت تريد هذا الملف أم لا. والحل كما تقترح الرسالة نفسها أن نعيد الملف العامل إلى الأصل بعد النسخ بإضافة Set Working File، وأن نفعل نفس الشيء على المخرج الثاني لمقارنة الحجم، أي عندما لا يكون الناتج أصغر، فيترك الناتج ليحذف مع ال Cache.

وهذا العطل مفيد أكثر مما يبدو، لأنه يعني أن Tdarr لا يسمح لك بأن تنسى ما يحدث للناتج، وهذا أفضل من سكربت يترك ملفات مؤقتة تملأ القرص بصمت.

العطل الثاني: المعالج يعمل بثلث طاقته

في نفس التقرير لاحظنا سطرين في مخرج x265 وسرعة لا تتناسب مع معالج بثمانية خيوط:

x265 [error]: Failed to genrate CPU mask
x265 [warning]: No thread pool allocated, --wpp disabled
x265 [warning]: No thread pool allocated, --lookahead-slices disabled
x265 [info]: frame threads / pool features       : 3 / none
encoded 812 frames in 123.51s (6.57 fps), 1174.14 kb/s, Avg QP:29.90

ومعنى الرسالة أن x265 حاول أن يعرف أنوية المعالج المتاحة ومناطق الذاكرة NUMA ففشل داخل ال Container، فلم ينشئ مجموعة الخيوط Thread Pool، وعمل بثلاثة خيوط للإطارات فقط، وأوقف المعالجة المتوازية لصفوف الصورة WPP. وفي توثيق الخيوط في x265 أن مجموعة الخيوط هي التي تشغل معظم العمل المتوازي، وأن الخيار pools يحدد عدد خيوطها يدوياً. لذلك قسنا الفرق على نفس الثماني ثوان من المقطع، مرتين لكل إعداد بالتناوب، لأن الجهاز مشترك مع أعمال أخرى:

== -x265-params pools=8
x265 [info]: frame threads / pool features       : 3 / wpp(17 rows)
bench: utime=117.798s stime=17.678s rtime=43.588s
== (default)
x265 [info]: frame threads / pool features       : 3 / none
bench: utime=145.465s stime=28.179s rtime=129.457s
== -x265-params pools=8
bench: utime=106.860s stime=16.904s rtime=26.948s
== (default)
bench: utime=106.846s stime=4.036s rtime=86.688s

في المخرج أعلاه لاحظ التالي:

  • rtime هو الوقت الفعلي، وutime هو وقت المعالج الذي استهلكته كل الخيوط. مع مجموعة الخيوط كان الوقت الفعلي بين 27 و44 ثانية، وبدونها بين 87 و129 ثانية، أي أبطأ ثلاث مرات تقريباً لنفس العمل.
  • وقت المعالج utime متقارب في الحالتين، وهذا يعني أن العمل نفسه لم يتغير، وإنما توزيعه: بدون مجموعة الخيوط كان x265 يستخدم أكثر بقليل من نواة واحدة في المتوسط، ومعها استخدم ما بين ثلاث وأربع أنوية.
  • الحجم الناتج تغير بأقل من 0.3%، فالمعالجة المتوازية لا تغير الجودة بشكل ملحوظ.

وأضفنا إلى ال Flow إضافة Custom Arguments بالقيمة -x265-params pools=8، والرقم 8 هو عدد الخيوط التي تريد أن يستخدمها كل Worker، فإذا شغلت Workerين على نفس الجهاز فاقسم الأنوية بينهما. وهذه النقطة بالذات لا تظهر في أي واجهة، وإنما في سطر تحذير داخل تقرير مهمة، وهذا سبب كاف لأن تقرأ أول تقرير كاملاً قبل أن تشغل المكتبة كلها.

العطل الثالث: عرض 853 بكسل

بعد الإصلاح أعدنا كل الملفات إلى الطابور، ففشل المقطع trailer_480p.mov خلال ثانية واحدة:

Running tdarr-ffmpeg -y -i /media/films/trailer_480p.mov -map 0:0 -c:0 libx265 -crf 26 -preset medium -map 0:1 -c:1 copy -x265-params pools=8 ...
x265 [error]: Picture width must be an integer multiple of the specified chroma subsampling
[vost#0:0/libx265 @ 0x555fa50eef00] Error while opening encoder - maybe incorrect parameters such as bit_rate, rate, width or height.
CLI tdarr-ffmpeg exited with code: 183

والسبب ما ذكرناه في تقليل دقة الألوان: في صيغة 4:2:0 تحفظ الألوان بنصف العرض ونصف الارتفاع، فالعرض يجب أن يكون زوجياً، و853 فردي. والملف الأصلي يعمل لأن مرمز H.264 القديم الذي كتبه تعامل مع الأمر بطريقته، أما libx265 فيرفضه صراحة. والحل أن نضيف مرشح تحجيم يقرب العرض والارتفاع لأقرب رقم زوجي، فأصبحت قيمة Custom Arguments:

-vf scale=trunc(iw/2)*2:trunc(ih/2)*2 -x265-params pools=8

وهذا المرشح لا يغير شيئاً في الملفات التي أبعادها زوجية أصلاً، وفي هذا الملف يحذف عموداً واحداً من البكسلات. ولاحظ أن هذا النوع من الملفات نادر في المكتبات الحديثة وشائع في الأرشيف القديم، وأن سكربتاً بسيطاً كان سوف يفشل عليه بنفس الطريقة، ولكن الفرق أن Tdarr سجل الفشل في الواجهة وترك الأصل كما هو.

العطل الرابع: فحص «سليم» لملف معطوب

هذا أخطر الأعطال الأربعة، ولو لم نضع ملفاً معطوباً عن قصد في مكتبة الاختبار لما اكتشفناه. فقد استخدمنا في النسخة الأولى إضافة Run Health Check بالنوع Thorough، وهو بحسب صفحة الفحص يمر على كل إطار في الملف بأداة FFmpeg، بينما النوع Quick يقرأ الترويسات فقط بأداة HandBrake. وكانت النتيجة في تقرير الملف المعطوب كما يلي:

Running tdarr-ffmpeg -stats -v error -i /media/archive/sintel-damaged.mp4 -f null -max_muxing_queue_size 9999 ...
[aist#0:1/aac] [dec:aac] Error submitting packet to decoder: Invalid data found when processing input
[h264 @ 0x5639b9625e00] Error splitting the input into NAL units.
[vist#0:0/h264] [dec:h264] Error submitting packet to decoder: Invalid data found when processing input
...
CLI tdarr-ffmpeg exited with code: 0
logOutcome:hSuc
{"_id":"/media/archive/sintel-damaged.mp4","outputNumber":1,"variables":{"automation":{},"healthCheck":"Success"}}

في المخرج أعلاه لاحظ التالي:

  • طبع FFmpeg 65 سطر خطأ في فك الترميز، في الصوت والصورة معاً، أي أنه رأى العطب بوضوح.
  • ولكن رمز الخروج كان صفراً، لأن FFmpeg افتراضياً يتجاوز الحزم التالفة ويكمل، وهذا سلوك صحيح للمشاهدة ولكنه خاطئ للفحص.
  • والإضافة اعتمدت على رمز الخروج فقط، فكتبت healthCheck: Success، ثم حول ال Flow الملف المعطوب إلى HEVC ونسخه إلى مجلد الناتج بنسبة 42% من حجم الأصل، وكأن شيئاً لم يكن.

وقد ذكرنا في رموز الخروج والملفات المعطوبة أن رمز الخروج يكشف الفشل الكامل فقط، وهذا مثال حي في أداة متخصصة. والحل أن نطلب من FFmpeg أن يتوقف عند أول خطأ بالخيار -xerror الموثق في دليل ffmpeg، فجربناه أولاً على الملفين يدوياً:

tdarr-ffmpeg -hide_banner -v error -i sintel-damaged.mp4 -f null - ; echo "exit=$?"
tdarr-ffmpeg -hide_banner -v error -xerror -i sintel-damaged.mp4 -f null - ; echo "exit=$?"
tdarr-ffmpeg -hide_banner -v error -xerror -i sintel_trailer-1080p.mp4 -f null - ; echo "exit=$?"

والنتيجة: الأمر الأول انتهى برمز 0 كما في Tdarr، والثاني انتهى برمز 183 عند أول حزمة تالفة، والثالث على الملف السليم انتهى برمز 0. ثم وجدنا أن إعدادات ال Node فيها خانة thoroughHealthCheckCpuExtraInputArgs فوضعنا فيها -xerror، وأعدنا الملف إلى الطابور، فمر مرة أخرى بنجاح! والسبب بعد قراءة التقرير أن هذه الخانة تخص فحوص المكتبة الكلاسيكية التي تعمل في طابور الفحص، ولا تقرؤها إضافة Run Health Check داخل ال Flow. لذلك استبدلنا الإضافة بإضافة Run CLI تشغل FFmpeg بالأمر الذي نريده بالضبط:

{
  "id": "hc",
  "name": "Strict decode check",
  "pluginName": "runCli",
  "inputsDB": {
    "useCustomCliPath": "false",
    "userCli": "ffmpeg",
    "doesCommandCreateOutputFile": "false",
    "cliArguments": "-v error -xerror -i \"{{{args.inputFileObj._id}}}\" -f null -",
    "outputFileBecomesWorkingFile": "false"
  }
}

وعند إعادة الملف المعطوب إلى الطابور توقف في الخطوة الثانية خلال ثلاث ثوان:

Running tdarr-ffmpeg -v error -xerror -i /media/archive/sintel-damaged.mp4 -f null -
CLI error code: 183
[aist#0:1/aac] [dec:aac] Error submitting packet to decoder: Invalid data found when processing input
[aist#0:1/aac] [dec:aac] Task finished with error code: -1094995529 (Invalid data found when processing input)

وأصبحت حالته «Transcode error»، والأصل كما هو، والتقرير يقول بالضبط أين العطب. وهذا ما تريده من الفحص: أن يوقف الملف ويخبرك، لا أن يحوله. ولاحظ أن الخيار -xerror صارم جداً، فأي ملف فيه حزمة واحدة تالفة في الثانية الأخيرة سوف يتوقف، وهذا مقبول في الأرشيف، لأن الملف الذي يتوقف هنا يحتاج قراراً بشرياً على أي حال: هل له نسخة أخرى سليمة؟ هل نحوله مع العطب ونعرف ذلك؟

💡
إذا كنت تستخدم فحوص المكتبة الكلاسيكية Health Checks بدلاً من ال Flow، فخانة thoroughHealthCheckCpuExtraInputArgs في إعدادات ال Node هي مكان -xerror. وفي الحالتين جرب الفحص على ملف أفسدته بنفسك قبل أن تثق به.

النتائج: الحجم والوقت والجودة

بعد الإصلاحات الأربعة انتهت المكتبة كلها، فالملف المعطوب توقف في الفحص، وملف HEVC تجاوز كل شيء في 6 ثوان لأن ال Flow وجده مرمزاً أصلاً، والخمسة الباقية حولت ونسخت إلى مجلد الناتج. ثم قسنا SSIM لكل ناتج مقارنة بالأصل من مجلد lib0 بالمرشح ssim في FFmpeg:

رسم بياني لنتائج خمسة ملفات: event-2009.mpg من 31.1 إلى 6.1 ميجابايت أي 19% في 31 ثانية وSSIM 0.991، وtrailer_1080p.mov من 30.9 إلى 6.6 أي 21% في 114 ثانية وSSIM 0.991، وlecture-week01.mp4 من 29.7 إلى 7.3 أي 24% في 234 ثانية وSSIM 0.998، وsintel_trailer-1080p.mp4 من 14.6 إلى 6.2 أي 43% في 168 ثانية وSSIM 0.984، وtrailer_480p.mov من 11.1 إلى 3.2 أي 29% في 24 ثانية وSSIM 0.988، والمجموع 117.4 ميجابايت أصبحت 29.4 في 570 ثانية
ربع الحجم الأصلي في المجموع، ووقت التحويل أكثر من ضعفي مدة الفيديو على هذا المعالج

والجدول التالي يجمع الأرقام نفسها مع زمن خطوة Execute فقط من تقرير كل مهمة:

الملفقبلبعدالنسبةزمن التحويلمدة الفيديوSSIM
event-2009.mpg (MPEG-2)31.1 MB6.1 MB19%31 ث40 ث0.991
trailer_1080p.mov30.9 MB6.6 MB21%114 ث33 ث0.991
lecture-week01.mp429.7 MB7.3 MB24%234 ث90 ث0.998
sintel_trailer-1080p.mp414.6 MB6.2 MB43%168 ث52 ث0.984
trailer_480p.mov11.1 MB3.2 MB29%24 ث33 ث0.988
sintel-clip-hevc.mkv1.0 MBتجاوزه ال Flow020 ث
sintel-damaged.mp414.6 MBأوقفه الفحص الصارم052 ث

وعند قراءة النتائج لاحظ التالي:

  • المكسب الأكبر كان في ملف MPEG-2 والمحاضرة، أي الملفات المرمزة بطريقة قديمة أو بمعدل أعلى من الحاجة، كما توقعنا في بداية المقال. أما Sintel، وهو مرمز أصلاً بمعدل معتدل 2.2 ميجابت، فلم ينخفض إلا إلى 43%.
  • زمن التحويل لا يتبع الحجم وإنما الدقة وعدد الإطارات: المحاضرة 90 ثانية بدقة 1080p و30 إطاراً في الثانية أخذت 234 ثانية، بينما ملف MPEG-2 بدقة 576p أخذ 31 ثانية. وفي المجموع احتاجت أربع دقائق من الفيديو 570 ثانية، أي 2.3 ضعف مدتها، على معالج i7-7700K من سنة 2017 يعمل عليه في نفس الوقت عمل آخر.
  • أعلى SSIM كان للمحاضرة، لأن الصورة الثابتة سهلة على أي مرمز، وأقله لمقطع Sintel. وعندما فتحنا تفاصيل الإطارات وجدنا أن الأرقام المنخفضة تتركز في مشهد حركة سريعة قرب الثانية 30، ولما وضعنا الإطار رقم 720 من الأصل والناتج جنباً إلى جنب لم نر فرقاً بالعين في هذا الإطار. وهذا ما نقصده بأن المتوسط لا يكفي: افتح أسوأ الإطارات وانظر إليها بنفسك، ولا تحكم من رقم واحد.

وهناك ملاحظة أخيرة من لوحة التحكم: عداد المساحة الموفرة Space saved يقول 0 ميجابايت، وعدد التحويلات صفر، رغم أن خمسة ملفات حولت.

لقطة من لوحة تحكم Tdarr بعد التجربة: Queue counts فيها صفر في طابور التحويل وخطأ تحويل واحد، وAll-time totals فيها 7 ملفات و0 Transcodes و7 Health checks و0 MB Space saved، وActive workers صفر من واحد، وNodes overview فيها sp10-internal، وأسفلها رسوما Job outcomes وSpace saved مغلقان بعلامة Get Pro
صفر توفير في العداد، لأن ال Flow نسخ الناتج إلى مجلد آخر ولم يستبدل الأصل

والسبب أن Tdarr يحسب التوفير عندما يستبدل الناتج الأصل، أما في ال Flow الآمن فقد أعدنا الملف العامل إلى الأصل بعد النسخ، فرأى Tdarr أن الملف لم يتغير وكتب حالته «Not required». لذلك لا تحكم على المشروع من عدادات الواجهة في المرحلة الأولى، وإنما من مجلد الناتج نفسه، وهنا كان المجموع 117.4 ميجابايت أصبحت 29.4.

حذف التجربة

بعد انتهاء التجربة نحذف ال Container وال Volumes الأربعة وال Image، والأخيرة حجمها 6.1 جيجابايت على القرص لأنها تحمل نسختين من FFmpeg وHandBrake:

docker compose -f lab/compose.yaml down -v
docker image rm ghcr.io/haveagitgat/tdarr:3.08.00

من التجربة إلى مكتبة حقيقية

الآن لنحسب ما تعنيه هذه الأرقام لأرشيف حقيقي. لنفرض أن لدى الجهة 2 تيرابايت من التسجيلات، ومعظمها محاضرات ومقاطع بدقة 1080p ومعدل متوسط 5 ميجابت، فهذا يعني قرابة 890 ساعة فيديو. وعلى معالج مثل معالج التجربة وبنسبة 2.3 من مدة الفيديو، يحتاج التحويل قرابة 2000 ساعة، أي قرابة 85 يوماً من العمل المتواصل على جهاز واحد. وهذا رقم يغير طريقة التفكير: إما أن توزع العمل على عدة Nodes، أو تستخدم إعداداً أسرع مثل SVT-AV1 preset 8 الذي كان أسرع بثلاث مرات من x265 في قياسنا، أو تبدأ بالملفات التي تعطي أكبر مكسب، أي MPEG-2 والتسجيلات بمعدلات عالية، وتترك الملفات المرمزة جيداً.

ولتحويل المكتبة الحقيقية رتب العمل كما يلي:

  1. رتب حسب المكسب: استخدم إضافات الفحص في بداية ال Flow مثل Check Video Codec وCheck Overall Bitrate لتختار الملفات التي معدلها أعلى من حد معين، وابدأ بها.
  2. حدد ساعات العمل Schedule: في إعدادات المكتبة جدول أسبوعي بالساعات، فاسمح بالتحويل في الليل وعطلة نهاية الأسبوع فقط إذا كان السيرفر يخدم أعمالاً أخرى في النهار.
  3. أضف Nodes تدريجياً: كل جهاز فارغ في الليل يمكن أن يصبح Node، بشرط أن يرى نفس المسارات وأن يكون قريباً من التخزين على الشبكة، لأن كل Worker يقرأ الملف كاملاً ويكتب الناتج كاملاً.
  4. شغل المصادقة واستخدم مفتاحاً API Key لل Nodes، ولا تفتح المنفذين 8265 و8266 خارج الشبكة الداخلية.
  5. احفظ قاعدة البيانات: المجلد /app/server فيه قاعدة البيانات وتقارير المهام والنسخ الاحتياطية الداخلية، فضعه في نسختك الاحتياطية، لأن فقده يعني أن Tdarr نسي أي ملف حول وأي ملف فشل.
  6. راقب المساحة: مجلد الناتج يكبر قبل أن تحذف أي أصل، فخطط للمساحة الإضافية قبل البداية، أو اعمل على دفعات مجلداً بعد مجلد.

أخطاء شائعة وكيف تكتشفها

  • تشغيل المكتبة كلها من أول يوم: كل عطل في ال Flow يتكرر على آلاف الملفات، وقد كشفت سبعة ملفات أربعة أعطال في تجربتنا.
  • الثقة في الفحص الافتراضي: الفحص Thorough نجح على ملف فيه 65 خطأ لأن رمز الخروج كان صفراً، فجرب الفحص على ملف أفسدته بنفسك، واستخدم -xerror.
  • Replace Original File في النسخة الأولى من ال Flow: ابدأ بمجلد ناتج منفصل، واستبدل لاحقاً بعد المراجعة.
  • تجاهل تحذيرات x265: «No thread pool allocated» جعل التحويل أبطأ ثلاث مرات دون أي خطأ ظاهر في الواجهة.
  • نسيان الأبعاد الفردية: ملفات الأرشيف القديمة فيها أبعاد مثل 853 بكسل، وlibx265 يرفضها، فأضف مرشح التقريب لرقم زوجي.
  • Cache على نفس القرص الميكانيكي للمكتبة: القراءة والكتابة تتزاحم، وال Worker الثاني يجعل الأول أبطأ.
  • الحكم من عدادات الواجهة: عداد التوفير قال 0 ميجابايت والتوفير الحقيقي كان 75%، فقس من مجلد الناتج.
  • الحكم على الجودة من رقم متوسط واحد: SSIM المتوسط يخفي المشاهد الصعبة، فافتح أسوأ الإطارات وشاهد عينة بعينك.
  • Tag متحرك مثل latest: الإصدار يتغير أسبوعياً تقريباً، وتغيير نسخة FFmpeg بين الإصدارات قد يغير سلوك الفحص نفسه.
  • تجاهل الرخصة: Tdarr برنامج مغلق المصدر باتفاقية تفرق بين الاستخدام الشخصي والأعمال، فراجعها قبل الإنتاج في أي جهة.

قائمة التحقق Checklist قبل تشغيل المكتبة كلها

السؤالالإجابة التي تريدها
هل للمكتبة نسخة احتياطية جربت استرجاعها؟نعم، قبل أي تحويل
هل قرأت اتفاقية الترخيص لنوع استخدامك؟نعم، أو اخترت أداة مفتوحة المصدر
هل اخترت المرمز بحسب أجهزة المشاهدين؟H.264 للتوافق، HEVC أو AV1 للحجم
هل جربت ال Flow على مكتبة اختبار متنوعة؟نعم، وفيها ملف معطوب عن قصد
هل يوقف الفحص الملف المعطوب فعلاً؟نعم، برمز خروج غير صفري
هل في ال Flow مقارنة حجم ومدة؟نعم، والملف الأكبر لا يستبدل الأصل
أين يذهب الناتج في المرحلة الأولى؟مجلد منفصل، والأصل كما هو
هل قرأت أول تقرير مهمة كاملاً؟نعم، ولا تحذيرات من المرمز
هل ال Cache على قرص سريع بمساحة كافية؟أكبر ملف × عدد ال Workers وهامش
هل الإصدار ثابت والمصادقة مفعلة؟رقم إصدار محدد، و auth=true
هل حسبت الوقت الكلي؟ساعات الفيديو × نسبة التحويل ÷ عدد ال Nodes

تدريب عملي Practice

  1. أضف إلى ال Flow إضافة Compare File Duration Ratio بعد مقارنة الحجم، ثم اصنع ملفاً ناقصاً بقص آخر 10 ثوان من مقطع وضعه في مكتبة الاختبار، وتأكد أن ال Flow يرفضه.
  2. غير المرمز في Set Video Encoder إلى av1، وشغل نفس المكتبة إلى مجلد ناتج آخر، ثم قارن الحجم والوقت وSSIM مع نتائج HEVC في هذا المقال.

الخلاصة Summary

  • احسب قبل أن تحول: المكسب الأكبر من الصيغ القديمة والملفات بمعدلات أعلى من حاجتها، وفي تجربتنا انخفض MPEG-2 إلى 19% بينما انخفض مقطع مرمز جيداً إلى 43% فقط.
  • Tdarr يفصل القرار عن التنفيذ: Server يحفظ الحالة والطابور، وNodes فيها Workers للتحويل والفحص بالمعالج أو البطاقة، وكلها ترى نفس المسارات.
  • Tdarr ليس مفتوح المصدر، والإضافات فقط مفتوحة، فراجع اتفاقية الترخيص لاستخدام الجهات، أو استخدم Unmanic أو سكربتك بنفس الأفكار.
  • HEVC وAV1 أعطيا نصف حجم H.264 بنفس SSIM تقريباً، وSVT-AV1 السريع كان الأسرع والأصغر، والتوافق مع أجهزة المشاهدين هو ما يحسم القرار.
  • الفحص الافتراضي مرر ملفاً فيه 65 خطأ لأن رمز الخروج صفر، والفحص الصارم بالخيار -xerror أوقفه في ثلاث ثوان.
  • x265 داخل ال Container عمل أبطأ ثلاث مرات حتى أضفنا pools=8، والسبب كان تحذيراً في تقرير مهمة وليس خطأ في الواجهة.
  • ابدأ بمكتبة اختبار ومجلد ناتج منفصل، ولا تستبدل الأصل إلا بعد المراجعة، وقس النتائج من الملفات لا من العدادات.

وفي المقال التالي من نفس المرحلة إن شاء الله سوف نتحدث عن البث المباشر من سيرفرك بأداة Owncast، ثم منصة فيديو كاملة للجهة بأداة PeerTube، وهذه مقالات قريبة من الموضوع:

دليلFFmpeg عملياً: الأداة التي تقف خلف تطبيقات الفيديوكيف يعمل FFmpeg من الداخل، وكيف تكتب أوامره للقص والدمج والترجمة العربية والصوت والصور المصغرة دون أن تفسد الملف.دليلالبث المتكيف Adaptive Streaming: صيغتا HLS أو DASH والتحويلكيف تصمم سلم الجودات والأجزاء للبث المتكيف، وماذا يقرر hls.js وdash.js عندما تنخفض السرعة، ولماذا توقف الفيديو بسبب رقم واحد في القائمة.دليلمفاهيم الفيديو: الحاوية والترميز Codec ومعدل البتما الذي يحدد حجم ملف الفيديو وجودته، ولماذا يعمل ملف في متصفح ولا يعمل في آخر، مع تجربة حقيقية تقيس الفرق بين الترميزات.دليلكيف تبني منصة فيديو عند الطلب مثل Netflixكيف يتحول فيديو مرفوع إلى بث يناسب كل شاشة وسرعة اتصال، وما الذي تحتاجه منصتك من التحويل إلى التوصيل والتكلفة.دليلقناة بث مباشر Live Streaming للجهة مع Owncastكيف تشغل قناة بث مباشر بصفحة ودردشة على سيرفر الجهة بأداة Owncast، وكم معالجاً وشبكة وثانية تأخير تحتاج بالقياس، ومتى يكون YouTube Live أنسب.دليلمنصة فيديو للجهة مع PeerTube: التثبيت والتحويل Transcodingكيف تبني مكتبة تسجيلات الجهة على سيرفرها بأداة PeerTube، وكم ثانية ومساحة يحتاج كل فيديو بالقياس، وما الذي تغيره في الاتحاد وP2P والدخول قبل الإنتاج.

سجل التحديثات Changelog

  • 16 نوفمبر 2026: كتابة المقال، وتنفيذ التجربة على Tdarr 3.08.00 في Docker مع Node داخلية وFFmpeg 7.1.4-Jellyfin ومرمز libx265، وقياس المرمزات وSSIM بأداة FFmpeg 8.1.2، على مقاطع Sintel وBig Buck Bunny الدعائية وملفات مولدة.
نشرة عرب رووت | ArabRoot

معرفة تستحق مكاناً في بريدك.

مقالات مختارة وأدوات مفيدة وأفكار لمشروعك القادم، في رسالة واحدة كل أسبوع.

يمكنك إلغاء الاشتراك متى شئت. الخصوصية

تم استلام طلبك. افتح بريدك واضغط رابط التأكيد لإتمام الاشتراك.