الإلكترونيات والطائرات المسيرة والطباعة ثلاثية الأبعاد الأدلة التقنية

تصحيح البرامج المدمجة Debugging مع GDB ثم Renode

نزرع في برنامج مسجل حرارة ثلاثة أخطاء حقيقية ونشخصها بـ GDB على QEMU ثم Renode، بنقاط المراقبة وإطار الاستثناء ومسجلات العطل، ثم نكتب اختبارات Renode تمنع عودتها.

تصحيح البرامج المدمجة Debugging مع GDB ثم Renode

وصلت إلى فريق مسجل الحرارة في الشركة الناشئة ثلاثة تقارير في أسبوع واحد. الأول من شركة نقل تقول إن الجهاز أطلق إنذار الحرارة في شحنة كانت حرارتها 6 درجات، أي داخل المدى المسموح من 2 إلى 8. والثاني من صيدلية تقول إن متوسط الحرارة في تقرير إحدى الشحنات صفر بالضبط، وهذا مستحيل في شحنة مبردة. والثالث من سائق يقول إن الجهاز «يتجمد» أحياناً عندما يفتح تطبيق الهاتف لتفريغ السجل، ويحتاج أن يخرج البطارية ويعيدها. وفي الثلاثة لا توجد رسالة خطأ ولا سجل، والجهاز في صندوق على بعد مئات الكيلومترات. وفي خدمات الويب التي تعرفها تفتح السجلات أو أداة التتبع وترى ما حدث، وقد شرحنا ذلك في مقال قراءة رسالة الخطأ والتصحيح Debugging، أما هنا فلا يوجد Stack Trace ولا ملف سجل، ولا حتى شاشة.

وهذا المقال عن الأدوات التي يستخدمها مهندسو البرمجيات المدمجة لكي يروا داخل الشريحة: المنفذ التسلسلي Serial Console، والمصحح GDB عبر واجهة التصحيح JTAG أو SWD، ونقاط التوقف Breakpoints ونقاط المراقبة Watchpoints، وتقرير العطل الذي يكتبه معالج HardFault، ثم الاختبارات الآلية في المحاكي Renode داخل خط CI. وسوف نكتب برنامج مسجل الحرارة بثلاثة أخطاء حقيقية من نفس الأنواع التي أنتجت هذه التقارير، ونشغله في المحاكيين QEMU وRenode، ونصل GDB بهما، ونتسبب في عطل حقيقي ونشخصه من مسجلات المعالج حتى نصل إلى السطر والقيمة التي سببته، ثم نكتب اختبارات تمنع عودته.

وسوف نناقش في هذا المقال ما يلي:

  • لماذا التصحيح في الأجهزة المدمجة أصعب، وما الأدوات المتاحة من الطباعة إلى المسبار Debug Probe.
  • واجهتا JTAG وSWD، والمسابير الحقيقية، وكيف يتصل GDB بالشريحة أو بالمحاكي.
  • نقاط التوقف ونقاط المراقبة بالعتاد، ومتى تستخدم كلاً منها.
  • الأعطال في Cortex-M: HardFault وأخواته، وإطار الاستثناء، ومسجلات الحالة CFSR وHFSR.
  • المختبر: ثلاثة أخطاء نشخصها بـ GDB على QEMU وRenode، وفرق بين المحاكيين، ثم اختبارات Renode بـ Robot Framework.
  • التصحيح في الأجهزة المنتجة، والأخطاء الشائعة، وقائمة تحقق.

لماذا تصحيح البرامج المدمجة Embedded Debugging أصعب؟

في برنامج يعمل على Linux، الخطأ في الذاكرة غالباً ينتهي بإشارة Segmentation fault، ويكتب النظام ملف Core Dump، وتفتحه بالمصحح فترى السطر. والسبب أن نظام التشغيل يحمي ذاكرة كل برنامج، فأي وصول خاطئ يمسكه العتاد ويوقف البرنامج في اللحظة نفسها. أما في المتحكم فلا توجد حماية للذاكرة غالباً، وكل الذاكرة مكتوبة ومقروءة لكل الكود، فإذا كتب سطر خاطئ فوق متغير آخر فلن يمسكه أحد، ويستمر البرنامج بقيمة خاطئة، وقد يظهر أثرها بعد ساعات في جزء آخر لا علاقة له بالسطر المخطئ. وهذا بالضبط ما حدث في التقرير الأول: الجهاز يعمل ويقيس ويرسل، ولكن حد الإنذار نفسه تغير.

والمشكلة الثانية أن بعض الأخطاء لا تعطي أي إشارة على الإطلاق، فالقسمة على صفر في معالج Cortex-M3 أو M4 لا توقف البرنامج افتراضياً، وإنما تعطي صفراً، وهذا تصميم مقصود في المعمارية وليس خطأ، ولكنه يعني أن المتوسط الذي يجب أن يفشل بصوت عال يعيد صفراً بهدوء، كما في التقرير الثاني. والمشكلة الثالثة أن ما يحدث يعتمد على التوقيت والعتاد، فرسالة واحدة مشوهة من الهاتف تصل في لحظة معينة قد تكفي لتجميد الجهاز، ولا يمكنك أن تكررها بسهولة على مكتبك، وهذا التقرير الثالث.

ولذلك يبني المهندسون التصحيح في طبقات، ولكل طبقة ما تكشفه:

  • المنفذ التسلسلي Serial Console: أبسط أداة وأكثرها استخداماً، فسطر طباعة في المكان الصحيح يكشف الكثير، وفي الأجهزة الحقيقية يكون المنفذ هو أيضاً مكان تقرير العطل الذي يطبعه الجهاز قبل أن يعيد التشغيل. وعيبه أن الطباعة تغير التوقيت، فقد يختفي خطأ سباق بمجرد أن تضيف سطر طباعة، وهذا يسمى بين المهندسين Heisenbug.
  • المصحح Debugger عبر المسبار: GDB متصل بوحدة التصحيح داخل المعالج، يوقف البرنامج ويقرأ أي ذاكرة أو مسجل، ويضع نقاط توقف ومراقبة، بدون أن يغير كود البرنامج نفسه.
  • تقرير العطل Fault Report: كود صغير في معالج HardFault يحفظ أين كان المعالج ولماذا توقف، وهو ما يعطيك شيئاً من الأجهزة البعيدة التي لن تصل إليها بمسبار.
  • المحاكي Emulator والاختبارات الآلية: نفس ملف البرنامج يعمل في Renode أو QEMU، مع GDB، ومع اختبارات تعمل في كل دمج، فتكتشف أغلب الأخطاء قبل أن تصل إلى الصندوق.
المصحح gdb-multiarch يتصل بثلاثة أهداف: المحاكي QEMU بالخيار -S -gdb tcp::1234، والمحاكي Renode بالأمر machine StartGdbServer 3333، والشريحة الحقيقية عبر OpenOCD ومسبار J-Link أو ST-LINK وواجهة SWD، والكل يصل إلى وحدة التصحيح في Cortex-M، وتحتها طبقتا المنفذ التسلسلي والمصحح
نفس GDB مع المحاكيين ومع الشريحة الحقيقية، والفرق في الطرف الآخر فقط

واجهتا JTAG مع SWD: كيف يصل المصحح إلى الشريحة؟

داخل كل معالج Cortex-M وحدة تصحيح Debug Unit لا يراها البرنامج، تستطيع أن توقف المعالج وتقرأ مسجلاته وأي ذاكرة، وتكتب في الفلاش، وتضع نقاط توقف بالعتاد. والوصول إليها من الخارج يكون عبر واحدة من واجهتين. الأولى JTAG، وهي معيار قديم برقم IEEE 1149.1 صمم في الأصل لاختبار اللحام على اللوحات المطبوعة بطريقة اسمها Boundary Scan، ثم صار طريقاً للتصحيح، ويحتاج أربعة أسلاك على الأقل: الساعة TCK، واختيار الحالة TMS، والبيانات الداخلة TDI، والخارجة TDO. والثانية SWD، أي Serial Wire Debug، وهي واجهة من Arm لمعالجات Cortex تحتاج سلكين فقط: الساعة SWCLK والبيانات في الاتجاهين SWDIO، وتشارك نفس رجلي TCK وTMS في الشريحة، ولذلك هي الأشيع في الأجهزة الصغيرة، لأن كل رجل في شريحة صغيرة لها قيمة. ويضاف إليها غالباً SWO، وهو مخرج اختياري ترسل عليه الشريحة رسائل التتبع بسرعة أكبر من المنفذ التسلسلي.

جدولان: JTAG بالإشارات TCK وTMS وTDI وTDO وnTRST ووظيفة كل منها، وSWD بالإشارات SWCLK وSWDIO وSWO وnRESET والأرضي وجهد المرجع، وتحتهما نصيحة بترك نقاط اختبار لـ SWD وUART على اللوحة المنتجة
الإشارات في الواجهتين، كما تصفها واجهات التصحيح في توثيق OpenOCD

وبين جهازك والشريحة قطعة صغيرة اسمها المسبار Debug Probe، تتصل بالحاسب عبر USB وبالشريحة عبر أسلاك SWD، وتترجم الأوامر بينهما. وأشهرها في الصناعة J-Link من شركة SEGGER الذي يعمل مع أغلب الشرائح من كل الشركات، وST-LINK من ST الذي تجده مدمجاً على لوحات Discovery وNucleo كما رأينا في المقالات السابقة، ومسابير CMSIS-DAP المفتوحة التي يمكن أن تصنعها من متحكم رخيص. والمسبار وحده لا يفهم GDB، ولذلك يعمل على جهازك برنامج وسيط هو خادم GDB، مثل OpenOCD المفتوح المصدر أو خادم SEGGER، يفتح منفذاً على جهازك، فيتصل به GDB بالأمر target remote :3333 كأنه يتصل بأي هدف بعيد.

مسبار SEGGER J-Link EDU الصغير بلونه الأبيض، وفي طرفه موصل الكابل الشريطي للشريحة، وفي الطرف الآخر منفذ USB
المسبار SEGGER J-Link EDU لواجهتي JTAG وSWD. الصورة: SEGGER Microcontroller GmbH & Co، الرخصة CC BY-SA 3.0، المصدر: Wikimedia Commons (تم تصغيرها وتحويلها إلى WebP).

والمحاكي يلغي المسبار والأسلاك، لأن المعالج نفسه برنامج، فـ QEMU يحتوي خادم GDB مدمجاً تشغله بالخيار -gdb tcp::1234 كما في توثيق QEMU، والخيار -S يجعل المعالج يبدأ متوقفاً حتى يتصل GDB، وRenode يشغل خادمه بالأمر machine StartGdbServer 3333 كما في توثيق Renode. ومن جهة GDB لا يوجد أي فرق: نفس الأوامر، ونفس نقاط التوقف، ونفس ملف ELF، وهذا ما يجعل المحاكي مكاناً حقيقياً لتعلم التصحيح وللتصحيح اليومي، ثم تنقل نفس الطريقة إلى اللوحة. والمسبار الصحيح للشريحة الحقيقية تختاره بحسب الشركات التي تعمل مع شرائحها والميزانية، وفيما يلي صورة لمسبار أقدم من Atmel لعائلة AVR وهو موصول بلوحة، لكي ترى كيف تبدو الأسلاك في الواقع:

مسبار AVR JTAG ICE mkII الأزرق موصول بكابل شريطي إلى لوحة حاسب Mizar32 الخضراء
المسبار AVR JTAG ICE mkII موصولاً بلوحة Mizar32 عبر كابل JTAG. الصورة: Martin Guy، الرخصة CC BY-SA 3.0، المصدر: Wikimedia Commons (تم تصغيرها وتحويلها إلى WebP).

الطباعة على الجهاز Logging: كيف تطبع بدون أن تغير ما تقيسه؟

أغلب التصحيح اليومي في البرامج المدمجة ما زال بالطباعة، وهذا ليس عيباً، ولكن الطباعة على المنفذ التسلسلي لها ثمن يجب أن تعرفه. فبسرعة 115200 بت في الثانية يأخذ كل حرف قرابة 87 ميكرو ثانية، أي أن سطراً من 60 حرفاً يأخذ أكثر من 5 ms، وإذا كانت الطباعة بطريقة الاستطلاع Polling كما في برامجنا، فالمعالج ينتظر طوال هذا الوقت. فإذا وضعت سطر طباعة داخل مقاطعة أو داخل قسم يمسك قفلاً، فأنت غيرت توقيت البرنامج كله، وقد يختفي الخطأ الذي تبحث عنه أو يظهر خطأ جديد. ولذلك تستخدم الفرق ثلاث طرق لتقليل الثمن:

  • مخزن دائري Ring Buffer: الكود يكتب الرسالة في مخزن في الذاكرة بسرعة، ومهمة منخفضة الأولوية أو DMA ترسله إلى المنفذ في الخلفية، فلا ينتظر الكود الأصلي. والميزة الإضافية أن المخزن يبقى في الذاكرة بعد العطل، فيقرؤه المصحح أو معالج العطل ويعرف آخر ما كتبه البرنامج.
  • مخرج التتبع SWO مع وحدة ITM: في Cortex-M3 وM4 وحدة تتبع اسمها ITM تكتب فيها الرسائل بتعليمة واحدة، وترسلها الشريحة على الرجل SWO بسرعة أعلى بكثير من المنفذ التسلسلي، ويستقبلها المسبار. وهي لا تحتاج منفذاً تسلسلياً ولا رجلاً إضافية غير رجل التصحيح.
  • رسائل مضغوطة: بدل إرسال النص كاملاً، يرسل الجهاز رقم الرسالة والقيم فقط، والنصوص تبقى في ملف على جهازك، وهذه فكرة مكتبة defmt التي ذكرناها في مقال Rust.

وطريقة رابعة يجب أن تحذر منها اسمها Semihosting، وهي التي استخدمناها في مقال RTOS لكي نطلب من QEMU أن يتوقف، فهي تسمح للبرنامج أن يطبع عبر المصحح على شاشة جهازك، ولكن كل استدعاء يوقف المعالج حتى يرد المصحح، وقد يأخذ ذلك ملي ثواني، وبدون مصحح موصول يتعطل البرنامج عند أول استدعاء، تماماً كما حدث مع bkpt في المختبر. فاستخدمها في التجارب فقط، ولا تتركها في برنامج يعمل في جهاز.

نقاط التوقف Breakpoints مع نقاط المراقبة Watchpoints

نقطة التوقف Breakpoint تقول للمعالج: توقف عندما تصل إلى هذا العنوان في الكود. وفي البرامج على Linux يضعها GDB بأن يكتب تعليمة خاصة مكان التعليمة الأصلية في الذاكرة، وهذا لا يصلح للكود الذي يعمل من الفلاش، لأن الكتابة في الفلاش بطيئة ولها عدد محدود من المرات. لذلك فيها وحدة عتاد اسمها FPB تقارن عنوان كل تعليمة بقائمة صغيرة من العناوين، وفي Cortex-M4 ست نقاط توقف بالعتاد بحسب الدليل التقني للمعالج. فإذا وضعت سبع نقاط توقف على كود في الفلاش سيرفض GDB أو المسبار السابعة، وهذا أمر يفاجئ من يأتي من تصحيح البرامج العادية.

ونقطة المراقبة Watchpoint تقول: توقف عندما يكتب أي كود في هذا العنوان في الذاكرة، أو يقرأ منه. وهي أقوى أداة لديك لنوع معين من الأخطاء، وهو «قيمة تتغير ولا أعرف من غيرها»، لأنك لا تحتاج أن تعرف أين تبحث، فالمعالج نفسه يتوقف عند السطر الذي كتب. وتقوم بها في Cortex-M وحدة اسمها DWT، فيها في Cortex-M4 أربع مقارنات للعناوين، أي أربع نقاط مراقبة على الأكثر في نفس الوقت. والأمر في GDB هو watch للكتابة، وrwatch للقراءة، وawatch للاثنين، كما في توثيق GDB. وإذا لم تكن هناك نقاط مراقبة بالعتاد متاحة يلجأ GDB إلى المراقبة البرمجية، أي تنفيذ البرنامج تعليمة تعليمة وفحص القيمة بعد كل واحدة، وهذا أبطأ بآلاف المرات، فتأكد أن GDB كتب Hardware watchpoint عندما تضعها.

الأعطال Faults في Cortex-M: ماذا يحدث عندما يتعطل البرنامج؟

عندما يحاول المعالج أن ينفذ شيئاً لا يمكن تنفيذه، مثل القفز إلى عنوان غير صالح أو تعليمة غير معرفة أو قسمة على صفر مع تفعيل الفخ، فإنه يولد استثناء عطل Fault Exception. وفي معالجات Cortex-M3 وM4 أربعة أنواع: MemManage لمخالفة إعدادات حماية الذاكرة MPU، وBusFault لخطأ من الناقل عند قراءة أو كتابة، وUsageFault لخطأ في استخدام التعليمات مثل الحالة غير الصحيحة أو القسمة على صفر، ثم HardFault الذي يأتي إليه كل عطل لم يفعل معالجه الخاص، أو حدث داخل معالج عطل آخر. وبعد التشغيل تكون المعالجات الثلاثة الأولى غير مفعلة، فيصل كل شيء إلى HardFault، ولذلك ترى في أغلب الأجهزة الكلمة HardFault فقط. وفي برنامجنا فعلنا الثلاثة بكتابة البتات 16 إلى 18 في المسجل SHCSR، لكي نعرف نوع العطل من المعالج الذي استقبله ومن مسجل الحالة مباشرة.

وأهم ما يفعله المعالج عند أي استثناء أنه يحفظ بنفسه ثمانية مسجلات في المكدس قبل أن يقفز إلى المعالج: R0 إلى R3 وR12 وLR وPC وxPSR، وهذا ما يسمى إطار الاستثناء Exception Frame. والكلمة السابعة في هذا الإطار هي PC، أي عنوان التعليمة التي كان المعالج ينفذها أو يحاول تنفيذها عند العطل، والسادسة هي LR، أي عنوان الرجوع للدالة التي كانت تعمل، أي من أين جاء. وفي مسجل LR داخل المعالج نفسه يضع المعالج قيمة خاصة اسمها EXC_RETURN، تقول لك أي مكدس استخدم: الرئيسي MSP أم مكدس المهمة PSP الذي تستخدمه أنظمة مثل FreeRTOS للمهام. ولذلك يبدأ كل معالج HardFault جاد بأربع تعليمات بلغة التجميع تفحص البت 2 في LR وتأخذ المؤشر الصحيح للإطار، وهذا ما في ملف البداية في المختبر.

وبعد ذلك يأتي السؤال الثاني: لماذا؟ والإجابة في مسجل حالة العطل القابل للتهيئة Configurable Fault Status Register، واختصاراً CFSR، عند العنوان 0xE000ED28، وكل بت فيه سبب محدد معرف في ملف core_cm4.h الرسمي من Arm: البت 25 DIVBYZERO للقسمة على صفر، والبت 24 UNALIGNED للوصول غير المحاذي، والبت 17 INVSTATE لحالة تنفيذ غير صحيحة، والبت 16 UNDEFINSTR لتعليمة غير معرفة، وفي البايت الثاني أسباب BusFault مع البت BFARVALID الذي يقول إن عنوان الخطأ محفوظ في BFAR. والمسجل HFSR عند 0xE000ED2C يقول لك عن HardFault نفسه، والبت 30 FORCED فيه يعني أن عطلاً آخر تصاعد إلى HardFault لأن معالجه غير مفعل.

المختبر Lab: مسجل الحرارة بثلاثة أخطاء

البرنامج مسجل حرارة مبسط بلغة C على نفس شريحة STM32F407 من المقالات السابقة، فيه إعدادات تصل من الهاتف، وقراءات يحسب متوسطها، وجدول دوال لرسائل الهاتف. وفيه ثلاثة أخطاء نشغلها بخيارات الترجمة، وكل واحد منها نوع معروف من الأخطاء في البرامج المدمجة والثغرات المسجلة في أنظمة كثيرة، ويقابل تقريراً من التقارير الثلاثة:

// Temperature logger firmware with three real-world bug classes, for the debugging lab.
//   BUG_OVERFLOW=1 : a device name longer than its buffer overwrites the next field (max_temp)
//   BUG_DIV0=1     : the average of zero readings; TRAP_DIV0=1 makes the CPU fault instead of returning 0
//   BUG_DISPATCH=1 : a message type from the phone indexes past the end of a handler table
#include <stdint.h>

#define REG(a) (*(volatile uint32_t *)(a))
#define RCC_AHB1ENR REG(0x40023830u)
#define RCC_APB1ENR REG(0x40023840u)
#define GPIOA_MODER REG(0x40020000u)
#define GPIOA_AFRL  REG(0x40020020u)
#define USART2_SR   REG(0x40004400u)
#define USART2_DR   REG(0x40004404u)
#define USART2_BRR  REG(0x40004408u)
#define USART2_CR1  REG(0x4000440Cu)
#define SCB_CCR     REG(0xE000ED14u)   // bit 4 DIV_0_TRP
#define SCB_SHCSR   REG(0xE000ED24u)   // bits 16-18 enable MemManage, BusFault, UsageFault

void uart_putc(char c) { while (!(USART2_SR & (1u << 7))) { } USART2_DR = (uint32_t)c; }
void uart_puts(const char *s) { while (*s) uart_putc(*s++); }
void uart_hex(uint32_t v) { uart_puts("0x"); for (int i = 28; i >= 0; i -= 4) uart_putc("0123456789ABCDEF"[(v >> i) & 0xF]); }
void uart_dec(int32_t v) {
    char b[12]; int i = 11; b[i] = 0; uint32_t u = v < 0 ? (uint32_t)-v : (uint32_t)v;
    do { b[--i] = (char)('0' + u % 10); u /= 10; } while (u);
    if (v < 0) b[--i] = '-';
    uart_puts(&b[i]);
}

// ---- configuration received from the phone app -------------------------------------------------
struct config {
    char    device_name[8];   // "LOGGER-1" fits exactly, without its terminating zero
    int16_t max_temp_c10;     // 8.0 C upper limit for the cold chain, stored as 80
    int16_t min_temp_c10;     // 2.0 C lower limit
};
struct config cfg = { "LOG", 80, 20 };

static void set_name(const char *src) {          // copies until the zero, like strcpy: no length check
    char *dst = cfg.device_name;
    while ((*dst++ = *src++)) { }
}

// ---- readings ------------------------------------------------------------------------------------
static int16_t readings[16];
static uint32_t n_readings;

int32_t average_c10(void) {
    int32_t sum = 0;
    for (uint32_t i = 0; i < n_readings; i++) sum += readings[i];
    return sum / (int32_t)n_readings;              // n_readings == 0 when the sensor is unplugged
}

// ---- messages from the phone ---------------------------------------------------------------------
typedef void (*handler_t)(void);
static void cmd_status(void)   { uart_puts("cmd: status\r\n"); }
static void cmd_download(void) { uart_puts("cmd: download\r\n"); }
static void cmd_clear(void)    { uart_puts("cmd: clear\r\n"); }
static void cmd_name(void)     { uart_puts("cmd: name\r\n"); }
struct app_state {
    handler_t handlers[4];                        // one handler per message type 0..3
    uint32_t  alarm_flags;                        // the next word in RAM
};
struct app_state app = { { cmd_status, cmd_download, cmd_clear, cmd_name }, 0x00C0FFEEu };

void dispatch(uint8_t type) {
    app.handlers[type]();                         // no check that type < 4
}

int main(void) {
    RCC_AHB1ENR |= 1u;  RCC_APB1ENR |= 1u << 17;
    GPIOA_MODER = (GPIOA_MODER & ~(3u << 4)) | (2u << 4);
    GPIOA_AFRL  = (GPIOA_AFRL & ~(0xFu << 8)) | (7u << 8);
    USART2_BRR = 0x8B; USART2_CR1 = (1u << 13) | (1u << 3);
    SCB_SHCSR |= 7u << 16;                         // separate fault handlers, so CFSR tells us the class
#if TRAP_DIV0
    SCB_CCR |= 1u << 4;                            // integer divide by zero raises a UsageFault
#endif
    uart_puts("logger: boot\r\n");

    for (int i = 0; i < 4; i++) readings[n_readings++] = (int16_t)(40 + i);
    uart_puts("avg="); uart_dec(average_c10()); uart_puts(" max="); uart_dec(cfg.max_temp_c10); uart_puts("\r\n");

#if BUG_OVERFLOW
    set_name("LOGGER-12");                         // 9 characters + zero into an 8-byte buffer
#else
    set_name("LOG-12");
#endif
    uart_puts("name="); uart_puts(cfg.device_name); uart_puts(" max="); uart_dec(cfg.max_temp_c10); uart_puts("\r\n");

#if BUG_DIV0
    n_readings = 0;                                // the sensor stopped answering
#endif
    uart_puts("avg="); uart_dec(average_c10()); uart_puts("\r\n");

    dispatch(1);
#if BUG_DISPATCH
    dispatch(4);                                   // a malformed message from the phone
#endif
    uart_puts("logger: idle\r\n");
    for (;;) { }
}

في الكود أعلاه لاحظ التالي:

  • set_name تنسخ حتى الصفر بدون حد، مثل strcpy، والحقل device_name ثمانية بايت فقط، وبعده مباشرة في البنية max_temp_c10.
  • average_c10 تقسم على عدد القراءات بدون فحص الصفر، وعندما يتوقف الحساس عن الرد يصبح العدد صفراً.
  • dispatch تستخدم نوع الرسالة القادم من الهاتف مباشرة كفهرس في جدول من أربع دوال، وبعد الجدول في الذاكرة يأتي alarm_flags.
  • الخيار TRAP_DIV0 يكتب البت 4 في المسجل CCR لكي تتحول القسمة على صفر إلى عطل، وهذا ما ننصح به في نسخ التطوير والاختبار.

وملف البداية فيه معالج الأعطال:

// Startup with fault handlers that report where the CPU was when it faulted.
#include <stdint.h>
extern uint32_t _sidata, _sdata, _edata, _sbss, _ebss, _estack;
int main(void);
void uart_puts(const char *s);
void uart_hex(uint32_t v);

void Reset_Handler(void) {
    uint32_t *s = &_sidata, *d = &_sdata;
    while (d < &_edata) *d++ = *s++;
    for (d = &_sbss; d < &_ebss; ) *d++ = 0;
    main();
    for (;;) { }
}

// The CPU pushed r0-r3, r12, lr, pc, xpsr on the stack before entering the handler; sf points at them.
volatile uint32_t fault_log[8];                  // survives in RAM for the debugger to read
void fault_report(uint32_t *sf, uint32_t exc_return) {
    volatile uint32_t *cfsr = (uint32_t *)0xE000ED28u, *hfsr = (uint32_t *)0xE000ED2Cu,
                      *mmfar = (uint32_t *)0xE000ED34u, *bfar = (uint32_t *)0xE000ED38u;
    fault_log[0] = sf[6]; fault_log[1] = sf[5]; fault_log[2] = *cfsr; fault_log[3] = *hfsr;
    uart_puts("FAULT pc="); uart_hex(sf[6]); uart_puts(" lr="); uart_hex(sf[5]);
    uart_puts(" xpsr="); uart_hex(sf[7]); uart_puts("\r\n");
    uart_puts("      cfsr="); uart_hex(*cfsr); uart_puts(" hfsr="); uart_hex(*hfsr);
    uart_puts(" mmfar="); uart_hex(*mmfar); uart_puts(" bfar="); uart_hex(*bfar);
    uart_puts(" exc_return="); uart_hex(exc_return); uart_puts("\r\n");
    if (*(volatile uint32_t *)0xE000EDF0u & 1u)   // DHCSR.C_DEBUGEN: is a debugger attached?
        __asm volatile ("bkpt 0");                // without one, bkpt itself would fault again
    for (;;) { }
}

// Naked: no prologue may touch the stack before we know which stack (MSP or PSP) holds the frame.
__attribute__((naked)) void Fault_Handler(void) {
    __asm volatile (
        "tst   lr, #4      \n"   // bit 2 of EXC_RETURN: 0 = main stack, 1 = process stack
        "ite   eq          \n"
        "mrseq r0, msp     \n"
        "mrsne r0, psp     \n"
        "mov   r1, lr      \n"
        "b     fault_report\n");
}
void Default_Handler(void) { for (;;) { } }

__attribute__((section(".isr_vector"), used))
const void *const vector_table[16] = {
    &_estack, Reset_Handler, Default_Handler, Fault_Handler,   // 3 HardFault
    Fault_Handler, Fault_Handler, Fault_Handler, 0,            // 4 MemManage, 5 BusFault, 6 UsageFault
    0, 0, 0, Default_Handler, Default_Handler, 0, Default_Handler, Default_Handler,
};

في الكود أعلاه لاحظ التالي:

  • Fault_Handler عليها naked، أي أن المترجم لا يضيف قبلها أي تعليمة تلمس المكدس، لأننا نريد مؤشر الإطار كما تركه المعالج بالضبط. فالتعليمة tst lr, #4 تفحص البت 2 في EXC_RETURN، ثم تنقل mrseq أو mrsne مؤشر المكدس الصحيح إلى R0، فيصبح المعامل الأول للدالة fault_report.
  • fault_report تطبع PC وLR وxPSR من الإطار، ثم المسجلات CFSR وHFSR وMMFAR وBFAR، وتحفظ أهمها في fault_log لكي يقرأها المصحح أو الكود بعد إعادة التشغيل.
  • التعليمة bkpt 0 توقف المعالج للمصحح، ولكننا وضعناها خلف فحص البت C_DEBUGEN في المسجل DHCSR، لأن bkpt بدون مصحح موصول تسبب بدورها عطلاً جديداً. وقد تعلمنا هذا من أول تشغيل، فقد طبع البرنامج تقرير العطل مرتين، والثاني عطل HardFault بالبت FORCED من تعليمة bkpt نفسها.
  • الخانات 3 إلى 6 في جدول المقاطعات كلها تشير إلى نفس المعالج، لأن الإطار والمسجلات نفسها في كل الأنواع.

والبناء بالمترجم من المقالات السابقة بالخيار -Og -g3، وهو التحسين المناسب للتصحيح: يحسن الكود دون أن يحذف المتغيرات أو يدمج الأسطر بطريقة تربك المصحح. وكل الخطوات في الملف lab/run.sh:

cd content/articles/embedded-debugging/lab
docker run --rm -v "$PWD:/work" fw-toolchain:1 bash /work/run.sh

وأول تشغيل للنسخة السليمة في Renode:

logger: boot
avg=41 max=80
name=LOG-12 max=80
avg=41
cmd: download
logger: idle

فالجهاز يقلع، والمتوسط 41 أي 4.1 درجة، والحد الأعلى 80 أي 8.0 درجة، والاسم الجديد قبل بدون مشكلة، وتنفذ رسالة التفريغ، ويصل إلى حالة الانتظار.

الخطأ الأول: من غير حد الحرارة؟ نقطة مراقبة Watchpoint

والنسخة الأولى بالخيار -DBUG_OVERFLOW=1 ترسل فيها الشاشة في التطبيق اسماً من تسعة حروف:

logger: boot
avg=41 max=80
name=LOGGER-12 max=50
avg=41
cmd: download
logger: idle

وهنا التقرير الأول بالضبط: الحد الأعلى صار 50 أي 5.0 درجات، فأي شحنة بحرارة 6 درجات ستطلق إنذاراً، ولا يوجد أي خطأ في المخرج. ولو كان البرنامج كبيراً فلن تعرف أين تبحث، فأي سطر في أي ملف قد يكتب في هذا العنوان. وهنا تأتي نقطة المراقبة، فنشغل البرنامج في QEMU متوقفاً، ونصل GDB، ونضع نقطة توقف عند main ثم نقطة مراقبة على المتغير، بهذا الملف من الأوامر:

# Who overwrites cfg.max_temp_c10? (build with -DBUG_OVERFLOW=1)
set pagination off
set confirm off
target remote :1234
break main
continue
print cfg
watch cfg.max_temp_c10
continue
bt
print cfg
print/x cfg.device_name
kill

والتشغيل بأمرين، الأول يشغل QEMU في الخلفية بمعالج متوقف على المنفذ 1234، والثاني GDB بالملف:

qemu-system-arm -M netduinoplus2 -display none -monitor none -serial null -serial file:/tmp/qu.txt \
  -S -gdb tcp::1234 -kernel /tmp/ov.elf &
gdb-multiarch -q -batch -x watch.gdb /tmp/ov.elf

واخترنا في QEMU البورد netduinoplus2، وهي لوحة بشريحة STM32F405 من نفس العائلة، فيها نفس المعالج ونفس عناوين المنفذ التسلسلي USART2، ولذلك يعمل نفس ملف ELF عليها بدون تعديل، والخيار -serial null الأول يعني أن المنفذ الأول USART1 لا يذهب إلى أي مكان، والثاني يحفظ USART2 في ملف. والمخرج:

Reset_Handler () at startup.c:8
8	void Reset_Handler(void) {
Breakpoint 1 at 0x800018c: file main.c, line 68.

Breakpoint 1, main () at main.c:68
68	int main(void) {
$1 = {device_name = "LOG\000\000\000\000", max_temp_c10 = 80, min_temp_c10 = 20}
Hardware watchpoint 2: cfg.max_temp_c10

Hardware watchpoint 2: cfg.max_temp_c10

Old value = 80
New value = 50
0x08000048 in set_name (src=0x8000448 "2", src@entry=0x8000440 "LOGGER-12") at main.c:39
39	    while ((*dst++ = *src++)) { }
#0  0x08000048 in set_name (src=0x8000448 "2", src@entry=0x8000440 "LOGGER-12") at main.c:39
#1  0x08000234 in main () at main.c:83
$2 = {device_name = "LOGGER-1", max_temp_c10 = 50, min_temp_c10 = 20}
$3 = {0x4c, 0x4f, 0x47, 0x47, 0x45, 0x52, 0x2d, 0x31}
qemu-system-arm: QEMU: Terminated via GDBstub
[Inferior 1 (process 1) killed]

ولنقرأه سطراً سطراً:

  • Reset_Handler () at startup.c:8: GDB اتصل بالمعالج وهو متوقف على أول تعليمة بعد التشغيل، وعرف من ملف ELF أنها في Reset_Handler.
  • عند main طبعنا البنية كلها: الاسم "LOG" وبعده أصفار، والحد 80، والأدنى 20، أي أن القيم صحيحة في البداية.
  • Hardware watchpoint 2: GDB استخدم مقارن عتاد، وهذا ما نريده.
  • Old value = 80 ثم New value = 50: المعالج توقف في نفس التعليمة التي كتبت، وGDB يعرض لنا السطر main.c:39، وهو حلقة النسخ في set_name، والمعامل src=0x8000448 "2"، أي أن الحرف الذي كان ينسخ لحظة الكتابة هو «2»، أي الحرف التاسع من "LOGGER-12" كما يظهر في src@entry.
  • bt يعطينا من استدعى: main () at main.c:83، وهو السطر الذي يمرر الاسم الطويل.
  • والقيمة 50 هي الحرف «2» نفسه، فرمزه 0x32 أي 50 بالعشري، كتب في البايت الأول من الحد، ثم كتب الصفر في البايت الثاني، والاسم في الذاكرة صار "LOGGER-1" بدون صفر في النهاية، أي أن أي قراءة للاسم لاحقاً ستكمل إلى ما بعده.
صف من اثني عشر بايتاً للبنية cfg: ثمانية بايت للاسم LOGGER-1 ثم البايتان 0x32 و0x00 فوق max_temp ثم min_temp، وتحته أمر watch ومخرج GDB بالقيمة القديمة 80 والجديدة 50 في set_name عند main.c:39، والإصلاح بنسخ محدود الطول
البايتات التي نزلت على حد الحرارة، وما أظهرته نقطة المراقبة

ثم كررنا نفس الملف على Renode، بعد أن شغلنا فيه خادم GDB على المنفذ 3333 بالملف lab/gdbserver.resc:

[INFO] disco: CPUs: ["disco.cpu"] were added to a new GDB server created on port :3333
[INFO] disco: GDB server with all CPUs started on port :3333
Reset_Handler () at startup.c:8
8	void Reset_Handler(void) {
Breakpoint 1 at 0x800018c: file main.c, line 68.

Breakpoint 1, main () at main.c:68
68	int main(void) {
$1 = {device_name = "LOG\000\000\000\000", max_temp_c10 = 80, min_temp_c10 = 20}
Hardware watchpoint 2: cfg.max_temp_c10

Hardware watchpoint 2: cfg.max_temp_c10

Old value = 80
New value = 50
0x08000048 in set_name (src=0x8000448 "2", src@entry=0x8000440 "LOGGER-12") at main.c:39
39	    while ((*dst++ = *src++)) { }
#0  0x08000048 in set_name (src=0x8000448 "2", src@entry=0x8000440 "LOGGER-12") at main.c:39
#1  0x08000234 in main () at main.c:83
$2 = {device_name = "LOGGER-1", max_temp_c10 = 50, min_temp_c10 = 20}
$3 = {0x4c, 0x4f, 0x47, 0x47, 0x45, 0x52, 0x2d, 0x31}
[Inferior 1 (Remote target) killed]

ونفس النتيجة حرفاً بحرف، وهذا هو المهم: طريقتك في التصحيح لا ترتبط بأداة، فنفس ملف أوامر GDB يعمل على المحاكيين، وسوف يعمل على الشريحة عبر OpenOCD. وقد واجهنا عند تشغيل Renode بهذه الطريقة مشكلة صغيرة تستحق الذكر: شغلناه في الخلفية مع < /dev/null كما فعلنا في المقالات السابقة، فرد GDB بـ Connection timed out، والسبب أن Renode في وضع --console يقرأ أوامره من المدخل القياسي، فلما وصل إلى نهاية الملف الفارغ أغلق نفسه بعد أن فتح الخادم مباشرة، ورأينا في سجله السطر disco: Disposed. والحل أن تبقي المدخل مفتوحاً، وفي المختبر بالأمر sleep 60 | renode ...، أو أن تشغله بمنفذ أوامر بالخيار -P.

والإصلاح الصحيح لهذا الخطأ ليس أن تكبر الحقل، وإنما أن تنسخ بحد أقصى هو حجم الحقل ناقص واحد، وأن ترفض الاسم الطويل وترد على الهاتف برسالة خطأ، لأن البيانات القادمة من خارج الجهاز يجب أن تعامل دائماً كبيانات قد تكون خاطئة أو معادية. وهذا النوع من الأخطاء، أي تجاوز حدود المخزن Buffer Overflow، هو من أكثر أسباب الثغرات في البرامج المكتوبة بلغة C، وقد شرحنا أدوات كشفه على الكمبيوتر في مقال الأخطاء الشائعة في C وكشفها، وهي تعمل على منطق الجهاز إذا فصلته عن العتاد واختبرته على جهازك.

الخطأ الثاني: متوسط يساوي صفراً، والفخ DIV_0_TRP

والنسخة الثانية بالخيار -DBUG_DIV0=1 يتوقف فيها الحساس عن الرد فيصبح عدد القراءات صفراً:

logger: boot
avg=41 max=80
name=LOG-12 max=80
avg=0
cmd: download
logger: idle

وهذا التقرير الثاني: avg=0، والبرنامج يكمل وكأن شيئاً لم يحدث. والسبب أن تعليمة القسمة sdiv في Cortex-M3 وM4 تعطي صفراً عند القسمة على صفر ما لم يكن البت DIV_0_TRP في المسجل CCR مفعلاً، ولذلك فعلناه في النسخة الثالثة بالخيار -DTRAP_DIV0=1، فكان المخرج في Renode:

[WARNING] nvic: Writing to CCR.DIV_0_TRP, but FilterCcrDiv0Write is set. The field won't be updated.
logger: boot
avg=41 max=80
name=LOG-12 max=80
avg=0
cmd: download
logger: idle

ولا يوجد عطل، ولكن هناك تحذير في سجل Renode يشرح السبب: Writing to CCR.DIV_0_TRP, but FilterCcrDiv0Write is set. The field won't be updated، أي أن نموذج NVIC في Renode يتجاهل الكتابة في هذا البت افتراضياً، وله خاصية اسمها FilterCcrDiv0Write تتحكم في ذلك. وهذه مشكلة حقيقية واجهتنا، ولو لم نقرأ التحذيرات في سجل المحاكي لظننا أن الكود الذي يفعل الفخ خطأ. وبعد أن أضفنا إلى ملف run.resc السطر sysbus.nvic FilterCcrDiv0Write false:

logger: boot
avg=41 max=80
name=LOG-12 max=80
avg=FAULT pc=0x0800016C lr=0x08000271 xpsr=0x61000000
      cfsr=0x02000000 hfsr=0x00000000 mmfar=0x00000000 bfar=0x00000000 exc_return=0xFFFFFFF9

والآن المعالج توقف عند القسمة، والتقرير يقول cfsr=0x02000000، أي البت 25 وحده، وهو DIVBYZERO، وhfsr=0 لأن العطل وصل إلى معالج UsageFault مباشرة ولم يتصاعد. ولاحظ أن الطباعة توقفت في منتصف السطر بعد avg=، وهذا يحدد لك مكان العطل بالنسبة للطباعة. ولكن المكان الدقيق في PC، فنعطيه مع LR للأداة addr2line التي تحول العنوان إلى سطر عبر معلومات التصحيح في ملف ELF، كما في توثيقها:

average_c10
/work/logger/main.c:50
main
/work/logger/main.c:92 (discriminator 2)

فالعطل في average_c10 عند main.c:50، وهو سطر القسمة، واستدعيت من main.c:92، وهو سطر الطباعة الثاني للمتوسط. وهذه هي الطريقة التي يشخص بها الفريق أي تقرير عطل يصل من جهاز في الميدان: عنوانان من التقرير، وملف ELF من نفس الإصدار، وأمر واحد. ولاحظ عبارة «من نفس الإصدار»، فإذا لم تحفظ ملف ELF لكل إصدار نشرته على الأجهزة، فالعناوين في التقرير لا تعني شيئاً، وهذا خطأ تقع فيه فرق كثيرة. والإصلاح هنا سهل: المتوسط لصفر من القراءات غير معرف، فالدالة يجب أن تعيد حالة خطأ يظهرها التقرير كـ «لا توجد قراءات»، وليس رقماً.

الخطأ الثالث: عطل HardFault حقيقي نشخصه من مسجلات المعالج

والنسخة الرابعة بالخيار -DBUG_DISPATCH=1 تصل فيها رسالة من الهاتف بنوع 4، والجدول فيه أربع دوال بالأرقام 0 إلى 3:

logger: boot
avg=41 max=80
name=LOG-12 max=80
avg=41
cmd: download
FAULT pc=0x08000182 lr=0x08000185 xpsr=0x21000000
      cfsr=0x00020000 hfsr=0x00000000 mmfar=0x00000000 bfar=0x00000000 exc_return=0xFFFFFFF9

وهذا هو «تجمد» الجهاز في التقرير الثالث: معالج العطل طبع تقريره ثم دخل حلقة لا تنتهي، وفي جهاز بدون منفذ موصول لن يرى أحد هذه الأسطر، فيبدو الجهاز متجمداً. والتقرير يقول cfsr=0x00020000، أي البت 17 INVSTATE، وpc=0x08000182. ولنفس الملف في QEMU كان المخرج:

logger: boot
avg=41 max=80
name=LOG-12 max=80
avg=41
cmd: download
FAULT pc=0x00C0FFEE lr=0x08000185 xpsr=0x20000000
      cfsr=0x01000000 hfsr=0x00000000 mmfar=0x00000000 bfar=0x00000000 exc_return=0xFFFFFFF9

وهنا PC هو 0x00C0FFEE، وCFSR هو 0x01000000، أي البت 24 UNALIGNED، أي أن المحاكيين لم يتفقا على سبب العطل ولا على PC، وسوف نعود إلى هذا الفرق بعد قليل. والآن نشخص بالطريقة الكاملة، فنشغل QEMU متوقفاً ونضع نقطة توقف على fault_report، ثم نقرأ ما نحتاجه بهذا الملف:

# Diagnose the fault (build with -DBUG_DISPATCH=1)
set pagination off
set confirm off
target remote :1234
break fault_report
continue
print/x sf[0]@8
print/x *(unsigned int *)0xE000ED28
info symbol sf[5]
info line *((sf[5] & ~1) - 2)
print/x $lr
bt
frame 1
info registers r3
print/x app
print sizeof(app.handlers) / sizeof(app.handlers[0])
kill

والمخرج:

Reset_Handler () at startup.c:8
8	void Reset_Handler(void) {
Breakpoint 1 at 0x8000300: file startup.c, line 18.

Breakpoint 1, fault_report (sf=0x2001ffb8, exc_return=4294967289) at startup.c:18
18	void fault_report(uint32_t *sf, uint32_t exc_return) {
$1 = {0x4, 0x0, 0x9, 0xc0ffee, 0x0, 0x8000185, 0xc0ffee, 0x20000000}
$2 = 0x1000000
dispatch + 13 in section .text
Line 65 of "main.c" starts at address 0x8000182 <dispatch+10> and ends at 0x8000184 <dispatch+12>.
$3 = 0xfffffff9
#0  fault_report (sf=0x2001ffb8, exc_return=4294967289) at startup.c:18
#1  <signal handler called>
#2  0x00c0ffee in ?? ()
#3  0x08000184 in dispatch (type=type@entry=4 '\004') at main.c:65
#4  0x08000274 in main () at main.c:96
#1  <signal handler called>
r3             0xc0ffee            12648430
$4 = {handlers = {0x80000b1, 0x80000a1, 0x8000091, 0x8000081}, alarm_flags = 0xc0ffee}
$5 = 4
qemu-system-arm: QEMU: Terminated via GDBstub
[Inferior 1 (process 1) killed]

ولنبن القصة من هذه الأسطر:

  • print/x sf[0]@8 يطبع الكلمات الثماني في الإطار بالترتيب: R0 هو 0x4، أي المعامل الأول للدالة التي كانت تعمل، وR3 هو 0xc0ffee، وLR هو 0x8000185، وPC هو 0xc0ffee.
  • info symbol يقول إن LR داخل dispatch، وinfo line على العنوان الذي قبله بتعليمة يعطي main.c:65، أي سطر app.handlers[type](). وطرحنا 2 من LR بعد مسح آخر بت لأن LR يشير إلى التعليمة التي بعد الاستدعاء، والاستدعاء نفسه قبلها.
  • والأمر bt يصل إلى أبعد من ذلك، لأن GDB يفهم إطار الاستثناء في Cortex-M: #1 <signal handler called> هو حدود الاستثناء، ثم #2 0x00c0ffee in ?? () هو العنوان الذي قفز إليه المعالج ولا توجد عنده دالة، ثم #3 dispatch (type=4) عند main.c:65، ثم #4 main () at main.c:96.
  • وprint/x app يكمل القصة: الجدول فيه أربعة عناوين صحيحة، كلها تنتهي بـ 1 لأنها تعليمات Thumb، وبعده alarm_flags = 0xc0ffee، أي أن handlers[4] هي في الحقيقة alarm_flags.

أي أن الرسالة بنوع 4 جعلت dispatch تقرأ الكلمة الخامسة بعد بداية الجدول، وهي قيمة بيانات وليست عنوان دالة، ثم قفزت إليها. والكود الآلي للدالة يبين ذلك بوضوح:

08000178 <dispatch>:
 8000178:	push	{r3, lr}
 800017a:	ldr	r3, [pc, #12]	@ (8000188 <dispatch+0x10>)
 800017c:	add.w	r3, r3, r0, lsl #2
 8000180:	ldr	r3, [r3, #12]
 8000182:	blx	r3
 8000184:	pop	{r3, pc}
 8000186:	nop
 8000188:	.word	0x20000000

فالتعليمة ldr r3, [pc, #12] تأخذ عنوان app وهو 0x20000000، ثم add.w r3, r3, r0, lsl #2 تضيف النوع مضروباً في 4، ثم ldr r3, [r3, #12] تقرأ من الإزاحة 12، لأن app تبدأ بعد cfg بـ 12 بايت، ثم blx r3 تقفز إلى القيمة. ومع النوع 4 تقرأ من 0x20000000 + 16 + 12 = 0x2000001C:

20000000 0000000c D cfg
2000000c 00000014 D app
 20000000 4c4f4700 00000000 50001400 b1000008  LOG.....P.......
 20000010 a1000008 91000008 81000008 eeffc000  ................

والكلمة الأخيرة في سطر 20000010 هي eeffc000، أي 0x00C0FFEE بترتيب Little Endian، وهي بالضبط ما قفز إليه المعالج. وآخر بت فيها صفر، ومعالجات Cortex-M لا تعرف إلا تعليمات Thumb، فالقفز إلى عنوان آخر بت فيه صفر يطلب حالة تنفيذ لا وجود لها في المعالج، وهذا تعريف INVSTATE. ولو كانت القيمة فردية لقفز المعالج إلى العنوان وحاول أن ينفذ ما فيه، وقد يكون ذلك أسوأ بكثير، لأن البرنامج قد يكمل بتعليمات عشوائية ويفسد الذاكرة قبل أن يتعطل. ولهذا السبب يعتبر هذا النوع من الأخطاء خطيراً أمنياً: رسالة من الخارج تتحكم في العنوان الذي يقفز إليه المعالج.

جدول إطار الاستثناء من sp+0x00 إلى sp+0x1C: R0 بقيمة 0x4 وهي النوع، وR1 وR2 وR3 بقيمة 0x00c0ffee، وR12، وLR بقيمة 0x08000185 في dispatch عند main.c:65، وPC بقيمة 0x00c0ffee، وxPSR، وبجانبه شرح EXC_RETURN بقيمة 0xFFFFFFF9 والقصة في أربع قيم
الكلمات الثماني التي حفظها المعالج، كما قرأها GDB على QEMU لحظة دخول معالج العطل
جدول لبتات CFSR: 25 DIVBYZERO ورأيناه في Renode بقيمة 0x02000000، و24 UNALIGNED في QEMU بقيمة 0x01000000، و17 INVSTATE في Renode بقيمة 0x00020000، و16 UNDEFINSTR، وBFARVALID وMMARVALID، وتحته شرح HFSR والبت FORCED وأن البتات تبقى حتى تمسح
بتات CFSR من ملف CMSIS الرسمي، والقيم التي رأيناها في المختبر

ماذا يحدث إذا اختلف المحاكيان؟ Renode مع QEMU

رأينا لنفس ملف ELF ونفس العطل نتيجتين مختلفتين: Renode حفظ PC بقيمة 0x08000182 وهي عنوان التعليمة blx r3 نفسها، وأعطى INVSTATE، أما QEMU فحفظ PC بقيمة الهدف 0x00C0FFEE وأعطى UNALIGNED. وتعريف INVSTATE في ملف CMSIS هو الأقرب لما حدث فعلاً، أي القفز بقيمة آخر بت فيها صفر، فالأرجح أن هذا ما ستعطيه الشريحة، وقيمة PC الدقيقة في الإطار تفصيل يختلف فيه النموذجان. والسؤال العملي: كيف تشخص إذا كانت أدواتك نفسها لا تتفق؟ والإجابة أن تعتمد على القيم التي لا يمكن أن تختلف لأنها نتيجة الكود وليس النموذج: LR الذي اتفق عليه الاثنان 0x08000185، وR3 الذي يحمل القيمة التي قفز إليها المعالج، وR0 الذي يحمل نوع الرسالة، ومحتوى الذاكرة. وهذه الأربع كانت كافية للوصول إلى السطر والسبب، دون الحاجة إلى معرفة أي البتين في CFSR هو الصحيح.

جدول مقارنة بين Renode 1.17.0 وQEMU 10.0.13: PC المحفوظ 0x08000182 مقابل 0x00C0FFEE، وCFSR INVSTATE مقابل UNALIGNED، وLR 0x08000185 في الاثنين، وتعامل كل منهما مع DIV_0_TRP، والقسمة على صفر متطابقة في الاثنين، وتحته ما اتفقا عليه والقاعدة
نفس ملف ELF في المحاكيين: الفروق في التفاصيل، والقيم الأساسية متطابقة

وهذه نقطة مهمة في استخدام المحاكاة كطريقة عمل، لأنها لا تقل قيمة المحاكي، وإنما تحدد أين تثق به: في منطق البرنامج والذاكرة والتعليمات تثق به كثيراً، وفي التفاصيل الدقيقة لسلوك الأعطال والطرفيات تتحقق من دليل المعمارية، وعند الشك على اللوحة. وقد رأينا في مقالات سابقة من هذه المرحلة فروقاً من نفس النوع في Renode: المنفذ الذي يعمل بدون تشغيل ساعته، وSysTick الذي لا يعد حتى يكتب في مسجله، وهنا فخ القسمة المعطل افتراضياً. والمحاكيان مفتوحا المصدر، ومثل هذه الفروق تبلغ فتصلح.

اختبارات Renode في CI: لكي لا تعود هذه الأخطاء

تشخيص الخطأ مرة واحدة لا يكفي، فالخطأ الذي أصلحته اليوم قد يعيده تعديل بعد ستة أشهر. والفرق التي تعمل بالمحاكاة تكتب لكل خطأ اختباراً يشغل البرنامج كاملاً في المحاكي ويقرأ مخرجه، ويعمل في كل طلب دمج كما شرحنا في مقال تشغيل الاختبارات في CI. وRenode يأتي مع أداة اسمها renode-test مبنية على Robot Framework، وفيها كلمات جاهزة مثل Wait For Line On Uart وShould Not Be On Uart، ويستخدمها فريق Renode نفسه لاختبار المحاكي، وتفاصيلها في توثيق الاختبارات. وملف الاختبارات لمسجل الحرارة:

*** Comments ***
Renode tests for the logger firmware, run in CI with:  renode-test logger.robot --variable ELF:/path/to/logger.elf

*** Variables ***
${ELF}              /tmp/logger.elf
${UART}             sysbus.usart2

*** Keywords ***
Create Logger Machine
    Execute Command             mach create "disco"
    Execute Command             machine LoadPlatformDescription @platforms/boards/stm32f4_discovery-kit.repl
    Execute Command             sysbus.nvic Frequency 16000000
    Execute Command             sysbus.nvic FilterCcrDiv0Write false
    Execute Command             sysbus LoadELF @${ELF}
    Create Terminal Tester      ${UART}    defaultPauseEmulation=true

*** Test Cases ***
Logger Should Boot
    Create Logger Machine
    Start Emulation
    Wait For Line On Uart       logger: boot    timeout=1

Name Change Should Keep The Temperature Limit
    Create Logger Machine
    Start Emulation
    # "=" in the text is read as a named argument, so match it with a regex dot
    Wait For Line On Uart       name.LOG-12 max.80    timeout=1    treatAsRegex=true

Logger Should Reach Idle Without A Fault
    Create Logger Machine
    Start Emulation
    Wait For Line On Uart       logger: idle    timeout=1
    Should Not Be On Uart       FAULT    timeout=0.2

في الملف أعلاه لاحظ التالي:

  • كل اختبار ينشئ آلة جديدة ويحمل البرنامج من الصفر، فلا يؤثر اختبار على آخر.
  • Create Terminal Tester يربط الاختبار بالمنفذ التسلسلي USART2، وdefaultPauseEmulation=true يوقف المحاكاة عند كل تطابق، فيكون الوقت الافتراضي محدداً.
  • المهلة timeout=1 بالثواني الافتراضية، أي ثانية من وقت الجهاز، وليس من وقت سيرفر CI الذي قد يكون مشغولاً، وهذا ما يجعل الاختبار ثابتاً لا يفشل مرة وينجح مرة.
  • والاختبار الثالث يتحقق من شيئين: أن البرنامج وصل إلى logger: idle، وأن كلمة FAULT لم تظهر، وهذا يمسك أي عطل في أي مكان.

وفي أول تشغيل فشل الاختبار الثاني في النسخة السليمة نفسها بهذه الرسالة:

Arguments types do not match any available keyword "WaitForLineOnUart" : [name=LOG-12 max=80, timeout=1]

والسبب أن علامة = في النص المطلوب تجعل النص يقرأ كمعامل مسمى بالاسم name، وحتى بعد أن هربناها بـ \= كما يقول توثيق Robot بقي نفس الخطأ، لأن الكلمة تمر عبر واجهة بعيدة إلى Renode. والحل الذي في الملف أن نطابق بتعبير منتظم Regular Expression، فنضع نقطة مكان كل = ونضيف treatAsRegex=true، والنقطة تطابق أي حرف. وهذه من المشاكل التي تأخذ ساعة في أول مشروع، فاكتب النص الذي تنتظره بحروف بسيطة كلما استطعت. والتشغيل للنسخ الثلاث بالملف lab/run-tests.sh:

### test: good ()
+++++ Finished test 'logger.Logger Should Boot' in 3.83 seconds with status OK
+++++ Finished test 'logger.Name Change Should Keep The Temperature Limit' in 0.65 seconds with status OK
+++++ Finished test 'logger.Logger Should Reach Idle Without A Fault' in 0.92 seconds with status OK
Suite /work/logger.robot finished successfully in 6.29 seconds.
Tests finished successfully :)
### test: overflow (-DBUG_OVERFLOW=1)
+++++ Finished test 'logger.Logger Should Boot' in 3.36 seconds with status OK
+++++ Finished test 'logger.Name Change Should Keep The Temperature Limit' in 4.09 seconds with status failed
      ║ InvalidOperationException: Terminal tester failed!
      ║ 
      ║ Full report:
      ║ ([host: 11/06/2026 00:58:31, virt:       0] Attached to UART event: success)
      ║ [host: 11/06/2026 00:58:31, virt:       0] logger: boot
      ║ [host: 11/06/2026 00:58:31, virt:       0] avg=41 max=80
      ║ [host: 11/06/2026 00:58:31, virt:       0] name=LOGGER-12 max=50
      ║ [host: 11/06/2026 00:58:31, virt:       0] avg=41
      ║ [host: 11/06/2026 00:58:31, virt:       0] cmd: download
      ║ [host: 11/06/2026 00:58:31, virt:       0] logger: idle
      ║  [[no newline]]
      ║ ([host: 11/06/2026 00:58:32, virt:  1104.3] Line containing regex >>name.LOG-12 max.80<< event: failure)
+++++ Finished test 'logger.Logger Should Reach Idle Without A Fault' in 0.70 seconds with status OK
Suite /work/logger.robot failed in 9.03 seconds.
Some tests failed :( See the list of failed tests below and logs for details!
### test: dispatch (-DBUG_DISPATCH=1)
+++++ Finished test 'logger.Logger Should Boot' in 2.26 seconds with status OK
+++++ Finished test 'logger.Name Change Should Keep The Temperature Limit' in 0.59 seconds with status OK
+++++ Finished test 'logger.Logger Should Reach Idle Without A Fault' in 2.84 seconds with status failed
      ║ InvalidOperationException: Terminal tester failed!
      ║ 
      ║ Full report:
      ║ ([host: 11/06/2026 00:58:45, virt:       0] Attached to UART event: success)
      ║ [host: 11/06/2026 00:58:45, virt:       0] logger: boot
      ║ [host: 11/06/2026 00:58:45, virt:       0] avg=41 max=80
      ║ [host: 11/06/2026 00:58:45, virt:       0] name=LOG-12 max=80
      ║ [host: 11/06/2026 00:58:45, virt:       0] avg=41
      ║ [host: 11/06/2026 00:58:45, virt:       0] cmd: download
      ║ [host: 11/06/2026 00:58:45, virt:       0] FAULT pc=0x08000182 lr=0x08000185 xpsr=0x21000000
      ║ [host: 11/06/2026 00:58:45, virt:       0]       cfsr=0x00020000 hfsr=0x00000000 mmfar=0x00000000 bfar=0x00000000 exc_return=0xFFFFFFF9
      ║  [[no newline]]
      ║ ([host: 11/06/2026 00:58:46, virt:    1105] Line containing >>logger: idle<< event: failure)
Suite /work/logger.robot failed in 6.46 seconds.
Some tests failed :( See the list of failed tests below and logs for details!

والنتيجة كما يجب: النسخة السليمة نجحت في الثلاثة، ونسخة تجاوز المخزن فشلت في اختبار حد الحرارة، والتقرير يعرض كل ما طبعه الجهاز ومنه name=LOGGER-12 max=50، ونسخة الجدول فشلت في اختبار الوصول إلى الانتظار، ومعها تقرير العطل كاملاً. ولاحظ الوقت الافتراضي virt: 1104.3 في آخر سطر من الفشل، أي أن الاختبار انتظر ثانية من وقت الجهاز ثم فشل. ويكتب renode-test تقريراً بصيغة HTML تفتحه في المتصفح، وفيه كل اختبار وكل كلمة وكم أخذت:

صفحة سجل Robot Framework لاختبار Name Change Should Keep The Temperature Limit بالحالة FAIL، ورسالة Terminal tester failed مع كل أسطر المنفذ التسلسلي ومنها name=LOGGER-12 max=50، وتحتها الكلمات Create Logger Machine وStart Emulation وWait For Line On Uart بالحالة FAIL
سجل الاختبار الفاشل كما يكتبه renode-test، لقطة من المتصفح لنسخة تجاوز المخزن
خط من ثلاث خطوات: البناء بـ make ثم التشغيل بـ renode-test ثم النتيجة بتقرير HTML ورمز خروج، وتحته جدول النتائج: السليم نجح في الثلاثة، وBUG_OVERFLOW فشل في اختبار الحد بـ max=50، وBUG_DISPATCH فشل في اختبار الانتظار بـ FAULT
نتائج الاختبارات الثلاثة على النسخ الثلاث كما خرجت من renode-test

التصحيح في الميدان Field Debugging: ما الذي تتركه في البرنامج؟

كل ما سبق يفترض أن الجهاز على مكتبك أو في المحاكي، ولكن التقارير الثلاثة جاءت من أجهزة في الميدان. ولذلك يضيف الفريق إلى البرنامج أشياء تعطيه معلومات من الأجهزة البعيدة:

  • تقرير عطل يبقى بعد إعادة التشغيل: معالج العطل يكتب PC وLR وCFSR وHFSR وجزءاً من المكدس في منطقة ذاكرة لا يمسحها كود البداية، أي قسم .noinit في ملف الربط، ثم يعيد تشغيل الجهاز بكتابة في المسجل AIRCR. وعند الإقلاع التالي يجد البرنامج التقرير فيرسله مع السجل التالي إلى السيرفر، فيصل إلى الفريق مع رقم الإصدار، ويحولونه إلى سطر بـ addr2line وملف ELF المحفوظ لذلك الإصدار.
  • مؤقت المراقبة Watchdog: مؤقت في العتاد يعيد تشغيل الشريحة إذا لم يلمسه البرنامج خلال مدة محددة، فلا يبقى الجهاز متجمداً للأبد كما في التقرير الثالث، ومعه عداد لمرات إعادة التشغيل بسببه يظهر في التقارير، لأن الجهاز الذي يعيد تشغيل نفسه كل ساعة يخفي خطأ لا يحل.
  • نقاط اختبار على اللوحة: أرجل SWD وUART على نقاط يمكن الوصول إليها بدون فك اللوحة، لكي يستطيع الفريق تصحيح جهاز يعود من العميل، مع حماية القراءة في نسخ الإنتاج لكي لا يقرأ أحد البرنامج من جهاز مسروق.
  • رقم الإصدار وبصمة البناء: في أول سطر يطبعه الجهاز وفي كل تقرير، لأن تقرير عطل بدون إصدار لا يمكن تحويله إلى سطر.
🚀
في 4 يونيو 1996 انفجر صاروخ Ariane 5 في رحلته الأولى بعد قرابة 37 ثانية من بدء تشغيل محركه الرئيسي. وقد نشرت وكالة الفضاء الأوروبية نتيجة لجنة التحقيق وتقريرها الكامل، وفيه أن نظام القياس بالقصور الذاتي فقد معلومات التوجيه بسبب أخطاء في مواصفات وتصميم برنامجه: تحويل قيمة عشرية بحجم 64 بت إلى عدد صحيح بحجم 16 بت تجاوز حده فولد استثناء، وطريقة معالجة الاستثناء أوقفت النظام، ثم قرأ حاسب الطيران بيانات التشخيص التي أرسلها النظام كأنها بيانات طيران. ويذكر التقرير أن الجزء الذي فشل كان يخدم مرحلة ما قبل الإقلاع فقط وبقي يعمل بعدها، وأن الاختبارات والمحاكاة لم تكن ممثلة بما يكفي لظروف الطيران الحقيقية، وهذا درسان لما نفعله هنا: ماذا يفعل معالج العطل بالضبط، وهل يمثل الاختبار في المحاكي ما سيحدث فعلاً.

أخطاء شائعة Common Mistakes

  • معالج HardFault الافتراضي حلقة لا تنتهي بدون أي تقرير، فيبدو كل عطل كأنه تجمد.
  • معالج عطل بدون naked يغير المكدس قبل أن يقرأ الإطار، فتقرأ PC وLR من مكان خاطئ.
  • قراءة الإطار دائماً من MSP، ونسيان أن المهام في FreeRTOS تعمل على PSP.
  • ترك bkpt في معالج العطل بدون فحص وجود المصحح، فيتحول كل عطل إلى عطل ثان بالبت FORCED.
  • عدم تفعيل معالجات MemManage وBusFault وUsageFault، فيصل كل شيء إلى HardFault ويضيع نوعه.
  • ترك DIV_0_TRP معطلاً، فتعيد القسمة على صفر صفراً بهدوء كما رأينا avg=0.
  • عدم حفظ ملف ELF لكل إصدار، فلا يمكن تحويل عناوين تقرير العطل إلى أسطر.
  • الكثير من نقاط التوقف على كود في الفلاش، ونسيان أن عددها بالعتاد محدود.
  • تصديق قيمة واحدة من المحاكي في تفاصيل الأعطال، بدل الاعتماد على LR والمسجلات والذاكرة التي لا تختلف.
  • اختبارات في CI تعتمد على وقت السيرفر بدل الوقت الافتراضي، فتفشل عندما يكون السيرفر مشغولاً.
  • تجاهل تحذيرات سجل المحاكي، كما في FilterCcrDiv0Write.

قائمة تحقق Checklist لتصحيح جهاز جديد

  • منفذ تسلسلي للرسائل، وأول سطر فيه الإصدار وبصمة البناء.
  • معالج أعطال naked يختار MSP أو PSP، ويطبع ويحفظ PC وLR وxPSR وCFSR وHFSR وMMFAR وBFAR.
  • معالجات MemManage وBusFault وUsageFault مفعلة في SHCSR، وDIV_0_TRP مفعل في نسخ التطوير.
  • تقرير العطل في ذاكرة .noinit يرسل بعد إعادة التشغيل، وWatchdog يمنع التجمد.
  • ملف ELF لكل إصدار محفوظ مع رقم الإصدار، وأمر addr2line موثق للفريق.
  • ملفات أوامر GDB في المستودع للحالات المتكررة، تعمل على المحاكي وعلى اللوحة.
  • اختبار Renode لكل خطأ أصلح، يقرأ المنفذ التسلسلي ويتحقق من غياب FAULT، ويعمل في كل دمج.
  • نقاط SWD وUART على اللوحة، وحماية القراءة في نسخ الإنتاج.

تدريب عملي Practice

  • أصلح set_name بحيث تنسخ سبعة حروف على الأكثر وتضع الصفر، ثم شغل run-tests.sh وتأكد أن نسخة BUG_OVERFLOW صارت تنجح.
  • أضف إلى dispatch فحص type < 4، واكتب اختبار Robot جديداً يتأكد أن الجهاز يطبع رسالة خطأ للنوع 4 ولا يتعطل.
  • استخدم rwatch في GDB على cfg.min_temp_c10 لكي تعرف كل الأسطر التي تقرأ الحد الأدنى.
  • عدل معالج العطل لكي يحفظ التقرير في قسم .noinit تضيفه إلى ملف الربط، ثم يعيد التشغيل، ويطبع التقرير المحفوظ عند الإقلاع التالي.

الخلاصة Summary

وصلنا لنهاية الموضوع، وأهم ما فيه:

  • في المتحكم لا توجد حماية للذاكرة غالباً، فالأخطاء تغير القيم بصمت، وبعضها مثل القسمة على صفر لا يعطي أي إشارة ما لم تفعل الفخ.
  • التصحيح طبقات: منفذ تسلسلي، ثم GDB عبر SWD أو JTAG ومسبار وخادم مثل OpenOCD، ثم تقرير عطل من الميدان، ثم اختبارات في المحاكي.
  • نفس ملف أوامر GDB عمل على QEMU وعلى Renode، ونقطة المراقبة أوقفت المعالج في set_name عند main.c:39 لحظة تغير الحد من 80 إلى 50.
  • مع DIV_0_TRP صارت القسمة على صفر عطلاً بـ cfsr=0x02000000، وحول addr2line العنوان إلى main.c:50، بعد أن ضبطنا FilterCcrDiv0Write في Renode.
  • إطار الاستثناء والمسجلات R0 وR3 وLR ومحتوى app كشفت أن رسالة بنوع 4 جعلت dispatch تقفز إلى alarm_flags = 0x00C0FFEE.
  • المحاكيان اختلفا في PC وبت CFSR للعطل نفسه، واتفقا في LR والمسجلات والذاكرة، فاعتمد على ما يتفقان عليه.
  • اختبارات renode-test بالوقت الافتراضي نجحت على النسخة السليمة وفشلت على النسختين الخاطئتين، وهكذا لا يعود الخطأ بعد إصلاحه.

وفي المقال القادم من مرحلة البرمجيات المدمجة Firmware بإذن الله ننتقل إلى سؤال يسأله كل من يصنع جهازاً بالبطارية: كم سيعيش مسجل الحرارة بشحنة واحدة، وكيف نقيس ذلك ونطيله. وإلى ذلك الحين، هذه مقالات تكمل ما بنينا عليه:

دليلتصميم الأجهزة قليلة الاستهلاك Low Power: عمر البطاريةنقيس في Renode متى ينام المعالج ومتى يستيقظ، ثم نحول القياس إلى عمر بطارية بأرقام أوراق بيانات TI، ونرى كيف ينقل سطر واحد عمر الجهاز من سنوات إلى أيام.دليلقراءة ال Stack Trace وتصحيح الأخطاء Debugging للمبتدئينكيف تقرأ رسالة الخطأ في Python وJavaScript سطراً بسطر، ومتى تستخدم الطباعة أو نقاط التوقف في VS Code، وكيف يجد git bisect التعديل الذي أدخل الخطأ.دليلأخطاء شائعة في C وكشفها بالأدوات Sanitizersأربعة عشر خطأً يقع فيها من يأتي إلى C من لغة أخرى، شغلنا كلاً منها ورأينا أي أداة كشفته وأيها فاتها، ثم جربنا التغذية العشوائية على قارئ الطلبات، وختمنا بخطة قراءة من المصادر الرسمية.دليلالمؤشرات Pointers والذاكرة والأخطاء في لغة Cنقرأ ملف طلبات نقطة البيع بلغة C ونقف عند كل ما تسمح به اللغة دون أن تخبرك: تحويلات الأنواع، والحشو، وتجاوز المخزن، ومن يحرر الذاكرة، وكيف تصل الأخطاء بقيمة الرجوع وerrno.دليلتشغيل الاختبارات في CI: السرعة وعلاج Flaky Testsأين يذهب وقت خط CI، ومتى يفيد ال Cache والتوازي ومتى يضران، وكيف تكشف الاختبار المتقلب وتعزله، مع خط حقيقي في Gitea Actions نزل من 43 ثانية حمراء إلى 21 ثانية خضراء.دليلاختبارات الوحدة Unit Tests عملياً: متى تستخدم Mocks؟كيف تكتب اختبارات وحدة تفشل حين يوجد خطأ وتنجح حين لا يوجد، ومتى يكون ال Mock مفيداً ومتى يخفي الأخطاء، مع تجربة على خدمة تجديد اشتراكات.دليلTherac-25: حين أصبح خطأ برمجي خطراً على المرضىكيف تسبب سباق بين مهمتين وعداد من بايت واحد في جرعات إشعاع زائدة، وماذا تتعلم منها عن الأنظمة الحرجة وكودك اليومي.

سجل التحديثات Changelog

  • نوفمبر 2026: كتابة المقال، وتشغيل كل التجارب داخل Container من Docker Image fw-toolchain:1 مع arm-none-eabi-gcc 14.2.rel1 وGNU GDB 16.3 (gdb-multiarch)، والمحاكي QEMU 10.0.13 بالبورد netduinoplus2، والمحاكي Renode 1.17.0 بوصف اللوحة stm32f4_discovery-kit مع renode-test وRobot Framework 6.1، على Docker Engine 29.8.0.
نشرة عرب رووت | ArabRoot

معرفة تستحق مكاناً في بريدك.

مقالات مختارة وأدوات مفيدة وأفكار لمشروعك القادم، في رسالة واحدة كل أسبوع.

يمكنك إلغاء الاشتراك متى شئت. الخصوصية

تم استلام طلبك. افتح بريدك واضغط رابط التأكيد لإتمام الاشتراك.