وصلت إلى فريق مسجل الحرارة في الشركة الناشئة ثلاثة تقارير في أسبوع واحد. الأول من شركة نقل تقول إن الجهاز أطلق إنذار الحرارة في شحنة كانت حرارتها 6 درجات، أي داخل المدى المسموح من 2 إلى 8. والثاني من صيدلية تقول إن متوسط الحرارة في تقرير إحدى الشحنات صفر بالضبط، وهذا مستحيل في شحنة مبردة. والثالث من سائق يقول إن الجهاز «يتجمد» أحياناً عندما يفتح تطبيق الهاتف لتفريغ السجل، ويحتاج أن يخرج البطارية ويعيدها. وفي الثلاثة لا توجد رسالة خطأ ولا سجل، والجهاز في صندوق على بعد مئات الكيلومترات. وفي خدمات الويب التي تعرفها تفتح السجلات أو أداة التتبع وترى ما حدث، وقد شرحنا ذلك في مقال قراءة رسالة الخطأ والتصحيح Debugging، أما هنا فلا يوجد Stack Trace ولا ملف سجل، ولا حتى شاشة.
وهذا المقال عن الأدوات التي يستخدمها مهندسو البرمجيات المدمجة لكي يروا داخل الشريحة: المنفذ التسلسلي Serial Console، والمصحح GDB عبر واجهة التصحيح JTAG أو SWD، ونقاط التوقف Breakpoints ونقاط المراقبة Watchpoints، وتقرير العطل الذي يكتبه معالج HardFault، ثم الاختبارات الآلية في المحاكي Renode داخل خط CI. وسوف نكتب برنامج مسجل الحرارة بثلاثة أخطاء حقيقية من نفس الأنواع التي أنتجت هذه التقارير، ونشغله في المحاكيين QEMU وRenode، ونصل GDB بهما، ونتسبب في عطل حقيقي ونشخصه من مسجلات المعالج حتى نصل إلى السطر والقيمة التي سببته، ثم نكتب اختبارات تمنع عودته.
وسوف نناقش في هذا المقال ما يلي:
- لماذا التصحيح في الأجهزة المدمجة أصعب، وما الأدوات المتاحة من الطباعة إلى المسبار Debug Probe.
- واجهتا JTAG وSWD، والمسابير الحقيقية، وكيف يتصل GDB بالشريحة أو بالمحاكي.
- نقاط التوقف ونقاط المراقبة بالعتاد، ومتى تستخدم كلاً منها.
- الأعطال في Cortex-M: HardFault وأخواته، وإطار الاستثناء، ومسجلات الحالة CFSR وHFSR.
- المختبر: ثلاثة أخطاء نشخصها بـ GDB على QEMU وRenode، وفرق بين المحاكيين، ثم اختبارات Renode بـ Robot Framework.
- التصحيح في الأجهزة المنتجة، والأخطاء الشائعة، وقائمة تحقق.
لماذا تصحيح البرامج المدمجة Embedded Debugging أصعب؟
في برنامج يعمل على Linux، الخطأ في الذاكرة غالباً ينتهي بإشارة Segmentation fault، ويكتب النظام ملف Core Dump، وتفتحه بالمصحح فترى السطر. والسبب أن نظام التشغيل يحمي ذاكرة كل برنامج، فأي وصول خاطئ يمسكه العتاد ويوقف البرنامج في اللحظة نفسها. أما في المتحكم فلا توجد حماية للذاكرة غالباً، وكل الذاكرة مكتوبة ومقروءة لكل الكود، فإذا كتب سطر خاطئ فوق متغير آخر فلن يمسكه أحد، ويستمر البرنامج بقيمة خاطئة، وقد يظهر أثرها بعد ساعات في جزء آخر لا علاقة له بالسطر المخطئ. وهذا بالضبط ما حدث في التقرير الأول: الجهاز يعمل ويقيس ويرسل، ولكن حد الإنذار نفسه تغير.
والمشكلة الثانية أن بعض الأخطاء لا تعطي أي إشارة على الإطلاق، فالقسمة على صفر في معالج Cortex-M3 أو M4 لا توقف البرنامج افتراضياً، وإنما تعطي صفراً، وهذا تصميم مقصود في المعمارية وليس خطأ، ولكنه يعني أن المتوسط الذي يجب أن يفشل بصوت عال يعيد صفراً بهدوء، كما في التقرير الثاني. والمشكلة الثالثة أن ما يحدث يعتمد على التوقيت والعتاد، فرسالة واحدة مشوهة من الهاتف تصل في لحظة معينة قد تكفي لتجميد الجهاز، ولا يمكنك أن تكررها بسهولة على مكتبك، وهذا التقرير الثالث.
ولذلك يبني المهندسون التصحيح في طبقات، ولكل طبقة ما تكشفه:
- المنفذ التسلسلي Serial Console: أبسط أداة وأكثرها استخداماً، فسطر طباعة في المكان الصحيح يكشف الكثير، وفي الأجهزة الحقيقية يكون المنفذ هو أيضاً مكان تقرير العطل الذي يطبعه الجهاز قبل أن يعيد التشغيل. وعيبه أن الطباعة تغير التوقيت، فقد يختفي خطأ سباق بمجرد أن تضيف سطر طباعة، وهذا يسمى بين المهندسين Heisenbug.
- المصحح Debugger عبر المسبار: GDB متصل بوحدة التصحيح داخل المعالج، يوقف البرنامج ويقرأ أي ذاكرة أو مسجل، ويضع نقاط توقف ومراقبة، بدون أن يغير كود البرنامج نفسه.
- تقرير العطل Fault Report: كود صغير في معالج HardFault يحفظ أين كان المعالج ولماذا توقف، وهو ما يعطيك شيئاً من الأجهزة البعيدة التي لن تصل إليها بمسبار.
- المحاكي Emulator والاختبارات الآلية: نفس ملف البرنامج يعمل في Renode أو QEMU، مع GDB، ومع اختبارات تعمل في كل دمج، فتكتشف أغلب الأخطاء قبل أن تصل إلى الصندوق.

واجهتا JTAG مع SWD: كيف يصل المصحح إلى الشريحة؟
داخل كل معالج Cortex-M وحدة تصحيح Debug Unit لا يراها البرنامج، تستطيع أن توقف المعالج وتقرأ مسجلاته وأي ذاكرة، وتكتب في الفلاش، وتضع نقاط توقف بالعتاد. والوصول إليها من الخارج يكون عبر واحدة من واجهتين. الأولى JTAG، وهي معيار قديم برقم IEEE 1149.1 صمم في الأصل لاختبار اللحام على اللوحات المطبوعة بطريقة اسمها Boundary Scan، ثم صار طريقاً للتصحيح، ويحتاج أربعة أسلاك على الأقل: الساعة TCK، واختيار الحالة TMS، والبيانات الداخلة TDI، والخارجة TDO. والثانية SWD، أي Serial Wire Debug، وهي واجهة من Arm لمعالجات Cortex تحتاج سلكين فقط: الساعة SWCLK والبيانات في الاتجاهين SWDIO، وتشارك نفس رجلي TCK وTMS في الشريحة، ولذلك هي الأشيع في الأجهزة الصغيرة، لأن كل رجل في شريحة صغيرة لها قيمة. ويضاف إليها غالباً SWO، وهو مخرج اختياري ترسل عليه الشريحة رسائل التتبع بسرعة أكبر من المنفذ التسلسلي.

وبين جهازك والشريحة قطعة صغيرة اسمها المسبار Debug Probe، تتصل بالحاسب عبر USB وبالشريحة عبر أسلاك SWD، وتترجم الأوامر بينهما. وأشهرها في الصناعة J-Link من شركة SEGGER الذي يعمل مع أغلب الشرائح من كل الشركات، وST-LINK من ST الذي تجده مدمجاً على لوحات Discovery وNucleo كما رأينا في المقالات السابقة، ومسابير CMSIS-DAP المفتوحة التي يمكن أن تصنعها من متحكم رخيص. والمسبار وحده لا يفهم GDB، ولذلك يعمل على جهازك برنامج وسيط هو خادم GDB، مثل OpenOCD المفتوح المصدر أو خادم SEGGER، يفتح منفذاً على جهازك، فيتصل به GDB بالأمر target remote :3333 كأنه يتصل بأي هدف بعيد.

والمحاكي يلغي المسبار والأسلاك، لأن المعالج نفسه برنامج، فـ QEMU يحتوي خادم GDB مدمجاً تشغله بالخيار -gdb tcp::1234 كما في توثيق QEMU، والخيار -S يجعل المعالج يبدأ متوقفاً حتى يتصل GDB، وRenode يشغل خادمه بالأمر machine StartGdbServer 3333 كما في توثيق Renode. ومن جهة GDB لا يوجد أي فرق: نفس الأوامر، ونفس نقاط التوقف، ونفس ملف ELF، وهذا ما يجعل المحاكي مكاناً حقيقياً لتعلم التصحيح وللتصحيح اليومي، ثم تنقل نفس الطريقة إلى اللوحة. والمسبار الصحيح للشريحة الحقيقية تختاره بحسب الشركات التي تعمل مع شرائحها والميزانية، وفيما يلي صورة لمسبار أقدم من Atmel لعائلة AVR وهو موصول بلوحة، لكي ترى كيف تبدو الأسلاك في الواقع:

الطباعة على الجهاز Logging: كيف تطبع بدون أن تغير ما تقيسه؟
أغلب التصحيح اليومي في البرامج المدمجة ما زال بالطباعة، وهذا ليس عيباً، ولكن الطباعة على المنفذ التسلسلي لها ثمن يجب أن تعرفه. فبسرعة 115200 بت في الثانية يأخذ كل حرف قرابة 87 ميكرو ثانية، أي أن سطراً من 60 حرفاً يأخذ أكثر من 5 ms، وإذا كانت الطباعة بطريقة الاستطلاع Polling كما في برامجنا، فالمعالج ينتظر طوال هذا الوقت. فإذا وضعت سطر طباعة داخل مقاطعة أو داخل قسم يمسك قفلاً، فأنت غيرت توقيت البرنامج كله، وقد يختفي الخطأ الذي تبحث عنه أو يظهر خطأ جديد. ولذلك تستخدم الفرق ثلاث طرق لتقليل الثمن:
- مخزن دائري Ring Buffer: الكود يكتب الرسالة في مخزن في الذاكرة بسرعة، ومهمة منخفضة الأولوية أو DMA ترسله إلى المنفذ في الخلفية، فلا ينتظر الكود الأصلي. والميزة الإضافية أن المخزن يبقى في الذاكرة بعد العطل، فيقرؤه المصحح أو معالج العطل ويعرف آخر ما كتبه البرنامج.
- مخرج التتبع SWO مع وحدة ITM: في Cortex-M3 وM4 وحدة تتبع اسمها ITM تكتب فيها الرسائل بتعليمة واحدة، وترسلها الشريحة على الرجل SWO بسرعة أعلى بكثير من المنفذ التسلسلي، ويستقبلها المسبار. وهي لا تحتاج منفذاً تسلسلياً ولا رجلاً إضافية غير رجل التصحيح.
- رسائل مضغوطة: بدل إرسال النص كاملاً، يرسل الجهاز رقم الرسالة والقيم فقط، والنصوص تبقى في ملف على جهازك، وهذه فكرة مكتبة defmt التي ذكرناها في مقال Rust.
وطريقة رابعة يجب أن تحذر منها اسمها Semihosting، وهي التي استخدمناها في مقال RTOS لكي نطلب من QEMU أن يتوقف، فهي تسمح للبرنامج أن يطبع عبر المصحح على شاشة جهازك، ولكن كل استدعاء يوقف المعالج حتى يرد المصحح، وقد يأخذ ذلك ملي ثواني، وبدون مصحح موصول يتعطل البرنامج عند أول استدعاء، تماماً كما حدث مع bkpt في المختبر. فاستخدمها في التجارب فقط، ولا تتركها في برنامج يعمل في جهاز.
نقاط التوقف Breakpoints مع نقاط المراقبة Watchpoints
نقطة التوقف Breakpoint تقول للمعالج: توقف عندما تصل إلى هذا العنوان في الكود. وفي البرامج على Linux يضعها GDB بأن يكتب تعليمة خاصة مكان التعليمة الأصلية في الذاكرة، وهذا لا يصلح للكود الذي يعمل من الفلاش، لأن الكتابة في الفلاش بطيئة ولها عدد محدود من المرات. لذلك فيها وحدة عتاد اسمها FPB تقارن عنوان كل تعليمة بقائمة صغيرة من العناوين، وفي Cortex-M4 ست نقاط توقف بالعتاد بحسب الدليل التقني للمعالج. فإذا وضعت سبع نقاط توقف على كود في الفلاش سيرفض GDB أو المسبار السابعة، وهذا أمر يفاجئ من يأتي من تصحيح البرامج العادية.
ونقطة المراقبة Watchpoint تقول: توقف عندما يكتب أي كود في هذا العنوان في الذاكرة، أو يقرأ منه. وهي أقوى أداة لديك لنوع معين من الأخطاء، وهو «قيمة تتغير ولا أعرف من غيرها»، لأنك لا تحتاج أن تعرف أين تبحث، فالمعالج نفسه يتوقف عند السطر الذي كتب. وتقوم بها في Cortex-M وحدة اسمها DWT، فيها في Cortex-M4 أربع مقارنات للعناوين، أي أربع نقاط مراقبة على الأكثر في نفس الوقت. والأمر في GDB هو watch للكتابة، وrwatch للقراءة، وawatch للاثنين، كما في توثيق GDB. وإذا لم تكن هناك نقاط مراقبة بالعتاد متاحة يلجأ GDB إلى المراقبة البرمجية، أي تنفيذ البرنامج تعليمة تعليمة وفحص القيمة بعد كل واحدة، وهذا أبطأ بآلاف المرات، فتأكد أن GDB كتب Hardware watchpoint عندما تضعها.
الأعطال Faults في Cortex-M: ماذا يحدث عندما يتعطل البرنامج؟
عندما يحاول المعالج أن ينفذ شيئاً لا يمكن تنفيذه، مثل القفز إلى عنوان غير صالح أو تعليمة غير معرفة أو قسمة على صفر مع تفعيل الفخ، فإنه يولد استثناء عطل Fault Exception. وفي معالجات Cortex-M3 وM4 أربعة أنواع: MemManage لمخالفة إعدادات حماية الذاكرة MPU، وBusFault لخطأ من الناقل عند قراءة أو كتابة، وUsageFault لخطأ في استخدام التعليمات مثل الحالة غير الصحيحة أو القسمة على صفر، ثم HardFault الذي يأتي إليه كل عطل لم يفعل معالجه الخاص، أو حدث داخل معالج عطل آخر. وبعد التشغيل تكون المعالجات الثلاثة الأولى غير مفعلة، فيصل كل شيء إلى HardFault، ولذلك ترى في أغلب الأجهزة الكلمة HardFault فقط. وفي برنامجنا فعلنا الثلاثة بكتابة البتات 16 إلى 18 في المسجل SHCSR، لكي نعرف نوع العطل من المعالج الذي استقبله ومن مسجل الحالة مباشرة.
وأهم ما يفعله المعالج عند أي استثناء أنه يحفظ بنفسه ثمانية مسجلات في المكدس قبل أن يقفز إلى المعالج: R0 إلى R3 وR12 وLR وPC وxPSR، وهذا ما يسمى إطار الاستثناء Exception Frame. والكلمة السابعة في هذا الإطار هي PC، أي عنوان التعليمة التي كان المعالج ينفذها أو يحاول تنفيذها عند العطل، والسادسة هي LR، أي عنوان الرجوع للدالة التي كانت تعمل، أي من أين جاء. وفي مسجل LR داخل المعالج نفسه يضع المعالج قيمة خاصة اسمها EXC_RETURN، تقول لك أي مكدس استخدم: الرئيسي MSP أم مكدس المهمة PSP الذي تستخدمه أنظمة مثل FreeRTOS للمهام. ولذلك يبدأ كل معالج HardFault جاد بأربع تعليمات بلغة التجميع تفحص البت 2 في LR وتأخذ المؤشر الصحيح للإطار، وهذا ما في ملف البداية في المختبر.
وبعد ذلك يأتي السؤال الثاني: لماذا؟ والإجابة في مسجل حالة العطل القابل للتهيئة Configurable Fault Status Register، واختصاراً CFSR، عند العنوان 0xE000ED28، وكل بت فيه سبب محدد معرف في ملف core_cm4.h الرسمي من Arm: البت 25 DIVBYZERO للقسمة على صفر، والبت 24 UNALIGNED للوصول غير المحاذي، والبت 17 INVSTATE لحالة تنفيذ غير صحيحة، والبت 16 UNDEFINSTR لتعليمة غير معرفة، وفي البايت الثاني أسباب BusFault مع البت BFARVALID الذي يقول إن عنوان الخطأ محفوظ في BFAR. والمسجل HFSR عند 0xE000ED2C يقول لك عن HardFault نفسه، والبت 30 FORCED فيه يعني أن عطلاً آخر تصاعد إلى HardFault لأن معالجه غير مفعل.
المختبر Lab: مسجل الحرارة بثلاثة أخطاء
البرنامج مسجل حرارة مبسط بلغة C على نفس شريحة STM32F407 من المقالات السابقة، فيه إعدادات تصل من الهاتف، وقراءات يحسب متوسطها، وجدول دوال لرسائل الهاتف. وفيه ثلاثة أخطاء نشغلها بخيارات الترجمة، وكل واحد منها نوع معروف من الأخطاء في البرامج المدمجة والثغرات المسجلة في أنظمة كثيرة، ويقابل تقريراً من التقارير الثلاثة:
// Temperature logger firmware with three real-world bug classes, for the debugging lab.
// BUG_OVERFLOW=1 : a device name longer than its buffer overwrites the next field (max_temp)
// BUG_DIV0=1 : the average of zero readings; TRAP_DIV0=1 makes the CPU fault instead of returning 0
// BUG_DISPATCH=1 : a message type from the phone indexes past the end of a handler table
#include <stdint.h>
#define REG(a) (*(volatile uint32_t *)(a))
#define RCC_AHB1ENR REG(0x40023830u)
#define RCC_APB1ENR REG(0x40023840u)
#define GPIOA_MODER REG(0x40020000u)
#define GPIOA_AFRL REG(0x40020020u)
#define USART2_SR REG(0x40004400u)
#define USART2_DR REG(0x40004404u)
#define USART2_BRR REG(0x40004408u)
#define USART2_CR1 REG(0x4000440Cu)
#define SCB_CCR REG(0xE000ED14u) // bit 4 DIV_0_TRP
#define SCB_SHCSR REG(0xE000ED24u) // bits 16-18 enable MemManage, BusFault, UsageFault
void uart_putc(char c) { while (!(USART2_SR & (1u << 7))) { } USART2_DR = (uint32_t)c; }
void uart_puts(const char *s) { while (*s) uart_putc(*s++); }
void uart_hex(uint32_t v) { uart_puts("0x"); for (int i = 28; i >= 0; i -= 4) uart_putc("0123456789ABCDEF"[(v >> i) & 0xF]); }
void uart_dec(int32_t v) {
char b[12]; int i = 11; b[i] = 0; uint32_t u = v < 0 ? (uint32_t)-v : (uint32_t)v;
do { b[--i] = (char)('0' + u % 10); u /= 10; } while (u);
if (v < 0) b[--i] = '-';
uart_puts(&b[i]);
}
// ---- configuration received from the phone app -------------------------------------------------
struct config {
char device_name[8]; // "LOGGER-1" fits exactly, without its terminating zero
int16_t max_temp_c10; // 8.0 C upper limit for the cold chain, stored as 80
int16_t min_temp_c10; // 2.0 C lower limit
};
struct config cfg = { "LOG", 80, 20 };
static void set_name(const char *src) { // copies until the zero, like strcpy: no length check
char *dst = cfg.device_name;
while ((*dst++ = *src++)) { }
}
// ---- readings ------------------------------------------------------------------------------------
static int16_t readings[16];
static uint32_t n_readings;
int32_t average_c10(void) {
int32_t sum = 0;
for (uint32_t i = 0; i < n_readings; i++) sum += readings[i];
return sum / (int32_t)n_readings; // n_readings == 0 when the sensor is unplugged
}
// ---- messages from the phone ---------------------------------------------------------------------
typedef void (*handler_t)(void);
static void cmd_status(void) { uart_puts("cmd: status\r\n"); }
static void cmd_download(void) { uart_puts("cmd: download\r\n"); }
static void cmd_clear(void) { uart_puts("cmd: clear\r\n"); }
static void cmd_name(void) { uart_puts("cmd: name\r\n"); }
struct app_state {
handler_t handlers[4]; // one handler per message type 0..3
uint32_t alarm_flags; // the next word in RAM
};
struct app_state app = { { cmd_status, cmd_download, cmd_clear, cmd_name }, 0x00C0FFEEu };
void dispatch(uint8_t type) {
app.handlers[type](); // no check that type < 4
}
int main(void) {
RCC_AHB1ENR |= 1u; RCC_APB1ENR |= 1u << 17;
GPIOA_MODER = (GPIOA_MODER & ~(3u << 4)) | (2u << 4);
GPIOA_AFRL = (GPIOA_AFRL & ~(0xFu << 8)) | (7u << 8);
USART2_BRR = 0x8B; USART2_CR1 = (1u << 13) | (1u << 3);
SCB_SHCSR |= 7u << 16; // separate fault handlers, so CFSR tells us the class
#if TRAP_DIV0
SCB_CCR |= 1u << 4; // integer divide by zero raises a UsageFault
#endif
uart_puts("logger: boot\r\n");
for (int i = 0; i < 4; i++) readings[n_readings++] = (int16_t)(40 + i);
uart_puts("avg="); uart_dec(average_c10()); uart_puts(" max="); uart_dec(cfg.max_temp_c10); uart_puts("\r\n");
#if BUG_OVERFLOW
set_name("LOGGER-12"); // 9 characters + zero into an 8-byte buffer
#else
set_name("LOG-12");
#endif
uart_puts("name="); uart_puts(cfg.device_name); uart_puts(" max="); uart_dec(cfg.max_temp_c10); uart_puts("\r\n");
#if BUG_DIV0
n_readings = 0; // the sensor stopped answering
#endif
uart_puts("avg="); uart_dec(average_c10()); uart_puts("\r\n");
dispatch(1);
#if BUG_DISPATCH
dispatch(4); // a malformed message from the phone
#endif
uart_puts("logger: idle\r\n");
for (;;) { }
}في الكود أعلاه لاحظ التالي:
set_nameتنسخ حتى الصفر بدون حد، مثلstrcpy، والحقلdevice_nameثمانية بايت فقط، وبعده مباشرة في البنيةmax_temp_c10.average_c10تقسم على عدد القراءات بدون فحص الصفر، وعندما يتوقف الحساس عن الرد يصبح العدد صفراً.dispatchتستخدم نوع الرسالة القادم من الهاتف مباشرة كفهرس في جدول من أربع دوال، وبعد الجدول في الذاكرة يأتيalarm_flags.- الخيار
TRAP_DIV0يكتب البت 4 في المسجل CCR لكي تتحول القسمة على صفر إلى عطل، وهذا ما ننصح به في نسخ التطوير والاختبار.
وملف البداية فيه معالج الأعطال:
// Startup with fault handlers that report where the CPU was when it faulted.
#include <stdint.h>
extern uint32_t _sidata, _sdata, _edata, _sbss, _ebss, _estack;
int main(void);
void uart_puts(const char *s);
void uart_hex(uint32_t v);
void Reset_Handler(void) {
uint32_t *s = &_sidata, *d = &_sdata;
while (d < &_edata) *d++ = *s++;
for (d = &_sbss; d < &_ebss; ) *d++ = 0;
main();
for (;;) { }
}
// The CPU pushed r0-r3, r12, lr, pc, xpsr on the stack before entering the handler; sf points at them.
volatile uint32_t fault_log[8]; // survives in RAM for the debugger to read
void fault_report(uint32_t *sf, uint32_t exc_return) {
volatile uint32_t *cfsr = (uint32_t *)0xE000ED28u, *hfsr = (uint32_t *)0xE000ED2Cu,
*mmfar = (uint32_t *)0xE000ED34u, *bfar = (uint32_t *)0xE000ED38u;
fault_log[0] = sf[6]; fault_log[1] = sf[5]; fault_log[2] = *cfsr; fault_log[3] = *hfsr;
uart_puts("FAULT pc="); uart_hex(sf[6]); uart_puts(" lr="); uart_hex(sf[5]);
uart_puts(" xpsr="); uart_hex(sf[7]); uart_puts("\r\n");
uart_puts(" cfsr="); uart_hex(*cfsr); uart_puts(" hfsr="); uart_hex(*hfsr);
uart_puts(" mmfar="); uart_hex(*mmfar); uart_puts(" bfar="); uart_hex(*bfar);
uart_puts(" exc_return="); uart_hex(exc_return); uart_puts("\r\n");
if (*(volatile uint32_t *)0xE000EDF0u & 1u) // DHCSR.C_DEBUGEN: is a debugger attached?
__asm volatile ("bkpt 0"); // without one, bkpt itself would fault again
for (;;) { }
}
// Naked: no prologue may touch the stack before we know which stack (MSP or PSP) holds the frame.
__attribute__((naked)) void Fault_Handler(void) {
__asm volatile (
"tst lr, #4 \n" // bit 2 of EXC_RETURN: 0 = main stack, 1 = process stack
"ite eq \n"
"mrseq r0, msp \n"
"mrsne r0, psp \n"
"mov r1, lr \n"
"b fault_report\n");
}
void Default_Handler(void) { for (;;) { } }
__attribute__((section(".isr_vector"), used))
const void *const vector_table[16] = {
&_estack, Reset_Handler, Default_Handler, Fault_Handler, // 3 HardFault
Fault_Handler, Fault_Handler, Fault_Handler, 0, // 4 MemManage, 5 BusFault, 6 UsageFault
0, 0, 0, Default_Handler, Default_Handler, 0, Default_Handler, Default_Handler,
};في الكود أعلاه لاحظ التالي:
Fault_Handlerعليهاnaked، أي أن المترجم لا يضيف قبلها أي تعليمة تلمس المكدس، لأننا نريد مؤشر الإطار كما تركه المعالج بالضبط. فالتعليمةtst lr, #4تفحص البت 2 في EXC_RETURN، ثم تنقلmrseqأوmrsneمؤشر المكدس الصحيح إلى R0، فيصبح المعامل الأول للدالةfault_report.fault_reportتطبع PC وLR وxPSR من الإطار، ثم المسجلات CFSR وHFSR وMMFAR وBFAR، وتحفظ أهمها فيfault_logلكي يقرأها المصحح أو الكود بعد إعادة التشغيل.- التعليمة
bkpt 0توقف المعالج للمصحح، ولكننا وضعناها خلف فحص البت C_DEBUGEN في المسجل DHCSR، لأنbkptبدون مصحح موصول تسبب بدورها عطلاً جديداً. وقد تعلمنا هذا من أول تشغيل، فقد طبع البرنامج تقرير العطل مرتين، والثاني عطل HardFault بالبت FORCED من تعليمةbkptنفسها. - الخانات 3 إلى 6 في جدول المقاطعات كلها تشير إلى نفس المعالج، لأن الإطار والمسجلات نفسها في كل الأنواع.
والبناء بالمترجم من المقالات السابقة بالخيار -Og -g3، وهو التحسين المناسب للتصحيح: يحسن الكود دون أن يحذف المتغيرات أو يدمج الأسطر بطريقة تربك المصحح. وكل الخطوات في الملف lab/run.sh:
cd content/articles/embedded-debugging/lab
docker run --rm -v "$PWD:/work" fw-toolchain:1 bash /work/run.shوأول تشغيل للنسخة السليمة في Renode:
logger: boot
avg=41 max=80
name=LOG-12 max=80
avg=41
cmd: download
logger: idleفالجهاز يقلع، والمتوسط 41 أي 4.1 درجة، والحد الأعلى 80 أي 8.0 درجة، والاسم الجديد قبل بدون مشكلة، وتنفذ رسالة التفريغ، ويصل إلى حالة الانتظار.
الخطأ الأول: من غير حد الحرارة؟ نقطة مراقبة Watchpoint
والنسخة الأولى بالخيار -DBUG_OVERFLOW=1 ترسل فيها الشاشة في التطبيق اسماً من تسعة حروف:
logger: boot
avg=41 max=80
name=LOGGER-12 max=50
avg=41
cmd: download
logger: idleوهنا التقرير الأول بالضبط: الحد الأعلى صار 50 أي 5.0 درجات، فأي شحنة بحرارة 6 درجات ستطلق إنذاراً، ولا يوجد أي خطأ في المخرج. ولو كان البرنامج كبيراً فلن تعرف أين تبحث، فأي سطر في أي ملف قد يكتب في هذا العنوان. وهنا تأتي نقطة المراقبة، فنشغل البرنامج في QEMU متوقفاً، ونصل GDB، ونضع نقطة توقف عند main ثم نقطة مراقبة على المتغير، بهذا الملف من الأوامر:
# Who overwrites cfg.max_temp_c10? (build with -DBUG_OVERFLOW=1)
set pagination off
set confirm off
target remote :1234
break main
continue
print cfg
watch cfg.max_temp_c10
continue
bt
print cfg
print/x cfg.device_name
killوالتشغيل بأمرين، الأول يشغل QEMU في الخلفية بمعالج متوقف على المنفذ 1234، والثاني GDB بالملف:
qemu-system-arm -M netduinoplus2 -display none -monitor none -serial null -serial file:/tmp/qu.txt \
-S -gdb tcp::1234 -kernel /tmp/ov.elf &
gdb-multiarch -q -batch -x watch.gdb /tmp/ov.elfواخترنا في QEMU البورد netduinoplus2، وهي لوحة بشريحة STM32F405 من نفس العائلة، فيها نفس المعالج ونفس عناوين المنفذ التسلسلي USART2، ولذلك يعمل نفس ملف ELF عليها بدون تعديل، والخيار -serial null الأول يعني أن المنفذ الأول USART1 لا يذهب إلى أي مكان، والثاني يحفظ USART2 في ملف. والمخرج:
Reset_Handler () at startup.c:8
8 void Reset_Handler(void) {
Breakpoint 1 at 0x800018c: file main.c, line 68.
Breakpoint 1, main () at main.c:68
68 int main(void) {
$1 = {device_name = "LOG\000\000\000\000", max_temp_c10 = 80, min_temp_c10 = 20}
Hardware watchpoint 2: cfg.max_temp_c10
Hardware watchpoint 2: cfg.max_temp_c10
Old value = 80
New value = 50
0x08000048 in set_name (src=0x8000448 "2", src@entry=0x8000440 "LOGGER-12") at main.c:39
39 while ((*dst++ = *src++)) { }
#0 0x08000048 in set_name (src=0x8000448 "2", src@entry=0x8000440 "LOGGER-12") at main.c:39
#1 0x08000234 in main () at main.c:83
$2 = {device_name = "LOGGER-1", max_temp_c10 = 50, min_temp_c10 = 20}
$3 = {0x4c, 0x4f, 0x47, 0x47, 0x45, 0x52, 0x2d, 0x31}
qemu-system-arm: QEMU: Terminated via GDBstub
[Inferior 1 (process 1) killed]ولنقرأه سطراً سطراً:
Reset_Handler () at startup.c:8: GDB اتصل بالمعالج وهو متوقف على أول تعليمة بعد التشغيل، وعرف من ملف ELF أنها فيReset_Handler.- عند
mainطبعنا البنية كلها: الاسم"LOG"وبعده أصفار، والحد 80، والأدنى 20، أي أن القيم صحيحة في البداية. Hardware watchpoint 2: GDB استخدم مقارن عتاد، وهذا ما نريده.Old value = 80ثمNew value = 50: المعالج توقف في نفس التعليمة التي كتبت، وGDB يعرض لنا السطرmain.c:39، وهو حلقة النسخ فيset_name، والمعاملsrc=0x8000448 "2"، أي أن الحرف الذي كان ينسخ لحظة الكتابة هو «2»، أي الحرف التاسع من"LOGGER-12"كما يظهر فيsrc@entry.btيعطينا من استدعى:main () at main.c:83، وهو السطر الذي يمرر الاسم الطويل.- والقيمة 50 هي الحرف «2» نفسه، فرمزه 0x32 أي 50 بالعشري، كتب في البايت الأول من الحد، ثم كتب الصفر في البايت الثاني، والاسم في الذاكرة صار
"LOGGER-1"بدون صفر في النهاية، أي أن أي قراءة للاسم لاحقاً ستكمل إلى ما بعده.

ثم كررنا نفس الملف على Renode، بعد أن شغلنا فيه خادم GDB على المنفذ 3333 بالملف lab/gdbserver.resc:
[INFO] disco: CPUs: ["disco.cpu"] were added to a new GDB server created on port :3333
[INFO] disco: GDB server with all CPUs started on port :3333
Reset_Handler () at startup.c:8
8 void Reset_Handler(void) {
Breakpoint 1 at 0x800018c: file main.c, line 68.
Breakpoint 1, main () at main.c:68
68 int main(void) {
$1 = {device_name = "LOG\000\000\000\000", max_temp_c10 = 80, min_temp_c10 = 20}
Hardware watchpoint 2: cfg.max_temp_c10
Hardware watchpoint 2: cfg.max_temp_c10
Old value = 80
New value = 50
0x08000048 in set_name (src=0x8000448 "2", src@entry=0x8000440 "LOGGER-12") at main.c:39
39 while ((*dst++ = *src++)) { }
#0 0x08000048 in set_name (src=0x8000448 "2", src@entry=0x8000440 "LOGGER-12") at main.c:39
#1 0x08000234 in main () at main.c:83
$2 = {device_name = "LOGGER-1", max_temp_c10 = 50, min_temp_c10 = 20}
$3 = {0x4c, 0x4f, 0x47, 0x47, 0x45, 0x52, 0x2d, 0x31}
[Inferior 1 (Remote target) killed]ونفس النتيجة حرفاً بحرف، وهذا هو المهم: طريقتك في التصحيح لا ترتبط بأداة، فنفس ملف أوامر GDB يعمل على المحاكيين، وسوف يعمل على الشريحة عبر OpenOCD. وقد واجهنا عند تشغيل Renode بهذه الطريقة مشكلة صغيرة تستحق الذكر: شغلناه في الخلفية مع < /dev/null كما فعلنا في المقالات السابقة، فرد GDB بـ Connection timed out، والسبب أن Renode في وضع --console يقرأ أوامره من المدخل القياسي، فلما وصل إلى نهاية الملف الفارغ أغلق نفسه بعد أن فتح الخادم مباشرة، ورأينا في سجله السطر disco: Disposed. والحل أن تبقي المدخل مفتوحاً، وفي المختبر بالأمر sleep 60 | renode ...، أو أن تشغله بمنفذ أوامر بالخيار -P.
والإصلاح الصحيح لهذا الخطأ ليس أن تكبر الحقل، وإنما أن تنسخ بحد أقصى هو حجم الحقل ناقص واحد، وأن ترفض الاسم الطويل وترد على الهاتف برسالة خطأ، لأن البيانات القادمة من خارج الجهاز يجب أن تعامل دائماً كبيانات قد تكون خاطئة أو معادية. وهذا النوع من الأخطاء، أي تجاوز حدود المخزن Buffer Overflow، هو من أكثر أسباب الثغرات في البرامج المكتوبة بلغة C، وقد شرحنا أدوات كشفه على الكمبيوتر في مقال الأخطاء الشائعة في C وكشفها، وهي تعمل على منطق الجهاز إذا فصلته عن العتاد واختبرته على جهازك.
الخطأ الثاني: متوسط يساوي صفراً، والفخ DIV_0_TRP
والنسخة الثانية بالخيار -DBUG_DIV0=1 يتوقف فيها الحساس عن الرد فيصبح عدد القراءات صفراً:
logger: boot
avg=41 max=80
name=LOG-12 max=80
avg=0
cmd: download
logger: idleوهذا التقرير الثاني: avg=0، والبرنامج يكمل وكأن شيئاً لم يحدث. والسبب أن تعليمة القسمة sdiv في Cortex-M3 وM4 تعطي صفراً عند القسمة على صفر ما لم يكن البت DIV_0_TRP في المسجل CCR مفعلاً، ولذلك فعلناه في النسخة الثالثة بالخيار -DTRAP_DIV0=1، فكان المخرج في Renode:
[WARNING] nvic: Writing to CCR.DIV_0_TRP, but FilterCcrDiv0Write is set. The field won't be updated.
logger: boot
avg=41 max=80
name=LOG-12 max=80
avg=0
cmd: download
logger: idleولا يوجد عطل، ولكن هناك تحذير في سجل Renode يشرح السبب: Writing to CCR.DIV_0_TRP, but FilterCcrDiv0Write is set. The field won't be updated، أي أن نموذج NVIC في Renode يتجاهل الكتابة في هذا البت افتراضياً، وله خاصية اسمها FilterCcrDiv0Write تتحكم في ذلك. وهذه مشكلة حقيقية واجهتنا، ولو لم نقرأ التحذيرات في سجل المحاكي لظننا أن الكود الذي يفعل الفخ خطأ. وبعد أن أضفنا إلى ملف run.resc السطر sysbus.nvic FilterCcrDiv0Write false:
logger: boot
avg=41 max=80
name=LOG-12 max=80
avg=FAULT pc=0x0800016C lr=0x08000271 xpsr=0x61000000
cfsr=0x02000000 hfsr=0x00000000 mmfar=0x00000000 bfar=0x00000000 exc_return=0xFFFFFFF9والآن المعالج توقف عند القسمة، والتقرير يقول cfsr=0x02000000، أي البت 25 وحده، وهو DIVBYZERO، وhfsr=0 لأن العطل وصل إلى معالج UsageFault مباشرة ولم يتصاعد. ولاحظ أن الطباعة توقفت في منتصف السطر بعد avg=، وهذا يحدد لك مكان العطل بالنسبة للطباعة. ولكن المكان الدقيق في PC، فنعطيه مع LR للأداة addr2line التي تحول العنوان إلى سطر عبر معلومات التصحيح في ملف ELF، كما في توثيقها:
average_c10
/work/logger/main.c:50
main
/work/logger/main.c:92 (discriminator 2)فالعطل في average_c10 عند main.c:50، وهو سطر القسمة، واستدعيت من main.c:92، وهو سطر الطباعة الثاني للمتوسط. وهذه هي الطريقة التي يشخص بها الفريق أي تقرير عطل يصل من جهاز في الميدان: عنوانان من التقرير، وملف ELF من نفس الإصدار، وأمر واحد. ولاحظ عبارة «من نفس الإصدار»، فإذا لم تحفظ ملف ELF لكل إصدار نشرته على الأجهزة، فالعناوين في التقرير لا تعني شيئاً، وهذا خطأ تقع فيه فرق كثيرة. والإصلاح هنا سهل: المتوسط لصفر من القراءات غير معرف، فالدالة يجب أن تعيد حالة خطأ يظهرها التقرير كـ «لا توجد قراءات»، وليس رقماً.
الخطأ الثالث: عطل HardFault حقيقي نشخصه من مسجلات المعالج
والنسخة الرابعة بالخيار -DBUG_DISPATCH=1 تصل فيها رسالة من الهاتف بنوع 4، والجدول فيه أربع دوال بالأرقام 0 إلى 3:
logger: boot
avg=41 max=80
name=LOG-12 max=80
avg=41
cmd: download
FAULT pc=0x08000182 lr=0x08000185 xpsr=0x21000000
cfsr=0x00020000 hfsr=0x00000000 mmfar=0x00000000 bfar=0x00000000 exc_return=0xFFFFFFF9وهذا هو «تجمد» الجهاز في التقرير الثالث: معالج العطل طبع تقريره ثم دخل حلقة لا تنتهي، وفي جهاز بدون منفذ موصول لن يرى أحد هذه الأسطر، فيبدو الجهاز متجمداً. والتقرير يقول cfsr=0x00020000، أي البت 17 INVSTATE، وpc=0x08000182. ولنفس الملف في QEMU كان المخرج:
logger: boot
avg=41 max=80
name=LOG-12 max=80
avg=41
cmd: download
FAULT pc=0x00C0FFEE lr=0x08000185 xpsr=0x20000000
cfsr=0x01000000 hfsr=0x00000000 mmfar=0x00000000 bfar=0x00000000 exc_return=0xFFFFFFF9وهنا PC هو 0x00C0FFEE، وCFSR هو 0x01000000، أي البت 24 UNALIGNED، أي أن المحاكيين لم يتفقا على سبب العطل ولا على PC، وسوف نعود إلى هذا الفرق بعد قليل. والآن نشخص بالطريقة الكاملة، فنشغل QEMU متوقفاً ونضع نقطة توقف على fault_report، ثم نقرأ ما نحتاجه بهذا الملف:
# Diagnose the fault (build with -DBUG_DISPATCH=1)
set pagination off
set confirm off
target remote :1234
break fault_report
continue
print/x sf[0]@8
print/x *(unsigned int *)0xE000ED28
info symbol sf[5]
info line *((sf[5] & ~1) - 2)
print/x $lr
bt
frame 1
info registers r3
print/x app
print sizeof(app.handlers) / sizeof(app.handlers[0])
killوالمخرج:
Reset_Handler () at startup.c:8
8 void Reset_Handler(void) {
Breakpoint 1 at 0x8000300: file startup.c, line 18.
Breakpoint 1, fault_report (sf=0x2001ffb8, exc_return=4294967289) at startup.c:18
18 void fault_report(uint32_t *sf, uint32_t exc_return) {
$1 = {0x4, 0x0, 0x9, 0xc0ffee, 0x0, 0x8000185, 0xc0ffee, 0x20000000}
$2 = 0x1000000
dispatch + 13 in section .text
Line 65 of "main.c" starts at address 0x8000182 <dispatch+10> and ends at 0x8000184 <dispatch+12>.
$3 = 0xfffffff9
#0 fault_report (sf=0x2001ffb8, exc_return=4294967289) at startup.c:18
#1 <signal handler called>
#2 0x00c0ffee in ?? ()
#3 0x08000184 in dispatch (type=type@entry=4 '\004') at main.c:65
#4 0x08000274 in main () at main.c:96
#1 <signal handler called>
r3 0xc0ffee 12648430
$4 = {handlers = {0x80000b1, 0x80000a1, 0x8000091, 0x8000081}, alarm_flags = 0xc0ffee}
$5 = 4
qemu-system-arm: QEMU: Terminated via GDBstub
[Inferior 1 (process 1) killed]ولنبن القصة من هذه الأسطر:
print/x sf[0]@8يطبع الكلمات الثماني في الإطار بالترتيب: R0 هو0x4، أي المعامل الأول للدالة التي كانت تعمل، وR3 هو0xc0ffee، وLR هو0x8000185، وPC هو0xc0ffee.info symbolيقول إن LR داخلdispatch، وinfo lineعلى العنوان الذي قبله بتعليمة يعطيmain.c:65، أي سطرapp.handlers[type](). وطرحنا 2 من LR بعد مسح آخر بت لأن LR يشير إلى التعليمة التي بعد الاستدعاء، والاستدعاء نفسه قبلها.- والأمر
btيصل إلى أبعد من ذلك، لأن GDB يفهم إطار الاستثناء في Cortex-M:#1 <signal handler called>هو حدود الاستثناء، ثم#2 0x00c0ffee in ?? ()هو العنوان الذي قفز إليه المعالج ولا توجد عنده دالة، ثم#3 dispatch (type=4)عندmain.c:65، ثم#4 main () at main.c:96. - و
print/x appيكمل القصة: الجدول فيه أربعة عناوين صحيحة، كلها تنتهي بـ 1 لأنها تعليمات Thumb، وبعدهalarm_flags = 0xc0ffee، أي أنhandlers[4]هي في الحقيقةalarm_flags.
أي أن الرسالة بنوع 4 جعلت dispatch تقرأ الكلمة الخامسة بعد بداية الجدول، وهي قيمة بيانات وليست عنوان دالة، ثم قفزت إليها. والكود الآلي للدالة يبين ذلك بوضوح:
08000178 <dispatch>:
8000178: push {r3, lr}
800017a: ldr r3, [pc, #12] @ (8000188 <dispatch+0x10>)
800017c: add.w r3, r3, r0, lsl #2
8000180: ldr r3, [r3, #12]
8000182: blx r3
8000184: pop {r3, pc}
8000186: nop
8000188: .word 0x20000000فالتعليمة ldr r3, [pc, #12] تأخذ عنوان app وهو 0x20000000، ثم add.w r3, r3, r0, lsl #2 تضيف النوع مضروباً في 4، ثم ldr r3, [r3, #12] تقرأ من الإزاحة 12، لأن app تبدأ بعد cfg بـ 12 بايت، ثم blx r3 تقفز إلى القيمة. ومع النوع 4 تقرأ من 0x20000000 + 16 + 12 = 0x2000001C:
20000000 0000000c D cfg
2000000c 00000014 D app
20000000 4c4f4700 00000000 50001400 b1000008 LOG.....P.......
20000010 a1000008 91000008 81000008 eeffc000 ................والكلمة الأخيرة في سطر 20000010 هي eeffc000، أي 0x00C0FFEE بترتيب Little Endian، وهي بالضبط ما قفز إليه المعالج. وآخر بت فيها صفر، ومعالجات Cortex-M لا تعرف إلا تعليمات Thumb، فالقفز إلى عنوان آخر بت فيه صفر يطلب حالة تنفيذ لا وجود لها في المعالج، وهذا تعريف INVSTATE. ولو كانت القيمة فردية لقفز المعالج إلى العنوان وحاول أن ينفذ ما فيه، وقد يكون ذلك أسوأ بكثير، لأن البرنامج قد يكمل بتعليمات عشوائية ويفسد الذاكرة قبل أن يتعطل. ولهذا السبب يعتبر هذا النوع من الأخطاء خطيراً أمنياً: رسالة من الخارج تتحكم في العنوان الذي يقفز إليه المعالج.


ماذا يحدث إذا اختلف المحاكيان؟ Renode مع QEMU
رأينا لنفس ملف ELF ونفس العطل نتيجتين مختلفتين: Renode حفظ PC بقيمة 0x08000182 وهي عنوان التعليمة blx r3 نفسها، وأعطى INVSTATE، أما QEMU فحفظ PC بقيمة الهدف 0x00C0FFEE وأعطى UNALIGNED. وتعريف INVSTATE في ملف CMSIS هو الأقرب لما حدث فعلاً، أي القفز بقيمة آخر بت فيها صفر، فالأرجح أن هذا ما ستعطيه الشريحة، وقيمة PC الدقيقة في الإطار تفصيل يختلف فيه النموذجان. والسؤال العملي: كيف تشخص إذا كانت أدواتك نفسها لا تتفق؟ والإجابة أن تعتمد على القيم التي لا يمكن أن تختلف لأنها نتيجة الكود وليس النموذج: LR الذي اتفق عليه الاثنان 0x08000185، وR3 الذي يحمل القيمة التي قفز إليها المعالج، وR0 الذي يحمل نوع الرسالة، ومحتوى الذاكرة. وهذه الأربع كانت كافية للوصول إلى السطر والسبب، دون الحاجة إلى معرفة أي البتين في CFSR هو الصحيح.

وهذه نقطة مهمة في استخدام المحاكاة كطريقة عمل، لأنها لا تقل قيمة المحاكي، وإنما تحدد أين تثق به: في منطق البرنامج والذاكرة والتعليمات تثق به كثيراً، وفي التفاصيل الدقيقة لسلوك الأعطال والطرفيات تتحقق من دليل المعمارية، وعند الشك على اللوحة. وقد رأينا في مقالات سابقة من هذه المرحلة فروقاً من نفس النوع في Renode: المنفذ الذي يعمل بدون تشغيل ساعته، وSysTick الذي لا يعد حتى يكتب في مسجله، وهنا فخ القسمة المعطل افتراضياً. والمحاكيان مفتوحا المصدر، ومثل هذه الفروق تبلغ فتصلح.
اختبارات Renode في CI: لكي لا تعود هذه الأخطاء
تشخيص الخطأ مرة واحدة لا يكفي، فالخطأ الذي أصلحته اليوم قد يعيده تعديل بعد ستة أشهر. والفرق التي تعمل بالمحاكاة تكتب لكل خطأ اختباراً يشغل البرنامج كاملاً في المحاكي ويقرأ مخرجه، ويعمل في كل طلب دمج كما شرحنا في مقال تشغيل الاختبارات في CI. وRenode يأتي مع أداة اسمها renode-test مبنية على Robot Framework، وفيها كلمات جاهزة مثل Wait For Line On Uart وShould Not Be On Uart، ويستخدمها فريق Renode نفسه لاختبار المحاكي، وتفاصيلها في توثيق الاختبارات. وملف الاختبارات لمسجل الحرارة:
*** Comments ***
Renode tests for the logger firmware, run in CI with: renode-test logger.robot --variable ELF:/path/to/logger.elf
*** Variables ***
${ELF} /tmp/logger.elf
${UART} sysbus.usart2
*** Keywords ***
Create Logger Machine
Execute Command mach create "disco"
Execute Command machine LoadPlatformDescription @platforms/boards/stm32f4_discovery-kit.repl
Execute Command sysbus.nvic Frequency 16000000
Execute Command sysbus.nvic FilterCcrDiv0Write false
Execute Command sysbus LoadELF @${ELF}
Create Terminal Tester ${UART} defaultPauseEmulation=true
*** Test Cases ***
Logger Should Boot
Create Logger Machine
Start Emulation
Wait For Line On Uart logger: boot timeout=1
Name Change Should Keep The Temperature Limit
Create Logger Machine
Start Emulation
# "=" in the text is read as a named argument, so match it with a regex dot
Wait For Line On Uart name.LOG-12 max.80 timeout=1 treatAsRegex=true
Logger Should Reach Idle Without A Fault
Create Logger Machine
Start Emulation
Wait For Line On Uart logger: idle timeout=1
Should Not Be On Uart FAULT timeout=0.2في الملف أعلاه لاحظ التالي:
- كل اختبار ينشئ آلة جديدة ويحمل البرنامج من الصفر، فلا يؤثر اختبار على آخر.
Create Terminal Testerيربط الاختبار بالمنفذ التسلسلي USART2، وdefaultPauseEmulation=trueيوقف المحاكاة عند كل تطابق، فيكون الوقت الافتراضي محدداً.- المهلة
timeout=1بالثواني الافتراضية، أي ثانية من وقت الجهاز، وليس من وقت سيرفر CI الذي قد يكون مشغولاً، وهذا ما يجعل الاختبار ثابتاً لا يفشل مرة وينجح مرة. - والاختبار الثالث يتحقق من شيئين: أن البرنامج وصل إلى
logger: idle، وأن كلمةFAULTلم تظهر، وهذا يمسك أي عطل في أي مكان.
وفي أول تشغيل فشل الاختبار الثاني في النسخة السليمة نفسها بهذه الرسالة:
Arguments types do not match any available keyword "WaitForLineOnUart" : [name=LOG-12 max=80, timeout=1]والسبب أن علامة = في النص المطلوب تجعل النص يقرأ كمعامل مسمى بالاسم name، وحتى بعد أن هربناها بـ \= كما يقول توثيق Robot بقي نفس الخطأ، لأن الكلمة تمر عبر واجهة بعيدة إلى Renode. والحل الذي في الملف أن نطابق بتعبير منتظم Regular Expression، فنضع نقطة مكان كل = ونضيف treatAsRegex=true، والنقطة تطابق أي حرف. وهذه من المشاكل التي تأخذ ساعة في أول مشروع، فاكتب النص الذي تنتظره بحروف بسيطة كلما استطعت. والتشغيل للنسخ الثلاث بالملف lab/run-tests.sh:
### test: good ()
+++++ Finished test 'logger.Logger Should Boot' in 3.83 seconds with status OK
+++++ Finished test 'logger.Name Change Should Keep The Temperature Limit' in 0.65 seconds with status OK
+++++ Finished test 'logger.Logger Should Reach Idle Without A Fault' in 0.92 seconds with status OK
Suite /work/logger.robot finished successfully in 6.29 seconds.
Tests finished successfully :)
### test: overflow (-DBUG_OVERFLOW=1)
+++++ Finished test 'logger.Logger Should Boot' in 3.36 seconds with status OK
+++++ Finished test 'logger.Name Change Should Keep The Temperature Limit' in 4.09 seconds with status failed
║ InvalidOperationException: Terminal tester failed!
║
║ Full report:
║ ([host: 11/06/2026 00:58:31, virt: 0] Attached to UART event: success)
║ [host: 11/06/2026 00:58:31, virt: 0] logger: boot
║ [host: 11/06/2026 00:58:31, virt: 0] avg=41 max=80
║ [host: 11/06/2026 00:58:31, virt: 0] name=LOGGER-12 max=50
║ [host: 11/06/2026 00:58:31, virt: 0] avg=41
║ [host: 11/06/2026 00:58:31, virt: 0] cmd: download
║ [host: 11/06/2026 00:58:31, virt: 0] logger: idle
║ [[no newline]]
║ ([host: 11/06/2026 00:58:32, virt: 1104.3] Line containing regex >>name.LOG-12 max.80<< event: failure)
+++++ Finished test 'logger.Logger Should Reach Idle Without A Fault' in 0.70 seconds with status OK
Suite /work/logger.robot failed in 9.03 seconds.
Some tests failed :( See the list of failed tests below and logs for details!
### test: dispatch (-DBUG_DISPATCH=1)
+++++ Finished test 'logger.Logger Should Boot' in 2.26 seconds with status OK
+++++ Finished test 'logger.Name Change Should Keep The Temperature Limit' in 0.59 seconds with status OK
+++++ Finished test 'logger.Logger Should Reach Idle Without A Fault' in 2.84 seconds with status failed
║ InvalidOperationException: Terminal tester failed!
║
║ Full report:
║ ([host: 11/06/2026 00:58:45, virt: 0] Attached to UART event: success)
║ [host: 11/06/2026 00:58:45, virt: 0] logger: boot
║ [host: 11/06/2026 00:58:45, virt: 0] avg=41 max=80
║ [host: 11/06/2026 00:58:45, virt: 0] name=LOG-12 max=80
║ [host: 11/06/2026 00:58:45, virt: 0] avg=41
║ [host: 11/06/2026 00:58:45, virt: 0] cmd: download
║ [host: 11/06/2026 00:58:45, virt: 0] FAULT pc=0x08000182 lr=0x08000185 xpsr=0x21000000
║ [host: 11/06/2026 00:58:45, virt: 0] cfsr=0x00020000 hfsr=0x00000000 mmfar=0x00000000 bfar=0x00000000 exc_return=0xFFFFFFF9
║ [[no newline]]
║ ([host: 11/06/2026 00:58:46, virt: 1105] Line containing >>logger: idle<< event: failure)
Suite /work/logger.robot failed in 6.46 seconds.
Some tests failed :( See the list of failed tests below and logs for details!والنتيجة كما يجب: النسخة السليمة نجحت في الثلاثة، ونسخة تجاوز المخزن فشلت في اختبار حد الحرارة، والتقرير يعرض كل ما طبعه الجهاز ومنه name=LOGGER-12 max=50، ونسخة الجدول فشلت في اختبار الوصول إلى الانتظار، ومعها تقرير العطل كاملاً. ولاحظ الوقت الافتراضي virt: 1104.3 في آخر سطر من الفشل، أي أن الاختبار انتظر ثانية من وقت الجهاز ثم فشل. ويكتب renode-test تقريراً بصيغة HTML تفتحه في المتصفح، وفيه كل اختبار وكل كلمة وكم أخذت:


التصحيح في الميدان Field Debugging: ما الذي تتركه في البرنامج؟
كل ما سبق يفترض أن الجهاز على مكتبك أو في المحاكي، ولكن التقارير الثلاثة جاءت من أجهزة في الميدان. ولذلك يضيف الفريق إلى البرنامج أشياء تعطيه معلومات من الأجهزة البعيدة:
- تقرير عطل يبقى بعد إعادة التشغيل: معالج العطل يكتب PC وLR وCFSR وHFSR وجزءاً من المكدس في منطقة ذاكرة لا يمسحها كود البداية، أي قسم
.noinitفي ملف الربط، ثم يعيد تشغيل الجهاز بكتابة في المسجل AIRCR. وعند الإقلاع التالي يجد البرنامج التقرير فيرسله مع السجل التالي إلى السيرفر، فيصل إلى الفريق مع رقم الإصدار، ويحولونه إلى سطر بـaddr2lineوملف ELF المحفوظ لذلك الإصدار. - مؤقت المراقبة Watchdog: مؤقت في العتاد يعيد تشغيل الشريحة إذا لم يلمسه البرنامج خلال مدة محددة، فلا يبقى الجهاز متجمداً للأبد كما في التقرير الثالث، ومعه عداد لمرات إعادة التشغيل بسببه يظهر في التقارير، لأن الجهاز الذي يعيد تشغيل نفسه كل ساعة يخفي خطأ لا يحل.
- نقاط اختبار على اللوحة: أرجل SWD وUART على نقاط يمكن الوصول إليها بدون فك اللوحة، لكي يستطيع الفريق تصحيح جهاز يعود من العميل، مع حماية القراءة في نسخ الإنتاج لكي لا يقرأ أحد البرنامج من جهاز مسروق.
- رقم الإصدار وبصمة البناء: في أول سطر يطبعه الجهاز وفي كل تقرير، لأن تقرير عطل بدون إصدار لا يمكن تحويله إلى سطر.
أخطاء شائعة Common Mistakes
- معالج HardFault الافتراضي حلقة لا تنتهي بدون أي تقرير، فيبدو كل عطل كأنه تجمد.
- معالج عطل بدون
nakedيغير المكدس قبل أن يقرأ الإطار، فتقرأ PC وLR من مكان خاطئ. - قراءة الإطار دائماً من MSP، ونسيان أن المهام في FreeRTOS تعمل على PSP.
- ترك
bkptفي معالج العطل بدون فحص وجود المصحح، فيتحول كل عطل إلى عطل ثان بالبت FORCED. - عدم تفعيل معالجات MemManage وBusFault وUsageFault، فيصل كل شيء إلى HardFault ويضيع نوعه.
- ترك DIV_0_TRP معطلاً، فتعيد القسمة على صفر صفراً بهدوء كما رأينا
avg=0. - عدم حفظ ملف ELF لكل إصدار، فلا يمكن تحويل عناوين تقرير العطل إلى أسطر.
- الكثير من نقاط التوقف على كود في الفلاش، ونسيان أن عددها بالعتاد محدود.
- تصديق قيمة واحدة من المحاكي في تفاصيل الأعطال، بدل الاعتماد على LR والمسجلات والذاكرة التي لا تختلف.
- اختبارات في CI تعتمد على وقت السيرفر بدل الوقت الافتراضي، فتفشل عندما يكون السيرفر مشغولاً.
- تجاهل تحذيرات سجل المحاكي، كما في
FilterCcrDiv0Write.
قائمة تحقق Checklist لتصحيح جهاز جديد
- منفذ تسلسلي للرسائل، وأول سطر فيه الإصدار وبصمة البناء.
- معالج أعطال
nakedيختار MSP أو PSP، ويطبع ويحفظ PC وLR وxPSR وCFSR وHFSR وMMFAR وBFAR. - معالجات MemManage وBusFault وUsageFault مفعلة في SHCSR، وDIV_0_TRP مفعل في نسخ التطوير.
- تقرير العطل في ذاكرة
.noinitيرسل بعد إعادة التشغيل، وWatchdog يمنع التجمد. - ملف ELF لكل إصدار محفوظ مع رقم الإصدار، وأمر
addr2lineموثق للفريق. - ملفات أوامر GDB في المستودع للحالات المتكررة، تعمل على المحاكي وعلى اللوحة.
- اختبار Renode لكل خطأ أصلح، يقرأ المنفذ التسلسلي ويتحقق من غياب
FAULT، ويعمل في كل دمج. - نقاط SWD وUART على اللوحة، وحماية القراءة في نسخ الإنتاج.
تدريب عملي Practice
- أصلح
set_nameبحيث تنسخ سبعة حروف على الأكثر وتضع الصفر، ثم شغلrun-tests.shوتأكد أن نسخةBUG_OVERFLOWصارت تنجح. - أضف إلى
dispatchفحصtype < 4، واكتب اختبار Robot جديداً يتأكد أن الجهاز يطبع رسالة خطأ للنوع 4 ولا يتعطل. - استخدم
rwatchفي GDB علىcfg.min_temp_c10لكي تعرف كل الأسطر التي تقرأ الحد الأدنى. - عدل معالج العطل لكي يحفظ التقرير في قسم
.noinitتضيفه إلى ملف الربط، ثم يعيد التشغيل، ويطبع التقرير المحفوظ عند الإقلاع التالي.
الخلاصة Summary
وصلنا لنهاية الموضوع، وأهم ما فيه:
- في المتحكم لا توجد حماية للذاكرة غالباً، فالأخطاء تغير القيم بصمت، وبعضها مثل القسمة على صفر لا يعطي أي إشارة ما لم تفعل الفخ.
- التصحيح طبقات: منفذ تسلسلي، ثم GDB عبر SWD أو JTAG ومسبار وخادم مثل OpenOCD، ثم تقرير عطل من الميدان، ثم اختبارات في المحاكي.
- نفس ملف أوامر GDB عمل على QEMU وعلى Renode، ونقطة المراقبة أوقفت المعالج في
set_nameعندmain.c:39لحظة تغير الحد من 80 إلى 50. - مع DIV_0_TRP صارت القسمة على صفر عطلاً بـ
cfsr=0x02000000، وحولaddr2lineالعنوان إلىmain.c:50، بعد أن ضبطناFilterCcrDiv0Writeفي Renode. - إطار الاستثناء والمسجلات R0 وR3 وLR ومحتوى
appكشفت أن رسالة بنوع 4 جعلتdispatchتقفز إلىalarm_flags = 0x00C0FFEE. - المحاكيان اختلفا في PC وبت CFSR للعطل نفسه، واتفقا في LR والمسجلات والذاكرة، فاعتمد على ما يتفقان عليه.
- اختبارات
renode-testبالوقت الافتراضي نجحت على النسخة السليمة وفشلت على النسختين الخاطئتين، وهكذا لا يعود الخطأ بعد إصلاحه.
وفي المقال القادم من مرحلة البرمجيات المدمجة Firmware بإذن الله ننتقل إلى سؤال يسأله كل من يصنع جهازاً بالبطارية: كم سيعيش مسجل الحرارة بشحنة واحدة، وكيف نقيس ذلك ونطيله. وإلى ذلك الحين، هذه مقالات تكمل ما بنينا عليه:
دليلتصميم الأجهزة قليلة الاستهلاك Low Power: عمر البطاريةنقيس في Renode متى ينام المعالج ومتى يستيقظ، ثم نحول القياس إلى عمر بطارية بأرقام أوراق بيانات TI، ونرى كيف ينقل سطر واحد عمر الجهاز من سنوات إلى أيام.
دليلقراءة ال Stack Trace وتصحيح الأخطاء Debugging للمبتدئينكيف تقرأ رسالة الخطأ في Python وJavaScript سطراً بسطر، ومتى تستخدم الطباعة أو نقاط التوقف في VS Code، وكيف يجد git bisect التعديل الذي أدخل الخطأ.
دليلأخطاء شائعة في C وكشفها بالأدوات Sanitizersأربعة عشر خطأً يقع فيها من يأتي إلى C من لغة أخرى، شغلنا كلاً منها ورأينا أي أداة كشفته وأيها فاتها، ثم جربنا التغذية العشوائية على قارئ الطلبات، وختمنا بخطة قراءة من المصادر الرسمية.
دليلالمؤشرات Pointers والذاكرة والأخطاء في لغة Cنقرأ ملف طلبات نقطة البيع بلغة C ونقف عند كل ما تسمح به اللغة دون أن تخبرك: تحويلات الأنواع، والحشو، وتجاوز المخزن، ومن يحرر الذاكرة، وكيف تصل الأخطاء بقيمة الرجوع وerrno.
دليلتشغيل الاختبارات في CI: السرعة وعلاج Flaky Testsأين يذهب وقت خط CI، ومتى يفيد ال Cache والتوازي ومتى يضران، وكيف تكشف الاختبار المتقلب وتعزله، مع خط حقيقي في Gitea Actions نزل من 43 ثانية حمراء إلى 21 ثانية خضراء.
دليلاختبارات الوحدة Unit Tests عملياً: متى تستخدم Mocks؟كيف تكتب اختبارات وحدة تفشل حين يوجد خطأ وتنجح حين لا يوجد، ومتى يكون ال Mock مفيداً ومتى يخفي الأخطاء، مع تجربة على خدمة تجديد اشتراكات.
دليلTherac-25: حين أصبح خطأ برمجي خطراً على المرضىكيف تسبب سباق بين مهمتين وعداد من بايت واحد في جرعات إشعاع زائدة، وماذا تتعلم منها عن الأنظمة الحرجة وكودك اليومي.سجل التحديثات Changelog
- نوفمبر 2026: كتابة المقال، وتشغيل كل التجارب داخل Container من Docker Image fw-toolchain:1 مع arm-none-eabi-gcc 14.2.rel1 وGNU GDB 16.3 (gdb-multiarch)، والمحاكي QEMU 10.0.13 بالبورد netduinoplus2، والمحاكي Renode 1.17.0 بوصف اللوحة stm32f4_discovery-kit مع renode-test وRobot Framework 6.1، على Docker Engine 29.8.0.