الإلكترونيات والطائرات المسيرة والطباعة ثلاثية الأبعاد الأدلة التقنية

بروتوكولات الاتصال اللاسلكي: BLE وZigbee وThread وLoRaWAN

كيف تختار راديو جهاز إنترنت الأشياء وبروتوكول التطبيق فوقه، مع قراءة واحدة أرسلناها عبر MQTT وCoAP وLwM2M والتقطنا كل بايت منها، ثم إطار LoRaWAN حقيقي وزمن بثه من SF7 إلى SF12.

بروتوكولات الاتصال اللاسلكي: BLE وZigbee وThread وLoRaWAN

غرفة التبريد في مقال إنترنت الأشياء من الحساس إلى لوحة المتابعة كانت سهلة من ناحية الاتصال، فالجهاز موصول بالكهرباء وشبكة Wi-Fi المكتب على بعد أمتار، فأرسل قراءته عبر MQTT ولم يفكر أحد في الراديو. ثم يأتي الطلب الثاني الذي يأتي لكل شركة تنجح في أول غرفة: أربعون ثلاجة دوائية صغيرة في مبنى واحد لا يوجد بجانب أي منها مقبس كهرباء فارغ، ومستودع مبرد ثان على أطراف المنطقة الصناعية على بعد ثلاثة كيلومترات لا يوجد فيه إنترنت أصلاً، وشاحنة مبردة تتحرك بين الموقعين وتريد الإدارة أن تعرف حرارتها في الطريق، وفني يزور الثلاجات مرة في الأسبوع ويريد أن يقرأ سجل الحرارة من جواله دون أن يفتح أي جهاز. وكل واحد من هذه الطلبات الأربعة يحتاج راديو مختلفاً، وإذا اخترت الراديو الخطأ فلن يصلحه أي سطر في البرنامج الثابت Firmware، لأن البطارية سوف تفرغ في أسابيع بدل سنوات، أو لن تصل الإشارة، أو سوف تجد أن الرسالة التي صممتها لا تدخل في الإطار الذي يسمح به الراديو أصلاً.

وفي هذا المقال سوف نأخذ القرار الذي يسبق كل ما بنيناه في المقالات السابقة: كيف تختار الراديو Radio لجهاز إنترنت الأشياء IoT، ثم كيف تختار بروتوكول التطبيق Application Protocol الذي يناسب رابطاً ضيقاً Constrained Link، ولن نكتفي بالجداول، بل سوف نرسل قراءة واحدة من غرفة التبريد، وهي {"t":4.3}، بثلاث طرق على شبكة Docker واحدة، ونلتقط كل بايت على السلك، ثم نضع القراءة نفسها في إطار LoRaWAN حقيقي ونحسب كم يبقى في الهواء. وهذا المقال جزء من مرحلة إنترنت الأشياء IoT في مسار الإلكترونيات، وقبله شرحنا بروتوكول MQTT مع Mosquitto بتفاصيله، فلن نعيد شرح مستويات التسليم QoS والجلسات هنا، وشرحنا استهلاك راديو Wi-Fi في مقال ESP32، وحساب عمر البطارية في مقال تصميم الأجهزة قليلة الاستهلاك Low Power.

وسوف نناقش في هذا المقال ما يلي:

  • لماذا لا يصلح Wi-Fi لكل جهاز، والمثلث الذي يحكم كل راديو: المدى Range والطاقة Power وسرعة البيانات Data Rate، ومعه شكل الشبكة Topology والطيف المرخص Licensed وغير المرخص Unlicensed وحد نسبة الإرسال Duty Cycle.
  • بلوتوث منخفض الطاقة Bluetooth Low Energy واختصاراً BLE: الإعلان Advertising والاتصال Connection وGATT وفترة الاتصال Connection Interval وطبقات الراديو PHY.
  • Zigbee وThread فوق نفس الراديو IEEE 802.15.4، ثم Matter الذي يعمل فوقهما وفوق Wi-Fi.
  • LoRaWAN: عامل الانتشار Spreading Factor وزمن البث Time on Air والفئات A وB وC والبوابات وسيرفر الشبكة، ثم شبكات الجوال NB-IoT وLTE-M وWi-Fi HaLow باختصار.
  • طبقة التطبيق على الرابط الضيق: MQTT مقابل CoAP مقابل LwM2M، مع إشارة إلى MQTT-SN.
  • مختبر Lab يرسل القراءة نفسها عبر MQTT وCoAP وLwM2M ويلتقطها بالأداة tcpdump، وقراءة رسالة CoAP ورسالة MQTT بايتاً بايتاً.
  • تجربة «ماذا يحدث إذا ضاعت الرسائل؟» بين إعادة الإرسال في CoAP وإعادة الإرسال في TCP، ثم إطار LoRaWAN حقيقي وزمن بثه من SF7 إلى SF12.
  • حادثتان موثقتان في BLE وZigbee، وجدول قرار Decision Table، وأخطاء شائعة، وقائمة تحقق.

لماذا لا نستخدم Wi-Fi لكل شيء؟

قد يتساءل البعض: إذا كان Wi-Fi موجوداً في كل مبنى، والشريحة ESP32 تحمله بسعر زهيد، فلماذا نتعب أنفسنا ببروتوكولات أخرى؟ والإجابة على ذلك في رقمين من ورقة بيانات ESP32 رأيناهما في مقال ESP32: الإرسال على Wi-Fi يسحب قرابة 240 ميلي أمبير، والاستماع وحده قرابة 100 ميلي أمبير، والجهاز لا يرسل فقط وإنما يجب أن ينضم إلى الشبكة ويأخذ عنواناً عبر DHCP ويفتح اتصالاً، وكل هذا يأخذ مئات الميلي ثواني أو ثواني قبل أن تخرج أول قراءة. فإذا كانت ثلاجة الدواء تعمل على بطاريتين من نوع AA بسعة 2,500 ميلي أمبير ساعة، فإن ساعة واحدة من الاستماع المتواصل تأكل 4% من البطارية، وبالتالي إما أن تنام الشريحة معظم الوقت وتنضم من جديد في كل مرة، وإما أن تفرغ البطارية في أيام.

والمشكلة الثانية هي المدى: Wi-Fi العادي مصمم لغرفة أو طابق، والمستودع البعيد على بعد ثلاثة كيلومترات لن تصله أي نقطة وصول Access Point في المكتب، والمشكلة الثالثة هي الشبكة نفسها: كل جهاز على Wi-Fi يحتاج كلمة مرور الشبكة ومكاناً في جدول العناوين ومتابعة من فريق الشبكة، وأربعون ثلاجة تعني أربعين جهازاً على شبكة المكتب. لذلك ظهرت عائلات راديو صممت من البداية لجهاز ينام 99% من الوقت، ويرسل بايتات قليلة، ولا يحتاج أن يكلم الإنترنت مباشرة.

المثلث: المدى Range والطاقة Power وسرعة البيانات Data Rate

كل راديو يعمل تحت قانون فيزيائي واحد: كلما أردت أن تصل الإشارة أبعد بنفس قدرة الإرسال، يجب أن يرسل الجهاز كل بت لمدة أطول حتى يميزه المستقبل وسط الضجيج، وهذا يعني سرعة أقل وزمناً أطول في الهواء، وزمن البث هو الذي يستهلك البطارية. وإذا أردت سرعة كبيرة ومدى بعيداً معاً، فيجب أن ترفع قدرة الإرسال، فتدفع من البطارية. لذلك لا يوجد راديو يكسب الأضلاع الثلاثة، وكل بروتوكول في هذا المقال هو اختيار لنقطة داخل هذا المثلث، والشكل التالي يضع كل واحد في مكانه التقريبي، ومعه أشكال الشبكة الثلاثة:

مثلث رؤوسه مدى بعيد في الأعلى واستهلاك قليل في الأسفل يميناً وسرعة عالية في الأسفل يساراً، وفي داخله LoRaWAN بين المدى والاستهلاك، وNB-IoT وLTE-M قرب المدى، وWi-Fi HaLow بين المدى والسرعة، وWi-Fi عند السرعة، وBLE وZigbee وThread عند الاستهلاك القليل، وبجانبه ثلاث بطاقات تشرح كل مجموعة، وتحته ثلاثة رسوم لشكل الشبكة: نجمة، وشبكة متداخلة Mesh، ونجمة من نجوم
كل راديو يختار نقطة في المثلث، وشكل الشبكة يحدد من يمرر رسائل من

بعد الراديو يأتي السؤال الثاني: هل يكلم كل جهاز نقطة مركزية مباشرة، أم يمرر الجيران رسائل بعضهم؟ وفيما يلي الأشكال الثلاثة التي سوف تقابلها:

  • النجمة Star: كل جهاز يكلم المركز مباشرة، مثل الجوال الذي يكلم ساعة BLE، أو الأجهزة على Wi-Fi ونقطة الوصول، أو جهاز NB-IoT وبرج المشغل. وهي أبسط شكل، ولكن مداها هو مدى رابط واحد، فإذا كان الجهاز خلف جدار سميك فلا يوجد طريق آخر.
  • الشبكة المتداخلة Mesh: الأجهزة الموصولة بالكهرباء تمرر رسائل غيرها، فتمتد الشبكة في المبنى من جهاز إلى جهاز، وهذا ما يفعله Zigbee وThread. والثمن أن جهاز التمرير يجب أن يبقى مستمعاً طوال الوقت، فلا يمكن أن يعمل على بطارية صغيرة، وأن الرسالة تتأخر مع كل جهاز إضافي في الطريق.
  • النجمة من النجوم Star of Stars: الجهاز يرسل للهواء، وتسمعه بوابة أو أكثر، وكل البوابات توصل ما تسمعه إلى سيرفر واحد يحذف المكرر، وهذا شكل LoRaWAN. والجهاز هنا لا يعرف أي بوابة سمعته، ولا يحتاج أن ينضم إلى بوابة معينة.

BLE وZigbee وThread وWi-Fi تعمل في نطاق 2.4 GHz الذي يستخدمه أي أحد دون ترخيص، وLoRaWAN وWi-Fi HaLow تعمل في نطاقات أقل من 1 GHz غير مرخصة أيضاً، مثل 863 إلى 870 MHz في أوروبا و902 إلى 928 MHz في أمريكا، أما NB-IoT وLTE-M فتعمل في طيف مرخص Licensed اشتراه مشغل الجوال. والفرق عملي جداً: في الطيف غير المرخص لا تدفع اشتراكاً، ولكنك تشارك الهواء مع كل جيرانك، والجهة المنظمة تضع قيوداً حتى لا يحتكر جهاز واحد القناة. وأشهر هذه القيود حد نسبة الإرسال Duty Cycle، فوثيقة المعايير الإقليمية RP002 من تحالف LoRa Alliance تنص على أن القنوات الافتراضية في نطاق EU863-870 نسبة إرسالها أقل من 1%، أي أن الجهاز لا يرسل أكثر من 36 ثانية في الساعة، وفي أمريكا لا يوجد حد بالنسبة، ولكن يوجد حد للبقاء على القناة Dwell Time قدره 400 ميلي ثانية للإرسال الواحد. وسوف نرى في المختبر كيف يتحول هذا الحد إلى عدد رسائل في الساعة.

والصورة التالية تبين شكل وحدات الراديو التي سوف نتكلم عنها قبل أن نبدأ، فهي ليست شرائح مجردة في رسم، وإنما قطع صغيرة تلحم على لوحة جهازك أو تركب فيها:

صورتان: على اليمين وحدة سوداء صغيرة مكتوب عليها NRF51822 وBluetooth4.0، في وسطها شريحة مربعة وفي أعلاها خط متعرج هو الهوائي المطبوع على اللوحة، وعلى الجانبين صفان من الأرجل، وعلى اليسار وحدة زرقاء مكتوب عليها XBee يخرج منها هوائي سلكي أسود قصير، وتحتها صفان من الأرجل الرفيعة
من اليمين: وحدة BLE مبنية على الشريحة nRF51822 بهوائي مطبوع، ووحدة XBee Series 2 التي تتكلم Zigbee بهوائي سلكي. الصور: Ubahnverleih (رخصة CC0، المصدر) وMark Fickett (رخصة CC BY 3.0، المصدر)، من Wikimedia Commons (تم جمعها وتحويلها إلى WebP).

بلوتوث منخفض الطاقة Bluetooth Low Energy

BLE ليس Bluetooth السماعات القديم بإصدار أحدث، وإنما راديو آخر صمم ليعمل على بطارية زر صغيرة، ويشارك Bluetooth الكلاسيكي الاسم ونطاق 2.4 GHz فقط. ويقسم BLE النطاق إلى 40 قناة عرض كل منها 2 MHz، منها ثلاث قنوات للإعلان Advertising هي 37 و38 و39، والبقية للبيانات بعد الاتصال، كما يذكر توثيق BLE5-Stack من Texas Instruments. وأهم ميزة فيه لحالتنا أنه موجود في كل جوال، فالفني الذي يزور الثلاجات لا يحتاج أي جهاز إضافي.

للجهاز طريقتان ليقول ما عنده. في الطريقة الأولى يرسل حزمة إعلان قصيرة على القنوات الثلاث كل فترة، مثلاً كل ثانية، وأي جوال أو بوابة قريبة تستمع تلتقطها دون أن يتصل أحد بأحد، وهذه هي الطريقة الأوفر، وعليها تعمل حساسات الحرارة الرخيصة والمنارات Beacons. وكانت حمولة الإعلان القديم Legacy Advertising لا تزيد عن 31 بايتاً، ثم رفعها الإعلان الموسع Extended Advertising في Bluetooth 5 إلى 1,650 بايتاً عبر حزم متسلسلة على قنوات البيانات. ولكن الإعلان في اتجاه واحد، ولا يوجد فيه إقرار Acknowledgement، فإذا لم يسمعه أحد في تلك اللحظة فقد ضاع.

وفي الطريقة الثانية يتصل الجوال بالجهاز، فيتفق الطرفان على فترة الاتصال Connection Interval، وهي المدة بين كل لقاءين قصيرين يتبادلان فيهما البيانات، ويمكن أن تكون من 7.5 ميلي ثانية إلى 4 ثوان، وبين اللقاءات ينام الراديو. وهنا تظهر الموازنة بوضوح: فترة 7.5 ميلي ثانية تعطيك استجابة سريعة لنقل سجل الحرارة كاملاً، وفترة ثانية أو أكثر تعطيك بطارية أطول، ويسمح المعيار للجهاز الطرفي Peripheral أن يتخطى عدداً من اللقاءات إذا لم يكن عنده شيء، وهذا ما يسمى Peripheral Latency، بشرط ألا يتجاوز مهلة الإشراف Supervision Timeout التي يعتبر بعدها الاتصال منقطعاً.

GATT: الخدمات Services والخصائص Characteristics

بعد الاتصال لا يرسل الطرفان رسائل حرة كما في MQTT، وإنما يتكلمان عبر قاعدة بيانات صغيرة على الجهاز اسمها GATT اختصاراً لـ Generic Attribute Profile. وفي هذه القاعدة خدمات Services، وكل خدمة فيها خصائص Characteristics، ولكل خاصية معرف UUID وقيمة وصلاحيات: قراءة، أو كتابة، أو إشعار Notify يرسله الجهاز كلما تغيرت القيمة. فجهاز الثلاجة مثلاً يعرض خدمة للبيئة فيها خاصية الحرارة، والجوال يشترك في إشعاراتها، وخاصية ثانية لسجل آخر 24 ساعة يقرؤها الفني عند الزيارة. ولاحظ أن هذا النموذج قريب جداً من LwM2M الذي سوف نراه في المختبر: الجهاز يعرض قيماً لها عناوين ثابتة، والطرف الآخر يقرؤها أو يراقبها.

بدأ BLE بطبقة واحدة سرعتها 1 ميجابت في الثانية واسمها LE 1M، ثم أضاف Bluetooth 5 طبقتين: LE 2M بضعف السرعة لنقل البيانات بسرعة ثم العودة للنوم، وLE Coded التي تضيف تصحيح الأخطاء Forward Error Correction، فيمثل كل بت برمزين بسرعة 500 كيلوبت في الثانية ويتضاعف المدى تقريباً، أو بثمانية رموز بسرعة 125 كيلوبت في الثانية ويصل المدى إلى قرابة أربعة أضعاف، كما يشرح توثيق LE Coded PHY من Texas Instruments. وهذا هو المثلث نفسه داخل بروتوكول واحد: نفس قدرة الإرسال، ومدى أبعد مقابل سرعة أقل وزمن أطول في الهواء. ولكن الطبقة المرمزة لا تجعل BLE راديو كيلومترات في مدينة، فهي تعطيك غرفة أو مستودعاً أكبر، وأغلب الجوالات لا تزال تستخدم 1M في الإعلان.

وقد يتساءل البعض: هل يصلح BLE للثلاجات الأربعين؟ والإجابة نعم، بشرط أن يوجد شيء يستمع: إما بوابة BLE في كل طابق موصولة بالكهرباء تلتقط الإعلانات وترسلها بـ MQTT، وإما أن تكتفي بالقراءة عند زيارة الفني. أما إذا كانت الإدارة تريد تنبيهاً خلال دقائق من أي ثلاجة، والمبنى كبير وجدرانه سميكة، فإن عدد البوابات يكبر، وهنا تبدأ الشبكة المتداخلة في Zigbee وThread تصبح أرخص.

💡
في فبراير 2020 نشر باحثون من جامعة سنغافورة للتقنية والتصميم مجموعة ثغرات في BLE سموها SweynTooth، وفي 4 مارس 2020 أصدرت وكالة CISA الأمريكية التنبيه ICS-ALERT-20-063-01 الذي يذكر 12 ثغرة في حزم البرمجيات SDK لسبعة مصنعين على الأقل، منهم Texas Instruments وNXP وCypress وDialog وMicrochip وSTMicroelectronics وTelink. وكانت الثغرات تسمح لمهاجم في مدى الراديو أن يوقف الجهاز Crash، أو يجمده Deadlock حتى يحتاج فصل الكهرباء يدوياً، وواحدة منها تتجاوز الاقتران الآمن Secure Connections Pairing، وذكر التنبيه أجهزة طبية مثل منظمات ضربات القلب وأجهزة قياس السكر. والدرس أن الثغرة لم تكن في تطبيق أي شركة، وإنما في كود الراديو الذي جاء مع الشريحة، فلا يمكن إصلاحها إلا بتحديث البرنامج الثابت، وهذا سبب إضافي لأن يكون التحديث عن بعد OTA جزءاً من التصميم من اليوم الأول.

IEEE 802.15.4: الراديو الذي يشترك فيه Zigbee وThread

قبل Zigbee وThread يجب أن نعرف أنهما لا يختلفان في الراديو، فالاثنان يعملان فوق المعيار IEEE 802.15.4، وفي نطاق 2.4 GHz سرعته 250 كيلوبت في الثانية على 16 قناة، وأكبر إطار فيه 127 بايتاً فقط. وهذا الرقم الأخير مهم جداً، لأنه أصغر بكثير من إطار Ethernet الذي يحمل 1,500 بايت، وبالتالي كل بروتوكول فوق 802.15.4 يجب أن يكون مقتصداً في رؤوسه. والكثير من الشرائح الحديثة، مثل عائلة nRF52840 من Nordic أو EFR32 من Silicon Labs، تحمل راديو يتكلم BLE و802.15.4 معاً، فيمكن أن يكون نفس العتاد جهاز Zigbee أو Thread بحسب البرنامج الذي تضعه عليه.

Zigbee: شبكة متداخلة Mesh ومنسق Coordinator

Zigbee أقدم الاثنين، ويصفه موقع تحالف معايير الاتصال Connectivity Standards Alliance بأنه شبكة متداخلة تنظم نفسها وتصلح نفسها Self-healing وتصل إلى آلاف الأجهزة، ويعمل على 2.4 GHz وعلى نطاقات أقل من 1 GHz. وفي شبكة Zigbee ثلاثة أدوار:

  • المنسق Coordinator: جهاز واحد ينشئ الشبكة ويحدد قناتها ومفتاحها، وغالباً هو البوابة Gateway الموصولة بالسيرفر، مثل وحدة USB في جهاز Home Assistant.
  • الموجه Router: جهاز موصول بالكهرباء، مثل مقبس ذكي أو مصباح، يمرر رسائل غيره ويستمع طوال الوقت.
  • الجهاز الطرفي End Device: يعمل على بطارية وينام معظم الوقت، ويكلم موجهاً واحداً هو والده Parent الذي يحتفظ برسائله حتى يستيقظ ويسأل عنها.

وفوق طبقة الشبكة توجد مكتبة العناقيد Zigbee Cluster Library واختصاراً ZCL، وهي التي تجعل حساس الحرارة من شركة ومصباح من شركة أخرى يتفاهمان، فعنقود قياس الحرارة له رقم ثابت وخصائص ثابتة، مثل فكرة GATT في BLE. ونقطة الضعف العملية في Zigbee أنه لا يتكلم IP، فكل شيء يمر عبر المنسق الذي يترجم إلى MQTT أو غيره، وإذا تعطل المنسق توقفت الشبكة كلها عن السيرفر، وأن مسؤولية ضم الأجهزة وتوزيع المفاتيح كلها على المنسق.

💡
في الثغرة CVE-2020-6007 وجد باحثو Check Point أن جسر Philips Hue من الجيل الثاني، وهو منسق Zigbee لمصابيح Hue، فيه تجاوز ذاكرة Heap عند استقبال نص ZCL طويل أثناء مرحلة الضم Commissioning، وهذا يسمح بتشغيل كود على الجسر نفسه، والجسر موصول بشبكة المنزل أو المكتب. والسيناريو الذي نشروه يبدأ من مصباح مخترق عبر الراديو، يجعل المستخدم يعيد ضمه، فيرسل الإطار الخبيث إلى الجسر. وأصلحت الشركة الثغرة في البرنامج الثابت 1935144040 في 13 يناير 2020. والدرس أن البوابة التي تترجم بين الراديو وIP هي أهم جهاز في الشبكة من ناحية الأمان، لأنها تقرأ إطارات من أي جهاز في مدى الراديو، ثم تجلس على شبكتك، وقد شرحنا في مقال أمن إنترنت الأشياء لماذا يجب أن تعامل كل إطار راديو كمدخل غير موثوق.

Thread: IPv6 حتى آخر حساس

Thread يستخدم نفس راديو Zigbee، ولكنه اتخذ قراراً مختلفاً تماماً في الطبقة التي فوقه: كل جهاز في الشبكة له عنوان IPv6 حقيقي، كما يقول موقع Thread Group إنه مبني على 802.15.4 ويوصل الإنترنت إلى الأجهزة منخفضة الطاقة. وقد يتساءل البعض: كيف يدخل IPv6 برأسه البالغ 40 بايتاً، والحد الأدنى للحزمة فيه 1,280 بايتاً، في إطار حجمه 127 بايتاً؟ والإجابة هي طبقة 6LoWPAN التي عرفها RFC 4944 ثم حسن ضغطها RFC 6282، فهي تحذف من رأس IPv6 وUDP كل ما يمكن استنتاجه من رأس الراديو، مثل العنوان الذي يشتق من عنوان الجهاز في الراديو، فيصبح الرأس بضعة بايتات في أفضل الحالات، وتجزئ الحزمة الكبيرة على عدة إطارات ثم تجمعها في الطرف الآخر.

وأدوار Thread تشبه أدوار Zigbee ولكن دون نقطة مركزية واحدة، كما يشرح دليل OpenThread:

  • الموجه Router، والتوثيق الحديث يسميه موسع الشبكة Mesh Extender: يمرر الحزم ويبقى مستمعاً، والحد الأقصى 32 موجهاً في الشبكة، ويستطيع كل واحد أن يخدم حتى 511 جهازاً طرفياً.
  • القائد Leader: موجه واحد ينتخب تلقائياً لإدارة البقية، وإذا اختفى انتخب غيره، فلا توجد نقطة فشل واحدة كما في منسق Zigbee.
  • الجهاز الطرفي النائم Sleepy End Device: يغلق الراديو ويستيقظ كل فترة ليسأل والده عن الرسائل، وهو المناسب لثلاجة على بطارية.
  • موجه الحدود Border Router: يصل شبكة Thread بشبكة Wi-Fi أو Ethernet، ويمكن أن يوجد أكثر من واحد، وهو يمرر حزم IPv6 كما هي، ولا يترجم البروتوكول كما يفعل منسق Zigbee.

وهذا الفرق الأخير هو الذي يجعل Thread مهماً لنا: الحساس في الثلاجة يستطيع أن يرسل رسالة CoAP عبر UDP إلى سيرفرك مباشرة، وموجه الحدود مجرد Router، وبالتالي البروتوكولات التي سوف نجربها في المختبر تعمل فوق Thread كما هي.

خمسة أعمدة من الطبقات: BLE من الأعلى GATT ثم ATT وL2CAP ثم Link Layer ثم LE 1M و2M وCoded، وZigbee من الأعلى ZCL ثم APS ثم NWK ثم 802.15.4 MAC ثم PHY، وThread مع Matter من الأعلى Matter ثم UDP ثم IPv6 مع 6LoWPAN ثم 802.15.4، وLoRaWAN من الأعلى FRMPayload ثم LoRaWAN MAC ثم LoRa CSS، وNB-IoT وLTE-M من الأعلى CoAP وLwM2M وMQTT ثم UDP وTCP ثم IP ثم LTE ثم الطيف المرخص، وتحت كل عمود من يترجم إلى IP
طبقات كل بروتوكول باختصار، والسؤال المهم: من الذي يترجم إلى IP؟

Matter: لغة واحدة فوق Thread وWi-Fi

Matter ليس راديو، وإنما طبقة تطبيق Application Layer ونموذج بيانات موحد لأجهزة المنزل والمكتب، وقد أعلن التحالف صدور الإصدار 1.0 في 4 أكتوبر 2022 يعمل فوق Ethernet وWi-Fi وThread، ويستخدم BLE لمرحلة الضم Commissioning فقط، أي أنك تقرب الجوال من الجهاز الجديد فيعطيه عبر BLE معلومات الشبكة والشهادة، ثم يتكلم بعدها عبر Thread أو Wi-Fi. والفكرة التي جاء بها Matter أن الجهاز نفسه يعمل مع أكثر من منصة في الوقت نفسه، ولا يحتاج كل مصنع أن يكتب تكاملاً لكل تطبيق. ولكن لاحظ أن Matter مصمم لأجهزة المنزل والمكتب المعروفة مثل المصابيح والأقفال والحساسات والمكيفات، فإذا كان جهازك حساساً صناعياً ترسل قراءته إلى سيرفرك الخاص فلن يضيف لك Matter الكثير، ويكفيك Thread مع CoAP أو MQTT، أما إذا كان منتجك سوف يباع لعميل يريد أن يضيفه إلى منصة منزله فهنا يصبح Matter هو المعيار المطلوب.

LoRaWAN: كيلومترات برسائل صغيرة

نعود إلى المستودع البعيد الذي لا يوجد فيه إنترنت، وإلى الشاحنة التي تتحرك بين الموقعين، فهنا لا يصل BLE ولا Thread، وهنا يأتي دور LoRa. وأول شيء يجب أن تفرق بينه: LoRa هي طريقة التضمين Modulation على الراديو، وهي ملك شركة Semtech، أما LoRaWAN فهو بروتوكول الشبكة فوقها، ويديره تحالف LoRa Alliance ويصفه موقعه بأنه للأجهزة التي تعمل على البطارية لمسافات بعيدة. والصورة التالية تبين وحدة LoRa صغيرة وبوابة LoRaWAN على برج:

صورتان: على اليمين وحدة LoRa زرقاء صغيرة بين الأصابع، عليها شريحة سوداء مكتوب عليها SX1278 وكريستالة وقطع صغيرة، وفي أعلاها هوائي حلزوني فضي، وفي أسفلها أسلاك ملونة ملحومة، وعلى اليسار برج معدني رفيع عليه هوائي أبيض طويل وصندوق رمادي صغير هو بوابة LoRaWAN
من اليمين: وحدة LoRa بالشريحة SX1278 من Semtech مع هوائي حلزوني وأسلاك SPI، وبوابة LoRaWAN على برج. الصور: Cnd (رخصة CC0، المصدر) وFabian Horst (رخصة CC BY 4.0، المصدر)، من Wikimedia Commons (تم جمعها وتحويلها إلى WebP).

تستخدم LoRa تضميناً اسمه الطيف المنتشر بالزقزقة Chirp Spread Spectrum واختصاراً CSS، حيث يرسل كل رمز كإشارة يرتفع ترددها تدريجياً عبر عرض القناة كله، وعامل الانتشار Spreading Factor واختصاراً SF يحدد طول هذه الزقزقة: في SF7 يحمل كل رمز 7 بتات ويأخذ 1.024 ميلي ثانية على قناة 125 kHz، وفي SF12 يحمل 12 بتاً ويأخذ 32.768 ميلي ثانية. وكل زيادة بدرجة واحدة تضاعف زمن الرمز تقريباً وتجعل المستقبل يلتقط إشارة أضعف، فيزيد المدى. وتقول ورقة Semtech LoRa and LoRaWAN AN1200.86 إن عوامل الانتشار المختلفة متعامدة Orthogonal، أي أن إطارين بعاملين مختلفين على نفس القناة في نفس اللحظة لا يتصادمان، وإن الإطارين بنفس العامل قد يتصادمان إلا إذا كان أحدهما أقوى بستة ديسيبل. وجدول السرعات في RP002 لأوروبا يبدأ من 250 بت في الثانية عند SF12 وينتهي عند 5,470 بت في الثانية عند SF7 على قناة 125 kHz، وهذا يعني أن سرعة LoRaWAN أقل من سرعة BLE بمئات المرات، وأنك يجب أن تفكر في كل بايت.

الجهاز في LoRaWAN لا يتصل بأي بوابة، وإنما يرسل إطاره في الهواء، وكل بوابة تسمعه تمرره كما هو عبر الإنترنت إلى سيرفر الشبكة، والبوابة لا تفهم محتوى الإطار ولا تملك مفاتيحه. وسيرفر الشبكة هو العقل: يحذف النسخ المكررة إذا سمعت الإطار ثلاث بوابات، ويتحقق من رمز سلامة الرسالة Message Integrity Code واختصاراً MIC ومن العداد FCnt حتى يرفض الإطار المسجل الذي يعاد إرساله، ويختار البوابة الأنسب للرد، ثم يمرر الحمولة المشفرة إلى سيرفر التطبيق Application Server الذي يملك مفتاح فكها. والشكل التالي يجمع العناصر والفئات الثلاث:

في الأعلى من اليمين: جهازان يرسلان بخطوط متقطعة إلى بوابتين، والبوابتان ترسلان عبر UDP أو TLS إلى سيرفر الشبكة الذي يحذف المكرر ويتحقق من MIC وFCnt ويقرر ADR والرد، ومنه سهمان إلى سيرفر الانضمام للمفاتيح وسيرفر التطبيق الذي يفك FRMPayload، وفي الأسفل ثلاث بطاقات: الفئة A إرسال ثم نافذتا استقبال بعد ثانية وثانيتين، والفئة B إشارة توقيت كل 128 ثانية ونوافذ مجدولة، والفئة C استقبال دائم
شبكة LoRaWAN على شكل نجمة من نجوم، والفئات الثلاث للاستقبال

ومتى يستطيع السيرفر أن يكلم الجهاز؟ هذا سؤال يغفل عنه الكثيرون حتى يحتاجوا أن يرسلوا أمراً إلى الجهاز. ففي الفئة A، وهي الإلزامية لكل جهاز، يفتح الجهاز بعد كل إرسال نافذتي استقبال قصيرتين، الأولى بعد ثانية والثانية بعد ثانيتين بحسب القيم الافتراضية في RP002، ثم يغلق الراديو حتى إرساله القادم، وبالتالي إذا أرسل الجهاز قراءة كل 15 دقيقة، فالأمر الذي تريد إرساله إليه ينتظر حتى 15 دقيقة. وفي الفئة B ترسل البوابات إشارة توقيت Beacon كل 128 ثانية، ويفتح الجهاز نوافذ استماع في مواعيد متفق عليها بينها، فيصل الأمر في وقت معروف مقابل استهلاك أكبر. وفي الفئة C يستمع الجهاز طوال الوقت إلا أثناء الإرسال، فيصل الأمر خلال ثوان، ولكن هذا لا يناسب إلا جهازاً موصولاً بالكهرباء، مثل صمام أو مفتاح يتحكم بضاغط التبريد.

من يختار عامل الانتشار؟ في الغالب ليس أنت، وإنما سيرفر الشبكة عبر آلية معدل البيانات المتكيف Adaptive Data Rate واختصاراً ADR: يراقب السيرفر قوة الإشارة في آخر الإطارات التي وصلت من الجهاز، فإذا كانت قوية أرسل إليه أمراً بعامل انتشار أقل وقدرة إرسال أقل، فيوفر الجهاز بطاريته ويشغل الهواء مدة أقل، وتقول ورقة Semtech إن ADR ضرورية لزيادة سعة الشبكة. ولكن ADR مصممة للأجهزة الثابتة، فالشاحنة التي تتحرك تتغير إشارتها كل دقيقة، وقد يخفض السيرفر عاملها ثم تبتعد فتضيع رسائلها، لذلك تعطل الأجهزة المتحركة ADR عادةً وتختار عاملاً ثابتاً أعلى.

والانضمام إلى الشبكة له طريقتان: التفعيل عبر الهواء Over-The-Air Activation واختصاراً OTAA، حيث يرسل الجهاز طلب انضمام Join-Request بمعرفه، ويرد السيرفر بمفاتيح جلسة جديدة مشتقة من مفتاح جذري خاص بالجهاز، والتفعيل بالتخصيص Activation By Personalization واختصاراً ABP، حيث تكتب مفاتيح الجلسة وعنوان الجهاز في البرنامج الثابت مباشرة. وOTAA هي الطريقة الصحيحة، لأن ABP تجعل العداد FCnt يبدأ من الصفر بعد كل إعادة تشغيل إذا لم يحفظه الجهاز، فيرفض السيرفر إطاراته الجديدة لأنها تبدو كإطارات قديمة معادة.

شبكات الجوال NB-IoT وLTE-M، وWi-Fi HaLow

الشاحنة المبردة تعيدنا إلى سؤال آخر: ماذا لو لم ترد أن تبني بوابات أصلاً؟ هنا تأتي شبكات الجوال المخصصة للأجهزة، وقد أكملت هيئة 3GPP معيار NB-IoT في الإصدار 13 في يونيو 2016، ومعه eMTC الذي يعرف تجارياً باسم LTE-M، وتجمعهما جمعية GSMA تحت اسم Mobile IoT. وفيما يلي الفرق بينهما:

  • NB-IoT: قناة ضيقة عرضها 180 kHz، وسرعة عشرات الكيلوبتات، وتغطية ممتازة داخل المباني والأقبية، ولكنه مصمم لأجهزة ثابتة لا تنتقل بين الأبراج أثناء الاتصال، فهو مناسب لعداد مياه أو ثلاجة في قبو.
  • LTE-M: قناة أعرض بسرعة تقارب 1 ميجابت في الثانية، ويدعم الانتقال بين الأبراج أثناء الحركة، فهو الأنسب للشاحنة، ويستهلك أكثر قليلاً من NB-IoT.

والاثنان يوفران الطاقة بطريقتين: وضع توفير الطاقة Power Saving Mode واختصاراً PSM، حيث يبقى الجهاز مسجلاً في الشبكة وراديوه مغلق لساعات، والاستقبال المتقطع الموسع Extended Discontinuous Reception واختصاراً eDRX، حيث يستمع للشبكة على فترات طويلة. والمقابل الواضح شريحة SIM واشتراك لكل جهاز، والاعتماد على تغطية مشغل معين في موقعك، ولكن الجهاز يتكلم IP مباشرة، فيمكن أن يرسل CoAP أو LwM2M إلى سيرفرك دون أي بوابة.

وفي الطرف الآخر يوجد Wi-Fi HaLow، وهو المعيار 802.11ah في نطاق أقل من 1 GHz، ويقول موقع Wi-Fi Alliance إنه يصل إلى قرابة كيلومتر ويعطي حساسات تعمل أشهراً أو سنوات على بطارية زر. وهو خيار لمن يريد IP وسرعة أعلى من LoRaWAN في موقع صناعي واحد، ولكن الأجهزة المتوفرة منه لا تزال أقل بكثير من غيره، فاحسب حساب ذلك قبل أن تبني عليه منتجاً.

طبقة التطبيق Application Layer على الرابط الضيق

بعد الراديو يبقى السؤال الثاني الذي نسيناه في مقال MQTT لأن Wi-Fi كان يخفيه: ماذا نرسل فوق هذا الرابط؟ فإذا كان الراديو يتكلم IP، مثل Thread وNB-IoT وWi-Fi، فلديك ثلاثة خيارات رئيسية، وإذا لم يكن يتكلم IP، مثل LoRaWAN وBLE وZigbee، فلا يوجد تحته TCP ولا UDP، ويصبح السؤال كيف تصمم البايتات نفسها. وفيما يلي الخيارات الثلاثة:

  • MQTT: النشر والاشتراك عبر وسيط Broker فوق TCP، وقد شرحناه في مقال MQTT مع Mosquitto. نقطة قوته أن الاتصال مفتوح دائماً في الاتجاهين، ونقطة ضعفه على الرابط الضيق هي TCP نفسه: مصافحة قبل أول رسالة، وإقرارات لكل جزء، واتصال يجب أن يبقى حياً بـ keepalive. ولهذا ظهر MQTT-SN، أي MQTT للشبكات الحساسة، فوق UDP بأرقام قصيرة بدل أسماء المواضيع، ويحتاج بوابة تترجمه إلى MQTT عادي، ولكنه أقل انتشاراً بكثير من الخيارين التاليين.
  • CoAP: بروتوكول ويب صغير فوق UDP عرفه RFC 7252، بأفعال GET وPUT وPOST وDELETE وعناوين URI مثل HTTP، ولكن برأس ثابت حجمه 4 بايتات. ولا يحتاج اتصالاً، فالجهاز يرسل رسالة ويأخذ الرد، ويستطيع أن ينام بعدها مباشرة.
  • LwM2M: معيار من OMA SpecWorks فوق CoAP، لا يترك لك تصميم المواضيع والرسائل، وإنما يعطيك نموذج بيانات ثابتاً وعمليات جاهزة لإدارة الجهاز نفسه: التسجيل والقراءة والمراقبة والتحديث والتهيئة الأولى.

بما أن CoAP فوق UDP، فهو يحمل في داخله ما يحتاجه من موثوقية، وكل رسالة لها نوع من أربعة: CON، أي رسالة مؤكدة Confirmable تنتظر إقراراً ACK، وإذا لم يصل أعاد الجهاز إرسالها، وNON، أي غير مؤكدة Non-confirmable ترسل مرة وتنسى، مثل QoS 0 في MQTT، ثم ACK للإقرار، وRST لرفض رسالة لا يعرفها الطرف الآخر. وللرسالة المؤكدة قواعد إعادة إرسال محددة في المواصفة: المهلة الأولى ACK_TIMEOUT ثانيتان مضروبة في رقم عشوائي بين 1 و1.5، أي بين 2 و3 ثوان، ثم تتضاعف المهلة مع كل إعادة، وأقصى عدد للإعادة MAX_RETRANSMIT أربع مرات، وسوف نرى هذه الأرقام بالضبط في المختبر. وأما الرد فيمكن أن يأتي داخل الإقرار نفسه Piggybacked Response، فتكون المحادثة كلها حزمتين.

ثم يضيف CoAP ميزتين مهمتين في معايير منفصلة: المراقبة Observe في RFC 7641، حيث يطلب الطرف الآخر GET مع الخيار Observe، فيرسل الجهاز إشعاراً كلما تغيرت القيمة، وهذا يعطيك الاشتراك الذي تعرفه من MQTT دون وسيط، والنقل المجزأ Block-wise Transfer في RFC 7959، حيث تقسم الحمولة الكبيرة، مثل ملف تحديث، إلى أجزاء مرقمة يؤكد كل منها، حتى لا تعتمد على تجزئة IP التي تضيع فيها الحزمة كلها إذا ضاع جزء واحد. وإذا كانت شبكتك تمنع UDP، فيوجد CoAP فوق TCP في RFC 8323، ولكنك عندها تعود إلى مشكلة TCP نفسها.

في MQTT أنت الذي تقرر اسم الموضوع وشكل الرسالة، وهذه حرية جميلة في جهاز واحد، ومشكلة حقيقية في ألف جهاز من ثلاثة مصنعين. وLwM2M يحل هذه المشكلة بأن كل قيمة في الجهاز لها عنوان رقمي من ثلاثة أجزاء معرف مسبقاً في سجل منشور: الكائن Object ثم النسخة Instance ثم المورد Resource، فالكائن 3303 هو حساس الحرارة، والنسخة 0 هي الحساس الأول، والمورد 5700 هو القيمة، فيصبح عنوان قراءة غرفة التبريد هو ⁦/3303/0/5700⁩ في أي جهاز من أي مصنع. وبالإضافة للقراءة يعرف LwM2M كائنات للإدارة نفسها، مثل الكائن 3 لمعلومات الجهاز والكائن 5 لتحديث البرنامج الثابت، وهذا هو السبب الحقيقي لاختياره عند مشغلي الشبكات: الجهاز يأتيك بإدارة كاملة جاهزة. والعمليات الأساسية كما يلي:

  • التسجيل Register: يرسل الجهاز عند التشغيل اسمه ومدة تسجيله وقائمة الكائنات التي يدعمها، ثم يجدد التسجيل قبل انتهاء المدة.
  • القراءة Read والكتابة Write والتنفيذ Execute: يرسلها السيرفر إلى الجهاز متى أراد.
  • المراقبة Observe: نفس Observe في CoAP، والجهاز يرسل إشعاراً عند كل تغير.
  • الإرسال Send: أضيف في LwM2M 1.1، ويسمح للجهاز أن يبادر بإرسال قراءاته دون أن يطلبها السيرفر.
  • التهيئة Bootstrap: سيرفر خاص يعطي الجهاز في أول تشغيل عنوان السيرفر الحقيقي ومفاتيحه، فلا تحتاج أن تكتبها في المصنع.

المختبر Lab: قراءة واحدة بثلاث طرق

الآن سوف نقوم بقياس كل ما سبق بدل أن نصدقه. والفكرة أن نرسل القراءة نفسها {"t":4.3} من «جهاز» واحد بثلاثة بروتوكولات، على شبكة Docker واحدة اسمها elm-wl-net، ونلتقط الحزم في مساحة الشبكة Network Namespace الخاصة بالجهاز. والشبكة هنا Ethernet افتراضية وليست راديو، لذلك لا نقيس المدى ولا البطارية، وإنما نقيس ما يرسله كل بروتوكول من بايتات وحزم، وكيف يتصرف عند الضياع، وهذه الأرقام هي التي تنتقل معك إلى أي راديو. والمكونات كما يلي:

  • الوسيط elm-wl-mqtt من الـ Image الرسمي eclipse-mosquitto:2.1.2-alpine دون أي حماية، لأننا شرحنا حمايته في مقاله.
  • سيرفر CoAP اسمه elm-wl-coap مكتوب بمكتبة aiocoap، وجهاز اسمه elm-wl-dev يرسل القراءة بمكتبة paho-mqtt أو aiocoap، والاثنان من Image واحد اسمه elm-wl-py:1.
  • Container للالتقاط اسمه elm-wl-cap فيه tcpdump وtshark، يشارك الجهاز مساحة شبكته، ومعه صلاحية NET_ADMIN للتجارب على الشبكة.
  • سيرفر LwM2M والجهاز التجريبي من مشروع Eclipse Leshan بالإصدار 2.0.0-M18 على Java 21.
  • Container من node:22-alpine مع المكتبة lora-packet لبناء إطار LoRaWAN وحساب زمن البث.

الـ Image الأول للجهاز وسيرفر CoAP، مع إصدارات مثبتة للمكتبتين:

# elm-wl-py:1 : the "device" and the CoAP server (Python 3.13, aiocoap, paho-mqtt)
FROM python:3.13.18-slim
RUN pip install --no-cache-dir aiocoap==0.4.17 paho-mqtt==2.1.0
WORKDIR /lab
COPY coap_server.py device.py ./

وسيرفر CoAP مورد واحد على العنوان ⁦/coldroom/1/temp⁩ يقبل PUT ويقبل GET مع المراقبة:

# CoAP server for the lab: /coldroom/1/temp accepts PUT (a reading) and GET (+ Observe)
import asyncio, time
import aiocoap, aiocoap.resource as resource

class Temp(resource.ObservableResource):
    def __init__(self):
        super().__init__()
        self.value = b'{"t":4.3}'
    async def render_get(self, request):
        return aiocoap.Message(payload=self.value, content_format=50)
    async def render_put(self, request):
        self.value = request.payload
        print(f"{time.strftime('%H:%M:%S')} PUT mid={request.mid} {request.payload.decode()}", flush=True)
        self.updated_state()
        return aiocoap.Message(code=aiocoap.CHANGED)

async def main():
    root = resource.Site()
    root.add_resource(['coldroom', '1', 'temp'], Temp())
    await aiocoap.Context.create_server_context(root, bind=('::', 5683))
    print("coap server ready on udp/5683", flush=True)
    await asyncio.get_running_loop().create_future()

asyncio.run(main())

والجهاز برنامج واحد يرسل القراءة N مرة إما عبر MQTT بمستوى QoS 1 على اتصال واحد مفتوح، وإما عبر CoAP برسالة PUT مؤكدة CON، ويقيس زمن الذهاب والعودة Round Trip لكل قراءة حتى يصل الإقرار:

# The "device": sends the same reading N times over MQTT (QoS 1) or CoAP (CON PUT) and prints the round trip of each.
#   python device.py mqtt N [gap_s]     python device.py coap N [gap_s] [uri]
import sys, time, asyncio, statistics, threading
mode, n = sys.argv[1], int(sys.argv[2])
gap = float(sys.argv[3]) if len(sys.argv) > 3 else 1.0
URI = sys.argv[4] if len(sys.argv) > 4 else "coap://elm-wl-coap/coldroom/1/temp"
import os
DELAY = float(os.environ.get("DELAY", "0"))   # seconds to wait after connecting, before the first reading
PAYLOAD = b'{"t":4.3}'
rtts = []

def report():
    s = sorted(rtts)
    if s:
        print(f"{mode}: ok={len(s)}/{n} min={s[0]:.1f} ms median={statistics.median(s):.1f} ms "
              f"p90={s[int(len(s)*0.9)-1 if len(s)>1 else 0]:.1f} ms max={s[-1]:.1f} ms", flush=True)

if mode == 'mqtt':
    import paho.mqtt.client as mqtt
    acked = threading.Event()
    c = mqtt.Client(mqtt.CallbackAPIVersion.VERSION2, client_id="cr1", protocol=mqtt.MQTTv311)
    c.on_publish = lambda cl, ud, mid, rc, props: acked.set()
    t0 = time.perf_counter()
    c.connect("elm-wl-mqtt", 1883, keepalive=60)
    c.loop_start()
    while not c.is_connected():
        time.sleep(0.001)
    print(f"connect: {(time.perf_counter()-t0)*1000:.1f} ms (TCP handshake + CONNECT/CONNACK)", flush=True)
    time.sleep(DELAY)
    for i in range(n):
        acked.clear()
        t = time.perf_counter()
        c.publish("cr/1/t", PAYLOAD, qos=1)
        acked.wait(300)
        ms = (time.perf_counter() - t) * 1000
        rtts.append(ms)
        print(f"{time.strftime('%H:%M:%S')} #{i+1} PUBACK after {ms:.1f} ms", flush=True)
        time.sleep(gap)
    c.disconnect(); c.loop_stop()
    report()
else:
    import aiocoap
    async def main():
        ctx = await aiocoap.Context.create_client_context()
        for i in range(n):
            t = time.perf_counter()
            msg = aiocoap.Message(code=aiocoap.PUT, transport_tuning=aiocoap.Reliable, payload=PAYLOAD,
                                  uri=URI, content_format=50)
            try:
                r = await ctx.request(msg).response
                ms = (time.perf_counter() - t) * 1000
                rtts.append(ms)
                print(f"{time.strftime('%H:%M:%S')} #{i+1} {r.code} after {ms:.1f} ms", flush=True)
            except Exception as e:
                print(f"{time.strftime('%H:%M:%S')} #{i+1} FAILED after {(time.perf_counter()-t)*1000:.0f} ms: {e!r}", flush=True)
            await asyncio.sleep(gap)
        report()
    asyncio.run(main())

في الكود أعلاه لاحظ التالي:

  • اسم الموضوع في MQTT قصير عمداً cr/1/t، لأن كل حرف في الموضوع يرسل مع كل رسالة، وفي المقابل عنوان CoAP طويل كما يكتبه أغلب الناس، وسوف نرى أثر ذلك في البايتات.
  • في aiocoap 0.4.17 أصبح تحديد نوع الرسالة بالمعامل mtype=CON قديماً، ويظهر تحذير DeprecationWarning، والطريقة الجديدة هي transport_tuning=aiocoap.Reliable.
  • الرقم 50 في content_format هو رمز application/json في سجل CoAP، وهو يرسل في الرسالة كبايت واحد بدل النص الكامل.

وكل الأوامر في ملف run.sh مقسمة إلى خطوات، والخطوة الأولى تبني الـ Images وتشغل الشبكة:

step_up() {
  docker build -q -f Dockerfile.py   -t elm-wl-py:1   .
  docker build -q -f Dockerfile.cap  -t elm-wl-cap:1  .
  docker network create --ipv6 elm-wl-net
  docker run -d --name elm-wl-mqtt --network elm-wl-net -v "$HERE/mosquitto.conf:/mosquitto/config/mosquitto.conf:ro" eclipse-mosquitto:2.1.2-alpine
  docker run -d --name elm-wl-coap --network elm-wl-net elm-wl-py:1 python coap_server.py
  docker run -d --name elm-wl-dev  --network elm-wl-net elm-wl-py:1 sleep infinity
  # tcpdump, tshark and tc in the device's network namespace; NET_ADMIN only for tc netem
  docker run -d --name elm-wl-cap --network container:elm-wl-dev --cap-add NET_ADMIN -v "$OUT:/out" elm-wl-cap:1 sleep infinity
  # packet loss is made on the server side (ip6tables INPUT), so the capture at the device still sees every try
  docker run -d --name elm-wl-fwc --network container:elm-wl-coap --cap-add NET_ADMIN elm-wl-cap:1 sleep infinity
  docker run -d --name elm-wl-fwm --network container:elm-wl-mqtt --cap-add NET_ADMIN elm-wl-cap:1 sleep infinity
}

مشكلة سوف تقابلها: aiocoap على شبكة Docker دون IPv6

لاحظ الخيار --ipv6 عند إنشاء الشبكة، فهو ليس للزينة. إذا أنشأت الشبكة بالأمر العادي docker network create elm-wl-net فإن سيرفر CoAP يتوقف فور تشغيله، والمخرج سوف يكون كما يلي:

socket.gaierror: [Errno -9] Address family for hostname not supported
...
aiocoap.error.ResolutionError: Name resolution error: No local bindable address found for ::

والسبب أن aiocoap يستخدم افتراضياً مقبس IPv6 واحداً يستقبل IPv4 وIPv6 معاً، ويربطه بالعنوان ::، والـ Container على شبكة Docker العادية ليس فيه أي عنوان IPv6، فيفشل الربط. وإذا حاولت أن تفعل IPv6 داخل الـ Container بالخيار --sysctl net.ipv6.conf.all.disable_ipv6=0 فلن يتغير شيء، لأن المشكلة ليست في تعطيل IPv6 وإنما في عدم وجود عنوان، وسوف يفشل الجهاز أيضاً عند الإرسال بالخطأ No address information found for requests to 'elm-wl-coap' بعد قرابة أربع ثوان. والحل الأنظف هو إنشاء الشبكة بالخيار --ipv6، فيعطي Docker كل Container عنواناً من نطاق محلي مثل ⁦fdd6:74bc:45e3::/64⁩، وهذا مناسب لموضوعنا أصلاً، لأن CoAP فوق Thread يعمل على IPv6 دائماً. وتذكر هذه المشكلة إذا شغلت أي سيرفر CoAP على Container أو على سيرفر معطل فيه IPv6.

الخطوة الثانية تبدأ الالتقاط، ثم ترسل قراءة واحدة بـ CoAP، ثم جلسة MQTT كاملة فيها قراءة واحدة:

bash run.sh wire

والمخرج سوف يكون كما يلي:

07:31:05 #1 2.04 Changed after 18.1 ms
coap: ok=1/1 min=18.1 ms median=18.1 ms p90=18.1 ms max=18.1 ms
connect: 7.3 ms (TCP handshake + CONNECT/CONNACK)
07:31:08 #1 PUBACK after 0.9 ms
mqtt: ok=1/1 min=0.9 ms median=0.9 ms p90=0.9 ms max=0.9 ms
    1   0.000000 fdd6:74bc:45e3::4 → fdd6:74bc:45e3::3 CoAP/JSON 108 CON, MID:11498, PUT, JSON (application/json), TKN:42 cc, coap://elm-wl-coap/coldroom/1/temp
    2   0.002458 fdd6:74bc:45e3::3 → fdd6:74bc:45e3::4 CoAP 68 ACK, MID:11498, 2.04 Changed, TKN:42 cc, coap://elm-wl-coap/coldroom/1/temp
    3   2.218632 fdd6:74bc:45e3::4 → fdd6:74bc:45e3::2 TCP 94 58951 → 1883 [SYN] Seq=0 Win=64800 Len=0 MSS=1440 SACK_PERM TSval=2482004389 TSecr=0 WS=128
    4   2.218693 fdd6:74bc:45e3::2 → fdd6:74bc:45e3::4 TCP 94 1883 → 58951 [SYN, ACK] Seq=0 Ack=1 Win=64260 Len=0 MSS=1440 SACK_PERM TSval=1476655086 TSecr=2482004389 WS=128
    5   2.218702 fdd6:74bc:45e3::4 → fdd6:74bc:45e3::2 TCP 86 58951 → 1883 [ACK] Seq=1 Ack=1 Win=64896 Len=0 TSval=2482004389 TSecr=1476655086
    6   2.218829 fdd6:74bc:45e3::4 → fdd6:74bc:45e3::2 MQTT 103 Connect Command
    7   2.218844 fdd6:74bc:45e3::2 → fdd6:74bc:45e3::4 TCP 86 1883 → 58951 [ACK] Seq=1 Ack=18 Win=64256 Len=0 TSval=1476655086 TSecr=2482004389
    8   2.219368 fdd6:74bc:45e3::2 → fdd6:74bc:45e3::4 MQTT 90 Connect Ack
    9   2.219373 fdd6:74bc:45e3::4 → fdd6:74bc:45e3::2 TCP 86 58951 → 1883 [ACK] Seq=18 Ack=5 Win=64896 Len=0 TSval=2482004390 TSecr=1476655087
   10   2.220954 fdd6:74bc:45e3::4 → fdd6:74bc:45e3::2 MQTT 107 Publish Message (id=1) [cr/1/t]
   11   2.221164 fdd6:74bc:45e3::2 → fdd6:74bc:45e3::4 MQTT 90 Publish Ack (id=1)
   12   2.264270 fdd6:74bc:45e3::4 → fdd6:74bc:45e3::2 TCP 86 58951 → 1883 [ACK] Seq=39 Ack=9 Win=64896 Len=0 TSval=2482004435 TSecr=1476655088
   13   3.222036 fdd6:74bc:45e3::4 → fdd6:74bc:45e3::2 MQTT 88 Disconnect Req
   14   3.222126 fdd6:74bc:45e3::4 → fdd6:74bc:45e3::2 TCP 86 58951 → 1883 [FIN, ACK] Seq=41 Ack=9 Win=64896 Len=0 TSval=2482005392 TSecr=1476655088
   15   3.225037 fdd6:74bc:45e3::2 → fdd6:74bc:45e3::4 TCP 86 1883 → 58951 [FIN, ACK] Seq=9 Ack=42 Win=64256 Len=0 TSval=1476656092 TSecr=2482005392
   16   3.225057 fdd6:74bc:45e3::4 → fdd6:74bc:45e3::2 TCP 86 58951 → 1883 [ACK] Seq=42 Ack=10 Win=64896 Len=0 TSval=2482005395 TSecr=1476656092

لاحظ التالي:

  • قراءة CoAP كلها حزمتان فقط: الطلب CON مع PUT في السطر 1، والإقرار ACK في السطر 2 وفيه الرد 2.04 Changed نفسه، أي أن الرد جاء داخل الإقرار Piggybacked، والمدة بينهما 2.5 ميلي ثانية.
  • قراءة MQTT نفسها في السطرين 10 و11، ولكن قبلها سبع حزم: المصافحة الثلاثية لـ TCP في الأسطر 3 إلى 5، ثم CONNECT وإقراره من TCP ثم CONNACK وإقراره، وبعدها إقرار TCP للرسالة في السطر 12، ثم الإغلاق في الأسطر 13 إلى 16.
  • الرقم بعد اسم البروتوكول هو حجم الحزمة على السلك بالبايت، فطلب CoAP بحجم 108 بايتات، ورسالة PUBLISH بحجم 107 بايتات، أي أنهما متقاربان في الحزمة الواحدة، والفرق كله في عدد الحزم.
  • كل العناوين IPv6 من النطاق المحلي للشبكة، فالجهاز ::4 والوسيط ::2 وسيرفر CoAP ::3.

رسالة CoAP بايتاً بايتاً

الخطوة bytes تطبع لكل حزمة حجمها على السلك وحجم البروتوكول نفسه دون رؤوس Ethernet وIP وUDP أو TCP، ومعه البايتات بالنظام الست عشري Hex، ثم المجاميع:

1   CoAP/JSON frame=108  app=46  42032cea42cc3b656c6d2d776c2d636f617088636f6c64726f6f6d01310474656d701132ff7b2274223a342e337d
2   CoAP  frame=68   app=6   62442cea42cc
3   TCP   frame=94   app=0
4   TCP   frame=94   app=0
5   TCP   frame=86   app=0
6   MQTT  frame=103  app=17  100f00044d5154540402003c0003637231
7   TCP   frame=86   app=0
8   MQTT  frame=90   app=4   20020000
9   TCP   frame=86   app=0
10  MQTT  frame=107  app=21  3213000663722f312f7400017b2274223a342e337d
11  MQTT  frame=90   app=4   40020001
12  TCP   frame=86   app=0
13  MQTT  frame=88   app=2   e000
14  TCP   frame=86   app=0
15  TCP   frame=86   app=0
16  TCP   frame=86   app=0
CoAP exchange:          2 packets,  176 bytes on the wire,  52 bytes of CoAP
MQTT whole session:    14 packets, 1268 bytes on the wire,  48 bytes of MQTT
MQTT one more reading:  3 packets,  283 bytes on the wire,  25 bytes of MQTT

والآن نقرأ طلب CoAP في السطر الأول، وهو 46 بايتاً، بالترتيب كما في RFC 7252:

  • 42: البايت الأول فيه ثلاثة حقول، فالبتان الأوليان 01 هما الإصدار 1، والبتان التاليان 00 هما النوع CON، والبتات الأربع الأخيرة 0010 هي طول التوكن Token Length، أي بايتان.
  • 03: الرمز Code، والصيغة فيه صنف ثم تفصيل، و0.03 هو PUT، وفي الرد سوف ترى 44 أي 2.04 وهو Changed.
  • 2c ea: رقم الرسالة Message ID، أي 11498، وهو الذي يربط الإقرار بالطلب ويكشف التكرار عند إعادة الإرسال.
  • 42 cc: التوكن، وهو يربط الرد بالطلب على مستوى التطبيق، ويبقى نفسه في كل إشعارات Observe.
  • 3b ثم 11 بايتاً هي النص elm-wl-coap: الخيار Uri-Host، فنصف البايت الأول 3 هو الفرق عن رقم الخيار السابق، أي الخيار 3، والنصف الثاني b هو الطول 11.
  • 88 ثم coldroom، و01 ثم 1، و04 ثم temp: ثلاثة أجزاء من الخيار Uri-Path رقمه 11، والأول فرقه 8 عن الخيار 3، والاثنان التاليان فرقهما صفر لأنهما نفس الخيار.
  • 11 32: الخيار Content-Format رقمه 12، فالفرق 1 والطول 1، والقيمة 0x32 أي 50 وهي JSON.
  • ff: علامة نهاية الخيارات، ثم 9 بايتات هي القراءة نفسها {"t":4.3}.

فالرأس الثابت 4 بايتات فقط، ولكن العنوان أخذ 28 بايتاً، أي أكثر من ثلاثة أضعاف القراءة، و12 بايتاً منها لاسم المضيف Uri-Host الذي أضافته المكتبة لأننا كتبنا اسماً في العنوان. والخطوة short ترسل الطلب نفسه إلى عنوان IPv6 مباشرة:

07:32:11 #1 2.04 Changed after 38.7 ms
coap: ok=1/1 min=38.7 ms median=38.7 ms p90=38.7 ms max=38.7 ms
1	96	42	4203adfbd072b8636f6c64726f6f6d01310474656d701132ff7b2274223a342e337d
2	68	14	6244adfbd072

وهنا اختفى الخيار Uri-Host، وأصبح أول خيار هو Uri-Path بالبايت b8، أي الفرق 11 والطول 8، فصارت رسالة CoAP 34 بايتاً والحزمة 96 بايتاً. ولو اختصرنا المسار إلى حرف واحد مثل /t لنزلت الرسالة إلى قرابة 20 بايتاً، وهذا هو التفكير الذي تحتاجه على رابط مثل 802.15.4 حجم إطاره 127 بايتاً.

رسالة MQTT بايتاً بايتاً

والآن رسالة PUBLISH في السطر العاشر، وهي 21 بايتاً، ومعها تفكيك tshark لها:

MQ Telemetry Transport Protocol, Publish Message
    Header Flags: 0x32, Message Type: Publish Message, QoS Level: At least once delivery (Acknowledged deliver)
        0011 .... = Message Type: Publish Message (3)
        .... 0... = DUP Flag: Not set
        .... .01. = QoS Level: At least once delivery (Acknowledged deliver) (1)
        .... ...0 = Retain: Not set
    Msg Len: 19
    Topic Length: 6
    Topic: cr/1/t
    Message Identifier: 1
    Message: 7b2274223a342e337d

لاحظ التالي:

  • 32: النوع 3 أي PUBLISH في النصف الأول، ثم بتات الأعلام: DUP صفر، وQoS قيمته 1، وRetain صفر.
  • 13: الطول المتبقي 19 بايتاً، ويكتب بطول متغير، فالرسالة التي طولها أقل من 128 بايتاً يكفيها بايت واحد.
  • 00 06 ثم cr/1/t: طول الموضوع ثم الموضوع نفسه، ويتكرر في كل رسالة، فلو كان الموضوع coldstore/store1/room1-temp/telemetry كما في مقال MQTT لأضاف 31 بايتاً لكل قراءة.
  • 00 01: رقم الرسالة Packet Identifier، ويوجد فقط في QoS 1 و2، وهو الذي يعود في PUBACK في السطر 11 40 02 00 01.
  • ثم 9 بايتات هي القراءة نفسها، مثل CoAP تماماً.

إذن الرسالة نفسها في MQTT أصغر من CoAP، 21 مقابل 46 أو 34، ولكن السطر الأخير في المجاميع يقول القصة كاملة: جلسة MQTT لقراءة واحدة كانت 14 حزمة و1,268 بايتاً على السلك، منها 48 بايتاً فقط من MQTT، وحتى لو بقي الاتصال مفتوحاً فكل قراءة إضافية تكلف 3 حزم و283 بايتاً، لأن رأس TCP مع خيارات التوقيت Timestamps يأخذ 32 بايتاً في كل حزمة، وإقرار TCP حزمة مستقلة. أما CoAP فقراءته حزمتان و176 بايتاً، و164 دون اسم المضيف. والشكل التالي يجمع الأرقام:

في الأعلى بطاقتان: رسالة CoAP PUT من 46 بايتاً مقسمة إلى الرأس 4 والتوكن 2 وUri-Host 12 وUri-Path 16 وContent-Format 2 وعلامة النهاية 1 والقراءة 9، ورسالة MQTT PUBLISH من 21 بايتاً مقسمة إلى الرأس الثابت 2 وطول الموضوع 2 والموضوع 6 ورقم الرسالة 2 والقراءة 9، وفي الأسفل أعمدة البايتات على السلك لكل قراءة: LoRaWAN 15، وLwM2M Send مع ACK 134، وCoAP بعنوان IPv6 مباشر 164، وCoAP باسم المضيف 176، وMQTT على اتصال مفتوح 283، وجلسة MQTT كاملة 1268
كل بايت في القراءة الواحدة، من الالتقاط نفسه

الخطوة rtt ترسل 50 قراءة بكل بروتوكول، والمخرج سوف يكون كما يلي:

coap: ok=50/50 min=2.8 ms median=4.1 ms p90=11.4 ms max=57.6 ms
connect: 13.3 ms (TCP handshake + CONNECT/CONNACK)
mqtt: ok=50/50 min=0.5 ms median=0.9 ms p90=1.7 ms max=6.5 ms

وقد يبدو من الأرقام أن MQTT أسرع من CoAP بأربع مرات، ولكن لا تستنتج ذلك، لأن الشبكة هنا افتراضية داخل جهاز واحد، وزمن الذهاب والعودة نفسه على السلك أقل من ميلي ثانية في الحالتين، كما رأيت في الالتقاط حيث جاء إقرار CoAP بعد 2.5 ميلي ثانية من الطلب، وPUBACK بعد 0.2 ميلي ثانية من PUBLISH. والفرق الذي تراه في الوسيط Median هو فرق المكتبتين: paho ترسل من خيط Thread جاهز على مقبس مفتوح، وaiocoap تنشئ لكل طلب كائن طلب وتمر بحلقة asyncio. وعلى راديو حقيقي مثل 802.15.4 بسرعة 250 كيلوبت في الثانية، أو LTE-M الذي يحتاج الجهاز فيه أن يستيقظ من PSM، سوف يكون زمن الهواء والاستيقاظ أكبر بكثير من فرق المكتبتين، وعندها يصبح عدد الحزم هو الذي يحدد الزمن والبطارية. وتذكر هذه القاعدة في أي قياس: قس على العتاد والراديو الحقيقي قبل أن تحكم على البروتوكول بالأرقام المطلقة، واستخدم المختبر لما يقيسه جيداً، وهو البايتات والحزم والسلوك عند الخطأ.

LwM2M مع Leshan: نفس القراءة بنموذج بيانات ثابت

الخطوة lwm2m تبني Image فيه Java 21 وملفي Leshan من Maven Central، ثم تشغل السيرفر التجريبي والجهاز التجريبي باسم coldroom-1:

# elm-wl-java:1 : Eclipse Leshan LwM2M demo server and demo client
FROM eclipse-temurin:21-jre-alpine
WORKDIR /lab
ADD https://repo1.maven.org/maven2/org/eclipse/leshan/leshan-demo-server/2.0.0-M18/leshan-demo-server-2.0.0-M18-jar-with-dependencies.jar server.jar
ADD https://repo1.maven.org/maven2/org/eclipse/leshan/leshan-demo-client/2.0.0-M18/leshan-demo-client-2.0.0-M18-jar-with-dependencies.jar client.jar

والجهاز التجريبي في Leshan يقرأ أوامره من لوحة المفاتيح، مثل الأمر send، لذلك نشغله وهو يقرأ من أنبوب مسمى Named Pipe حتى نرسل إليه الأوامر لاحقاً بالأمر docker exec، ثم نستخدم واجهة REST في السيرفر التجريبي للقراءة والمراقبة:

docker run -d --name elm-wl-lwc --network elm-wl-net elm-wl-java:1 sh -c \
  'mkfifo /tmp/in; sleep 6; tail -f /tmp/in | java -Xmx128m -jar client.jar -u coap://elm-wl-leshan:5683 -n coldroom-1'
API=http://elm-wl-leshan:8080/api/clients/coldroom-1/3303/0/5700
for f in TEXT SENML_CBOR TLV; do docker exec elm-wl-lcap curl -s -w " %{time_total}s\n" "$API?timeout=5&format=$f"; done
docker exec elm-wl-lcap curl -s -X POST "$API/observe?timeout=5&format=SENML_CBOR"
docker exec elm-wl-lwc sh -c 'echo "send current-value /3303/0/5700" > /tmp/in'

والمخرج من الالتقاط في مساحة شبكة الجهاز سوف يكون كما يلي، وقد حذفنا منه بعض أسطر الإشعارات المتشابهة:

    1   0.000000   172.24.0.6 → 172.24.0.5   CoAP 213 CON, MID:23280, POST, TKN:3c 97 94 c9 40 f9 4b eb, /rd?b=UT&lwm2m=1.1&lt=300&ep=coldroom-1
    2   0.079210   172.24.0.5 → 172.24.0.6   CoAP 68 ACK, MID:23280, 2.01 Created, TKN:3c 97 94 c9 40 f9 4b eb, /rd
    3   7.178271   172.24.0.5 → 172.24.0.6   CoAP 67 CON, MID:6316, GET, TKN:2c 95 7b 65 36 bc d7 6e, /3303/0/5700
    4   7.187273   172.24.0.6 → 172.24.0.5   CoAP 60 ACK, MID:6316, 2.05 Content (text/plain), TKN:2c 95 7b 65 36 bc d7 6e, /3303/0/5700
    9   9.430498   172.24.0.5 → 172.24.0.6   CoAP 69 CON, MID:6319, GET, TKN:cf 77 23 6f 41 25 5a b6, /3303/0/5700
   10   9.434358   172.24.0.6 → 172.24.0.5   CoAP 85 ACK, MID:6319, 2.05 Content, TKN:cf 77 23 6f 41 25 5a b6, /3303/0/5700
   11  10.400385   172.24.0.6 → 172.24.0.5   CoAP 79 CON, MID:23281, 2.05 Content, TKN:cf 77 23 6f 41 25 5a b6, /3303/0/5700
   12  10.413621   172.24.0.5 → 172.24.0.6   CoAP 46 ACK, MID:23281, Empty Message
   13  12.410138   172.24.0.6 → 172.24.0.5   CoAP 79 CON, MID:23282, 2.05 Content, TKN:cf 77 23 6f 41 25 5a b6, /3303/0/5700
   14  12.454288   172.24.0.5 → 172.24.0.6   CoAP 46 ACK, MID:23282, Empty Message
   23  19.156156   172.24.0.6 → 172.24.0.5   CoAP 80 CON, MID:23286, POST, TKN:14 b0 ab cc 10 80 e9 16, /dp
   24  19.162387   172.24.0.5 → 172.24.0.6   CoAP 54 ACK, MID:23286, 2.04 Changed, TKN:14 b0 ab cc 10 80 e9 16, /dp
   25  23.168355   172.24.0.6 → 172.24.0.5   CoAP/JSON 92 CON, MID:23287, POST, JSON (application/senml+json), TKN:d0 79 bc 91 52 76 8a 9a, /dp
   26  23.175324   172.24.0.5 → 172.24.0.6   CoAP 54 ACK, MID:23287, 2.04 Changed, TKN:d0 79 bc 91 52 76 8a 9a, /dp

لاحظ التالي:

  • السطر 1 هو التسجيل Register: الجهاز يرسل POST إلى /rd ومعه اسمه ep=coldroom-1 ومدة التسجيل lt=300 ثانية وطريقة الاتصال b=UT، وفي الحمولة قائمة الكائنات بصيغة CoRE Link Format، والرسالة كلها 171 بايتاً، وهي أكبر رسالة في LwM2M لأنها تحدث مرة عند التشغيل وعند كل تجديد.
  • السطران 3 و4 قراءة Read بالصيغة النصية: السيرفر هو الذي يرسل GET هنا، وهذا عكس CoAP في الخطوة السابقة، فالجهاز في LwM2M سيرفر CoAP والسيرفر كلاينت.
  • من السطر 11 تبدأ الإشعارات Notify بعد طلب المراقبة في السطر 9، وكلها بنفس التوكن cf 77 23 6f…، وهذا هو الرابط بينها وبين الطلب الأصلي، ويرسلها الجهاز كرسائل CON فيرد السيرفر بإقرار فارغ Empty ACK من 4 بايتات.
  • السطران 23 و25 هما الإرسال Send إلى /dp، مرة بصيغة SenML CBOR في 38 بايتاً، ومرة بصيغة SenML JSON في 50 بايتاً.
  • هذا الالتقاط على IPv4، فرؤوس IP فيه أصغر بعشرين بايتاً من الالتقاطات السابقة، والجهاز التجريبي يولد حرارة عشوائية حول 20 درجة بدل 4.3، وهذا لا يغير الأحجام إلا كما سوف نرى في السطر التالي.

والآن نفكك حمولة الإشعار في السطر 11 بالنظام الست عشري، وهي 20 بايتاً بصيغة SenML CBOR المعرفة في RFC 8428:

81 a2 02 f9 4d 00 21 6c 2f 33 33 30 33 2f 30 2f 35 37 30 30

البايت 81 مصفوفة من عنصر واحد، وa2 خريطة Map فيها مفتاحان، والمفتاح 02 هو القيمة v وبعده f9 4d 00 رقم عشري بنصف دقة Half Precision قيمته 20.0، والمفتاح 21 هو السالب 2 أي الاسم الأساسي bn وبعده نص من 12 حرفاً /3303/0/5700. وفي الإشعارات الأخرى ذات الحجم 85 بايتاً كانت القيمة مثل 20.1، وهي لا تمثل بنصف دقة، فكتبها Leshan بثمانية بايتات fb … بدل ثلاثة. وهذا درس صغير ومفيد: إذا كانت كل قراءة تكلفك ستة بايتات زائدة بسبب رقم عشري، فأرسل الحرارة كعدد صحيح بالأعشار، 43 بدل 4.3، وهذا ما سوف نفعله في LoRaWAN. والشكل التالي يجمع نموذج LwM2M وأحجام رسائله:

في الأعلى العنوان 3303 ثم 0 ثم 5700 بثلاثة ألوان: الكائن حرارة، والنسخة الحساس الأول، والمورد القيمة، وتحته جدول العمليات: التسجيل 171 بايتاً، والقراءة 25 والرد 18، والمراقبة إشعارات 37 إلى 43 والإقرار 4، والإرسال 38 بصيغة CBOR و50 بصيغة JSON، والتهيئة لأول تشغيل
نموذج LwM2M وأحجام رسائله كما التقطناها من Leshan

ماذا يحدث إذا ضاعت الرسائل؟

الراديو يضيع رسائل، وهذا ليس عطلاً نادراً وإنما جزء من حياته اليومية، والسؤال المهم هو كيف يتصرف كل بروتوكول عندما يضيع ما أرسله. والطريقة التي ستجدها في أغلب الأدلة لصنع الضياع هي الأداة tc مع netem، ولكن إذا جربتها على Docker Desktop فوق WSL 2 فالمخرج سوف يكون كما يلي:

docker exec elm-wl-cap tc qdisc add dev eth0 root netem loss 100%
Error: Specified qdisc kind is unknown.

والسبب أن نواة WSL 2 التي تأتي مع Docker Desktop لا تحتوي وحدة sch_netem، ولا حتى tbf، فالمشكلة ليست في صلاحية NET_ADMIN ولا في الـ Image. والبديل الذي يعمل في هذه النواة هو جدار الحماية نفسه، فالمطابقة statistic في ip6tables ترمي نسبة عشوائية من الحزم. وانتبه لمكان القاعدة: إذا وضعتها في سلسلة OUTPUT على الجهاز نفسه فإن نظام التشغيل يرجع للمكتبة الخطأ Operation not permitted فوراً، فيفشل الطلب في 22 ميلي ثانية دون أي إعادة إرسال، ولا يرى tcpdump الحزمة أصلاً، وهذا لا يشبه الراديو في شيء. لذلك نضع القاعدة في سلسلة INPUT على السيرفر، فيخرج كل شيء من الجهاز ويظهر في الالتقاط ثم يختفي بصمت عند الطرف الآخر، كما يحدث مع إطار راديو لم يسمعه أحد:

drop()   { docker exec "$1" ip6tables -A INPUT "${@:2}" -j DROP; }   # the server silently drops what arrives from the device
undrop() { docker exec "$1" ip6tables -F INPUT; }
step_outage() { # every outgoing packet of the device is lost
  echo "== CoAP: all CON messages lost"
  cap_start out-coap
  drop elm-wl-fwc -p udp --dport 5683
  docker exec elm-wl-dev python device.py coap 1 0
  undrop elm-wl-fwc
  cap_stop
  tshark -r /out/out-coap.pcap -t r
  echo "== MQTT: connected, then everything lost for 20 s around one PUBLISH"
  cap_start out-mqtt
  docker exec -e DELAY=3 elm-wl-dev python device.py mqtt 1 0 &
  sleep 2
  drop elm-wl-fwm -p tcp --dport 1883
  sleep 20
  undrop elm-wl-fwm
  wait
  cap_stop
  tshark -r /out/out-mqtt.pcap -t r
}

التجربة الأولى: كل رسائل CoAP تضيع

والمخرج للجزء الأول سوف يكون كما يلي:

== CoAP: all CON messages lost
07:42:26 #1 FAILED after 90061 ms: ConRetransmitsExceeded('Retransmissions exceeded')
    1   0.000000 fdd6:74bc:45e3::4 → fdd6:74bc:45e3::3 CoAP/JSON 108 CON, MID:33895, PUT, JSON (application/json), TKN:fc 5b, coap://elm-wl-coap/coldroom/1/temp
    2   2.905412 fdd6:74bc:45e3::4 → fdd6:74bc:45e3::3 CoAP/JSON 108 CON, MID:33895, PUT, JSON (application/json), TKN:fc 5b, coap://elm-wl-coap/coldroom/1/temp [Retransmission]
    3   8.715367 fdd6:74bc:45e3::4 → fdd6:74bc:45e3::3 CoAP/JSON 108 CON, MID:33895, PUT, JSON (application/json), TKN:fc 5b, coap://elm-wl-coap/coldroom/1/temp [Retransmission]
    4  20.330853 fdd6:74bc:45e3::4 → fdd6:74bc:45e3::3 CoAP/JSON 108 CON, MID:33895, PUT, JSON (application/json), TKN:fc 5b, coap://elm-wl-coap/coldroom/1/temp [Retransmission]
    5  43.562202 fdd6:74bc:45e3::4 → fdd6:74bc:45e3::3 CoAP/JSON 108 CON, MID:33895, PUT, JSON (application/json), TKN:fc 5b, coap://elm-wl-coap/coldroom/1/temp [Retransmission]

لاحظ التالي:

  • الرسالة نفسها برقمها MID:33895 وتوكنها أرسلت خمس مرات، الأصلية وأربع إعادات، وهذا هو MAX_RETRANSMIT من RFC 7252 بالضبط، وtshark يعرف أنها إعادة لأن الرقم نفسه تكرر.
  • المهلة الأولى 2.9 ثانية، أي ACK_TIMEOUT ثانيتان مضروبة في رقم عشوائي اختاره aiocoap بين 1 و1.5، ثم 5.8 ثم 11.6 ثم 23.2 ثانية، كل واحدة ضعف السابقة بالضبط، وفي تشغيل سابق كانت المهلة الأولى 2.3 ثانية، فالجهاز الذي يشغل نفس البرنامج لا يعيد الإرسال في نفس اللحظة التي يعيد فيها جاره.
  • بعد آخر إعادة انتظر aiocoap 46.5 ثانية أخرى، ثم أعاد للبرنامج الخطأ ConRetransmitsExceeded بعد 90 ثانية، وهذا قريب من القيمة MAX_TRANSMIT_WAIT في المواصفة وهي 93 ثانية. وهنا يأتي دور تطبيقك: CoAP لن يحتفظ بالقراءة ولن يعيدها بعد ذلك، فإما أن تخزنها وتعيد إرسالها، وإما أن تقبل ضياعها لأن قراءة أحدث سوف تأتي.

التجربة الثانية: MQTT على TCP يضيع كل شيء عشرين ثانية

والجزء الثاني يتصل أولاً، ثم يبدأ الضياع، ثم يرسل القراءة، ثم يعود الاتصال بعد 20 ثانية، والمخرج سوف يكون كما يلي:

connect: 6.1 ms (TCP handshake + CONNECT/CONNACK)
07:43:05 #1 PUBACK after 28034.1 ms
    8   3.003132 fdd6:74bc:45e3::4 → fdd6:74bc:45e3::2 MQTT 107 Publish Message (id=1) [cr/1/t]
    9   3.220837 fdd6:74bc:45e3::4 → fdd6:74bc:45e3::2 TCP 107 [TCP Retransmission] 40565 → 1883 [PSH, ACK] Seq=18 Ack=5 Win=64896 Len=21 TSval=2482694175 TSecr=1477341651
   10   3.449363 fdd6:74bc:45e3::4 → fdd6:74bc:45e3::2 TCP 107 [TCP Retransmission] 40565 → 1883 [PSH, ACK] Seq=18 Ack=5 Win=64896 Len=21 TSval=2482694403 TSecr=1477341651
   11   3.870790 fdd6:74bc:45e3::4 → fdd6:74bc:45e3::2 TCP 107 [TCP Retransmission] 40565 → 1883 [PSH, ACK] Seq=18 Ack=5 Win=64896 Len=21 TSval=2482694825 TSecr=1477341651
   12   4.790792 fdd6:74bc:45e3::4 → fdd6:74bc:45e3::2 TCP 107 [TCP Retransmission] 40565 → 1883 [PSH, ACK] Seq=18 Ack=5 Win=64896 Len=21 TSval=2482695745 TSecr=1477341651
   13   6.550829 fdd6:74bc:45e3::4 → fdd6:74bc:45e3::2 TCP 107 [TCP Retransmission] 40565 → 1883 [PSH, ACK] Seq=18 Ack=5 Win=64896 Len=21 TSval=2482697505 TSecr=1477341651
   14  10.000770 fdd6:74bc:45e3::4 → fdd6:74bc:45e3::2 TCP 107 [TCP Retransmission] 40565 → 1883 [PSH, ACK] Seq=18 Ack=5 Win=64896 Len=21 TSval=2482700955 TSecr=1477341651
   15  16.952644 fdd6:74bc:45e3::4 → fdd6:74bc:45e3::2 TCP 107 [TCP Retransmission] 40565 → 1883 [PSH, ACK] Seq=18 Ack=5 Win=64896 Len=21 TSval=2482707906 TSecr=1477341651
   16  31.032339 fdd6:74bc:45e3::4 → fdd6:74bc:45e3::2 TCP 107 [TCP Retransmission] 40565 → 1883 [PSH, ACK] Seq=18 Ack=5 Win=64896 Len=21 TSval=2482721989 TSecr=1477341651
   17  31.032929 fdd6:74bc:45e3::2 → fdd6:74bc:45e3::4 MQTT 90 Publish Ack (id=1)

لاحظ التالي:

  • أول إعادة كانت بعد 0.22 ثانية، لأن مؤقت إعادة الإرسال في TCP يحسب من زمن الذهاب والعودة المقاس على الاتصال نفسه كما في RFC 6298، وأقل قيمة له في Linux قرابة 200 ميلي ثانية، وزمن الذهاب والعودة على هذه الشبكة أقل من ميلي ثانية.
  • ثم تضاعفت المهلة: 0.23 ثم 0.42 ثم 0.92 ثم 1.76 ثم 3.45 ثم 6.95 ثم 14.08 ثانية، فكانت ثماني إعادات في 28 ثانية، مقابل أربع في 90 ثانية لـ CoAP.
  • عاد الاتصال بعد قرابة 22 ثانية من بداية الالتقاط، ولكن الرسالة لم تمر إلا مع الإعادة التالية في الثانية 31، أي أن القراءة انتظرت 9 ثوان إضافية بعد عودة الشبكة، وكلما طال الانقطاع طالت هذه الفجوة.
  • المكتبة paho لم تعرف شيئاً عن الإعادات، فهي رأت فقط أن PUBACK تأخر 28 ثانية، لأن TCP يعيد الإرسال بنفسه تحت التطبيق، وهذه راحة كبيرة، ولكنها تعني أيضاً أن الراديو يرسل ثماني مرات دون أن يقرر تطبيقك ذلك.
خطان زمنيان على محور من 0 إلى 90 ثانية: في الأعلى CoAP CON بخمسة أعمدة زرقاء عند 0 و2.9 و8.7 و20.3 و43.6 ثانية وفوقها الفترات 2.9 و5.8 و11.6 و23.2 و46.5 ثانية وخط أحمر عند 90.1 مكتوب بجانبه ConRetransmitsExceeded، وفي الأسفل MQTT على TCP بأعمدة برتقالية متقاربة في أول 14 ثانية داخل منطقة حمراء مكتوب عليها كل شيء يضيع 20 ثانية، ثم خط أخضر عند 28 ثانية مكتوب بجانبه PUBACK والرسالة وصلت
إعادة الإرسال في CoAP مقابل TCP، من الالتقاط نفسه

التجربة الثالثة: ضياع عشوائي بنسبة 20%

الانقطاع الكامل حالة واحدة، والحالة الأكثر شيوعاً في الراديو هي الضياع المتقطع، والخطوة lossy ترمي 20% من الحزم عشوائياً وترسل 40 قراءة بكل بروتوكول، وتطبع فقط القراءات التي تأخرت أكثر من 100 ميلي ثانية:

07:50:39 #1 2.04 Changed after 19927.5 ms
07:50:56 #2 2.04 Changed after 17030.8 ms
07:50:57 #3 2.04 Changed after 475.1 ms
07:51:09 #11 2.04 Changed after 10634.9 ms
07:51:12 #13 2.04 Changed after 2288.3 ms
07:51:16 #18 2.04 Changed after 2184.9 ms
07:51:24 #34 2.04 Changed after 2338.0 ms
07:51:28 #36 2.04 Changed after 3174.7 ms
07:51:32 #40 2.04 Changed after 2980.4 ms
coap: ok=40/40 min=2.2 ms median=105.5 ms p90=2980.4 ms max=19927.5 ms
connect: 358.0 ms (TCP handshake + CONNECT/CONNACK)
07:52:10 #3 PUBACK after 382.7 ms
07:52:15 #14 PUBACK after 2311.2 ms
07:52:18 #20 PUBACK after 998.1 ms
07:52:24 #34 PUBACK after 570.8 ms
mqtt: ok=40/40 min=0.4 ms median=1.0 ms p90=457.0 ms max=2311.2 ms

وقد حذفنا من المخرج أسطراً لقراءات CoAP بين 100 و251 ميلي ثانية، وأسطراً لقراءات MQTT بين 220 و520 ميلي ثانية. وفي هذا المخرج لاحظ التالي:

  • كل القراءات وصلت في البروتوكولين، فالضياع بنسبة 20% لا يسقط شيئاً عندما توجد إعادة إرسال.
  • القراءة الضائعة في CoAP تكلف ثانيتين إلى ثلاث على الأقل، والقراءة رقم 1 ضاعت ثلاث مرات متتالية فوصلت بعد 19.9 ثانية، وقيم CoAP بين 100 و251 ميلي ثانية في هذا التشغيل لم تأت من الضياع، لأن أول إعادة لا يمكن أن تكون قبل ثانيتين، وإنما من انشغال الجهاز الذي يشغل المختبر، وهذا سبب الوسيط 105.5 ميلي ثانية.
  • القراءة الضائعة في MQTT تكلف من 220 ميلي ثانية إلى ثانيتين، لأن مؤقت TCP يبدأ صغيراً على شبكة سريعة، وحتى المصافحة نفسها ضاعت مرة فأخذ الاتصال 358 ميلي ثانية.

إذن هل CoAP أسوأ؟ لا، فهذه الأرقام تبين أن مهلة CoAP صممت لراديو بطيء حيث يأخذ الذهاب والعودة مئات الميلي ثواني، فلا يعيد الإرسال قبل أن يتأكد أن الرسالة ضاعت فعلاً، وهذا يوفر البطارية والهواء، وفي المقابل TCP يتكيف مع زمن الذهاب والعودة، وهذا ممتاز على شبكة سريعة، ولكن على رابط بطيء متقطع قد يعيد الإرسال أكثر من اللازم، وقد يقطع الاتصال كله، فيحتاج MQTT أن يعيد المصافحة وCONNECT من جديد. والقاعدة العملية: على راديو ينام ويستيقظ، أو رابط بضع كيلوبتات، اختر بروتوكولاً فوق UDP يتحكم تطبيقك في إعادة إرساله، وعلى رابط دائم وسريع مثل Wi-Fi أو Ethernet فإن MQTT على TCP خيار ممتاز.

القراءة نفسها في إطار LoRaWAN

الآن ننتقل إلى المستودع البعيد. ولا يوجد في LoRaWAN أي IP أو UDP أو TCP، فلا تستطيع أن ترسل فيه MQTT ولا CoAP كما هما، وإنما ترسل بايتات تطبيقك داخل إطار LoRaWAN مباشرة. والملف lora.js يبني إطار رفع Uplink حقيقياً بالمكتبة lora-packet بالإصدار 0.9.3، ويرسل الحرارة كعدد صحيح بالأعشار في بايتين:

// Builds the LoRaWAN 1.0.x uplink that carries the same cold-room reading, with lora-packet, then decodes it back.
// The keys are test keys for the lab only; a real device gets its session keys from the Join procedure (OTAA).
const lora = require('lora-packet');

const tenths = Math.round(4.3 * 10);            // 4.3 C sent as a signed 16-bit integer in tenths: 43
const frm = Buffer.alloc(2); frm.writeInt16BE(tenths);

const NwkSKey = Buffer.from('2B7E151628AED2A6ABF7158809CF4F3C', 'hex');
const AppSKey = Buffer.from('000102030405060708090A0B0C0D0E0F', 'hex');

const pkt = lora.fromFields({
  MType: 'Unconfirmed Data Up',
  DevAddr: Buffer.from('26011BDA', 'hex'),        // big-endian as written; it goes little-endian on air
  FCtrl: { ADR: true, ACK: false, ADRACKReq: false, FPending: false },
  FCnt: 42,
  FPort: 1,
  payload: frm,
}, AppSKey, NwkSKey);

const b = pkt.getPHYPayload();
console.log('FRMPayload (plain) :', frm.toString('hex'), `(${frm.length} bytes, ${tenths} = 4.3 C)`);
console.log('PHYPayload         :', b.toString('hex'), `(${b.length} bytes)`);
console.log('  MHDR             :', b.subarray(0, 1).toString('hex'));
console.log('  FHDR DevAddr     :', b.subarray(1, 5).toString('hex'), '(little-endian)');
console.log('  FHDR FCtrl       :', b.subarray(5, 6).toString('hex'));
console.log('  FHDR FCnt        :', b.subarray(6, 8).toString('hex'), '(little-endian)');
console.log('  FPort            :', b.subarray(8, 9).toString('hex'));
console.log('  FRMPayload (enc) :', b.subarray(9, b.length - 4).toString('hex'));
console.log('  MIC              :', b.subarray(b.length - 4).toString('hex'));

const back = lora.fromWire(b);
console.log('decoded            :', back.getMType(), 'DevAddr', back.getBuffers().DevAddr.toString('hex'),
            'FCnt', back.getFCnt(), 'FPort', back.getFPort());
console.log('MIC valid          :', lora.verifyMIC(back, NwkSKey));
console.log('decrypted          :', lora.decrypt(back, AppSKey, NwkSKey).toString('hex'));
const bad = Buffer.from(b); bad[9] ^= 0x01;     // one bit changed in the air
console.log('one bit flipped    : MIC valid =', lora.verifyMIC(lora.fromWire(bad), NwkSKey));

والمخرج سوف يكون كما يلي:

FRMPayload (plain) : 002b (2 bytes, 43 = 4.3 C)
PHYPayload         : 40da1b0126802a0001396f8d6c311b (15 bytes)
  MHDR             : 40
  FHDR DevAddr     : da1b0126 (little-endian)
  FHDR FCtrl       : 80
  FHDR FCnt        : 2a00 (little-endian)
  FPort            : 01
  FRMPayload (enc) : 396f
  MIC              : 8d6c311b
decoded            : Unconfirmed Data Up DevAddr 26011bda FCnt 42 FPort 1
MIC valid          : true
decrypted          : 002b
one bit flipped    : MIC valid = false

لاحظ التالي:

  • 40: رأس الإطار MHDR، والبتات الثلاث الأولى 010 تعني Unconfirmed Data Up، أي رفع دون طلب إقرار، وهو المناسب لقراءة دورية.
  • da 1b 01 26: عنوان الجهاز DevAddr، وهو مكتوب على الهواء بترتيب Little-endian، فالعنوان 26011BDA يظهر معكوساً، وهذا مصدر شائع للخطأ عند كتابة محلل الإطارات بنفسك.
  • 80: بايت التحكم FCtrl، والبت الأعلى فيه هو ADR، أي أن الجهاز يسمح للسيرفر أن يغير عامل انتشاره، وطول الخيارات FOpts صفر.
  • 2a 00: العداد FCnt بقيمة 42 بترتيب Little-endian، وهو الذي يمنع إعادة إرسال إطار مسجل.
  • 01: المنفذ FPort، ويستخدمه تطبيقك ليفرق بين أنواع الرسائل، والمنفذ صفر محجوز لأوامر الشبكة.
  • 39 6f: القراءة بعد التشفير بمفتاح التطبيق AppSKey، فلا ترى البوابة ولا سيرفر الشبكة الرقم 43.
  • 8d 6c 31 1b: رمز السلامة MIC بمفتاح الشبكة، وعندما غيرنا بتاً واحداً في الإطار أصبح غير صالح، وهذا ما يفعله سيرفر الشبكة مع أي إطار مشوه أو مزور.

إذن الإطار كله 15 بايتاً، منها 13 للرأس والعداد والمنفذ والتوقيع، وبايتان للقراءة. وقارن هذا بالمختبر السابق: رسالة CoAP كانت 46 بايتاً قبل أي رأس IP، وجلسة MQTT 1,268 بايتاً.

زمن البث Time on Air: من البايتات إلى الثواني

في LoRaWAN لا يقاس الإطار بالبايتات وإنما بالميلي ثواني التي يبقى فيها في الهواء، لأن هذا الزمن هو الذي يستهلك البطارية ويحسب من حد 1%. والملف airtime.js يطبق معادلة زمن البث من ورقة بيانات الشريحة SX1276 بالإعدادات التي يستخدمها LoRaWAN: قناة 125 kHz، ومعدل الترميز 4/5، ومقدمة Preamble من 8 رموز، ورأس صريح، وفحص CRC، وتحسين المعدل المنخفض Low Data Rate Optimization عند SF11 وSF12:

function toa(pl, sf, bw = 125e3, cr = 1, preamble = 8, crc = 1, ih = 0) {
  const de = (sf >= 11 && bw === 125e3) ? 1 : 0;
  const tsym = (2 ** sf) / bw * 1000;                                   // ms
  const tpre = (preamble + 4.25) * tsym;
  const n = 8 + Math.max(Math.ceil((8 * pl - 4 * sf + 28 + 16 * crc - 20 * ih) / (4 * (sf - 2 * de))) * (cr + 4), 0);
  return { tsym, n, ms: tpre + n * tsym };
}

وقبل أن نصدق أي رقم يجب أن نتحقق من المعادلة مقابل رقم منشور، وورقة Semtech AN1200.86 فيها جدول لزمن البث لحمولة 11 بايتاً من SF7 إلى SF10، والخطوة lora تطبع المقارنة ثم الجداول، والمخرج سوف يكون كما يلي:

check against Semtech AN1200.86 fig. 6 (time on air for an 11-byte payload):
  SF7: published 61 ms | formula: 24-byte frame 61.7 ms, 21-byte frame 56.6 ms
  SF8: published 103 ms | formula: 24-byte frame 113.2 ms, 21-byte frame 102.9 ms
  SF9: published 185 ms | formula: 24-byte frame 205.8 ms, 21-byte frame 185.3 ms
  SF10: published 371 ms | formula: 24-byte frame 370.7 ms, 21-byte frame 370.7 ms

PHYPayload 15 bytes:
  SF   Tsym(ms)  symbols  airtime(ms)  max msgs/hour at 1% duty cycle
  7      1.024       33         46.3       776
  8      2.048       33         92.7       388
  9      4.096       28        164.9       218
  10     8.192       28        329.7       109
  11    16.384       28        659.5        54
  12    32.768       23       1155.1        31

PHYPayload 22 bytes:
  SF   Tsym(ms)  symbols  airtime(ms)  max msgs/hour at 1% duty cycle
  7      1.024       43         56.6       636
  8      2.048       38        102.9       349
  9      4.096       38        205.8       174
  10     8.192       33        370.7        97
  11    16.384       33        741.4        48
  12    32.768       33       1482.8        24

PHYPayload 59 bytes:
  SF   Tsym(ms)  symbols  airtime(ms)  max msgs/hour at 1% duty cycle
  7      1.024       98        112.9       318
  8      2.048       88        205.3       175
  9      4.096       78        369.7        97
  10     8.192       68        657.4        54
  11    16.384       78       1478.7        24
  12    32.768       68       2629.6        13

لاحظ التالي:

  • حمولة 11 بايتاً في LoRaWAN تعني إطاراً من 24 بايتاً بعد إضافة 13 بايتاً، والمعادلة تطابق رقم Semtech عند SF7 وSF10 بفرق أقل من ميلي ثانية، أما رقما SF8 وSF9 في الجدول نفسه فيطابقان المعادلة لإطار من 21 بايتاً بالضبط، 102.9 و185.3، وبالتالي الجدول المنشور حسب بحجمين مختلفين للإطار، والمعادلة نفسها متسقة. وهذا سبب كاف لأن تحسب زمن البث بنفسك لحجم إطارك الحقيقي، ولا تنقل الأرقام من جدول.
  • لاحظ أن الزمن لا يزيد مع كل بايت، وإنما يزيد بالرموز، فالإطار من 15 بايتاً عند SF9 يأخذ 28 رمزاً، ولو أضفت بايتاً أو اثنين قد يبقى في نفس عدد الرموز، وقد يقفز إلى 33.
  • العمود الأخير هو 36 ثانية مقسومة على زمن الإطار، أي أقصى عدد للرسائل في الساعة على قناة بحد 1%: قراءتنا من 15 بايتاً تسمح بـ 776 رسالة عند SF7، و31 رسالة فقط عند SF12، أي رسالة كل دقيقتين تقريباً.
  • الإطار من 22 بايتاً هو القراءة كنص JSON بحجم 9 بايتات، والإطار من 59 بايتاً هو رسالة CoAP الكاملة من المختبر بحجم 46 بايتاً لو حاولت أن تضعها كما هي، فعند SF12 تأخذ 2.6 ثانية في الهواء، ولا يسمح لك إلا بـ 13 رسالة في الساعة.
في الأعلى إطار LoRaWAN من 15 بايتاً مقسماً بالألوان: MHDR 40، وDevAddr da 1b 01 26، وFCtrl 80، وFCnt 2a 00، وFPort 01، والقراءة المشفرة 39 6f، وMIC 8d 6c 31 1b، وتحته أعمدة زمن البث من SF7 إلى SF12 للإطار من 15 بايتاً من 46.3 إلى 1155.1 ميلي ثانية، وتحت كل عمود خط فاتح لإطار 59 بايتاً من 112.9 إلى 2629.6، وبجانبها عدد الرسائل في الساعة من 776 إلى 31، وفي الأسفل بطاقتان لأقصى حمولة: أوروبا 51 بايتاً من SF12 إلى SF10، وأمريكا 11 بايتاً عند SF10
إطار القراءة وزمن بثه وحدود الحمولة في نطاقين

هل تدخل الرسالة في الإطار أصلاً؟

وبعد زمن البث يأتي سؤال أبسط وأقسى: هل يسمح الإطار بحجم رسالتك؟ وجداول أقصى حمولة في RP002-1.0.3 تعطي لكل معدل بيانات DR أقصى طول لحمولة التطبيق N عندما لا توجد خيارات FOpts، كما يلي:

النطاق ومعدل البياناتالإعدادأقصى حمولة تطبيق Nهل تمر رسائل المختبر؟
EU863-870 DR0 إلى DR2SF12 إلى SF10، 125 kHz51 بايتاًالقراءة ببايتين نعم، وJSON نعم، وCoAP بحجم 46 بايتاً بالكاد، وتسجيل LwM2M بحجم 171 بايتاً لا
EU863-870 DR3SF9، 125 kHz115 بايتاًكل شيء ما عدا تسجيل LwM2M
EU863-870 DR4 إلى DR7SF8 وSF7 و250 kHz وFSK222 بايتاً، أو 242 إذا لم يوجد مكرر Repeaterكل رسائل المختبر
US902-928 DR0SF10، 125 kHz11 بايتاًالقراءة ببايتين وJSON بحجم 9 بايتات فقط
US902-928 DR3SF7، 125 kHz222 بايتاًكل رسائل المختبر

والرقم الأخطر هو 11 بايتاً في أمريكا عند SF10، فهو أبطأ معدل للرفع هناك بسبب حد 400 ميلي ثانية للبقاء على القناة، وجهاز بعيد عن البوابة سوف يعمل عنده. ومعنى هذا أن تصميم الرسالة في LoRaWAN يبدأ من أسوأ معدل بيانات سوف يعمل عليه الجهاز، وليس من أفضله، وأنك يجب أن تفكر بالبايتات: الحرارة بالأعشار في بايتين بإشارة، والرطوبة في بايت، والبطارية في بايت، وعلامات الحالة في بتات بايت واحد، ثم تكتب في سيرفر التطبيق دالة فك Decoder تحول البايتات إلى JSON قبل أن تنشرها على MQTT لبقية النظام. وهنا يلتقي هذا المقال بمقال MQTT: الأجهزة البعيدة تتكلم بايتات على LoRaWAN، وسيرفر التطبيق ينشرها على الوسيط نفسه الذي تصل إليه أجهزة Wi-Fi، فلا يعرف بقية النظام أي راديو جاءت منه القراءة.

جدول القرار Decision Table

الآن نعود إلى الطلبات الأربعة في أول المقال، والجدول التالي يجمع ما تحتاج أن تقارنه، والأرقام فيه من المصادر التي ذكرناها في كل قسم:

المعيارBLEZigbeeThreadLoRaWANNB-IoT وLTE-MWi-Fi
المدى التقريبيغرفة إلى مبنى صغيرمبنى بالشبكة المتداخلةمبنى بالشبكة المتداخلةكيلومتراتتغطية المشغلطابق
السرعة125 kbit/s إلى 2 Mbit/s250 kbit/s250 kbit/s250 إلى 5,470 bit/s في أوروباعشرات الكيلوبتات إلى 1 Mbit/sميجابتات كثيرة
العمل على بطاريةسنواتالأجهزة الطرفية فقطالأجهزة الطرفية النائمة فقطسنواتسنوات مع PSMصعب
IP حتى الجهازلالانعم، IPv6لانعمنعم
البنية التي تحتاجهاجوال أو بوابة BLEمنسق Coordinatorموجه حدود Border Routerبوابة وسيرفر شبكةشريحة واشتراكنقطة وصول
إرسال أمر إلى الجهازعند الاتصالعبر الوالد Parentعبر الوالد Parentبعد إرساله في الفئة Aبعد استيقاظه من PSMفوراً
بروتوكول التطبيق المناسبGATT ثم MQTT في البوابةZCL ثم MQTT في المنسقCoAP أو LwM2M أو Matterبايتات خاصة بكCoAP أو LwM2MMQTT

وبناءً على الجدول، فالقرار لكل طلب في غرفة التبريد كما يلي:

  • الثلاجات الأربعون على بطارية في مبنى واحد: Thread مع CoAP إذا كنت تبني الجهاز بنفسك وتريد IP حتى الحساس، أو Zigbee إذا كنت تشتري حساسات جاهزة وتربطها بـ Home Assistant كما في مقال Home Assistant مع ESPHome، وفي الحالتين تحتاج بعض الأجهزة الموصولة بالكهرباء في المبنى لتكون موجهات.
  • الفني الذي يقرأ السجل من جواله: BLE دون أي بنية إضافية، بإعلان دوري وخدمة GATT للسجل.
  • المستودع البعيد دون إنترنت: LoRaWAN ببوابة واحدة على السطح موصولة بالإنترنت عبر شريحة جوال، والحساسات ترسل بايتين أو ثلاثة كل خمس دقائق.
  • الشاحنة المبردة: LTE-M، لأنها تتحرك بين الأبراج وتحتاج تغطية على الطريق كله، ومعه LwM2M إذا أردت إدارة الجهاز وتحديثه عن بعد.

أخطاء شائعة Common Mistakes

  • اختيار الراديو بعد كتابة البرنامج: الخطأ الذي يتكرر هو أن يبنى النموذج الأولي على Wi-Fi ثم يطلب نقله إلى بطارية، فتكتشف أن كل شيء تغير، من بروتوكول التطبيق إلى شكل الرسالة. حدد الراديو من حالة الكهرباء والمسافة قبل أول سطر.
  • تصميم الرسالة لأفضل إشارة: في LoRaWAN صمم لأسوأ معدل بيانات، 51 بايتاً في أوروبا و11 بايتاً عند SF10 في أمريكا، لأن الأجهزة البعيدة هي التي تعمل عليه، وADR سوف ينقلها إليه.
  • إرسال JSON على رابط ضيق: {"t":4.3} تسعة بايتات، والعدد الصحيح بالأعشار بايتان، والفرق على LoRaWAN عند SF12 هو الفرق بين 24 رسالة و31 رسالة في الساعة.
  • أسماء طويلة في كل رسالة: اسم الموضوع في MQTT ومسار CoAP واسم المضيف Uri-Host كلها ترسل مع كل قراءة، ورأيت في المختبر أن العنوان أخذ ثلاثة أضعاف القراءة.
  • تفعيل ADR على جهاز متحرك: السيرفر يخفض عامل الانتشار بناءً على إطارات قديمة، ثم يبتعد الجهاز فتضيع رسائله.
  • استخدام ABP في LoRaWAN دون حفظ العداد: بعد أول إعادة تشغيل يبدأ FCnt من الصفر ويرفض السيرفر كل الإطارات، والحل OTAA.
  • جهاز طرفي على بطارية يعمل كموجه: في Zigbee وThread يجب أن يكون الموجه موصولاً بالكهرباء، وإلا فرغت بطاريته في أيام لأنه يستمع طوال الوقت.
  • افتراض أن CoAP يحتفظ بالقراءة: بعد أربع إعادات يعيد الخطأ ConRetransmitsExceeded ويتوقف، والتخزين وإعادة الإرسال بعد ذلك مسؤولية تطبيقك.
  • الحكم على البروتوكول بزمن الذهاب والعودة على جهازك: رأيت أن فرق المكتبتين أكبر من فرق البروتوكولين على شبكة سريعة، فقس على الراديو الحقيقي.
  • نسيان البوابة في حساب الأمان: البوابة أو المنسق يقرأ إطارات من أي جهاز في المدى ويجلس على شبكتك، وثغرة جسر Hue بدأت من هنا.

قائمة تحقق Checklist قبل أن تختار الراديو

  • هل الجهاز موصول بالكهرباء أم على بطارية؟ وكم سنة يجب أن تعيش البطارية؟
  • كم المسافة بين الجهاز وأقرب مكان فيه كهرباء وإنترنت؟ وهل بينهما جدران خرسانية أو معادن؟
  • كم بايتاً في القراءة الواحدة بعد ضغطها، وكم مرة في الساعة؟ وهل تدخل في أسوأ معدل بيانات؟
  • هل تحتاج إرسال أوامر إلى الجهاز؟ وكم ثانية يمكن أن ينتظر الأمر؟
  • هل يتحرك الجهاز بين المواقع؟
  • هل تبني البوابات بنفسك أم تدفع اشتراكاً لمشغل؟ وما تكلفة الجهاز الواحد شهرياً في كل خيار؟
  • هل تحتاج IP حتى الجهاز، أم يكفي أن تترجم البوابة؟
  • ما نطاق التردد المسموح في بلدك، وما حد نسبة الإرسال أو البقاء على القناة فيه؟
  • كيف سوف تحدث البرنامج الثابت للراديو نفسه عند ظهور ثغرة مثل SweynTooth؟
  • هل حسبت زمن البث لحجم إطارك الحقيقي، وليس من جدول منشور؟

تدريب عملي Practice

  • غير المسار في device.py إلى coap://[IPv6]/t بعد إضافة المورد t في السيرفر، ثم أعد الخطوة bytes واحسب كم بايتاً وفرت من 46، وكم رسالة إضافية في الساعة يعطيك ذلك عند SF12 بالملف airtime.js.
  • أرسل قراءة CoAP من النوع NON بدل CON بالقيمة transport_tuning=aiocoap.Unreliable، ثم أعد تجربة الضياع الكامل، ولاحظ أن المكتبة لا تعيد الإرسال، وفكر متى يكون هذا هو السلوك المطلوب.
  • في lora.js أضف الرطوبة في بايت واحد ونسبة البطارية في بايت، واكتب دالة تفك الإطار الجديد إلى JSON، ثم احسب زمن البث للإطار من 17 بايتاً من SF7 إلى SF12.

حذف المختبر Cleanup

الخطوة الأخيرة في run.sh تحذف كل ما أنشأه المختبر، وكل الأسماء تبدأ بـ elm-wl-، ولا تلمس الـ Image الرسمي للوسيط:

step_down() {
  docker rm -f elm-wl-fwc elm-wl-fwm elm-wl-cap elm-wl-dev elm-wl-coap elm-wl-mqtt elm-wl-leshan elm-wl-lwc elm-wl-lcap 2>/dev/null
  docker network rm elm-wl-net
  docker rmi elm-wl-py:1 elm-wl-cap:1 elm-wl-java:1 elm-wl-node:1 2>/dev/null
}

الخلاصة Summary

  • كل راديو نقطة في مثلث المدى والطاقة والسرعة، وحالة الكهرباء والمسافة تختار لك قبل أي شيء آخر.
  • BLE للجوال والمسافات القصيرة، وZigbee وThread للمبنى بشبكة متداخلة، وThread يعطيك IPv6 حتى الحساس، وMatter طبقة تطبيق فوقه وفوق Wi-Fi.
  • LoRaWAN للكيلومترات برسائل صغيرة، والبوابة لا تفهم الإطار، والسيرفر يقرر ADR والرد، والفئة A لا تستقبل إلا بعد إرسالها.
  • في المختبر كانت القراءة الواحدة حزمتين و176 بايتاً في CoAP، و14 حزمة و1,268 بايتاً في جلسة MQTT، و3 حزم و283 بايتاً على اتصال MQTT مفتوح، و15 بايتاً في إطار LoRaWAN.
  • CoAP يعيد الإرسال بعد 2 إلى 3 ثوان ثم يضاعف أربع مرات ويستسلم بعد قرابة 90 ثانية، وTCP يبدأ من 0.2 ثانية ويعيد بنفسه، والقرار بعد الفشل في CoAP لتطبيقك.
  • زمن البث هو الذي يحكم LoRaWAN: 46 ميلي ثانية عند SF7 و1.16 ثانية عند SF12 لقراءتنا، أي 31 رسالة في الساعة عند SF12 بحد 1%، وصمم رسالتك لأسوأ معدل بيانات.

وفي المقالات التالية من المرحلة سوف تجد كيف تعرض هذه القراءات على لوحات المتابعة مع Node-RED وGrafana، وكيف تطبق كل هذا على مشروع مراقبة غرف التبريد والثلاجات الدوائية.

دليلإنترنت الأشياء IoT: من الحساس إلى لوحة المتابعةنمشي مع غرفة تبريد على المسار كاملاً من الحساس إلى الجوال، ونبنيه في Docker ثم نوقف الوسيط لنعرف كم قراءة تضيع ولماذا.دليلبروتوكول MQTT مع Mosquitto: كيف تتكلم الأجهزةنفهم الوسيط من الداخل برسائل حقيقية: مستويات التسليم والرسائل المحفوظة والوصية والجلسات الدائمة، ثم نغلقه بالتشفير وكلمات المرور والصلاحيات.دليلESP32: متحكم بنواتين وWi-Fi وBluetoothما في شريحة ESP32 وكيف يختلف برنامجها عن Arduino Uno، وكم تستهلك عندما تتكلم بالراديو، مع برنامج ESP-IDF حقيقي على محاكي QEMU يرسل طلب HTTP ثم يكسر مراقب المهام.دليلتصميم الأجهزة قليلة الاستهلاك Low Power: عمر البطاريةنقيس في Renode متى ينام المعالج ومتى يستيقظ، ثم نحول القياس إلى عمر بطارية بأرقام أوراق بيانات TI، ونرى كيف ينقل سطر واحد عمر الجهاز من سنوات إلى أيام.دليلHome Assistant مع ESPHome: أتمتة المستودع على سيرفركنترجم برنامجاً حقيقياً للوحة ESP32، ونشغل الجهاز نفسه على السيرفر مع Home Assistant، ونكتب أتمتة تشغل الضاغط الاحتياطي، ثم نفصل الجهاز لنرى ما يحدث.دليلأمن إنترنت الأشياء IoT: الأجهزة التي ينساها الجميعنهاجم وسيط MQTT في مختبر غرفة التبريد كما يفعل من يدخل الشبكة، فنطفئ الضاغط ونسرق كلمة المرور، ثم نغلقه بالتشفير والصلاحيات وتقسيم الشبكة ونعيد الهجوم.دليلتحديث الأجهزة عن بعد OTA دون أن تتعطلنرسل سبعة تحديثات إلى برنامج ESP32 حقيقي في محاكي QEMU، فنرى التوقيع ورفض الرجوع إلى نسخة أقدم والرجوع التلقائي يعمل، ونرى الخطأ الذي لا ينقذك منه إلا السلك.دليلمشروع مراقبة غرف التبريد والثلاجات الدوائيةنظام يراقب ثلاجات الأدوية بين 2 و8 درجات بمجسات DS18B20 وشريحة ESP32، لا يضيع قراءة إذا توقف الوسيط، وينبه بالمدة مع إقرار وتصعيد وتقرير يومي للمفتش.

سجل التحديثات Changelog

  • نوفمبر 2026: كتابة المقال، والتجربة على Mosquitto 2.1.2 (eclipse-mosquitto:2.1.2-alpine) وaiocoap 0.4.17 وpaho-mqtt 2.1.0 على python:3.13.18-slim، وEclipse Leshan 2.0.0-M18 على eclipse-temurin:21-jre-alpine، وlora-packet 0.9.3 على Node.js 22.23.4، والالتقاط بالأدوات tcpdump وtshark على alpine:3.22، على Docker Engine 29.8.0، والمعلومات من RFC 7252 و7641 و7959 و8428 وRP002-1.0.3 وورقة Semtech AN1200.86 كما قرأناها في 20 نوفمبر 2026.
نشرة عرب رووت | ArabRoot

معرفة تستحق مكاناً في بريدك.

مقالات مختارة وأدوات مفيدة وأفكار لمشروعك القادم، في رسالة واحدة كل أسبوع.

يمكنك إلغاء الاشتراك متى شئت. الخصوصية

تم استلام طلبك. افتح بريدك واضغط رابط التأكيد لإتمام الاشتراك.