الشبكات والبنية التحتية الأدلة التقنية

Managed Switch من الداخل: VLAN وPoE و10GbE

كيف يقسم ال Switch المدار منافذه إلى شبكات VLAN ويغذي الكاميرات بالكهرباء ويربط السيرفرات بسرعة 10GbE، مع تجربة عملية ترى فيها الوسوم والحلقات بنفسك.

Managed Switch من الداخل: VLAN وPoE و10GbE

لنفرض أنك مسؤول التقنية في شركة ناشئة فيها خمسة وعشرون موظفاً، انتقلت إلى مكتب جديد، والشبكة فيه هي ما تركه المستأجر السابق: Router المزود، وخلفه Switch عادي بأربعة وعشرين منفذاً، وكل شيء موصول به، حواسيب الموظفين وهواتف المكتب وكاميرات المدخل ونقطة Wi-Fi للضيوف وجهاز NAS عليه ملفات العقود. والشبكة تعمل، ولكن في الأسبوع الأول تكتشف ثلاثة أمور: أن ضيفاً جلس في غرفة الاجتماعات يرى جهاز ال NAS في قائمة أجهزة الشبكة على حاسوبه، وأن الكاميرات تحتاج كل واحدة منها محول كهرباء وتمديداً خاصاً إلى السقف، وأن نسخ ملف كبير من سيرفر المشاريع إلى ال NAS يأخذ وقتاً لأن الرابط بينهما 1 Gbps فقط. والحل الذي سوف تسمعه من أي مهندس شبكات هو جهاز واحد: Switch مدار Managed Switch.

وقد عرفنا في أجهزة الشبكة في البيت والمكتب أن ال Switch جهاز في الطبقة الثانية يتعلم عناوين MAC ويرسل كل إطار إلى المنفذ الذي خلفه صاحبه، وأن النوع المدار له واجهة إعدادات، أما هنا فسوف نفتح هذا النوع من الداخل، ونفهم كل خاصية تشتريه من أجلها: كيف يقسم المنافذ إلى شبكات منفصلة، وكيف يرسل الكهرباء في كابل الشبكة دون أن يحرق حاسوباً، وأي منفذ 10 Gbps يناسبك، ولماذا لا يضاعف كابلان السرعة كما تتوقع، ولماذا تتوقف شبكة مستشفى كامل بسبب كابل واحد في المكان الخطأ. ثم نبني Switch مداراً حقيقياً من نواة Linux داخل Containers، ونرى الوسوم في الحزم بأعيننا، ونحاول التسلل من شبكة إلى أخرى، ونصنع حلقة Loop ونطفئها. وسوف نناقش في هذا المقال ما يلي:

  • لماذا لا يكفي ال Switch العادي في مكتب يكبر، وما الذي تضيفه الإدارة.
  • الشبكة الافتراضية VLAN: وسم 802.1Q من الداخل، ومنافذ Access وTrunk، وال Native VLAN وخطره.
  • التوجيه بين شبكات VLAN: Router on a Stick وLayer 3 Switch والجدار الناري، ومتى تختار كل طريقة.
  • التغذية عبر الكابل PoE: المعايير والفئات، وكيف يقرر ال Switch أن يرسل الكهرباء، وال Passive PoE.
  • سرعة 10GbE: منافذ SFP+ والألياف وكابلات DAC مقابل 10GBASE-T، والحرارة والكهرباء.
  • تجميع الروابط LACP، وبروتوكول الشجرة الممتدة STP، وحماية المنافذ.
  • تجربة عملية كاملة بمخرج حقيقي، ثم الأخطاء الشائعة وقائمة تحقق قبل الشراء والإعداد.

لماذا لا يكفي ال Switch العادي؟

ال Switch غير المدار Unmanaged يعامل كل منافذه كشبكة واحدة، فكل جهاز موصول به يستطيع أن يرسل إلى أي جهاز آخر، وكل رسالة Broadcast، مثل طلبات ARP وطلبات DHCP وإعلانات الطابعات، تصل إلى كل المنافذ. وهذا ما يسمى الشبكة المسطحة Flat Network، وفي بيت فيه خمسة أجهزة لا يظهر لها أي ضرر، ولكن في مكتب الشركة يعني ذلك أن ضيف غرفة الاجتماعات في نفس الشبكة مع ال NAS، وأن كاميرا رخيصة لا تأتيها تحديثات تستطيع أن تصل إلى حاسوب المحاسب، وأن أي جهاز مصاب يرى كل شيء. وقد شرحنا في أمن إنترنت الأشياء لماذا تكون الكاميرات وأجهزة المنزل الذكي أضعف حلقة في الشبكة، وأول علاج لها هو أن تعزلها في شبكتها الخاصة.

والحل البسيط الذي يخطر على البال أولاً هو أن تشتري Switch لكل مجموعة: واحد للموظفين وواحد للكاميرات وواحد للضيوف، وكل واحد له كابل مستقل إلى ال Router. وهذا الحل يعمل في مكتب من غرفتين، ولكنه يفشل بسرعة لسببين: الأول أن كل غرفة سوف تحتاج ثلاثة أجهزة وثلاثة تمديدات، والثاني أن نقل موظف من مكتب إلى آخر، أو إضافة كاميرا في غرفة لا يوجد فيها Switch للكاميرات، يعني تمديداً جديداً في كل مرة. والحل الصحيح أن يكون في الغرفة Switch واحد، ويقرر هو أن المنفذ 3 للموظفين والمنفذ 7 للكاميرات، وأن تسافر كل الشبكات إلى ال Router في كابل واحد، وهذا بالضبط ما يقدمه ال Switch المدار.

والإدارة تعطيك أيضاً أشياء لا يعطيها النوع العادي: عدادات لكل منفذ تعرف منها أين الأخطاء، وتغذية الكاميرات ونقاط الوصول بالكهرباء من نفس الكابل، ومنافذ أسرع للسيرفرات، وحماية من الحلقات Loops التي توقف الشبكة كلها، وقيود على من يوصل جهازه في أي منفذ. وبين النوعين يوجد نوع وسط يسميه المصنعون Smart Switch أو Web Managed، له واجهة ويب ويدعم VLAN، ولكن ميزاته أقل، والفروق بين هذه الأنواع كلها بالصور هي موضوع مقال مستقل في هذه المرحلة، أما هنا فنركز على الخصائص نفسها، لأنها هي التي تقرأها في ورقة المواصفات قبل الشراء.

وقبل أن نبدأ تذكر كيف يعمل أي Switch: عندما يصله إطار Frame يسجل عنوان MAC المصدر أمام المنفذ الذي جاء منه في جدول اسمه جدول عناوين MAC أو Forwarding Database، ثم يبحث عن عنوان الوجهة في الجدول، فإذا وجده أرسل الإطار إلى ذلك المنفذ فقط، وإذا لم يجده، أو كانت الوجهة Broadcast، أرسله إلى كل المنافذ ما عدا المنفذ الذي جاء منه. وهذه القاعدة الأخيرة، أي الإرسال إلى الجميع Flooding، هي التي سوف تعود إلينا في كل قسم من هذا المقال، فهي سبب الحاجة إلى VLAN، وهي سبب كارثة الحلقات.

الشبكة الافتراضية VLAN: عدة شبكات على Switch واحد

الشبكة الافتراضية Virtual LAN، واختصاراً VLAN، هي طريقة يقسم بها ال Switch منافذه إلى مجموعات، وكل مجموعة شبكة مستقلة تماماً من وجهة نظر الطبقة الثانية، فلا يصل إطار من مجموعة إلى أخرى، ولا تصل رسالة Broadcast خارج مجموعتها، وكأنك قسمت ال Switch إلى عدة أجهزة صغيرة داخل علبة واحدة. أما لماذا تقسم الشبكة أصلاً، وكيف تختار المناطق، فهو موضوع تقسيم الشبكة Network Segmentation، وهنا نركز على ما يفعله ال Switch نفسه. وكل مجموعة لها رقم، فنقول VLAN 10 للموظفين وVLAN 20 للهواتف وVLAN 30 للكاميرات وVLAN 40 للضيوف، وكل منها عادة شبكة IP مستقلة، مثل 192.168.10.0/24 و192.168.20.0/24، وقد شرحنا كيف تختار هذه النطاقات وتحسبها في Subnets وCIDR.

وهنا يأتي السؤال المهم: إذا كان ال Switch يعرف من المنفذ أن الحاسوب في VLAN 10، فكيف يعرف ال Switch الآخر في الغرفة المجاورة، أو ال Router، أن الإطار الذي وصله عبر الكابل المشترك ينتمي إلى VLAN 10 وليس إلى VLAN 30؟ والإجابة على ذلك أن ال Switch يكتب الرقم داخل الإطار نفسه قبل أن يرسله في الكابل المشترك، وهذه الكتابة هي الوسم Tag الذي يعرفه المعيار IEEE 802.1Q.

وسم 802.1Q من الداخل

الوسم أربعة بايتات يضعها ال Switch بعد عنوان MAC المصدر مباشرة، وقبل حقل EtherType الذي يقول ما نوع الحمولة، والصورة التالية تبين الإطار قبل الوسم وبعده بالأطوال التي ظهرت في التجربة العملية لنفس حزمة ping:

مخطط لإطار Ethernet عادي فيه عنوان الوجهة وعنوان المصدر وEtherType والحمولة وFCS بطول 98، ثم الإطار نفسه على منفذ Trunk بعد إضافة وسم 802.1Q من أربعة بايتات بطول 102، والوسم مفصل إلى TPID بقيمة 0x8100 وPCP من 3 بتات للأولوية وDEI من بت واحد وVID من 12 بتاً لرقم الشبكة من 1 إلى 4094
الوسم أربعة بايتات، وأهم ما فيه رقم الشبكة VID من 12 بتاً

في الصورة أعلاه لاحظ التالي:

  • أول حقلين في الوسم قيمتهما 0x8100، ويسمى Tag Protocol Identifier واختصاراً TPID، ووضعه في مكان EtherType المعتاد هو الحيلة التي جعلت المعيار يعمل مع الأجهزة القديمة، فالجهاز الذي يقرأ هذه القيمة يعرف أن بعدها رقم VLAN، ثم يأتي EtherType الحقيقي بعده.
  • ثلاثة بتات للأولوية Priority Code Point واختصاراً PCP، وهي التي تستخدمها الهواتف لتطلب أن تمر حزم الصوت قبل غيرها، أي خدمة الجودة QoS في الطبقة الثانية.
  • بت واحد اسمه Drop Eligible Indicator واختصاراً DEI، يقول إن هذا الإطار يمكن إسقاطه أولاً عند الازدحام.
  • اثنا عشر بتاً لرقم الشبكة VLAN Identifier واختصاراً VID، أي 4096 قيمة، والقيمتان 0 و4095 محجوزتان، فيبقى للشبكات 4094 رقماً، وهو رقم يكفي أي مكتب، ولكنه لا يكفي مزود سحابة يخدم ملايين العملاء، ولذلك ظهرت لمراكز البيانات تقنيات أخرى مثل VXLAN برقم من 24 بتاً.
  • الإطار يكبر أربعة بايتات، لذلك ظهرت نفس حزمة ping بطول 98 على منفذ الحاسوب وبطول 102 على الكابل المشترك، وال Switch يعيد حساب حقل التحقق FCS في آخر الإطار لأن محتواه تغير.

منافذ Access ومنافذ Trunk

بعد أن عرفنا الوسم يصبح تقسيم المنافذ سهلاً، فكل منفذ في ال Switch المدار له أحد ثلاثة أدوار:

  • منفذ Access: ينتمي إلى شبكة واحدة فقط، والإطارات عليه دون وسم Untagged، فالحاسوب أو الكاميرا لا تعرف أصلاً أنها في VLAN، وال Switch هو الذي يقرر رقمها من رقم المنفذ عند الدخول، ويحذف الوسم عند الخروج إليها. ويسمى رقم شبكة المنفذ Port VLAN ID واختصاراً PVID.
  • منفذ Trunk: يحمل عدة شبكات في كابل واحد، وكل إطار عليه يحمل وسمه، ويستخدم بين Switch وآخر، وبين ال Switch وال Router أو الجدار الناري، وبين ال Switch وسيرفر Proxmox الذي عليه أجهزة افتراضية في شبكات مختلفة.
  • منفذ Hybrid: شبكة واحدة دون وسم والبقية بوسومها، وأشهر استخدام له نقطة الوصول التي تأخذ عنوان إدارتها من شبكة الإدارة دون وسم، وتبث عدة شبكات Wi-Fi لكل منها VLAN موسوم، والهاتف المكتبي الذي في ظهره منفذ يوصل به الحاسوب، فيرسل الهاتف صوته موسوماً ويمر الحاسوب دون وسم.

والصورة التالية تبين مكتب الشركة بعد التقسيم، وال Switch فيه موصول بالجدار الناري بكابل Trunk واحد:

مخطط لSwitch مدار موصول بجدار ناري بكابل Trunk على المنفذ 24 يحمل الشبكات 10 و20 و30 و40 و99 موسومة، وتحته حاسوب وحاسوب محمول على منافذ Access في VLAN 10، وهاتف VoIP على VLAN 20 مع PoE، وكاميرا على VLAN 30 مع PoE، ونقطة وصول على منفذ Hybrid تأخذ الإدارة VLAN 99 دون وسم وشبكتي 10 و40 موسومتين
كل جهاز في الغرف يرى شبكته فقط، وكابل واحد يحمل كل الشبكات إلى الجدار الناري

أما خطة الأرقام نفسها، أي أي شبكة لأي مجموعة، والنطاقات والبوابات ومجالات DHCP، فقد بنيناها كاملة لشبكة منزلية بمواصفات الإنتاج في خطة العناوين وشبكات VLAN، ومعها جدول المنافذ وإعداده على Switch من MikroTik في قسم إعداد ال Switch، والمبدأ نفسه ينطبق على المكتب، لذلك لن نكرره هنا.

ال Native VLAN: لماذا تخاف منه؟

على منفذ Trunk قد يصل إطار دون وسم، فإلى أي شبكة يذهب؟ المعيار يسمح بأن يكون للمنفذ Trunk شبكة واحدة دون وسم، يسميها كثير من المصنعين Native VLAN، وفي أغلب الأجهزة تكون VLAN 1 افتراضياً، وهي أيضاً الشبكة التي يدخلها كل منفذ جديد من المصنع. وهذا الإعداد الافتراضي مريح لأن كل شيء يعمل دون أي إعداد، ولكنه يفتح باباً معروفاً اسمه التسلل بين الشبكات VLAN Hopping بطريقة الوسم المزدوج Double Tagging.

والفكرة كما يلي: جهاز في الشبكة نفسها التي جعلتها Native على ال Trunk يرسل إطاراً عليه وسمان، الخارجي برقم شبكته والداخلي برقم الشبكة التي يريد الوصول إليها. فيقبل ال Switch الإطار لأن الوسم الخارجي هو شبكة المنفذ نفسها، ثم يرسله على ال Trunk، ولأن هذه الشبكة Native يحذف ال Switch الوسم الخارجي ولا يضع غيره، فيخرج الإطار في الكابل وعليه الوسم الداخلي فقط، فيقرؤه الجهاز في الطرف الآخر كإطار من الشبكة الهدف. والهجوم في اتجاه واحد، لأن الرد لا يعرف طريق العودة، ولكن حزمة واحدة تكفي أحياناً لإيصال أمر إلى جهاز لا يتوقعه، وقد وصفته ورقة SANS عن أمن VLAN منذ 2003، وسوف تراه يعمل فعلاً في التجربة العملية.

والعلاج بسيط وله ثلاث قواعد: لا تستخدم VLAN 1 لأي جهاز، واجعل ال Trunk يحمل كل الشبكات موسومة، فإذا اضطررت إلى Native VLAN على Trunk فاجعلها رقماً لا يستخدمه أي منفذ Access، مثل 999، وعطل كل منفذ لا تستخدمه. وهناك نوع آخر من التسلل اسمه Switch Spoofing، يتظاهر فيه الحاسوب بأنه Switch آخر ليفتح معه Trunk، ويعتمد على بروتوكولات تفاوض خاصة ببعض الشركات مثل DTP في أجهزة Cisco، وعلاجه أن تحدد دور كل منفذ يدوياً وتعطل التفاوض.

التوجيه بين شبكات VLAN Inter-VLAN Routing

بعد التقسيم لا يرى الموظف الكاميرات، وهذا ما أردناه، ولكن الموظف يحتاج أن يصل إلى ال NAS، ومسؤول الأمن يحتاج أن يشاهد الكاميرات من حاسوبه، والجميع يحتاج الإنترنت. والطبقة الثانية لا تستطيع ذلك أبداً، لأن كل VLAN شبكة مستقلة، والانتقال بين الشبكات عمل الطبقة الثالثة، أي التوجيه Routing، فيرسل الحاسوب الحزمة إلى بوابته الافتراضية Default Gateway، وهذه البوابة هي التي تقرر هل تمررها إلى الشبكة الأخرى. وهناك ثلاث طرق لوضع هذه البوابة، والصورة التالية تبينها:

ثلاثة أجزاء: Router on a Stick فيه Router بواجهتين فرعيتين eth0.10 وeth0.20 وكابل Trunk واحد تعبره الحزمة مرتين، وLayer 3 Switch فيه واجهتان افتراضيتان SVI والتوجيه داخل ال Switch، وجدار ناري بين الشبكات بقواعد لها حالة وسجلات
ثلاث طرق للتوجيه بين الشبكات، تختلف في السرعة وفي قدرتها على المنع
  • Router on a Stick: Router أو جدار ناري له منفذ واحد موصول بمنفذ Trunk، وفيه واجهة فرعية Sub-interface لكل شبكة، مثل eth0.10 وeth0.20 في Linux، ولكل واجهة عنوان البوابة لشبكتها. وهذه أرخص الطرق، ولكن الحزمة من VLAN 10 إلى VLAN 20 تعبر الكابل نفسه مرتين، مرة صاعدة بوسم 10 ومرة نازلة بوسم 20، فإذا نسخ موظف ملفاً كبيراً من شبكة إلى أخرى بسرعة 1 Gbps فهو يستهلك الكابل في الاتجاهين، وسرعة التوجيه كلها محدودة بمعالج ال Router. وسوف ترى هذه الحزمة على ال Trunk مرتين في التجربة.
  • Layer 3 Switch: Switch يفهم عناوين IP، وفيه واجهة افتراضية لكل شبكة تسمى Switched Virtual Interface واختصاراً SVI، فيوجه بين الشبكات داخل شريحته بسرعة المنافذ. ولكن ما يمنع به الحركة بين الشبكات عادة هو قوائم التحكم ACL بلا حالة، أي أنها تفحص كل حزمة وحدها ولا تعرف هل هي رد على اتصال بدأه الطرف الآخر، والفرق بين الحالتين هو موضوع مقال أنواع الجدران النارية في هذه المرحلة.
  • جدار ناري بين الشبكات: وهو في الحقيقة Router on a Stick، ولكن الجهاز الذي على العصا جدار ناري مثل OPNsense أو MikroTik، يحفظ حالة الاتصالات ويكتب السجلات، فتقول له: الموظفون يصلون إلى ال NAS، والكاميرات لا تصل إلى أي شيء إلا جهاز التسجيل، والضيوف إلى الإنترنت فقط. وهذا هو التصميم الأنسب لمكتب صغير، والسبب أن السؤال الذي يهمك في المكتب ليس السرعة بين الشبكات، وإنما من يكلم من.

وفي الشركات الكبيرة ترى الطريقتين معاً: Layer 3 Switch في القلب يوجه بين شبكات الموظفين المتشابهة بسرعة عالية، وجدار ناري يقف بين المناطق التي تختلف في الثقة، مثل شبكة الخوادم وشبكة الضيوف. وفي مكتب شركتنا يكفي جدار ناري واحد بمنفذ سريع، فإذا لاحظت أن نسخ الملفات بين الموظفين وال NAS يستهلك منفذه، فالحل الأبسط أن تضع ال NAS في شبكة الموظفين نفسها، أو أن تعطي الجدار الناري منفذاً أسرع، قبل أن تفكر في Layer 3 Switch.

التغذية عبر الكابل PoE

الكاميرات في السقف ونقاط الوصول وهواتف المكاتب كلها أجهزة صغيرة تحتاج كهرباء قليلة، ووضع مقبس كهرباء بجانب كل واحدة منها في السقف يعني كهربائياً وتكلفة وتأخيراً. والتغذية عبر الكابل Power over Ethernet، واختصاراً PoE، ترسل الكهرباء في كابل الشبكة نفسه، فيكفي كابل واحد من ال Switch إلى الكاميرا. وهنا طرفان كما شرحنا في ميزانية PoE: الجهاز الذي يرسل الكهرباء Power Sourcing Equipment واختصاراً PSE، وهو ال Switch أو محول صغير اسمه PoE Injector، والجهاز الذي يستقبلها Powered Device واختصاراً PD.

كيف يقرر ال Switch أن يرسل الكهرباء؟

قد يتساءل البعض: إذا كان منفذ ال Switch يرسل كهرباء، فماذا يحدث لو وصلت فيه حاسوباً محمولاً عادياً؟ والإجابة أنه لا يحدث شيء، والسبب أن ال Switch الذي يتبع معايير IEEE لا يرسل الكهرباء إلا بعد مصافحة من أربع خطوات، كما في الصورة التالية:

مخطط لSwitch يدعم PoE وكاميرا بينهما كابل، وأربع خطوات: الكشف بجهد منخفض يبحث عن مقاومة 25 كيلو أوم، والتصنيف الذي يعلن فيه الجهاز فئته من 0 إلى 8، والتشغيل وحجز القدرة من ميزانية ال Switch، والضبط عبر LLDP، وتحته جدول المعايير 802.3af وType 1 بقدرة 15.4 واط عند ال Switch و13 واط عند الجهاز، و802.3at وType 2 بقدرة 30 و25.5 واط، و802.3bt وType 3 بقدرة 45 أو 60 واط و40 أو 51 واط، وType 4 بقدرة 75 أو 90 واط و62 أو 71.3 واط
لا كهرباء قبل أن يثبت الجهاز أنه يطلبها، والقدرة عند الجهاز أقل مما يرسله ال Switch
  1. الكشف Detection: يرسل ال Switch جهداً منخفضاً لا يضر أي جهاز، ويقيس المقاومة على الطرف الآخر، والجهاز الذي يطلب الكهرباء يضع عمداً مقاومة توقيع Signature قيمتها 25 كيلو أوم، كما تشرح ورقة Ethernet Alliance عن 802.3bt، فإذا لم يجدها ال Switch، كما في بطاقة الشبكة في الحاسوب المحمول، فلا يرسل شيئاً.
  2. التصنيف Classification: يعلن الجهاز فئته Class، من 0 إلى 8، وكل فئة حد أقصى للقدرة، فيعرف ال Switch كم يحجز له من ميزانيته.
  3. التشغيل Power on: يرسل ال Switch الكهرباء الكاملة، ويحجز القدرة من ميزانيته الإجمالية.
  4. الضبط عبر LLDP: بعد أن يعمل الجهاز، يستطيع أن يطلب القدرة التي يحتاجها بدقة عبر بروتوكول اكتشاف الجيران Link Layer Discovery Protocol، فيحرر ال Switch الفرق لأجهزة أخرى. وهذه الخطوة اختيارية، ولكنها تفرق كثيراً عندما تقترب من حد الميزانية.

وتطور المعيار ثلاث مرات كما في الجدول أعلاه: 802.3af عام 2003 بقدرة 15.4 واط عند ال Switch، ثم 802.3at الذي يسميه الناس PoE+ بقدرة 30 واط، ثم 802.3bt الذي يسميه بعضهم PoE++ ويصل إلى 90 واط، والفرق الأهم فيه أنه يرسل الكهرباء على أزواج الكابل الأربعة بدلاً من زوجين، وهذا ما تحتاجه الفئات من 5 فما فوق. ولاحظ أن ما يصل إلى الجهاز أقل مما يرسله ال Switch، فمن 30 واط يصل 25.5، والسبب أن الكابل نفسه مقاومة، والفرق يتحول إلى حرارة في الكابل، وكلما زادت القدرة وطال الكابل زادت الحرارة، وهذا أحد أسباب الاهتمام بفئة الكابل في التمديدات الجديدة كما شرحنا في أي كابل تمد؟.

الميزانية Budget وال Passive PoE

عندما تقرأ مواصفات Switch يدعم PoE فانتبه لرقمين: المعيار الذي يدعمه كل منفذ، والميزانية الإجمالية PoE Budget للجهاز كله، والرقم الثاني أقل دائماً من مجموع المنافذ. فإذا كان Switch بثمانية منافذ يدعم 802.3at، وميزانيته 61 واط، فلن تعمل عليه ثماني نقاط وصول تطلب كل منها 25 واط في الوقت نفسه، والحساب الكامل بمثال حقيقي في قسم ميزانية PoE. وفي مكتب شركتنا: ست كاميرات وثلاث نقاط وصول وعشرة هواتف، فاجمع القدرة القصوى لكل جهاز من ورقة مواصفاته، لا من الفئة وحدها، ثم اترك هامشاً للأجهزة التي سوف تضيفها، وتذكر أن نقاط الوصول الحديثة من فئة Wi-Fi 6 و7 تطلب كثيراً منها 802.3at على الأقل.

وهناك نوع آخر يجب أن تعرفه حتى لا تخلط بينه وبين المعيار، وهو ال Passive PoE، ويرسل فيه المحول جهداً ثابتاً، 24 فولت مثلاً، دائماً ودون أي كشف أو تصنيف، وتستخدمه بعض أجهزة الشبكات اللاسلكية الخارجية الرخيصة. وهذا النوع قد يتلف بطاقة شبكة لا تتوقعه، لذلك لا توصل محولاً من هذا النوع إلا بالجهاز الذي جاء معه، ولا تفترض أن Switch يدعم 802.3af سوف يشغل جهازاً يطلب Passive PoE، فالمعياران لا يتفاهمان.

⚠️
ال Switch الذي يغذي الكاميرات ونقاط الوصول هو مصدر كهربائها، فإذا انقطعت الكهرباء عنه توقفت كل الكاميرات معه، لذلك صله بمزود طاقة غير منقطعة UPS واحسب قدرة ال UPS مع ميزانية PoE كاملة، وإلا فإن أول انقطاع للكهرباء سوف يطفئ الكاميرات في اللحظة التي تحتاجها فيها.

سرعة 10GbE: منافذ SFP+ أم 10GBASE-T؟

المشكلة الثالثة في مكتب الشركة كانت بطء النسخ بين سيرفر المشاريع وال NAS، فالرابط 1 Gbps، أي نحو 110 إلى 118 ميجابايت في الثانية فعلياً بعد حساب رؤوس الحزم، وأي قرص SSD حديث، بل مصفوفة أقراص HDD، تستطيع أن تقرأ أسرع من ذلك، فيصبح الكابل هو عنق الزجاجة. والحل أن يكون بين السيرفر وال NAS والجدار الناري روابط 10 Gbps، واختصاراً 10GbE، وهنا تجد في ورقة مواصفات ال Switch نوعين مختلفين من المنافذ، والصورة التالية لجهاز يجمع النوعين:

Switch رمادي من Netgear طراز ProSafe XS716T من الأمام، فيه ستة عشر منفذ RJ45 بسرعة 10 Gbps مرقمة من 1 إلى 16، وآخر منفذين منها مشتركان مع فتحتي SFP+ على اليمين تحت عنوان Combo Ports، ومنفذ USB
Switch بستة عشر منفذ 10GBASE-T، وآخر منفذين مشتركان مع فتحتي SFP+ للألياف أو كابلات DAC. الصورة: Sergklim، بترخيص CC BY-SA 4.0، المصدر: Wikimedia Commons (تم تصغيرها وتحويلها إلى WebP).

النوع الأول هو منفذ RJ45 النحاسي الذي تعرفه، ولكن بمعيار 10GBASE-T، أي 10 Gbps على كابل الشبكة المعتاد حتى 100 متر بكابل Cat6A، وميزته أنه يعمل مع الكابلات الموجودة في الجدار ومع أي بطاقة شبكة تدعمه، ويتراجع إلى 1 Gbps مع الأجهزة القديمة. والنوع الثاني فتحة فارغة اسمها SFP+، تضع فيها وحدة صغيرة قابلة للتبديل Transceiver تحدد هي نوع الوسط: ألياف قصيرة المدى أو طويلة المدى، أو كابل نحاسي جاهز، أو حتى وحدة RJ45. ومثال الوحدة الضوئية في الصورة التالية:

وحدة SFP+ فضية من LR-Link طرازها LR10GX8510-X3ATL، مكتوب على ملصقها 10G/850nm/MM/300M، ولها في المقدمة فتحتان لموصل ألياف LC مغطاتان بغطاء أسود
وحدة SFP+ من نوع 10GBASE-SR، والملصق يقول كل شيء: 10G، وطول موجة 850nm، وألياف متعددة الأنماط MM، حتى 300 متر. الصورة: Dmitry Nosachev، بترخيص CC BY-SA 4.0، المصدر: Wikimedia Commons (تم تصغيرها وتحويلها إلى WebP).

والخيارات التي سوف تقابلها في مكتب أو خزانة سيرفرات كما يلي، والمسافات من ورقة بيانات وحدات SFP+ من Cisco:

الوسطالمسافةمتى تختاره
كابل نحاسي جاهز Direct Attach Copper، واختصاراً DACمن 1 إلى 5 أمتار للنوع الخامل Passive، و7 و10 أمتار للنوع النشط Activeداخل الخزانة نفسها: من ال Switch إلى سيرفر أو NAS بجانبه، وهو الأرخص والأقل استهلاكاً للكهرباء
ألياف متعددة الأنماط 10GBASE-SR300 متر على ألياف OM3، و400 متر على OM4بين الخزانات والطوابق في المبنى نفسه
ألياف أحادية النمط 10GBASE-LR10 كيلومتراتبين المباني، أو عندما تكون الألياف الممدودة أحادية النمط أصلاً
نحاس 10GBASE-T بمنفذ RJ45100 متر على Cat6Aعندما تكون الكابلات في الجدار، أو الجهاز في الطرف الآخر ليس له إلا منفذ RJ45

والكابل الجاهز DAC يبدو كما في الصورة التالية، وحدة SFP+ في كل طرف بينهما كابل نحاسي ثابت لا ينفصل:

كابل أسود ملفوف في دائرة، في كل من طرفيه وحدة SFP+ فضية مع حلقة سحب، وتظهر في أحد الطرفين نقاط التوصيل الذهبية التي تدخل في فتحة ال Switch
كابل DAC من نوع Twinax بوحدتي SFP+ ثابتتين في طرفيه، للربط القصير داخل الخزانة. الصورة: Labsy، بترخيص CC BY-SA 4.0، المصدر: Wikimedia Commons (تم تحويلها إلى WebP).

وقد يبدو من الوهلة الأولى أن 10GBASE-T هو الخيار الأسهل، لأنه يعمل مع الكابلات التي تعرفها، ولكن له ثمناً لا يظهر في السعر: الكهرباء والحرارة. فمعالجة الإشارة لإرسال 10 Gbps على أزواج نحاسية ملتوية لمسافة 100 متر عملية ثقيلة، وتذكر MikroTik في إرشادات وحدة S+RJ10، وهي وحدة SFP+ بمنفذ RJ45، أن متوسط استهلاكها 2.7 واط على رابط 10GBASE-T بطول 30 متراً، مقابل 0.8 واط كحد أقصى لوحدتها الضوئية قصيرة المدى، وأن الوحدة نفسها قد تسخن حتى 90 درجة مئوية، لذلك توصي بأن تضعها في فتحة وتترك الفتحة المجاورة فارغة أو فيها وحدة ضوئية، وألا تضع اثنتين متجاورتين، وأن تضيف تبريداً إن كان الجهاز دون مراوح. وصفحة المنتج نفسها تذكر أن أقصى مسافة للوحدة 30 متراً على Cat6، وأن المراجعة الأحدث منها تستهلك 1.5 واط وتصل إلى 100 متر.

لذلك فالقاعدة العملية في خزانة المكتب: داخل الخزانة استخدم DAC، وبين الخزانات استخدم الألياف، واترك 10GBASE-T للحالة التي لا بديل فيها، مثل Mini PC أو جهاز Mac ليس له إلا منفذ RJ45. وإذا كانت كل أجهزتك على بعد أمتار من ال Switch، وتريد فقط أن تتجاوز 1 Gbps دون أن تغير الكابلات، فانظر إلى معيار 802.3bz الذي يسمى NBASE-T، وهو 2.5 و5 Gbps على كابلات Cat5e وCat6 الموجودة، وهو ما تجده اليوم في كثير من الحواسيب الصغيرة ونقاط الوصول الحديثة، واستهلاكه وحرارته أقل بكثير من 10GBASE-T.

💡
بعض أجهزة ال Switch لا تقبل إلا وحدات SFP+ من صنعها، وترفض الوحدات المتوافقة من شركات أخرى، أو تقبلها بعد أمر خاص في الإعدادات. لذلك قبل أن تشتري وحدات أو كابلات DAC اقرأ قائمة التوافق Compatibility List في صفحة ال Switch، أو اشتر من بائع يبرمج الوحدة لنوع جهازك.

تجميع الروابط LACP: هل يضاعف كابلان السرعة؟

لنفرض أن ال NAS في المكتب له منفذان 10 Gbps، فلماذا لا نصل الاثنين بال Switch ونحصل على 20 Gbps؟ والإجابة أن هذا ممكن، ولكن ليس بالطريقة التي تتوقعها. فإذا وصلت كابلين بين جهازين دون أي إعداد فقد صنعت حلقة Loop، وسوف يغلق STP أحدهما كما سيأتي، أو تتوقف الشبكة إن لم يكن موجوداً. والطريقة الصحيحة أن تجمع الكابلين في رابط منطقي واحد، وهذا ما يسمى تجميع الروابط Link Aggregation، ويعرفه المعيار IEEE 802.1AX، وكان اسمه قبل ذلك 802.3ad، ومعه بروتوكول تفاوض اسمه Link Aggregation Control Protocol واختصاراً LACP، يرسل فيه كل طرف رسائل صغيرة اسمها LACPDU على كل كابل، فيتأكد الطرفان أن الكابلين يصلان بين الجهازين نفسيهما، وإذا انقطع أحدهما أخرجه الطرفان من المجموعة.

والنقطة التي تفاجئ كثيرين أن كل اتصال يسلك كابلاً واحداً فقط، والسبب أن الجهاز يختار الكابل لكل حزمة بدالة Hash على عناوين الحزمة، فالحزم التي لها العناوين والمنافذ نفسها تذهب دائماً إلى الكابل نفسه، وهذا مقصود حتى لا تصل حزم الاتصال الواحد بترتيب مختلف. والنتيجة أن نسخ ملف واحد من حاسوب واحد لن يتجاوز 10 Gbps أبداً، أما عشرة موظفين ينسخون في الوقت نفسه فتتوزع اتصالاتهم على الكابلين، والصورة التالية تبين ذلك بالأرقام التي ظهرت في التجربة:

Switch وNAS بينهما كابلان أزرق وأخضر في رابط LACP واحد مع رسائل LACPDU كل ثانية، وتحتهما بطاقتان: اتصال ping واحد زاد عداد eth0 بمقدار 306 حزم وeth1 بست حزم فقط هي رسائل LACP، و300 اتصال UDP بمنافذ مصدر مختلفة توزعت 141 على eth0 و159 على eth1
اتصال واحد على كابل واحد، والتوزيع يظهر فقط مع اتصالات كثيرة

وفي Linux تختار طريقة ال Hash بالخيار xmit_hash_policy كما في توثيق Linux bonding: القيمة layer2 تعتمد على عناوين MAC فقط، فكل الحركة بين جهازين تذهب في كابل واحد، والقيمة layer3+4 تضيف عناوين IP والمنافذ، فتتوزع الاتصالات المختلفة بين الجهازين نفسيهما. وال Switch له إعداد مشابه في الاتجاه المعاكس، ولكل طرف قراره، لذلك اضبط الطرفين.

ولاحظ أن التجميع العادي يكون بين جهازين فقط، فإذا انقطع ال Switch نفسه انقطع الرابط كله، والحل في الشبكات الكبيرة أن يتوزع الرابط على جهازين يتظاهران بأنهما جهاز واحد، ويسمى هذا Multi-chassis Link Aggregation واختصاراً MLAG، أو Stacking عند بعض الشركات، وهو ميزة في الأجهزة الأغلى غالباً، ولن تحتاجه في مكتب من خمسة وعشرين موظفاً.

بروتوكول الشجرة الممتدة STP

عرفنا في البداية أن ال Switch يرسل الإطار الذي لا يعرف وجهته إلى كل المنافذ، فماذا لو كان هناك طريقان بين جهازين؟ لنفرض أن موظفاً وجد كابلاً متدلياً تحت مكتبه فوصل طرفه في منفذ آخر من ال Switch نفسه الموجود تحت المكتب، أو أن أحدهم أضاف كابلاً ثانياً بين Switch الطابق وSwitch الخزانة احتياطاً. هنا تدخل رسالة Broadcast واحدة، فيرسلها ال Switch الأول في الكابلين، فيستقبلها الثاني من الكابلين ويعيد إرسال كل نسخة في الكابل الآخر، وهكذا إلى ما لا نهاية، لأن إطار Ethernet ليس فيه عداد عمر مثل TTL في حزمة IP يجعله يموت بعد عدد من المرات. والنتيجة عاصفة Broadcast Storm تملأ الكابلات، والأسوأ أن جدول عناوين MAC يتعلم عنوان كل جهاز على المنفذ الخطأ، لأن نسخ إطاراته تعود من الحلقة، فتضيع الردود حتى لو كانت الكابلات غير ممتلئة، وسوف ترى هذا بالأرقام في التجربة.

📌
في 13 نوفمبر 2002 توقفت شبكة مستشفى Beth Israel Deaconess Medical Center الأمريكي، فلم يستطع الأطباء طلب الأدوية والتحاليل إلكترونياً، وعاد المستشفى إلى الورق، وكتب مدير التقنية فيه John Halamka لاحقاً في مدونته أن الشبكة كانت مبنية على طبقة ثانية مسطحة تصل كل شيء بكل شيء، وأنه لم يكن يعرف خوارزميات الشجرة الممتدة، وأنه وافق أثناء الأزمة على تغييرات في الإعدادات زادت المشكلة لأنها أطلقت إعادة حساب الشجرة وأغرقت الشبكة بمزيد من الحركة، واستغرق إصلاح المشكلات الأساسية في الشبكة يومين. والدروس التي كتبها: قسم الشبكة بالتوجيه بدلاً من طبقة ثانية واحدة كبيرة، ولا تغير الإعدادات فوق بعضها أثناء الأزمة، وضع نظاماً لإدارة التغييرات.

والحل الذي يمنع هذه الحلقات هو بروتوكول الشجرة الممتدة Spanning Tree Protocol، واختصاراً STP، وأصله في المعيار IEEE 802.1D. والفكرة أن كل أجهزة ال Switch تتبادل رسائل صغيرة اسمها Bridge Protocol Data Unit واختصاراً BPDU، وتنتخب فيها جهازاً واحداً جذراً Root Bridge، وهو صاحب أصغر معرف Bridge ID، والمعرف هو الأولوية Priority ثم عنوان MAC. ثم يحسب كل جهاز أقصر طريق إلى الجذر، ويغلق أي منفذ يصنع طريقاً ثانياً، فيصبح شكل الشبكة شجرة لا حلقة فيها، والمنفذ المغلق Blocking لا يمرر حركة، ولكنه يستمع لرسائل BPDU، فإذا انقطع الطريق الأساسي فتح المنفذ المغلق وعادت الشبكة. والصورة التالية تبين الحالتين:

جزءان: بدون STP جهازا Switch بينهما كابلان والإطار يدور بينهما بلا نهاية فتصل مئات النسخ في الثانية ويتعلم ال Switch عنوان pc1 على المنفذ الخطأ، ومع STP يصبح sw هو الجذر بأولوية 4096، وsw2 بأولوية 32768 يغلق المنفذ up2 ويبقي up1، وإذا انقطع up1 يفتح up2 بعد ضعف Forward Delay
بدون STP يدور الإطار بلا نهاية، ومعه يغلق منفذ واحد ويبقى احتياطاً

وفي الصورة أعلاه لاحظ أمرين يتكرران في الواقع:

  • اختيار الجذر لا تتركه للصدفة: إذا لم تغير الأولوية فكل الأجهزة أولويتها 32768، فيفوز صاحب أصغر عنوان MAC، وقد يكون Switch قديماً صغيراً تحت مكتب، فتمر حركة المكتب كلها عبره. وهذا ما حدث فعلاً في التجربة، فقد صار ال Switch الثاني هو الجذر لأن عنوانه أصغر، حتى غيرنا الأولوية. لذلك اجعل أولوية ال Switch الرئيسي في الخزانة صغيرة، مثل 4096.
  • بطء STP القديم: المنفذ لا يمرر الحركة مباشرة بعد أن يتقرر فتحه، وإنما يمر بحالتي الاستماع Listening والتعلم Learning، ومدة كل منهما Forward Delay، وهي 15 ثانية افتراضياً، أي 30 ثانية من الانقطاع عند كل تغيير، وتشرح وثيقة Cisco عن RSTP كيف تنتج هذه الثلاثون ثانية. لذلك ظهرت النسخة السريعة Rapid Spanning Tree Protocol، واختصاراً RSTP، أي 802.1w، التي تتفاوض بين الجيران مباشرة فتتقارب الشبكة في ثوان أو أقل، وهي اليوم جزء من 802.1Q، والإعداد الافتراضي في أغلب الأجهزة الحديثة، فتأكد أن أجهزتك تعمل بها.

ومع STP هناك ثلاثة إعدادات للمنافذ تستحق أن تعرفها: المنفذ الطرفي Edge Port، ويسميه بعضهم PortFast، وهو المنفذ الذي يصله حاسوب أو طابعة وليس Switch، فيبدأ التمرير فوراً دون انتظار، وBPDU Guard الذي يغلق المنفذ الطرفي فوراً إذا وصلته رسالة BPDU، أي إذا وصل أحدهم Switch في منفذ مخصص لحاسوب، وRoot Guard الذي يمنع جهازاً في الأطراف من أن يصبح الجذر. وفي مكتب شركتنا: كل منافذ الموظفين Edge مع BPDU Guard، والجذر هو Switch الخزانة.

حماية المنافذ Port Security

المنفذ في جدار غرفة الاجتماعات باب مفتوح إلى الشبكة، وأي شخص يدخل المكتب يستطيع أن يوصل جهازه فيه، وال Switch المدار يعطيك عدة أدوات لتقرر ماذا يحدث عندها، وأغلبها لا يكلف شيئاً إلا وقت الإعداد:

  • تعطيل المنافذ غير المستخدمة: أبسط إجراء وأكثره فائدة، فالمنفذ المعطل لا يصل إلى أي شبكة، وإذا احتجته فعله لشبكة محددة. وإن لم يكن التعطيل ممكناً فاجعله في VLAN معزولة لا بوابة لها.
  • تحديد عدد عناوين MAC: خاصية يسميها كثير من المصنعين Port Security، تسمح لكل منفذ بعدد محدد من عناوين MAC، أو بعناوين محددة، فإذا وصل أحدهم Switch صغيراً خلف المنفذ ليوصل عدة أجهزة، أو حاول ملء جدول ال Switch بآلاف العناوين المزيفة حتى يتحول إلى Flooding، أغلق ال Switch المنفذ أو تجاهل العناوين الجديدة.
  • المصادقة على المنفذ 802.1X: بحسب المعيار IEEE 802.1X، لا يفتح ال Switch المنفذ حتى يثبت الجهاز هويته بشهادة أو اسم مستخدم عبر سيرفر RADIUS، بل يستطيع أن يضع كل جهاز في شبكته بحسب هويته، وهذا هو الحل الأقوى، ولكنه يحتاج بنية هوية ومتابعة، فهو مناسب عندما يكبر المكتب.
  • DHCP Snooping: يحدد ال Switch المنافذ الموثوقة التي يأتي منها سيرفر DHCP الحقيقي، ويسقط ردود DHCP من أي منفذ آخر، فلا يستطيع جهاز في غرفة الاجتماعات، أو Router منزلي وصله موظف بحسن نية، أن يوزع عناوين وبوابة خاطئة على الأجهزة. ومعه عادة Dynamic ARP Inspection الذي يمنع انتحال عنوان البوابة بردود ARP مزيفة.
  • التحكم في العواصف Storm Control: حد أقصى لنسبة الحركة Broadcast أو Multicast على كل منفذ، وهو خط دفاع ثان إذا حدثت حلقة على منفذ لا يعمل عليه STP.
  • شبكة الإدارة: واجهة إدارة ال Switch نفسه يجب أن تكون في شبكة إدارة منفصلة، لا في شبكة الموظفين ولا الضيوف، وبكلمة مرور قوية، وعطل الإدارة عبر HTTP وTelnet إن كان الجهاز يدعم HTTPS وSSH.

تجربة عملية: Switch مدار من Linux داخل Containers

كل ما سبق يصبح أوضح بكثير عندما تراه في الحزم، ونواة Linux فيها Switch مدار كامل لا يعرفه كثيرون: ال Bridge مع الخيار vlan_filtering، الذي يدعم منافذ Access وTrunk بحسب 802.1Q، ومعه STP وتجميع الروابط عبر bonding، وهو نفسه الذي تبنى عليه أنظمة مثل OpenWrt وProxmox. لذلك سوف نبني الآن شبكة مكتب صغيرة: Switch، وثلاثة حواسيب في شبكتين، وRouter على Trunk، ثم Switch ثان لتجربة الحلقة، وNAS بكابلين لتجربة LACP. والصورة التالية تبين الشبكة كاملة:

مخطط التجربة: Switch اسمه sw فيه br0 مع vlan_filtering، وعليه pc1 بعنوان 192.168.10.11 على port1 في VLAN 10، وpc3 بعنوان 192.168.10.13 على port3 في VLAN 10، وpc2 بعنوان 192.168.20.12 على port2 في VLAN 20، وrouter على port4 Trunk يحمل 10 و20 بواجهتين eth0.10 وeth0.20، وsw2 بكابلين على port5 وport6، وnas بعنوان 192.168.10.50 بكابلين LACP على port7 وport8
كل جهاز Container، وكل كابل زوج veth، وال Switch هو Bridge في نواة Linux

والتجربة تحتاج Docker فقط، وكل الأوامر من سطر أوامر Linux، فإذا كنت على Windows فنفذها من داخل WSL. ولاحظ أن كل الأسماء تبدأ ب lab-sw- حتى تحذفها في النهاية بأمر واحد، وأن عناوين الشبكتين خاصة ولا تخرج من جهازك.

الأجهزة والكابلات

نبدأ بملف Dockerfile صغير فيه الأدوات التي نحتاجها، وهي iproute2 التي فيها الأمران ip وbridge، وtcpdump لالتقاط الحزم، وiputils التي فيها ping وarping:

FROM alpine:3.24
RUN apk add --no-cache bash iproute2 iputils tcpdump

ثم ملف lab.sh فيه ثلاث دوال، واحدة تنشئ جهازاً، وواحدة تمد كابلاً بين جهازين، وواحدة تنفذ أمراً داخل جهاز:

# Helpers for the managed-switch lab: source this file, then call the functions.
P=${P:-lab-sw-}
# device <name> [extra docker args]: a container with no network, ready to receive cables
device() {
  docker run -d --name "$P$1" --hostname "$1" --network none \
    --cap-add NET_ADMIN --cap-add NET_RAW \
    --sysctl net.ipv6.conf.all.disable_ipv6=1 --sysctl net.ipv6.conf.default.disable_ipv6=1 \
    "${@:2}" "${P}img" sleep infinity >/dev/null
}
# cable <device-a> <port-a> <device-b> <port-b>: a virtual cable (veth pair) between two devices
cable() {
  local pa pb
  pa=$(docker inspect -f '{{.State.Pid}}' "$P$1"); pb=$(docker inspect -f '{{.State.Pid}}' "$P$3")
  docker run --rm --privileged --pid host --net host "${P}img" \
    ip link add "$2" netns "$pa" type veth peer name "$4" netns "$pb"
}
# on <device> <command...>: run a command inside a device
on() { docker exec "$P$1" "${@:2}"; }

في الملف أعلاه لاحظ التالي:

  • كل جهاز يبدأ بالخيار --network none، أي دون أي شبكة من Docker، فلا يوجد فيه إلا الكابلات التي نمدها نحن، والصلاحية NET_ADMIN تسمح له بإعداد واجهاته داخله فقط.
  • عطلنا IPv6 داخل الأجهزة حتى لا تملأ رسائل IPv6 الآلية مخرج tcpdump وتخفي ما نريد رؤيته.
  • الكابل زوج veth، أي واجهتان متصلتان كطرفي كابل، والدالة cable تنشئ الزوج وتضع كل طرف في Network Namespace جهاز مختلف، ولذلك تحتاج Container مؤقتاً بصلاحيات كاملة يرى عمليات النظام عبر --pid host، ويحذف نفسه فوراً.

وقد يتساءل البعض: لماذا لا نصل الأجهزة بشبكات Docker عادية، شبكة لكل منفذ؟ والإجابة أن كل شبكة Docker هي نفسها Bridge في النظام عليه قواعد جدار ناري من Docker، وفي الشبكة الداخلية --internal تسقط هذه القواعد الحزم التي عناوينها خارج نطاق الشبكة كما عرفه Docker، فلا يصل ping بين حاسوبين رغم أن ARP يعمل، وعلى Docker Desktop قد تعود الإطارات الموسومة من ذلك ال Bridge إلى ال Switch فتدور بلا نهاية، فتحصل على عاصفة لم تصنعها. والكابل المباشر لا يوجد بين طرفيه أي شيء، فما تراه في المخرج هو سلوك ال Switch الذي تعده أنت فقط.

الآن نبني ال Image وننشئ الأجهزة ونمد الكابلات، ولاحظ أن ال Router وحده يأخذ الإعداد ip_forward=1 حتى يمرر الحزم بين الشبكات:

docker build -t lab-sw-img lab/
. lab/lab.sh
device sw
device pc1
device pc2
device pc3
device router --sysctl net.ipv4.ip_forward=1
cable sw port1 pc1 eth0
cable sw port2 pc2 eth0
cable sw port3 pc3 eth0
cable sw port4 router eth0
on sw ip -br link

والمخرج سوف يكون كما يلي:

lo               UNKNOWN        00:00:00:00:00:00 <LOOPBACK,UP,LOWER_UP>
port1@if2        DOWN           32:57:af:52:a6:ce <BROADCAST,MULTICAST>
port2@if2        DOWN           36:e5:52:bd:93:5a <BROADCAST,MULTICAST>
port3@if2        DOWN           fa:8c:22:e8:48:7f <BROADCAST,MULTICAST>
port4@if2        DOWN           fa:4e:b2:29:bd:70 <BROADCAST,MULTICAST> 

ال Switch الآن علبة فيها أربعة منافذ مطفأة، والجزء @if2 هو رقم الطرف الآخر من الكابل داخل الجهاز المقابل، أي eth0 في كل حاسوب.

إعداد الشبكات: منافذ Access ومنفذ Trunk

نصنع داخل ال Switch جسراً اسمه br0 مع تفعيل vlan_filtering، ونضيف إليه المنافذ الأربعة، ثم نحذف من كل منفذ عضويته الافتراضية في VLAN 1، وهي القاعدة التي ذكرناها في قسم ال Native VLAN، ثم نجعل المنفذين 1 و3 في VLAN 10، والمنفذ 2 في VLAN 20، والمنفذ 4 Trunk يحمل الشبكتين موسومتين، بحسب أوامر bridge في توثيق iproute2:

on sw sh -c '
ip link add name br0 type bridge vlan_filtering 1
for p in port1 port2 port3 port4; do
  ip link set $p master br0
  bridge vlan del dev $p vid 1
  ip link set $p up
done
ip link set br0 up
bridge vlan add dev port1 vid 10 pvid untagged
bridge vlan add dev port3 vid 10 pvid untagged
bridge vlan add dev port2 vid 20 pvid untagged
bridge vlan add dev port4 vid 10
bridge vlan add dev port4 vid 20
bridge vlan show'

والمخرج سوف يكون كما يلي:

port              vlan-id
port1             10 PVID Egress Untagged
port2             20 PVID Egress Untagged
port3             10 PVID Egress Untagged
port4             10
                  20
br0               1 PVID Egress Untagged

في المخرج أعلاه لاحظ التالي:

  • PVID تعني أن الإطار الذي يدخل من هذا المنفذ دون وسم يعطى هذا الرقم، وEgress Untagged تعني أن ال Switch يحذف الوسم عندما يخرج الإطار من هذا المنفذ، فهذان هما تعريف منفذ Access بالضبط.
  • port4 عضو في 10 و20 دون أي من الكلمتين، أي أن كل إطار يخرج منه يحمل وسمه، وأي إطار يدخله دون وسم يسقط لأنه لا يوجد PVID، وهذا هو ال Trunk الذي يحمل كل الشبكات موسومة دون Native VLAN.
  • السطر الأخير br0 هو المنفذ الداخلي للجسر نفسه، أي معالج ال Switch، وما زال في VLAN 1، ولا يهمنا هنا لأننا لم نعط ال Switch عنواناً، ولكن في Switch حقيقي هذا هو المكان الذي تضع فيه شبكة الإدارة.

ثم نعطي كل حاسوب عنوانه وبوابته، والبوابة هي ال Router الذي لم نعده بعد:

on pc1 sh -c 'ip link set eth0 up; ip addr add 192.168.10.11/24 dev eth0; ip route add default via 192.168.10.1'
on pc3 sh -c 'ip link set eth0 up; ip addr add 192.168.10.13/24 dev eth0; ip route add default via 192.168.10.1'
on pc2 sh -c 'ip link set eth0 up; ip addr add 192.168.20.12/24 dev eth0; ip route add default via 192.168.20.1'
on pc1 ping -c 2 192.168.10.13
on pc1 ping -c 2 -W 1 192.168.20.12
on sw bridge fdb show br br0 dynamic

والمخرج سوف يكون كما يلي:

PING 192.168.10.13 (192.168.10.13) 56(84) bytes of data.
64 bytes from 192.168.10.13: icmp_seq=1 ttl=64 time=0.202 ms
64 bytes from 192.168.10.13: icmp_seq=2 ttl=64 time=0.058 ms

--- 192.168.10.13 ping statistics ---
2 packets transmitted, 2 received, 0% packet loss, time 1062ms
rtt min/avg/max/mdev = 0.058/0.130/0.202/0.072 ms
PING 192.168.20.12 (192.168.20.12) 56(84) bytes of data.

--- 192.168.20.12 ping statistics ---
2 packets transmitted, 0 received, 100% packet loss, time 1053ms

ea:91:34:9e:6f:7c dev port1 vlan 10 master br0
66:05:af:fe:5c:f2 dev port3 vlan 10 master br0 

الحاسوبان في VLAN 10 يتكلمان مباشرة، والقيمة ttl=64 تعني أن الحزمة لم تمر بأي Router، أما pc2 في VLAN 20 فلا يصل إليه pc1 أبداً، لأن ال Router الذي يفترض أن يوجه بين الشبكتين غير موجود بعد، فلا يوجد أي طريق من الطبقة الثانية بين الشبكتين. ولاحظ جدول عناوين MAC في الأسفل: كل عنوان مسجل أمام منفذه ومعه رقم الشبكة vlan 10، فال Switch يحفظ جدولاً منفصلاً لكل VLAN، والعنوان نفسه يمكن أن يظهر في شبكتين على منفذين مختلفين دون تعارض.

Router on a Stick ورؤية الوسوم في الحزم

الآن نعد ال Router بواجهة فرعية لكل شبكة على المنفذ نفسه، والواجهة eth0.10 تستقبل الإطارات الموسومة ب 10 وتضع هذا الوسم على كل ما ترسله، بحسب نوع الواجهة vlan في توثيق ip link:

on router sh -c '
ip link set eth0 up
ip link add link eth0 name eth0.10 type vlan id 10
ip link add link eth0 name eth0.20 type vlan id 20
ip addr add 192.168.10.1/24 dev eth0.10
ip addr add 192.168.20.1/24 dev eth0.20
ip link set eth0.10 up
ip link set eth0.20 up
ip -br addr show'
on router ip -d link show eth0.20 | head -3

والمخرج سوف يكون كما يلي:

lo               UNKNOWN        127.0.0.1/8
eth0@if5         UP
eth0.10@eth0     UNKNOWN        192.168.10.1/24
eth0.20@eth0     UNKNOWN        192.168.20.1/24
4: eth0.20@eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP mode DEFAULT group default qlen 1000
    link/ether 82:27:d2:3f:22:17 brd ff:ff:ff:ff:ff:ff promiscuity 0 minmtu 0 maxmtu 65535
    vlan protocol 802.1Q id 20 <REORDER_HDR> numtxqueues 1 numrxqueues 1 gso_max_size 65536 gso_max_segs 65535 

المنفذ الحقيقي eth0 ليس له عنوان، والعنوانان على الواجهتين الفرعيتين، والسطر vlan protocol 802.1Q id 20 يؤكد نوع الوسم ورقمه. وقبل أن نرسل ping نشغل tcpdump داخل ال Switch على منفذ ال Trunk، والخيار -e هو الذي يعرض رأس Ethernet ومعه الوسم:

docker exec -d lab-sw-sw sh -c 'timeout 8 tcpdump -nei port4 -c 8 icmp or arp > /tmp/trunk.txt 2>&1'
on pc1 ping -c 1 192.168.20.12
on sw cat /tmp/trunk.txt

والمخرج سوف يكون كما يلي:

PING 192.168.20.12 (192.168.20.12) 56(84) bytes of data.
64 bytes from 192.168.20.12: icmp_seq=1 ttl=63 time=15.0 ms

--- 192.168.20.12 ping statistics ---
1 packets transmitted, 1 received, 0% packet loss, time 0ms
rtt min/avg/max/mdev = 14.983/14.983/14.983/0.000 ms
tcpdump: verbose output suppressed, use -v[v]... for full protocol decode
listening on port4, link-type EN10MB (Ethernet), snapshot length 262144 bytes
23:50:27.627896 ea:91:34:9e:6f:7c > ff:ff:ff:ff:ff:ff, ethertype 802.1Q (0x8100), length 46: vlan 10, p 0, ethertype ARP (0x0806), Request who-has 192.168.10.1 tell 192.168.10.11, length 28
23:50:27.627926 82:27:d2:3f:22:17 > ea:91:34:9e:6f:7c, ethertype 802.1Q (0x8100), length 46: vlan 10, p 0, ethertype ARP (0x0806), Reply 192.168.10.1 is-at 82:27:d2:3f:22:17, length 28
23:50:27.627970 ea:91:34:9e:6f:7c > 82:27:d2:3f:22:17, ethertype 802.1Q (0x8100), length 102: vlan 10, p 0, ethertype IPv4 (0x0800), 192.168.10.11 > 192.168.20.12: ICMP echo request, id 43, seq 1, length 64
23:50:27.627983 82:27:d2:3f:22:17 > ff:ff:ff:ff:ff:ff, ethertype 802.1Q (0x8100), length 46: vlan 20, p 0, ethertype ARP (0x0806), Request who-has 192.168.20.12 tell 192.168.20.1, length 28
23:50:27.628008 c2:91:be:05:4e:23 > 82:27:d2:3f:22:17, ethertype 802.1Q (0x8100), length 46: vlan 20, p 0, ethertype ARP (0x0806), Reply 192.168.20.12 is-at c2:91:be:05:4e:23, length 28
23:50:27.628012 82:27:d2:3f:22:17 > c2:91:be:05:4e:23, ethertype 802.1Q (0x8100), length 102: vlan 20, p 0, ethertype IPv4 (0x0800), 192.168.10.11 > 192.168.20.12: ICMP echo request, id 43, seq 1, length 64
23:50:27.642786 c2:91:be:05:4e:23 > 82:27:d2:3f:22:17, ethertype 802.1Q (0x8100), length 102: vlan 20, p 0, ethertype IPv4 (0x0800), 192.168.20.12 > 192.168.10.11: ICMP echo reply, id 43, seq 1, length 64
23:50:27.642808 82:27:d2:3f:22:17 > ea:91:34:9e:6f:7c, ethertype 802.1Q (0x8100), length 102: vlan 10, p 0, ethertype IPv4 (0x0800), 192.168.20.12 > 192.168.10.11: ICMP echo reply, id 43, seq 1, length 64
8 packets captured
8 packets received by filter
0 packets dropped by kernel

هذا المخرج هو المقال كله في ثمانية أسطر، فلنقرأه سطراً سطراً:

  1. السطر الأول: pc1 يسأل بطلب ARP عن عنوان MAC لبوابته 192.168.10.1، والطلب Broadcast إلى ff:ff:ff:ff:ff:ff، ولاحظ أنه خرج من pc1 دون وسم، ولكنه على ال Trunk يحمل ethertype 802.1Q (0x8100) ثم vlan 10، فال Switch هو الذي وضع الوسم من رقم المنفذ. والقيمة p 0 هي الأولوية PCP، وهي صفر لأن أحداً لم يطلب أولوية.
  2. السطر الثاني: ال Router يرد من واجهته eth0.10 وعنوانه 82:27:d2:3f:22:17، والرد موسوم أيضاً ب 10.
  3. السطر الثالث: حزمة ping نفسها صاعدة إلى ال Router بوسم 10، وطولها 102، وهي التي رأيناها في صورة الوسم.
  4. السطران الرابع والخامس: ال Router يريد أن يرسل الحزمة إلى pc2، فيسأل عنه بطلب ARP، ولكن هذه المرة من واجهة eth0.20، فالطلب يحمل الوسم 20 ويعود إلى ال Switch من الكابل نفسه، فيرسله ال Switch إلى منافذ VLAN 20 فقط.
  5. السطر السادس: حزمة ping نازلة من ال Router إلى pc2 بوسم 20، وهي الحزمة نفسها التي صعدت في السطر الثالث، أي أنها عبرت الكابل مرتين، وهذا هو ثمن Router on a Stick الذي ذكرناه.
  6. السطران الأخيران: الرد من pc2 يصعد بوسم 20 وينزل بوسم 10 إلى pc1، وttl=63 في مخرج ping تؤكد أن الحزمة مرت ب Router واحد.

ولكي تتأكد أن الحاسوب لا يرى الوسم أبداً، التقط على منفذ pc1 نفسه بدلاً من ال Trunk:

docker exec -d lab-sw-sw sh -c 'timeout 6 tcpdump -l -nei port1 -c 2 icmp > /tmp/access.txt 2>&1'
on pc1 ping -c 1 -q 192.168.20.12 >/dev/null
on sw cat /tmp/access.txt

والمخرج سوف يكون كما يلي:

tcpdump: verbose output suppressed, use -v[v]... for full protocol decode
listening on port1, link-type EN10MB (Ethernet), snapshot length 262144 bytes
23:50:52.623764 ea:91:34:9e:6f:7c > 82:27:d2:3f:22:17, ethertype IPv4 (0x0800), length 98: 192.168.10.11 > 192.168.20.12: ICMP echo request, id 44, seq 1, length 64
23:50:52.626909 82:27:d2:3f:22:17 > ea:91:34:9e:6f:7c, ethertype IPv4 (0x0800), length 98: 192.168.20.12 > 192.168.10.11: ICMP echo reply, id 44, seq 1, length 64

الحزمة نفسها هنا ethertype IPv4 مباشرة وطولها 98، أي دون الوسم، وهذا هو الفرق بين منفذ Access ومنفذ Trunk في مخرج حقيقي. وإذا لم يظهر شيء في الملف عند التقاط قصير مثل هذا، فأضف الخيار -l كما فعلنا، والسبب أن tcpdump يحتفظ بالمخرج في ذاكرة مؤقتة عندما يكتب إلى ملف، فإذا أوقفه timeout قبل أن يكمل العدد فقد تضيع الأسطر الأخيرة.

نجرب التسلل: الحاسوب يضع وسماً بنفسه

ماذا لو عرف موظف في VLAN 10 أن الكاميرات في VLAN 20، فأنشأ على حاسوبه واجهة موسومة ب 20 وحاول الوصول إليها؟ لنجرب ذلك على pc1، ونراقب منفذ pc2 في الوقت نفسه:

on pc1 sh -c 'ip link add link eth0 name eth0.20 type vlan id 20; ip addr add 192.168.20.66/24 dev eth0.20; ip link set eth0.20 up'
docker exec -d lab-sw-pc2 sh -c 'timeout 5 tcpdump -l -nei eth0 > /tmp/p2.txt 2>&1'
on pc1 ping -c 2 -W 1 -I eth0.20 192.168.20.12
on pc2 cat /tmp/p2.txt
on pc1 ip link del eth0.20

والمخرج سوف يكون كما يلي:

PING 192.168.20.12 (192.168.20.12) from 192.168.20.66 eth0.20: 56(84) bytes of data.

--- 192.168.20.12 ping statistics ---
2 packets transmitted, 0 received, 100% packet loss, time 1067ms

tcpdump: verbose output suppressed, use -v[v]... for full protocol decode
listening on eth0, link-type EN10MB (Ethernet), snapshot length 262144 bytes

0 packets captured
0 packets received by filter
0 packets dropped by kernel

لم يصل إلى pc2 إطار واحد، حتى طلب ARP، والسبب أن port1 عضو في VLAN 10 فقط، فعندما يصله إطار موسوم ب 20 يسقطه ال Switch عند الدخول لأن المنفذ ليس عضواً في هذه الشبكة، وهذا ما يسميه المعيار تصفية الدخول Ingress Filtering، وهو السبب في أن منفذ Access المعد جيداً لا يكفي أن تضع عليه وسماً لتعبر منه.

نجرب التسلل: الوسم المزدوج مع Native VLAN

الآن نرتكب الخطأ الشائع عمداً: نجعل VLAN 10 هي ال Native VLAN على ال Trunk، أي أن إطاراتها تمر عليه دون وسم، وننقل عنوان ال Router لهذه الشبكة إلى المنفذ الحقيقي eth0، وهو إعداد تجده في مكاتب كثيرة لأن جهاز ال Router لا يدعم إلا شبكة واحدة دون وسم:

on sw bridge vlan add dev port4 vid 10 pvid untagged
on sw bridge vlan show dev port4
on router sh -c 'ip link del eth0.10; ip addr add 192.168.10.1/24 dev eth0'
on pc1 ping -c 1 -q 192.168.20.12 | tail -2

والمخرج سوف يكون كما يلي:

port              vlan-id
port4             10 PVID Egress Untagged
                  20
1 packets transmitted, 1 received, 0% packet loss, time 0ms
rtt min/avg/max/mdev = 0.122/0.122/0.122/0.000 ms

كل شيء ما زال يعمل، وهذا ما يجعل الخطأ يبقى سنوات دون أن يلاحظه أحد. والآن يصنع pc1 واجهة بوسمين: الخارجي 10 وهو شبكته نفسها، والداخلي 20 وهو الشبكة التي يريدها، ثم يرسل ping إلى بوابة VLAN 20، ونراقب ال Router وpc2:

on pc1 sh -c '
ip link add link eth0 name eth0.10 type vlan id 10
ip link add link eth0.10 name eth0.10.20 type vlan id 20
ip addr add 192.168.20.66/24 dev eth0.10.20
ip link set eth0.10 up
ip link set eth0.10.20 up'
docker exec -d lab-sw-router sh -c 'timeout 6 tcpdump -l -nei eth0 arp > /tmp/r.txt 2>&1'
docker exec -d lab-sw-pc2 sh -c 'timeout 6 tcpdump -l -nei eth0 arp > /tmp/p2.txt 2>&1'
on pc1 ping -c 2 -W 1 -I eth0.10.20 192.168.20.1
echo '--- router'; on router cat /tmp/r.txt
echo '--- pc2'; on pc2 cat /tmp/p2.txt

والمخرج سوف يكون كما يلي، مع حذف سطري بداية tcpdump، وأسطر ARP العادية بين ال Router وpc2 التي ظهرت في بداية الالتقاط:

PING 192.168.20.1 (192.168.20.1) from 192.168.20.66 eth0.10.20: 56(84) bytes of data.

--- 192.168.20.1 ping statistics ---
2 packets transmitted, 0 received, 100% packet loss, time 1011ms

--- router
23:51:38.498534 ea:91:34:9e:6f:7c > ff:ff:ff:ff:ff:ff, ethertype 802.1Q (0x8100), length 46: vlan 20, p 0, ethertype ARP (0x0806), Request who-has 192.168.20.1 tell 192.168.20.66, length 28
23:51:38.498554 82:27:d2:3f:22:17 > ea:91:34:9e:6f:7c, ethertype 802.1Q (0x8100), length 46: vlan 20, p 0, ethertype ARP (0x0806), Reply 192.168.20.1 is-at 82:27:d2:3f:22:17, length 28
23:51:39.509320 ea:91:34:9e:6f:7c > ff:ff:ff:ff:ff:ff, ethertype 802.1Q (0x8100), length 46: vlan 20, p 0, ethertype ARP (0x0806), Request who-has 192.168.20.1 tell 192.168.20.66, length 28
23:51:39.509353 82:27:d2:3f:22:17 > ea:91:34:9e:6f:7c, ethertype 802.1Q (0x8100), length 46: vlan 20, p 0, ethertype ARP (0x0806), Reply 192.168.20.1 is-at 82:27:d2:3f:22:17, length 28
--- pc2
23:51:38.498560 82:27:d2:3f:22:17 > ea:91:34:9e:6f:7c, ethertype ARP (0x0806), length 42: Reply 192.168.20.1 is-at 82:27:d2:3f:22:17, length 28
23:51:39.509362 82:27:d2:3f:22:17 > ea:91:34:9e:6f:7c, ethertype ARP (0x0806), length 42: Reply 192.168.20.1 is-at 82:27:d2:3f:22:17, length 28

في المخرج أعلاه لاحظ التالي:

  • ال Router استقبل طلب ARP من عنوان pc1 ea:91:34:9e:6f:7c، ولكن على vlan 20، فال Switch قبل الإطار من port1 لأن وسمه الخارجي 10 هو شبكة المنفذ، ثم حذف هذا الوسم عند الخروج من ال Trunk لأن 10 أصبحت Native، فوصل الإطار وعليه الوسم الداخلي فقط، وأصبح pc1 في نظر ال Router جهازاً في VLAN 20.
  • ال Router رد، ولكن الرد خرج إلى VLAN 20، فوصل إلى pc2 ولم يصل إلى pc1، لذلك فشل ping. وهذا معنى أن الهجوم في اتجاه واحد: المهاجم يستطيع أن يرسل إلى الشبكة الأخرى ولا يرى الرد.
  • ال Switch لم يخطئ في أي خطوة، فقد طبق القواعد كما كتبناها، والخطأ في التصميم: شبكة يستخدمها حاسوب جعلناها Native على ال Trunk.

والآن نصلح الخطأ بإعادة الشبكة 10 موسومة على ال Trunk، وإعادة واجهة ال Router الفرعية، ثم نكرر الهجوم نفسه ونراقب ما يصل إلى ال Router بوسمين:

on sw bridge vlan add dev port4 vid 10
on sw bridge vlan show dev port4
on router sh -c 'ip addr del 192.168.10.1/24 dev eth0; ip link add link eth0 name eth0.10 type vlan id 10; ip addr add 192.168.10.1/24 dev eth0.10; ip link set eth0.10 up'
docker exec -d lab-sw-router sh -c 'timeout 4 tcpdump -l -nei eth0 -c 1 "vlan 10 and vlan 20" > /tmp/r.txt 2>&1'
on pc1 ping -c 1 -W 1 -I eth0.10.20 192.168.20.1 >/dev/null
on router cat /tmp/r.txt

والمخرج سوف يكون كما يلي:

port              vlan-id
port4             10
                  20
tcpdump: verbose output suppressed, use -v[v]... for full protocol decode
listening on eth0, link-type EN10MB (Ethernet), snapshot length 262144 bytes
23:52:42.953905 ea:91:34:9e:6f:7c > ff:ff:ff:ff:ff:ff, ethertype 802.1Q (0x8100), length 50: vlan 10, p 0, ethertype 802.1Q (0x8100), vlan 20, p 0, ethertype ARP (0x0806), Request who-has 192.168.20.1 tell 192.168.20.66, length 28
1 packet captured
2 packets received by filter
0 packets dropped by kernel

الإطار نفسه يصل الآن بوسميه كاملين، vlan 10 ثم vlan 20، وطوله 50، فيستقبله ال Router على eth0.10 كإطار في VLAN 10 فيه وسم غريب لا يفهمه، ولا يصل أبداً إلى واجهة VLAN 20. وهذا الدرس كله في سطر واحد: ال Trunk الذي يحمل كل الشبكات موسومة لا يمكن خداعه بهذه الطريقة. وبعدها احذف واجهتي pc1 المزيفتين:

on pc1 sh -c 'ip link del eth0.10.20; ip link del eth0.10'

نصنع حلقة Loop: عاصفة من طلب واحد

نضيف الآن Switch ثانياً، ونصله بالأول بكابلين، تماماً كما يفعل من يضيف كابلاً احتياطياً دون أن يعرف STP، ونجعل الكابلين Trunk يحملان الشبكتين، وال Switch الثاني جسر بسيط دون VLAN يمرر الإطارات بوسومها كما هي، ونترك STP معطلاً كما هو الافتراضي في Linux:

device sw2
cable sw port5 sw2 up1
cable sw port6 sw2 up2
on sw sh -c 'for p in port5 port6; do ip link set $p master br0; bridge vlan del dev $p vid 1; bridge vlan add dev $p vid 10; bridge vlan add dev $p vid 20; ip link set $p up; done'
on sw2 sh -c 'ip link add name br0 type bridge; ip link set up1 master br0; ip link set up2 master br0; ip link set up1 up; ip link set br0 up'
on sw ip -d link show br0 | grep -o 'stp_state [0-9]'

والمخرج سوف يكون كما يلي:

stp_state 0

لاحظ أننا تركنا up2 مطفأ، فالحلقة لم تكتمل بعد. والآن نشغله، ثم نرسل من pc1 طلب ARP واحداً فقط، ونعد ما يستقبله pc3 في ثانية واحدة، ثم ننظر إلى جدول ال Switch، ثم نسحب الكابل:

on sw2 ip link set up2 up
on pc1 arping -c 1 -I eth0 192.168.10.13 | tail -2
on pc3 sh -c 'a=$(cat /sys/class/net/eth0/statistics/rx_packets); sleep 1; b=$(cat /sys/class/net/eth0/statistics/rx_packets); echo "rx_packets: +$((b-a)) in 1s"'
on sw bridge fdb show br br0 dynamic | grep ea:91:34:9e:6f:7c
on sw2 ip link set up2 down

والمخرج سوف يكون كما يلي:

Sent 1 probes (1 broadcast(s))
Received 0 response(s)
rx_packets: +760 in 1s
ea:91:34:9e:6f:7c dev port5 vlan 10 master br0 

في المخرج أعلاه لاحظ التالي:

  • pc1 أرسل طلباً واحداً، ومع ذلك استقبل pc3 بعده 760 إطاراً في ثانية واحدة، وفي تجربة سابقة على الجهاز نفسه وصل الرقم إلى مئات الآلاف، فالرقم يختلف بحسب سرعة الجهاز، ولكن الثابت أن العاصفة لا تتوقف من نفسها، فالإطار يدور بين الجهازين بلا نهاية لأنه لا يملك عداد عمر.
  • الأغرب أن pc3 موجود ويرد، ومع ذلك يقول arping إنه لم يستقبل أي رد، والسبب في السطر الأخير: ال Switch تعلم عنوان pc1 على port5، أي على الحلقة، لأن نسخ طلبه عادت إليه من هناك، فأرسل رد pc3 إلى الحلقة بدلاً من port1. وهذا ما يجعل الشبكة كلها تبدو متوقفة عند حدوث حلقة، حتى بين جهازين لا علاقة لهما بالكابل المزدوج.
  • بعد سحب الكابل تعود الشبكة، ولكن في مكتب حقيقي لا يعرف أحد أي كابل يسحب، وهذا ما حدث في قصة المستشفى.

نفعل STP ونختار الجذر

نفعل الآن STP على الجهازين، ونقلل Forward Delay إلى 4 ثوان بدلاً من 15 حتى لا ننتظر طويلاً، والقيمة بأجزاء المئة من الثانية، ثم نعيد الكابل الثاني:

on sw ip link set br0 type bridge stp_state 1 forward_delay 400
on sw2 ip link set br0 type bridge stp_state 1 forward_delay 400
on sw2 ip link set up2 up
sleep 10
on sw bridge link show
on sw2 bridge link show
on sw ip -d link show br0 | grep -o 'bridge_id [^ ]* designated_root [^ ]*'
on sw2 ip -d link show br0 | grep -o 'bridge_id [^ ]* designated_root [^ ]* root_port [0-9]* root_path_cost [0-9]*'

والمخرج سوف يكون كما يلي:

Warning: bridge: STP does not work in non-root netns.
Warning: bridge: STP does not work in non-root netns.
2: port1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 master br0 state forwarding priority 32 cost 2
3: port2@port1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 master br0 state forwarding priority 32 cost 2
4: port3@port1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 master br0 state forwarding priority 32 cost 2
5: port4@port1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 master br0 state forwarding priority 32 cost 2
7: port5@port1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 master br0 state forwarding priority 32 cost 2
8: port6@port2: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 master br0 state blocking priority 32 cost 2
2: up1@if7: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 master br0 state forwarding priority 32 cost 2
3: up2@if8: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 master br0 state forwarding priority 32 cost 2
bridge_id 8000.32:57:AF:52:A6:CE designated_root 8000.22:4D:2B:82:AB:08
bridge_id 8000.22:4D:2B:82:AB:08 designated_root 8000.22:4D:2B:82:AB:08 root_port 0 root_path_cost 0

في المخرج أعلاه لاحظ التالي:

  • التحذير STP does not work in non-root netns مضلل، فهو يتعلق ببرنامج STP خارجي في مساحة المستخدم لا يعمل داخل ال Container، أما STP المبني في النواة فيعمل كما ترى في حالات المنافذ، لذلك لا تحكم على التجربة من التحذير، واقرأ حالات المنافذ.
  • الحلقة انتهت: port6 في حالة blocking، فلا يمر منه شيء، وبقية المنافذ forwarding. والأجزاء مثل port2@port1 ليست علاقة بين المنفذين، وإنما رقم الطرف الآخر من الكابل في الجهاز المقابل، صادف أن له رقم منفذ محلي.
  • السطران الأخيران يكشفان مشكلة: الجذر designated_root هو 22:4D:2B:82:AB:08، أي sw2، لأن الأولويتين متساويتان 8000 بالنظام الست عشري، أي 32768، وعنوانه أصغر. فال Switch الصغير الذي أضفناه أخيراً صار مركز الشبكة، والمنفذ الذي أغلق في ال Switch الرئيسي.

والإصلاح أن نعطي ال Switch الرئيسي أولوية أصغر:

on sw ip link set br0 type bridge priority 4096
sleep 10
on sw ip -d link show br0 | grep -o 'bridge_id [^ ]* designated_root [^ ]*'
on sw2 ip -d link show br0 | grep -o 'bridge_id [^ ]* designated_root [^ ]* root_port [0-9]* root_path_cost [0-9]*'
on sw2 bridge link show

والمخرج سوف يكون كما يلي، بعد سطر التحذير نفسه:

bridge_id 1000.32:57:AF:52:A6:CE designated_root 1000.32:57:AF:52:A6:CE
bridge_id 8000.22:4D:2B:82:AB:08 designated_root 1000.32:57:AF:52:A6:CE root_port 1 root_path_cost 2
2: up1@if7: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 master br0 state forwarding priority 32 cost 2
3: up2@if8: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 master br0 state blocking priority 32 cost 2 

الأولوية 4096 تظهر 1000 بالنظام الست عشري، وأصبح sw هو الجذر، وsw2 يصل إليه عبر up1 بتكلفة 2، وأغلق up2 احتياطاً. والآن نجرب ما يحدث إذا انقطع الكابل الأساسي، ونقرأ حالة up2 كل ثانية من داخل sw2 نفسه:

on sw2 sh -c 'ip link set up1 down; for t in 0 1 2 3 4 5 6 7 8 9; do echo "t=${t}s $(bridge link show dev up2 | grep -o "state [a-z]*")"; sleep 1; done'

والمخرج سوف يكون كما يلي:

t=0s state listening
t=1s state listening
t=2s state listening
t=3s state listening
t=4s state learning
t=5s state learning
t=6s state learning
t=7s state learning
t=8s state learning
t=9s state forwarding

أربع ثوان في الاستماع، وأربع أو خمس في التعلم، ثم يمرر المنفذ الحركة بعد نحو تسع ثوان، أي ضعف Forward Delay، وبالقيمة الافتراضية 15 ثانية يصبح الانقطاع نحو 30 ثانية، وهذا ما تراه في مكتب ما زال يعمل ب STP القديم. وال Bridge في نواة Linux يطبق STP الكلاسيكي فقط، لذلك تستخدم أنظمة مثل OpenWrt برنامجاً منفصلاً لتطبيق RSTP، وفي أجهزة ال Switch التجارية تجده جاهزاً.

LACP بين ال Switch وال NAS

نضيف جهاز NAS بكابلين، ونجمع الكابلين في الطرفين في رابط من نوع 802.3ad، وهو اسم LACP في Linux bonding، مع lacp_rate fast حتى يرسل كل طرف LACPDU كل ثانية بدلاً من كل ثلاثين ثانية، وسياسة توزيع layer3+4، ثم نضع الرابط المجمع في ال Switch كمنفذ Access في VLAN 10:

device nas
cable sw port7 nas eth0
cable sw port8 nas eth1
on sw sh -c '
ip link add bond0 type bond mode 802.3ad lacp_rate fast xmit_hash_policy layer3+4
ip link set port7 master bond0
ip link set port8 master bond0
ip link set bond0 master br0
bridge vlan del dev bond0 vid 1
bridge vlan add dev bond0 vid 10 pvid untagged
ip link set bond0 up'
on nas sh -c '
ip link add bond0 type bond mode 802.3ad lacp_rate fast xmit_hash_policy layer3+4
ip link set eth0 master bond0
ip link set eth1 master bond0
ip link set bond0 up
ip addr add 192.168.10.50/24 dev bond0'
sleep 4
on nas cat /proc/net/bonding/bond0

والمخرج سوف يكون كما يلي، مع حذف بعض الأسطر وتفاصيل الكابل الثاني لأنها مثل الأول:

Bonding Mode: IEEE 802.3ad Dynamic link aggregation
Transmit Hash Policy: layer3+4 (1)
MII Status: up
...
802.3ad info
LACP active: on
LACP rate: fast
Min links: 0
Aggregator selection policy (ad_select): stable
System priority: 65535
System MAC address: 46:06:5f:0b:ba:8c
Active Aggregator Info:
	Aggregator ID: 1
	Number of ports: 2
	Actor Key: 15
	Partner Key: 15
	Partner Mac Address: 36:c1:d2:7a:9e:d8

Slave Interface: eth0
MII Status: up
Speed: 10000 Mbps
Duplex: full
...
details actor lacp pdu:
    system priority: 65535
    system mac address: 46:06:5f:0b:ba:8c
    port key: 15
    port priority: 255
    port number: 1
    port state: 63
details partner lacp pdu:
    system priority: 65535
    system mac address: 36:c1:d2:7a:9e:d8
    oper key: 15
    port priority: 255
    port number: 1
    port state: 63

في المخرج أعلاه لاحظ التالي:

  • Number of ports: 2 وPartner Mac Address يعنيان أن التفاوض نجح، وأن الطرف الآخر جهاز واحد هو ال Switch، والكابلان في المجموعة نفسها Aggregator ID: 1.
  • port state: 63 هو مجموع ست إشارات في رسالة LACP، تعني أن المنفذ نشط ويستخدم المهلة القصيرة ومتزامن مع الطرف الآخر ويستقبل ويرسل، فإذا رأيت رقماً أصغر في أحد الطرفين فهناك منفذ لم يدخل المجموعة بعد.
  • السرعة 10000 Mbps هي ما يعلنه كابل veth الافتراضي، وليست قياساً حقيقياً.

الآن نعد الحزم على كل كابل في ال NAS، مرة مع اتصال واحد هو ping متكرر، ومرة مع ثلاثمئة رسالة UDP، كل منها من منفذ مصدر مختلف لأن bash يفتح اتصالاً جديداً لكل رسالة:

on nas bash -c '
c(){ echo "eth0=$(cat /sys/class/net/eth0/statistics/tx_packets) eth1=$(cat /sys/class/net/eth1/statistics/tx_packets)"; }
c; ping -q -c 300 -i 0.01 192.168.10.11 >/dev/null; echo "after one ping flow:"; c
for i in $(seq 300); do echo x > /dev/udp/192.168.10.11/9999; done; echo "after 300 UDP flows:"; c'

والمخرج سوف يكون كما يلي:

eth0=11 eth1=10
after one ping flow:
eth0=317 eth1=16
after 300 UDP flows:
eth0=458 eth1=175

ثلاثمئة حزمة ping ذهبت كلها على eth0، والحزم الست على eth1 هي رسائل LACPDU التي ترسل كل ثانية على كل كابل، أما الرسائل الثلاثمئة المختلفة فتوزعت 141 و159 تقريباً بالتساوي، وهذا هو ما شرحناه: الكابلان لا يضاعفان سرعة اتصال واحد. والآن نقطع أحد الكابلين من جهة ال Switch:

on sw ip link set port7 down
on nas grep -A1 "Slave Interface" /proc/net/bonding/bond0
on nas ping -c 3 -q 192.168.10.11 | tail -2

والمخرج سوف يكون كما يلي:

Slave Interface: eth0
MII Status: down
--
Slave Interface: eth1
MII Status: up
3 packets transmitted, 3 received, 0% packet loss, time 2056ms
rtt min/avg/max/mdev = 0.057/0.089/0.135/0.033 ms

الكابل الأول down، والحركة انتقلت إلى الثاني دون أن تضيع حزمة واحدة، وهذه هي الفائدة الثانية من LACP، وهي في المكتب أهم من السرعة غالباً.

التنظيف

بعد أن تنتهي احذف الأجهزة كلها، والكابلات تختفي معها لأن كل طرف منها داخل جهاز، ثم احذف ال Image:

docker rm -f $(docker ps -aq --filter name=lab-sw-)
docker rmi lab-sw-img

أخطاء شائعة

  • تفعيل VLAN وأنت متصل عبر المنفذ الذي تغيره: أكثر خطأ يحدث في أول يوم، فتغير شبكة المنفذ الذي يصل حاسوبك بواجهة الإدارة، فتنقطع الجلسة وتبقى خارج الجهاز. لذلك اعمل من منفذ لن تغيره، أو من الكونسول التسلسلي Serial Console، واحفظ نسخة من الإعدادات قبل كل تغيير، وكثير من الأجهزة لها خاصية تعيد الإعداد السابق إذا لم تؤكد التغيير خلال دقائق، ففعلها إن وجدت.
  • ترك VLAN 1 كما هي: شبكة الإدارة والمنافذ الجديدة وال Native VLAN كلها في VLAN 1، فيصبح أي منفذ نسيته باباً إلى واجهة إدارة ال Switch، والعلاج أن تنقل الإدارة إلى شبكة مستقلة، وتجعل ال Trunk موسوماً بالكامل كما في التجربة.
  • اختلاف شبكات ال Trunk بين الطرفين: Switch يرسل VLAN 30 على ال Trunk، وال Switch الآخر أو الجدار الناري لم يضفها، فتعمل الكاميرات في غرفة ولا تعمل في أخرى، وال Ping يفشل دون أي رسالة خطأ. لذلك اكتب جدول ال Trunk مرة واحدة واجعل الطرفين يطابقانه، وافحص بالتقاط مثل الذي فعلناه على port4.
  • شراء Switch PoE بالنظر إلى عدد المنافذ: ثمانية منافذ PoE لا تعني ثمانية أجهزة بأقصى قدرة، فاقرأ الميزانية الإجمالية، واحسب للأجهزة القادمة، وتأكد أن المعيار نفسه 802.3at أو 802.3bt عندما تطلب نقطة الوصول ذلك.
  • وحدات 10GBASE-T متجاورة في جهاز دون مراوح: تسخن وتتصرف بشكل غير متوقع كما تحذر MikroTik، لذلك وزعها أو استخدم DAC والألياف داخل الخزانة.
  • انتظار 20 Gbps من كابلين: كما رأيت، الاتصال الواحد على كابل واحد، فإذا كنت تريد سرعة أعلى لنسخ واحد فالحل منفذ أسرع، لا كابل إضافي.
  • إعداد LACP على طرف واحد: إذا جمعت الكابلين في ال Switch ولم تجمعهما في السيرفر، أو العكس، فقد تصنع حلقة أو تفقد نصف الحزم، لذلك اضبط الطرفين وتأكد من Number of ports: 2 وما يقابلها في ال Switch.
  • ترك STP دون جذر محدد أو تعطيله لأنه يؤخر المنافذ: الحل للتأخير هو Edge Port وRSTP، لا تعطيل STP، وتعطيله يعني أن أول كابل خاطئ يوقف المكتب كله كما رأيت في التجربة.
  • Router منزلي في منفذ عادي: موظف يحضر Router ليقوي Wi-Fi فيوزع DHCP على كل الشبكة، والعلاج DHCP Snooping، أو على الأقل أن تعرف من التقاط واحد أن هناك سيرفر DHCP آخر.

قائمة التحقق: قبل الشراء والإعداد

قبل الشراء:

السؤالما الذي تبحث عنه في المواصفات
كم منفذاً تحتاج اليوم وبعد سنتين؟عدد المنافذ مع هامش 30% تقريباً، ومنفذا Uplink على الأقل
هل تحتاج شبكات منفصلة؟دعم 802.1Q مع Access وTrunk، وعدد شبكات VLAN المسموح
هل في المكتب كاميرات أو نقاط وصول أو هواتف؟المعيار لكل منفذ af أو at أو bt، والميزانية الإجمالية بالواط، ودعم LLDP
هل تحتاج سرعة أعلى بين السيرفر وال NAS والجدار الناري؟فتحات SFP+ لكابلات DAC والألياف، أو 2.5G و5G عبر NBASE-T إن كانت الكابلات Cat5e أو Cat6
هل تريد ربط جهاز بكابلين؟LACP بحسب 802.1AX أو 802.3ad، وعدد المجموعات الممكنة
كيف تحمي المنافذ؟RSTP مع Edge Port وBPDU Guard، وتحديد عناوين MAC، و802.1X وDHCP Snooping إن احتجتها
كيف تدير الجهاز؟HTTPS وSSH، وسطر أوامر أو API لحفظ الإعدادات في ملف، وتحديثات أمنية من الشركة لسنوات
أين يوضع؟الضجيج ووجود مراوح، والحرارة في الخزانة، وقدرة ال UPS مع PoE

وعند الإعداد:

  1. حدث نظام ال Switch، وغير كلمة المرور الافتراضية، وانقل الإدارة إلى شبكة مستقلة.
  2. اكتب جدول المنافذ والشبكات قبل أن تلمس الجهاز، واحفظ نسخة من الإعدادات.
  3. اجعل كل منفذ Access أو Trunk يدوياً، والتفاوض التلقائي معطلاً، وال Trunk موسوماً بالكامل دون VLAN 1.
  4. عطل المنافذ غير المستخدمة.
  5. فعل RSTP، واجعل أولوية Switch الخزانة صغيرة، ومنافذ الأجهزة Edge مع BPDU Guard.
  6. تحقق من ميزانية PoE في صفحة الحالة بعد توصيل كل الأجهزة.
  7. افحص كل شبكة: جهاز من كل VLAN يصل إلى ما يجب، ولا يصل إلى ما لا يجب، بحسب قواعد الجدار الناري.

الخلاصة

  • ال Switch المدار يقسم منافذه إلى شبكات VLAN مستقلة، فلا يصل إطار ولا رسالة Broadcast من شبكة إلى أخرى، وهذا أول علاج للشبكة المسطحة في المكتب.
  • وسم 802.1Q أربعة بايتات فيها رقم الشبكة من 12 بتاً، ومنفذ Access يحذفه أمام الأجهزة، ومنفذ Trunk يحمله لكل الشبكات في كابل واحد، والإطار يكبر من 98 إلى 102 كما رأيت.
  • ال Native VLAN على ال Trunk يسمح بالتسلل بالوسم المزدوج، فاجعل ال Trunk موسوماً بالكامل ولا تستخدم VLAN 1.
  • الانتقال بين الشبكات عمل الطبقة الثالثة، وفي المكتب الصغير الأنسب جدار ناري على Trunk يقرر من يكلم من.
  • PoE لا يرسل الكهرباء قبل الكشف والتصنيف، والقدرة من 15.4 واط في 802.3af إلى 90 واط في 802.3bt، والميزانية الإجمالية هي الرقم الذي يحدد عدد الأجهزة.
  • داخل الخزانة DAC، وبين الخزانات ألياف، و10GBASE-T فقط عند الحاجة لأنه يستهلك كهرباء أكثر ويسخن.
  • LACP يجمع الكابلات ويعطي الاحتياط، ولكن كل اتصال على كابل واحد.
  • الحلقة توقف الشبكة كلها من إطار واحد، وSTP يمنعها، فحدد الجذر بنفسك واستخدم RSTP وEdge Port وBPDU Guard.
دليلأجهزة الشبكة في البيت والمكتب: ماذا يفعل كل جهاز؟نأخذ كل جهاز في شبكة البيت والمكتب على حدة، من المودم إلى ال Router وال Switch، ونعرف ماذا يفعل ولماذا تحتاجه.دليلالهوم لاب بمواصفات الإنتاج (2): الشبكة والجدار الناريكيف تقسم شبكة بيتك إلى مناطق بخطة عناوين واضحة، وتحدد من يكلم من، ثم تتحقق من قواعد الجدار الناري بتجربة حقيقية.دليلالهوم لاب بمواصفات الإنتاج (1): التصميم والعتادكيف تخطط خزانة بيتك بأجهزتها وكابلاتها وتغذيتها مثل بيئة الإنتاج، ومتى تترك خدمات العملاء لسيرفر خارج البيت.دليلSubnets وCIDR: كيف تقسم عناوين IP وتحسبها بيدكماذا يعني /26 وكيف تحسب الشبكة ومدى الأجهزة بيدك، ثم تبني خطة عناوين كاملة لشركة صغيرة لا تتعارض فيها الشبكات.دليلأمن إنترنت الأشياء IoT: الأجهزة التي ينساها الجميعنهاجم وسيط MQTT في مختبر غرفة التبريد كما يفعل من يدخل الشبكة، فنطفئ الضاغط ونسرق كلمة المرور، ثم نغلقه بالتشفير والصلاحيات وتقسيم الشبكة ونعيد الهجوم.دليلأنواع السويتش: Unmanaged وSmart وManaged وL3نبني Switch من Linux Bridge ونرى كيف يتعلم العناوين وماذا تفعل الحلقة وSTP وVLAN والتوجيه، حتى تعرف أي مستوى من السويتش تحتاج لبيتك أو شركتك.دليلكابلات الشبكة: Cat5e وCat6 والألياف ووحدات SFPنشرح الفئات والحماية وترتيب الأسلاك وقاعدة المئة متر والألياف ووحدات SFP، حتى تختار لكل وصلة في بيتك أو مكتبك الكابل المناسب قبل أن يغلق الجدار.دليلنقاط الوصول Access Points في المكتب: Mesh وWi-Fi 7كيف تختار نقاط الوصول لمكتبك وتحسب عددها ومواقعها، وتوزع القنوات وتضبط التجوال والإدارة حتى لا تنقطع المكالمات بين الغرف.

سجل التحديثات

  • 16 نوفمبر 2026: كتابة المقال، وبناء التجربة العملية بسبعة Containers على Alpine 3.24 مع iproute2 7.0.0 وtcpdump 4.99.6 وiputils 20250605، على نواة Linux 5.15 وDocker Engine 29.8.0.
نشرة عرب رووت | ArabRoot

معرفة تستحق مكاناً في بريدك.

مقالات مختارة وأدوات مفيدة وأفكار لمشروعك القادم، في رسالة واحدة كل أسبوع.

يمكنك إلغاء الاشتراك متى شئت. الخصوصية

تم استلام طلبك. افتح بريدك واضغط رابط التأكيد لإتمام الاشتراك.