الذكاء الاصطناعي والبيانات الأدلة التقنية

مصطلحات البيانات للمبتدئين: من ETL إلى BI

شرح مصطلحات البيانات التي تسمعها في الاجتماعات بمثال متجر واحد، من قاعدة التطبيق إلى لوحة المدير.

مصطلحات البيانات للمبتدئين: من ETL إلى BI

إذا كنت مديراً أو محللاً أو مهندساً بدأ يحضر اجتماعات عن البيانات، وتسمع فيها كلمات مثل ETL ومستودع البيانات Data Warehouse وبحيرة البيانات Data Lake وذكاء الأعمال BI، وتهز رأسك دون أن تكون متأكداً من الفرق بينها، فهذا المقال لك. وهو مكتوب لمن لا يكتب الكود كل يوم، ولكنه يحتاج أن يفهم ما يعرضه عليه الفريق التقني أو المورد، وأن يسأل السؤال الصحيح قبل أن يوافق على مشروع أو ميزانية.

والطريقة التي سوف نشرح بها المصطلحات بسيطة: نأخذ شركة واحدة افتراضية، ونتتبع بياناتها من لحظة أن يشتري العميل إلى لحظة أن يقرأ المدير الرقم في لوحة التقارير. وكل مصطلح سوف يظهر في المكان الذي يحتاجه فيه هذا الطريق، ومعه صورة توضحه، حتى ترى أن هذه الكلمات ليست أسماء منتجات، وإنما محطات في طريق واحد.

وسوف نناقش في هذا المقال ما يلي:

  • الفرق بين قاعدة التطبيق OLTP وقاعدة التحليل OLAP، ولماذا لا تكفي الأولى للتقارير.
  • نقل البيانات: ETL وELT، والفرق بينهما في الترتيب وفي التكلفة.
  • أين تحفظ البيانات للتحليل: المستودع Data Warehouse، والبحيرة Data Lake، وال Lakehouse.
  • كيف ترتب الجداول للتقارير: مخطط النجمة Star Schema وسوق البيانات Data Mart.
  • طبقة التعريفات Semantic Layer، وجودة البيانات Data Quality، وحوكمة البيانات Data Governance.
  • جدول لكل المصطلحات، وأخطاء شائعة، وأسئلة تسألها قبل أي مشروع بيانات.

وهذا المقال من مرحلة ذكاء الأعمال BI والتقارير في مسار الذكاء الاصطناعي والبيانات، وهو أول مقالاتها، لذلك يبقى عند مستوى الفكرة، ويحيلك إلى المقالات التي تشرح كل أداة بالتفصيل.

باختصار In Short

💡
قاعدة التطبيق OLTP تخدم العميل الآن: طلب واحد، صف واحد، بسرعة.
قاعدة التحليل OLAP تخدم المدير: ملايين الصفوف مجمعة في رقم واحد.
ETL وELT طريقتان لنقل البيانات من الأولى إلى الثانية: التحويل قبل التحميل أو بعده.
المستودع بيانات منظمة جاهزة للتقارير، والبحيرة ملفات خام بأي شكل، وال Lakehouse ملفات البحيرة مع قواعد المستودع.
مخطط النجمة طريقة ترتيب الجداول للتقارير: جدول أحداث في الوسط وجداول وصف حوله.
طبقة التعريفات تكتب معنى «الإيراد» مرة واحدة، والجودة تقيس صحة البيانات، والحوكمة تحدد من يملكها ومن يراها.
BI هو كل ذلك من جهة المستخدم: التقارير واللوحات والأسئلة.

المثال الذي سنمشي معه: متجر افتراضي

لنفرض أن لديك شركة تجزئة متوسطة تبيع مستلزمات المكاتب عبر متجر إلكتروني وتطبيق جوال وثلاثة فروع. والشركة افتراضية، والأرقام التي سنذكرها عنها أمثلة مستديرة للتوضيح فقط. ولهذه الشركة بيانات في أماكن كثيرة، وهذا هو الوضع الطبيعي في أغلب الشركات:

  • قاعدة بيانات المتجر: الطلبات والعملاء والمنتجات، في PostgreSQL مثلاً.
  • نظام نقاط البيع Point of Sale في الفروع: مبيعات الفروع، في نظام آخر بقاعدة أخرى.
  • بوابة الدفع Payment Gateway: العمليات المقبولة والمرفوضة والمستردة، وتصلك كتقرير أو عبر واجهة برمجية API.
  • نظام خدمة العملاء: التذاكر والشكاوى ومدة حلها.
  • ملفات Excel عند فريق التسويق: ميزانية الحملات وتكلفة كل إعلان.
  • تحليلات الموقع Web Analytics: الزيارات ومن أين جاءت.

والآن يطلب المدير العام سؤالاً بسيطاً في ظاهره: «كم ربحنا من كل حملة تسويقية في الربع الماضي، بعد خصم المرتجعات؟». والجواب يحتاج بيانات من أربعة أنظمة على الأقل: الحملة من ملف التسويق، والطلب من المتجر، والدفع والاسترداد من البوابة، وربما مبيعات الفرع إذا جاء العميل من الإعلان إلى الفرع. ولا يوجد نظام واحد يعرف كل هذا. وكل المصطلحات التي سنشرحها هي إجابات على سؤال واحد: كيف نجمع هذه البيانات في مكان واحد، بشكل صحيح، ونحولها إلى رقم يثق به المدير؟

والصورة التالية تبين الطريق كاملاً، وسوف نمر على كل محطة فيه:

طريق البيانات في متجر افتراضي من اليمين إلى اليسار: المصادر (قاعدة المتجر، نقاط البيع، بوابة الدفع، خدمة العملاء، ملفات التسويق) ثم النقل ETL أو ELT ثم البحيرة Data Lake للملفات الخام ثم المستودع Data Warehouse بمخطط النجمة ثم أسواق البيانات Data Marts للمبيعات والتسويق ثم طبقة التعريفات Semantic Layer ثم أدوات BI واللوحات، وتحتها شريط الجودة والحوكمة يمتد على الطريق كله
كل مصطلح في هذا المقال محطة في هذا الطريق، والجودة والحوكمة تمتدان عليه كله

قاعدة التطبيق OLTP أم قاعدة التحليل OLAP؟

أول فكرة يجب أن تفهمها هي أن قاعدة البيانات التي يعمل عليها المتجر ليست مصممة للتقارير. والسبب أن العمل اليومي والتحليل نوعان مختلفان من الأسئلة.

OLTP اختصار Online Transaction Processing، أي معالجة العمليات لحظة حدوثها. وهي قاعدة التطبيق: عميل يضيف منتجاً إلى السلة، ويدفع، فيكتب التطبيق طلباً واحداً بسطوره، ويخصم الكمية من المخزون، وكل ذلك في جزء من الثانية. والسؤال هنا دائماً صغير ومحدد: هذا الطلب، هذا العميل، هذا المنتج. والقاعدة مصممة لآلاف العمليات الصغيرة في الدقيقة، ولأن تبقى البيانات صحيحة حتى لو حدثت عمليتان في اللحظة نفسها، وهذا ما تضمنه المعاملات Transactions كما في شرح المعاملات في توثيق PostgreSQL.

OLAP اختصار Online Analytical Processing، أي المعالجة التحليلية. والسؤال هنا كبير: مجموع المبيعات لكل فئة منتجات في كل فرع لكل شهر في السنتين الأخيرتين. وهذا يعني قراءة ملايين الصفوف وتجميعها، وقلما تحتاج كل أعمدة الجدول، وإنما عموداً أو اثنين منه.

وقد يتساءل البعض: لماذا لا نشغل التقرير على قاعدة المتجر نفسها ونرتاح؟ والإجابة أن ذلك يعمل في البداية عندما تكون البيانات صغيرة، ثم يبدأ تقرير ثقيل بأخذ موارد القاعدة في وقت ذروة المبيعات، فيبطئ المتجر على العملاء. وهناك مشكلة ثانية أقل وضوحاً: قاعدة التطبيق تحفظ الحالة الحالية فقط، فإذا انتقل عميل من فرع إلى آخر، أو تغير سعر منتج، فإن تقرير السنة الماضية يتغير معه دون أن ينتبه أحد. وقد شرحنا المشكلتين بتجربة حقيقية في مقال OLAP ومستودع البيانات.

مقارنة بين قاعدتين: في اليمين قاعدة التطبيق OLTP تكتب طلباً واحداً في كل عملية وأمامها عميل يشتري، وفي اليسار قاعدة التحليل OLAP تقرأ ملايين الصفوف وتجمعها في رقم واحد وأمامها مدير يقرأ تقريراً، وبينهما سهم النقل الليلي
قاعدة التطبيق تكتب صفاً واحداً بسرعة، وقاعدة التحليل تقرأ ملايين الصفوف وتجمعها
وجه المقارنةقاعدة التطبيق OLTPقاعدة التحليل OLAP
من يستخدمهاالعميل والتطبيقالمحلل والمدير وأدوات التقارير
شكل السؤالطلب واحد، عميل واحدمجموع ومتوسط لملايين الصفوف
الكتابةمستمرة طوال اليومدفعات من النقل، مثلاً كل ليلة أو كل ساعة
التاريخالحالة الحالية غالباًكل الحالات السابقة محفوظة
أمثلةPostgreSQL وMySQL وSQL Server في التطبيقClickHouse وDuckDB وBigQuery وSnowflake، أو PostgreSQL بجداول مرتبة للتقارير

ولاحظ أن الفرق في طريقة الاستخدام وليس في المنتج دائماً. فيمكن أن تكون قاعدة التحليل PostgreSQL أيضاً، ما دامت منفصلة عن قاعدة التطبيق وجداولها مرتبة للتقارير. ومتى تكفيك PostgreSQL للأمرين ومتى لا تكفي ناقشناه في PostgreSQL لكل شيء، أما القواعد العمودية Columnar المصممة للتحليل ففي ClickHouse للتحليلات على بيانات ضخمة.

نقل البيانات: ETL أم ELT؟

إذا اتفقنا أن التقارير تحتاج مكاناً منفصلاً، فالسؤال التالي: كيف تصل البيانات من الأنظمة الستة إلى هذا المكان؟ والجواب عملية من ثلاث خطوات، اسمها مأخوذ من أوائل حروفها:

  • الاستخراج Extract: قراءة البيانات من المصدر، من قاعدة المتجر، أو تقرير البوابة، أو ملف التسويق.
  • التحويل Transform: تنظيفها وتوحيدها: توحيد صيغة التاريخ، وتحويل العملات، وحذف الطلبات التجريبية، وربط العميل في المتجر بالعميل نفسه في الفرع.
  • التحميل Load: كتابتها في المكان الذي ستقرأ منه التقارير.

والفرق بين ETL وELT هو ترتيب الخطوتين الأخيرتين فقط. ففي ETL تحول البيانات أولاً في سيرفر أو أداة وسيطة، ثم تحمل نظيفة إلى المستودع. وهذه الطريقة القديمة، وكانت منطقية عندما كان المستودع غالياً وبطيئاً، فلا تريد أن تحمل فيه إلا ما تحتاجه. أما في ELT فتحمل البيانات كما هي إلى المستودع أو البحيرة، ثم تحول داخلها بلغة SQL. وانتشرت هذه الطريقة لأن قواعد التحليل الحديثة أصبحت سريعة ورخيصة التخزين، فصار من الأسهل أن تحتفظ بالنسخة الخام، وتعيد التحويل متى اكتشفت خطأ في قاعدة من قواعده، دون أن تعود إلى المصدر.

صفان: في الصف الأعلى ETL حيث تستخرج البيانات من المصادر ثم تحول في سيرفر وسيط ثم تحمل نظيفة إلى المستودع، وفي الصف الأسفل ELT حيث تستخرج البيانات ثم تحمل خاماً إلى المستودع ثم تحول داخله بلغة SQL، مع ملاحظة أن النسخة الخام تبقى في ELT ويمكن إعادة التحويل منها
الخطوات الثلاث نفسها، والفرق مكان التحويل: قبل التحميل أو بعده

وفي متجرنا الافتراضي، الطريقة الأقرب اليوم هي ELT: أداة نقل تنسخ جداول المتجر ونقاط البيع كل ليلة إلى البحيرة أو المستودع كما هي، ثم تحويلات بلغة SQL تبني منها جداول التقارير. ومن الأدوات المفتوحة المعروفة للنقل Airbyte، ولتنظيم التحويلات بلغة SQL أداة dbt، وسوف نشرحهما في مرحلة البيانات الضخمة وخطوط البيانات بإذن الله.

⚠️
التحميل الخام في ELT يعني أن البيانات الشخصية الخام تصل إلى مكان جديد: أرقام الجوالات والعناوين وربما أرقام الهوية. لذلك قرر قبل أول نقل ما الذي لا يجب أن ينسخ أصلاً، ومن يحق له قراءة المنطقة الخام، لأن نظام حماية البيانات الشخصية يطبق على كل نسخة كما يطبق على الأصل.

وهناك كلمة ثالثة ستسمعها في النقاش نفسه: خط البيانات Data Pipeline، وهي الاسم العام لكل سلسلة خطوات تنقل البيانات وتحولها، سواء كانت ETL أو ELT أو أي شيء آخر. وكلمة المعالجة الدفعية Batch تعني النقل على دفعات في أوقات محددة، مثل كل ليلة، أما المعالجة المتدفقة Streaming فتعني نقل كل حدث لحظة وقوعه. وأغلب تقارير الإدارة تكفيها الدفعات اليومية، فالمدير الذي يقرأ تقرير الأمس صباحاً لا يستفيد من تحديث كل ثانية، والتدفق أغلى في البناء والتشغيل.

أين تحفظ البيانات للتحليل؟ المستودع والبحيرة وال Lakehouse

هذه أكثر ثلاثة مصطلحات يخلط بينها الناس، لأن الثلاثة «مكان واحد تجمع فيه البيانات». والفرق في شكل البيانات وفي القواعد التي تحكمها.

مستودع البيانات Data Warehouse

المستودع قاعدة بيانات مخصصة للتحليل، فيها جداول منظمة بأعمدة معروفة الأنواع، والبيانات تدخلها بعد أن تنظف وتوحد. وأشهر تعريف له من Bill Inmon في كتابه «Building the Data Warehouse» الصادر في 1992: مجموعة بيانات موجهة لموضوعات العمل Subject-oriented، ومتكاملة Integrated من مصادر عدة، وتحفظ التغير عبر الزمن Time-variant، ولا تعدل بعد دخولها Non-volatile. والكلمات الأربع تشرح ما يحتاجه المدير: المبيعات كموضوع وليس كجداول تطبيق، وعميل واحد حتى لو جاء من المتجر والفرع، وتاريخ لا يتغير عندما يتغير الحاضر.

وفي متجرنا، المستودع هو المكان الذي فيه جدول المبيعات النظيف، وجدول العملاء الموحد، وجدول المنتجات بفئاتها، وجدول التواريخ. ومنه تقرأ أداة التقارير.

بحيرة البيانات Data Lake

البحيرة مكان تخزين رخيص لملفات البيانات كما هي، بأي شكل: جداول منسوخة كملفات، وسجلات Logs، وملفات JSON من الواجهات البرمجية، وصور وتسجيلات صوتية. ولا تشترط البحيرة شكلاً معيناً عند الحفظ، وإنما يحدد الشكل عند القراءة. والمصطلح استخدمه James Dixon، المدير التقني لشركة Pentaho، في تدوينته في أكتوبر 2010، حيث شبه سوق البيانات بزجاجات ماء معبأة جاهزة للشرب، والبحيرة بمسطح ماء في حالته الطبيعية يأخذ منه كل شخص ما يحتاجه.

والبحيرة تحفظ غالباً في تخزين الكائنات Object Storage مثل Amazon S3 أو MinIO على سيرفرك، وقد شرحنا هذا النوع من التخزين في أنواع التخزين للمبتدئين. وفائدتها في متجرنا أن تحتفظ بكل شيء خام بتكلفة قليلة: نسخة كل ليلة من جداول المتجر، وكل ملف من بوابة الدفع، وسجلات الموقع، حتى لو لم تعرف اليوم ماذا ستفعل بها. وعيبها المعروف أنها تتحول بسهولة إلى «مستنقع بيانات» Data Swamp: ملفات كثيرة لا يعرف أحد مصدرها ولا معناها ولا هل هي صالحة. والعلاج ليس أداة، وإنما فهرس وتوثيق ومالك لكل مجموعة، كما سيأتي في قسم الحوكمة.

بحيرة بقواعد المستودع Lakehouse

ال Lakehouse محاولة لجمع الميزتين: تبقى البيانات ملفات رخيصة في البحيرة، ولكن تضاف فوقها طبقة تعطيها ما كان في المستودع فقط: جداول بأعمدة معروفة، وتعديل وحذف آمن، ونسخ تاريخية تعود إليها. والفكرة وصفها باحثون من Databricks وجامعتي Stanford وBerkeley في ورقة Lakehouse في مؤتمر CIDR 2021. والطبقة التي تجعل هذا ممكناً هي صيغ الجداول المفتوحة Open Table Formats، وأشهرها Apache Iceberg وDelta Lake.

ثلاث بطاقات: المستودع Data Warehouse جداول منظمة نظيفة تقرأ منها التقارير، والبحيرة Data Lake ملفات خام بأي شكل في تخزين الكائنات، وال Lakehouse ملفات البحيرة نفسها مع طبقة جداول مثل Iceberg أو Delta تعطيها قواعد المستودع، وتحت كل بطاقة ما يحفظ فيها ومن يستخدمها
الثلاثة أماكن لجمع البيانات، والفرق في شكلها والقواعد التي تحكمها
وجه المقارنةالمستودع Data Warehouseالبحيرة Data Lakeال Lakehouse
شكل البياناتجداول منظمة فقطأي ملف، خامملفات، مع طبقة جداول فوقها
متى يحدد الشكلعند الكتابةعند القراءةعند الكتابة في طبقة الجداول
المستخدم المعتادالمحلل وأدوات BIمهندس البيانات وعالم البياناتالاثنان
نقطة القوةأرقام موثوقة وسريعةتحفظ كل شيء بتكلفة قليلةنسخة واحدة تخدم التقارير والتعلم الآلي
نقطة الضعفلا يناسب الصور والنصوص والسجلات الخامتتحول إلى مستنقع دون فهرس ومالكأكثر تعقيداً في البناء والتشغيل

وأي واحد يحتاجه متجرنا؟ شركة بهذا الحجم تكفيها غالباً قاعدة تحليل واحدة مرتبة كمستودع، وتبدأ منها. أما البحيرة فتظهر الحاجة إليها عندما تكثر البيانات غير المنظمة، أو يبدأ فريق علم البيانات بتدريب نماذج على بيانات خام. وال Lakehouse قرار يأتي بعد ذلك، عندما يصبح عندك الاثنان وتريد ألا تحفظ البيانات نفسها مرتين. ولا تبدأ بالأعقد لأن اسمه أحدث، والسبب أن كل طبقة تضيف تشغيلاً وصيانة يدفع ثمنها فريق صغير.

مخطط النجمة Star Schema: كيف ترتب الجداول للتقارير

وصلت البيانات إلى المستودع، ولكن بأي شكل؟ لو نسخت جداول المتجر كما هي، فسوف يحتاج كل تقرير إلى ربط عشرة جداول، ويكتبه كل محلل بطريقته. لذلك ترتب جداول التقارير بطريقة اسمها النمذجة البعدية Dimensional Modeling، ارتبطت باسم Ralph Kimball وكتابه «The Data Warehouse Toolkit». والشكل الأشهر لها مخطط النجمة، وفيه نوعان من الجداول فقط:

  • جدول الحقائق Fact Table: في الوسط، وكل صف فيه حدث حصل: سطر في فاتورة بيع مثلاً. وأعمدته أرقام تجمع، مثل الكمية والمبلغ والخصم، ومفاتيح تشير إلى الجداول الأخرى.
  • جداول الأبعاد Dimension Tables: حول الوسط، وكل جدول يصف جانباً من الحدث: المنتج وفئته، والعميل ومدينته، والفرع، والتاريخ بأسبوعه وشهره وربعه، والحملة التسويقية.

وسمي نجمة لأن جدول الحقائق في الوسط والأبعاد حوله كأطراف نجمة، كما في صفحة مخطط النجمة في موقع Kimball Group. وفائدته للمدير أن كل سؤال يصبح جملة واحدة مفهومة: «المبلغ» من جدول الحقائق، «حسب» الفرع والشهر من جداول الأبعاد. وهذا هو الشكل الذي تفهمه أدوات التقارير أيضاً، ولذلك توصي به Microsoft في إرشادات Power BI عن مخطط النجمة.

مخطط نجمة للمتجر: في الوسط جدول حقائق المبيعات بالكمية والمبلغ والخصم، وحوله خمسة جداول أبعاد: المنتج، والعميل، والفرع، والتاريخ، والحملة، وتحت المخطط سوقا بيانات Data Marts: سوق المبيعات وسوق التسويق، كل منهما يأخذ جزءاً من المستودع
الحدث في الوسط والوصف حوله، وكل سوق بيانات يأخذ ما يحتاجه فريق واحد

وأهم قرار في النجمة هو مستوى التفصيل Grain: ماذا يمثل صف واحد في جدول الحقائق؟ سطر في فاتورة، أم فاتورة كاملة، أم مجموع يوم لكل فرع؟ فإذا اخترت مجموع اليوم، فلن تستطيع أبداً أن تسأل عن منتج داخل الفاتورة. لذلك القاعدة أن تختار أدق مستوى متاح، ثم تجمع منه ما تشاء. وتفاصيل الحقائق والأبعاد والمستوى، والأبعاد التي تتغير مع الوقت، شرحناها مع تجربة كاملة في مقال OLAP ومستودع البيانات، فلن نكررها هنا.

سوق البيانات Data Mart

سوق البيانات جزء من المستودع مخصص لفريق واحد أو موضوع واحد. ففي متجرنا قد يكون هناك سوق للمبيعات فيه حقائق المبيعات والمرتجعات وأبعادها، وسوق للتسويق فيه الحملات وتكلفتها والزيارات والتحويلات. والفائدة أن كل فريق يرى الجداول التي يحتاجها فقط، بأسماء يفهمها، وبصلاحيات مناسبة له، فلا يحتاج محلل التسويق أن يفهم جداول المخزون.

ويجب أن تشترك الأسواق في الأبعاد نفسها: جدول تاريخ واحد، وجدول عملاء واحد، وجدول منتجات واحد. وتسمى هذه الأبعاد المشتركة Conformed Dimensions، وهي التي تسمح لك أن تضع مبيعات الحملة بجانب تكلفتها في تقرير واحد. أما إذا بنى كل فريق سوقه بتعريفه الخاص للعميل والشهر، فقد عدت إلى المشكلة الأولى بأسماء جديدة: كل فريق يأتي إلى الاجتماع برقم مختلف.

طبقة التعريفات Semantic Layer: رقم واحد للجميع

هذه هي المشكلة التي تراها في كل شركة تقريباً: المبيعات يقولون إن إيراد الشهر 1.2 مليون ريال، والمالية يقولون 1.05 مليون، وكلاهما محق. فالمبيعات تحسب الطلبات المؤكدة شاملة الضريبة، والمالية تحسب بعد المرتجعات ودون الضريبة. والخلاف ليس في البيانات، وإنما في التعريف.

وطبقة التعريفات مكان تكتب فيه تعريف كل مقياس Metric مرة واحدة: ما هو «الإيراد الصافي»، وما هو «العميل النشط»، وما هو «متوسط قيمة الطلب»، وما الجداول والشروط التي يحسب منها. ثم تقرأ كل أداة تقارير وكل لوحة وكل تقرير Excel التعريف من هذا المكان، بدل أن يكتبه كل محلل في استعلامه. ومن أمثلتها dbt Semantic Layer وCube، وبعض أدوات التقارير فيها طبقة مثلها في داخلها، كما قارنا في Metabase أم Superset أم Power BI.

في اليمين بدون طبقة التعريفات: ثلاث أدوات تكتب كل منها تعريفها للإيراد فتظهر ثلاثة أرقام مختلفة 1.2 و1.05 و1.1 مليون، وفي اليسار مع طبقة التعريفات: تعريف واحد للإيراد الصافي مكتوب مرة واحدة تقرأ منه الأدوات الثلاث فتظهر رقماً واحداً
الخلاف في الاجتماعات غالباً خلاف في التعريف، وطبقة التعريفات تكتبه مرة واحدة

وهل تحتاج أداة خاصة لهذا؟ ليس في البداية. فأبسط طبقة تعريفات هي جدول في المستودع أو صفحة موثقة يتفق عليها المدير المالي ومدير المبيعات، فيها اسم كل مقياس وتعريفه وصاحبه، ثم بناء كل تقرير منها. والأداة تأتي عندما يكثر المحللون وتكثر الأدوات، ويصبح الالتزام اليدوي بالتعريف صعباً. وهذا أهم من أي اختيار تقني في هذا المقال، والسبب أن المدير الذي يرى رقمين مختلفين لسؤال واحد يتوقف عن الثقة بكل الأرقام، وليس بالرقم الخطأ وحده.

المقياسالتعريف المتفق عليهصاحب التعريف
الإيراد الصافيمجموع الطلبات المدفوعة بعد المرتجعات والخصومات، دون ضريبة القيمة المضافةالمدير المالي
العميل النشطعميل له طلب مدفوع واحد على الأقل في آخر 90 يوماًمدير المبيعات
متوسط قيمة الطلبالإيراد الصافي مقسوماً على عدد الطلبات المدفوعة في الفترة نفسهاالمدير المالي
تكلفة الحصول على عميلتكلفة الحملات في الفترة مقسومة على عدد العملاء الجدد منهامدير التسويق

والجدول أعلاه مثال لمتجرنا الافتراضي، والأرقام فيه قواعد وليست قيماً، فقد تختار شركتك 30 يوماً للعميل النشط بدل 90. والمهم أن يكون الاختيار مكتوباً وله صاحب.

جودة البيانات Data Quality: هل الرقم صحيح أصلاً؟

قد تبني كل ما سبق بشكل ممتاز، ثم يكون الرقم خاطئاً لأن البيانات الداخلة خاطئة: طلبات مكررة لأن التطبيق أرسلها مرتين، وفرع لم يرسل مبيعاته أمس، وتواريخ مكتوبة باليوم قبل الشهر في ملف وبالعكس في ملف آخر. وجودة البيانات هي قياس هذه المشاكل قبل أن يراها المدير.

وقد حددت معايير إدارة البيانات وحماية البيانات الشخصية الصادرة عن مكتب إدارة البيانات الوطنية NDMO ست أبعاد للجودة في المواصفة DQ.2.1، وهي نفسها المعروفة في دليل DAMA DMBOK:

البعدالمعنى كما في المعاييرمثال من المتجر
الاكتمال Completenessهل البيانات اللازمة موجودة؟طلبات بلا فرع أو بلا تاريخ
التفرد Uniquenessهل السجلات فريدة وغير مكررة؟الطلب نفسه مسجل مرتين
الحداثة Timelinessهل البيانات محدثة ومتاحة وقت الحاجة؟مبيعات فرع لم تصل منذ يومين
الصلاحية Validityهل تطابق الصيغة والنوع والمدى؟كمية سالبة، أو جوال من خمسة أرقام
الدقة Accuracyهل تطابق القيمة الواقع؟سعر في النظام يختلف عن سعر الرف
الاتساق Consistencyهل تتفق البيانات بين المصادر؟مجموع المتجر لا يساوي مجموع بوابة الدفع

والمصدر: المواصفة DQ.2.1 في معايير إدارة البيانات وحماية البيانات الشخصية، قرأناها في 18 نوفمبر 2026.

والطريقة العملية أن تحول كل بعد إلى فحص آلي يعمل بعد كل نقل: «عدد الطلبات المكررة يجب أن يكون صفراً»، «كل فرع أرسل بيانات الأمس»، «مجموع المتجر يختلف عن البوابة بأقل من 1%». فإذا فشل فحص، توقف تحديث اللوحة، وظهرت ملاحظة للمستخدم بدل رقم خاطئ. وتذكر أن لوحة تقول «البيانات متأخرة» أفضل بكثير من لوحة تعرض رقماً خاطئاً بثقة، لأن الأولى تخسر يوماً والثانية تخسر ثقة المدير.

حوكمة البيانات Data Governance: من يملك البيانات ومن يراها؟

الحوكمة هي القواعد والأدوار التي تجيب عن أسئلة ليست تقنية في أصلها: من صاحب بيانات العملاء ومن يقرر تعريفها؟ من يحق له أن يرى أرقام الجوالات؟ كم سنة نحفظ الطلبات؟ ماذا يحدث إذا طلب عميل حذف بياناته؟ ومن يوافق على إرسال جزء من البيانات إلى مورد خارجي؟

وفي الحوكمة أربعة عناصر تسمعها كثيراً:

  • مالك البيانات Data Owner: مدير من الأعمال، وليس من التقنية، يقرر بشأن بيانات مجاله. فمالك بيانات المبيعات مدير المبيعات وليس مدير قاعدة البيانات.
  • أمين البيانات Data Steward: شخص قريب من البيانات يومياً، يحافظ على تعريفاتها وجودتها ويجيب عن الأسئلة عنها.
  • فهرس البيانات Data Catalog: قائمة بكل مجموعة بيانات: ما هي، ومن أين جاءت، ومن مالكها، وما تصنيفها. وهو العلاج الأول لمستنقع البيانات.
  • تصنيف البيانات Data Classification: مستوى الحساسية الذي يحدد من يراها وأين تحفظ وهل ترسل إلى خدمة خارجية.

وفي المملكة، للجهات الحكومية ومن يعمل معها إطار رسمي كامل من مكتب إدارة البيانات الوطنية: خمسة عشر مجالاً، وأربعة مستويات للتصنيف، وأدوار محددة، وقد شرحناه في حوكمة البيانات في الجهات الحكومية. أما البيانات الشخصية فيحكمها نظام حماية البيانات الشخصية PDPL في القطاعين، وما يعنيه للأنظمة التقنية في حماية البيانات الشخصية PDPL للخدمات المستضافة.

ℹ️
والحوكمة في شركة صغيرة لا تعني لجنة وأدلة طويلة. ففي متجرنا يكفي في البداية: جدول بكل مجموعة بيانات ومالكها وتصنيفها، وقاعدة مكتوبة لمن يرى البيانات الشخصية في المستودع، ومدة حفظ لكل نوع. ثم يكبر الإطار مع الشركة.

ذكاء الأعمال BI: ما يراه المستخدم في النهاية

ذكاء الأعمال Business Intelligence هو الاسم العام لكل ما يحول البيانات إلى إجابات يستخدمها الناس في قراراتهم: التقارير الدورية، ولوحات التقارير Dashboards، والأسئلة التي يطرحها المحلل على البيانات. وأداة BI هي البرنامج الذي يقرأ من المستودع أو طبقة التعريفات ويرسم الجداول والرسوم ويرسلها في مواعيدها، مثل Metabase وApache Superset وPower BI.

وانتبه إلى أن أداة BI هي آخر محطة في الطريق، وليست أوله. فكثير من الشركات تشتري الأداة أولاً، ثم توصلها مباشرة بقاعدة التطبيق، ثم تكتشف أن كل لوحة بطيئة وكل رقم مختلف. والترتيب الصحيح هو ما سرنا عليه في هذا المقال: فصل التحليل عن التطبيق، ونقل منظم، وجداول مرتبة، وتعريفات متفق عليها، وفحوص جودة، ثم الأداة.

وفي هذا المسار مقالات لكل خطوة بعد هذا المقال:

أما كيف تصمم اللوحة نفسها حتى يقرأها المدير في دقيقة، وأي رسم يناسب أي سؤال، فهو موضوع مقال قادم في هذه المرحلة.

سؤال المدير يمر بالطريق كاملاً

لنعد الآن إلى سؤال المدير العام في أول المقال: «كم ربحنا من كل حملة تسويقية في الربع الماضي، بعد خصم المرتجعات؟». وسوف نتتبعه محطة بعد محطة، حتى ترى أين يعمل كل مصطلح:

  1. المصادر: الطلب مسجل في قاعدة المتجر ومعه رمز الحملة التي جاء منها العميل، والدفع والاسترداد في بوابة الدفع، وتكلفة كل حملة في ملف Excel عند فريق التسويق.
  2. النقل ELT: كل ليلة تنسخ أداة النقل جداول الطلبات من المتجر وتقرير البوابة وملف التسويق إلى المنطقة الخام، دون أن تنسخ أرقام الجوالات لأن هذا التقرير لا يحتاجها.
  3. الجودة: بعد النقل تعمل الفحوص: لا توجد طلبات مكررة، وكل الطلبات المدفوعة لها عملية في البوابة، وملف التسويق فيه تكلفة لكل حملة. فإذا نقصت تكلفة حملة، تظهر ملاحظة بدل أن يظهر ربح وهمي.
  4. المستودع: التحويلات تبني جدول حقائق المبيعات بمستوى سطر الفاتورة، وتربطه ببعد الحملة وبعد التاريخ، وتسجل المرتجعات كحقائق سالبة أو في جدول حقائق مستقل.
  5. سوق التسويق: يجمع فيه فريق التسويق الحملات مع مبيعاتها وتكلفتها، بالأبعاد المشتركة نفسها التي يستخدمها فريق المبيعات.
  6. طبقة التعريفات: «الإيراد الصافي» و«ربح الحملة» معرفان مرة واحدة، فربح الحملة مثلاً هو الإيراد الصافي من طلباتها ناقصاً تكلفتها، والتعريف موقع من المدير المالي.
  7. BI: اللوحة تعرض جدولاً بالحملات مرتبة من الأعلى ربحاً إلى الأقل، والمدير يقرؤه صباحاً.

ولاحظ أين يمكن أن يفشل هذا السؤال لو غابت محطة واحدة. فدون النقل المنفصل، يبطئ التقرير المتجر في وقت الذروة. ودون الجودة، يظهر ربح حملة لم تدخل تكلفتها بعد. ودون الأبعاد المشتركة، لا يمكن وضع مبيعات الحملة بجانب تكلفتها. ودون طبقة التعريفات، تأتي المالية برقم والتسويق برقم آخر. ولهذا السبب لا تقيم مشروع البيانات بجمال اللوحة في العرض الأول، وإنما بالسؤال: هل يمر سؤال حقيقي من أسئلة المدير بكل هذه المحطات، ويخرج بالرقم نفسه الذي تقوله المالية؟

جدول المصطلحات

وهذا جدول بكل مصطلح ورد في المقال، مع معناه في جملة، ومكانه في متجرنا الافتراضي:

المصطلحالمعنى في جملةمثاله في المتجر
OLTPقاعدة تخدم العمليات اليومية لحظة حدوثهاقاعدة المتجر التي تكتب الطلبات
OLAPمعالجة تحليلية تقرأ بيانات كثيرة وتجمعهاتقرير المبيعات لكل فرع لكل شهر
ETLاستخراج ثم تحويل ثم تحميلتنظيف المبيعات في سيرفر وسيط قبل المستودع
ELTاستخراج ثم تحميل خام ثم تحويل داخل المستودعنسخ جداول المتجر كل ليلة ثم تحويلها بلغة SQL
خط البيانات Data Pipelineسلسلة خطوات تنقل البيانات وتحولهاالنقل الليلي كله من أوله إلى آخره
Batch وStreamingنقل على دفعات أو نقل كل حدث لحظة وقوعهتقرير يومي، أو تنبيه لحظي بنفاد مخزون
مستودع البيانات Data Warehouseقاعدة تحليل بجداول منظمة نظيفةجداول المبيعات والعملاء والمنتجات
بحيرة البيانات Data Lakeملفات خام بأي شكل في تخزين رخيصنسخ ليلية وملفات البوابة وسجلات الموقع
Lakehouseملفات البحيرة مع طبقة جداول تعطيها قواعد المستودعخيار لاحق عندما يكبر فريق البيانات
مخطط النجمة Star Schemaجدول حقائق في الوسط وجداول أبعاد حولهحقائق المبيعات مع المنتج والعميل والفرع والتاريخ
جدول الحقائق Fact Tableأحداث بأرقام تجمعسطور الفواتير بالكمية والمبلغ
جدول الأبعاد Dimension Tableوصف جانب من الحدثالمنتج وفئته، الفرع ومدينته
مستوى التفصيل Grainماذا يمثل صف واحد في جدول الحقائقسطر في فاتورة
سوق البيانات Data Martجزء من المستودع لفريق أو موضوعسوق المبيعات وسوق التسويق
طبقة التعريفات Semantic Layerمكان واحد لتعريف كل مقياستعريف الإيراد الصافي والعميل النشط
جودة البيانات Data Qualityقياس صحة البيانات بأبعاد محددةفحص الطلبات المكررة بعد كل نقل
حوكمة البيانات Data Governanceقواعد وأدوار: من يملك ومن يرى وكم نحفظمالك لبيانات العملاء ومدة حفظ للطلبات
فهرس البيانات Data Catalogقائمة بكل مجموعة بيانات ومصدرها ومالكهاجدول المجموعات وتصنيفها
ذكاء الأعمال BIتحويل البيانات إلى تقارير ولوحات وإجاباتلوحة المبيعات اليومية للمدير

أسئلة تسألها قبل أي مشروع بيانات

إذا عرض عليك فريق أو مورد مشروع مستودع أو بحيرة أو أداة تقارير، فهذه الأسئلة تكشف بسرعة هل المشروع مبني على حاجة أم على اسم:

  • ما الأسئلة الخمسة التي سيجيب عنها المشروع في أول ثلاثة أشهر، ومن سيسألها؟
  • هل ستعمل التقارير على قاعدة التطبيق أم على نسخة منفصلة؟ وإذا كانت على قاعدة التطبيق، فما الذي يمنعها من إبطاء الخدمة؟
  • كم مرة تحدث البيانات، وهل يحتاج أحد فعلاً تحديثاً أسرع من يومي؟
  • أين التعريف المكتوب لكل مقياس، ومن صاحبه؟
  • ما الفحوص التي تعمل بعد كل نقل، وماذا يرى المستخدم إذا فشل فحص؟
  • أين تحفظ النسخ الخام، وهل فيها بيانات شخصية، ومن يستطيع قراءتها؟
  • هل تبقى البيانات داخل المملكة، وإذا خرجت فعلى أي أساس نظامي؟
  • من يشغل هذا النظام بعد التسليم، وكم ساعة في الأسبوع يحتاج؟

أخطاء شائعة

  • البدء بالأداة: شراء أداة BI وتوصيلها بقاعدة التطبيق قبل أي ترتيب، ثم الشكوى من البطء واختلاف الأرقام.
  • بحيرة بلا فهرس: نسخ كل شيء إلى البحيرة «لعلنا نحتاجه» دون مالك أو وصف، فتصبح مستنقعاً لا يجرؤ أحد على استخدامه.
  • تعريف لكل فريق: كل محلل يكتب «الإيراد» في استعلامه بطريقته، فيأتي كل فريق إلى الاجتماع برقم.
  • مستوى تفصيل مجمع من البداية: حفظ مجموع يومي بدل سطور الفواتير، ثم اكتشاف أن سؤالاً مهماً عن منتج داخل الفاتورة لا جواب له.
  • نسخ البيانات الشخصية كلها: نقل أرقام الهوية والجوالات إلى المستودع لأن الأداة تنقل الجدول كاملاً، بينما لا يحتاجها أي تقرير.
  • Streaming دون حاجة: بناء نقل لحظي مكلف لتقرير يقرؤه المدير مرة في الصباح.
  • لوحة تعرض رقماً خاطئاً بثقة: لا توجد فحوص جودة، فيعرف المدير بالخطأ من عميل غاضب وليس من النظام.
  • اعتبار الحوكمة ورقاً: تأجيل المالك والتصنيف حتى يطلبه مدقق، بينما هما ما يحدد من يرى ماذا من اليوم الأول.

الخلاصة

  • قاعدة التطبيق OLTP للعمليات، وقاعدة التحليل OLAP للتقارير، وفصلهما أول خطوة.
  • ETL يحول قبل التحميل، وELT يحمل خاماً ثم يحول، والثاني هو الأشيع اليوم.
  • المستودع جداول نظيفة، والبحيرة ملفات خام، وال Lakehouse الاثنان فوق ملفات واحدة. وأغلب الشركات المتوسطة تبدأ بمستودع.
  • مخطط النجمة يجعل كل سؤال جملة مفهومة، وأهم قرار فيه مستوى التفصيل.
  • طبقة التعريفات تحل خلاف الأرقام في الاجتماعات، وتبدأ بجدول مكتوب قبل أي أداة.
  • الجودة تقاس بستة أبعاد، والحوكمة تحدد المالك والتصنيف ومن يرى ماذا.
  • أداة BI آخر محطة في الطريق، وليست أوله.

والمقالات المنشورة الأقرب إلى هذا الموضوع:

دليلOLAP ومستودع البيانات: تقارير لا تبطئ تطبيقككيف تنقل تقاريرك من قاعدة التطبيق إلى مستودع بيانات بمخطط النجمة، فتسرع التقارير وتبقى أرقام السنوات الماضية ثابتة.دليلMetabase أم Superset أم Power BI؟ أداة التقارير لفريقككيف تختار أداة التقارير لفريقك بحسب الرخصة والتكلفة ومكان بياناتك ودعم العربية وتقييد الصفوف.دليلMetabase: لوحات وتقارير من بياناتك دون كتابة كودكيف تثبت Metabase على سيرفرك، وتبني منه أسئلة ولوحة مبيعات من بيانات شركتك بالنقر أو بلغة SQL.دليلApache Superset: تحليلات ولوحات تقارير على سيرفرككيف تثبت Apache Superset على سيرفرك، وتبني منه مقاييس ورسوماً ولوحة تقارير من بيانات شركتك.دليلكيف تصمم لوحة تقارير Dashboard يقرؤها المديركيف تختار المؤشرات والرسم المناسب لكل سؤال، وترتب لوحة عربية تقرأ في دقيقة، مع مثال قبل وبعد من بيانات سوق العمل.دليلحوكمة البيانات الحكومية: معايير NDMO وتصنيف البياناتما تطلبه معايير مكتب إدارة البيانات الوطنية من الجهة الحكومية فعلاً، وكيف تصنف بياناتها خطوة بخطوة، وكيف يقاس التزامها كل سنة.

سجل التحديثات

  • 2026-11-18: كتابة المقال، ومراجعة معايير إدارة البيانات NDMO (المواصفة DQ.2.1) وورقة Lakehouse وصفحات Kimball وتوثيق dbt وCube وPostgreSQL وPower BI في 18 نوفمبر 2026.
نشرة عرب رووت | ArabRoot

معرفة تستحق مكاناً في بريدك.

مقالات مختارة وأدوات مفيدة وأفكار لمشروعك القادم، في رسالة واحدة كل أسبوع.

يمكنك إلغاء الاشتراك متى شئت. الخصوصية

تم استلام طلبك. افتح بريدك واضغط رابط التأكيد لإتمام الاشتراك.