الخرائط ونظم المعلومات الجغرافية الأدلة التقنية

من يرسم خريطة الشارع؟ Google وOSM وOverture

من أين تأتي بيانات الخريطة التي تراها على هاتفك، ومن يملكها ويصلح أخطاءها، وما الذي تلزمك به رخصتها قبل أن تضعها في تطبيقك.

من يرسم خريطة الشارع؟ Google وOSM وOverture

افتح خرائط Google على حيك، ثم افتح خرائط Apple على الحي نفسه، ثم أي تطبيق توصيل أو تطبيق سيارات أجرة، وقارن بينها بهدوء. سوف تجد أن اسم الشارع مكتوب بطريقتين، وأن مطعماً أغلق منذ أشهر ما زال يظهر في تطبيق واختفى من آخر، وأن مبنى جديداً اكتمل في أحدها وما زال أرضاً فارغة في الآخر. وقد يتساءل البعض: أليست الأرض واحدة؟ فلماذا تختلف الخرائط؟ والإجابة أن كل خريطة تراها على هاتفك هي قاعدة بيانات Database جمعتها جهة معينة من مصادر معينة، ودمجتها بطريقتها، وحدثتها بسرعتها، ثم رسمتها لك. فالخلاف بين الخرائط هو في الحقيقة خلاف بين قواعد بيانات، وكل واحدة منها لها صاحب وله نموذج عمل ورخصة.

وهذا السؤال ليس فضولاً فقط، فإذا كنت مطوراً وتريد أن تضع خريطة في تطبيقك، أو أن تبحث عن العناوين، أو أن تعرض الفروع والمحلات، فأول قرار تتخذه هو من أين تأتي البيانات، وهذا القرار يحدد ما تدفعه، وما يحق لك تخزينه، وما يجب أن تكتبه في زاوية الخريطة، وكيف تصلح الخطأ عندما يشتكي عميلك من أن العنوان خاطئ. وقد شرحنا في كيف تعمل الخرائط الرقمية كيف تتحول الإحداثيات إلى مربعات يرسمها المتصفح، وفي هذا المقال نرجع خطوة قبل الرسم ونسأل: من يجمع البيانات أصلاً؟ وسوف نناقش في هذا المقال ما يلي:

  • المصادر التي تبنى منها أي خريطة: سيارات المسح، والصور الجوية والفضائية، والبيانات الحكومية، وبيانات المسبار من الهواتف، وبلاغات المستخدمين، وبيانات الأنشطة التجارية.
  • من يرسم خريطة الشارع اليوم: Google وApple وHERE وTomTom وEsri وOpenStreetMap وOverture Maps، والهيئة العامة للمساحة والمعلومات الجيومكانية في المملكة.
  • الدمج Conflation: كيف يصبح المكان الواحد سجلاً واحداً بعد أن جاء من عشرة مصادر، ومعرف GERS الثابت في Overture.
  • كيف تبلغ عن خطأ في الخريطة، وكيف يصل التصحيح إلى التطبيقات، ولماذا يختلف ذلك من جهة إلى أخرى.
  • رخصة بيانات الخريطة Map Licensing، ولماذا تقرر شكل تطبيقك قبل أن تكتب أول سطر كود.
  • تجربة عملية: نحمل مستطيلاً حقيقياً من بيانات Overture بأداة DuckDB والأداة الرسمية، ونقارنه مع OpenStreetMap للمستطيل نفسه، ونقرأ حقل المصادر لكل معلم.

من أين تأتي بيانات الخريطة؟

لا توجد جهة في العالم تملك مصدراً واحداً يكفي لرسم خريطة كاملة، فالخريطة التي تراها هي خليط من ستة أنواع من المصادر على الأقل، ولكل نوع نقاط قوة ونقاط ضعف، والشركة الأقوى هي التي تعرف كيف تجمعها وكيف تحكم بينها عندما تختلف. والصورة التالية تبين هذه المصادر وكيف تدخل كلها في خطوة واحدة اسمها الدمج قبل أن تصبح خريطة وبحثاً ومسارات:

ستة مصادر على اليمين: سيارات المسح، والصور الجوية والفضائية، والبيانات الحكومية، وبيانات المسبار من الهواتف، وبلاغات المستخدمين، وبيانات الأنشطة والشركاء، تدخل كلها في صندوق الدمج Conflation في الوسط، ثم تخرج منه ثلاثة منتجات على اليسار: الخريطة المرسومة Tiles، والبحث عن العناوين Geocoding، وحساب المسارات Routing، وخط منقط يعود من المنتجات إلى بلاغات المستخدمين
كل خريطة تجمع مصادر كثيرة، والدمج هو الخطوة التي تصنع منها خريطة واحدة

سيارات المسح Survey Vehicles

السيارة التي تمر في شارعك وعلى سقفها كاميرات وجهاز ليزر هي أغلى مصدر وأدقه، فهي تصور اللوحات وأرقام المباني وعلامات المرور وتقيس عرض الطريق، وقد خصصنا لها مقالاً كاملاً هو سيارات مسح الخرائط: ماذا تجمع وأي عتاد تحمل؟. والمهم هنا أنها مصدر لا تملكه إلا الشركات الكبيرة، وأنها لا تمر في كل شارع كل شهر، لذلك تحتاج الشركة إلى مصادر أخرى تخبرها أين تغير شيء حتى ترسل السيارة إليه. وApple مثلاً تنشر في صفحة جمع الصور أنها تمسح الشوارع بالسيارات، وأن بعض المناطق التي لا تدخلها السيارات تمسحها بأنظمة يحملها المشاة، وأنها تطمس الوجوه ولوحات السيارات في الصور المنشورة، وأنها قد تعيد مسح المواقع نفسها لتبقى الخريطة حديثة.

الصور الجوية والفضائية Imagery

صور الأقمار الصناعية والطائرات هي المصدر الذي يغطي كل شيء، فمنها ترسم الطرق الجديدة وحدود المباني ومساحات الزراعة والمياه، ومنها تعرف أين تغيرت الأرض. وفي مقال Google عن دور الصور في خرائطها شرح لكيف تجمع الشركة صور Street View والصور الجوية والفضائية معاً لتعرف أين الطرق والمباني والعناوين. ولكن الصورة لا تقول لك اسم الشارع، ولا هل هو باتجاه واحد، ولا هل المحل مفتوح، فهي تبين الشكل ولا تبين المعنى. وسوف نشرح الصور الفضائية بالتفصيل، مع تجربة على صور Sentinel-2 الحقيقية، في مقال الصور الفضائية من هذه المرحلة.

وفي السنوات الأخيرة ظهر استخدام جديد للصور: نماذج تعلم الآلة Machine Learning التي ترسم حدود المباني من الصور آلياً على مستوى قارات كاملة. ومن أشهرها بيانات Microsoft للمباني وبيانات Google المفتوحة للمباني، وهي منشورة برخص مفتوحة، وسوف ترى في التجربة العملية أنها تملأ أغلب طبقة المباني في Overture لمدينة سعودية.

البيانات الحكومية Government Data

الجهات الحكومية تملك ما لا تستطيع أي شركة أن تجمعه وحدها: الحدود الإدارية الرسمية، وأسماء الأحياء والشوارع المعتمدة، ونظام العناوين، والشبكة الجيوديسية التي تقاس عليها كل الإحداثيات. ومقال Google كيف نرسم خريطة العالم يقول إن الشركة تأخذ بيانات من أكثر من 1,000 مصدر خارجي حول العالم، من هيئات المساحة الوطنية إلى البلديات المحلية والمنظمات غير الربحية وشركات التطوير العقاري، وإن لديها أداة تسمح للحكومات المحلية برفع بيانات الطرق والعناوين الجديدة. وفي المملكة الجهة الرسمية هي الهيئة العامة للمساحة والمعلومات الجيومكانية، وقد فصلنا ما تنشره وبأي شروط في البيانات الجغرافية المفتوحة في السعودية.

بيانات المسبار Probe Data

كل هاتف يشغل تطبيق ملاحة يرسل موقعه وسرعته كل بضع ثوان، وعندما تجمع ملايين هذه النقاط تعرف أين الطرق التي يسير فيها الناس فعلاً، وما سرعتها، وهل ظهر طريق جديد لا يوجد في الخريطة، لأن السيارات بدأت تسير في مكان كان صحراء على الخريطة. وهذه البيانات هي أساس معرفة الزحام، وقد شرحنا كيف تتحول النقاط إلى سرعة لكل شارع في كيف تعرف الخرائط الزحام وسرعة الطريق؟. وهي مصدر يكبر مع عدد المستخدمين، لذلك فإن من يملك تطبيقاً عليه ملايين السائقين يملك ميزة لا تشترى بالمال وحده.

بلاغات المستخدمين User Reports

المستخدم الذي يرى أن المطعم أغلق أو أن الدبوس في المكان الخطأ يستطيع أن يبلغ، وهذا أسرع مصدر للتغييرات الصغيرة، ولكنه أيضاً أخطر مصدر، لأن أي شخص يستطيع أن يكتب أي شيء، سواءً بخطأ بريء أو بقصد. لذلك تتعامل كل جهة مع البلاغ كاقتراح يحتاج تحققاً، وسوف نرى الفرق في طريقة التحقق بين Google وOpenStreetMap في قسم الإبلاغ عن الأخطاء.

بيانات الأنشطة والشركاء Business Listings

أسماء المحلات وساعات عملها وأرقام هواتفها لا تأتي من الصور ولا من السيارات، وإنما من أصحاب الأنشطة أنفسهم عندما يسجلون نشاطهم، ومن الشركات التي تجمع هذه القوائم وتبيعها، ومن منصات التقييم والحجز. وهذه هي الطبقة الأصعب والأغلى في أي خريطة، وقد سميناها أصعب مشكلة في مقال بناء تطبيق الخرائط، لأن المحلات تفتح وتغلق كل يوم، ولأن الاسم الواحد يكتب بعشر طرق.

من يرسم خريطة الشارع؟

الآن بعد أن عرفنا المصادر، نسأل من يملكها ومن يدمجها. وفي الواقع هناك ثلاثة نماذج: شركات تبني خريطة مغلقة تملكها وتؤجرها، وبيانات مفتوحة يبنيها مجتمع أو تحالف شركات وينشرها لأي شخص برخصة معلنة، وجهات رسمية تبني المرجع الوطني. والصورة التالية تلخص ثماني جهات ستقابلها كمطور، ومصادر كل منها، ونوع الرخصة التي تحكم استخدامك لبياناتها:

ثماني بطاقات: Google وApple وHERE وTomTom بشريط أحمر لأنها بيانات مملوكة تستخدم بشروط الشركة، وEsri بشريط أزرق كمنصة باشتراك ArcGIS، وOpenStreetMap برخصة ODbL وOverture Maps برخصة ODbL وCDLA بحسب الطبقة بشريط أخضر، والهيئة العامة للمساحة GEOSA بشريط ذهبي كجهة رسمية، ولكل بطاقة نموذجها ومصادرها الرئيسية
ثلاثة نماذج: خريطة مملوكة، وبيانات مفتوحة، ومرجع رسمي

Google

خرائط Google هي المثال الأشهر على الخريطة المملوكة، فالشركة تجمع كل المصادر السابقة بنفسها: سيارات Street View والصور الجوية والفضائية، وأكثر من 1,000 مصدر خارجي، وملايين المستخدمين الذين يضيفون المحلات والتقييمات ويقترحون التصحيحات. وفي مقال كيف نرسم خريطة العالم المنشور في يوليو 2019 تقول الشركة إن سيارات Street View وأجهزة Trekker التي يحملها الأشخاص جمعت أكثر من 170 مليار صورة في 87 دولة حتى ذلك الوقت، وإن الفريق يراجع اقتراحات المستخدمين ولا ينشرها إلا عندما تكون لديه درجة ثقة عالية بأنها تطابق الواقع.

ولكنك كمطور لا تأخذ هذه البيانات، وإنما تستأجر عرضها عبر Google Maps Platform بشروط واضحة، وهذه الشروط هي ما يجب أن تقرأه قبل أن تختارها، وسوف نعود إليها في قسم الرخص.

Apple

خرائط Apple خريطة مملوكة أيضاً، والشركة تجمع جزءاً كبيراً من بياناتها بنفسها بالمسح الأرضي، كما في صفحة جمع الصور التي تذكر أن المعدات قد تركب على السيارة من الخارج، أو قد تستخدم أجهزة iPhone وiPad داخل السيارة، وأن بعض الأماكن تمسح سيراً على الأقدام. ومن هذا المسح تأتي صور Look Around، وتذكر الصفحة نفسها أن الشركة تستخدم الصور بعد طمس الوجوه واللوحات لتطوير منتجات أخرى أيضاً، ومنها نماذج التعرف على الصور. والمستخدم يبلغ عن الأخطاء من داخل التطبيق كما في دليل الإبلاغ عن مشكلة.

HERE

HERE اسم لا يعرفه أغلب المستخدمين، ولكن خرائطه موجودة في شاشات سيارات كثيرة، لأن نموذج عمله هو بيع بيانات الخرائط وخدماتها للشركات بدلاً من تطبيق للجمهور. وقد كانت HERE جزءاً من Nokia، ثم أعلنت Nokia في 4 ديسمبر 2015 إتمام بيعها لتحالف من Audi وBMW Group وDaimler، أي أن ثلاث شركات سيارات اشترت خريطة لتضمن أن السيارة تعرف الطريق دون أن تعتمد على شركة إعلانات. وتعرض HERE منتجاتها من البيانات في صفحة بيانات الخرائط، والترخيص فيها تجاري بعقد.

TomTom

TomTom شركة هولندية بدأت بأجهزة الملاحة، وصارت تبيع بيانات الخرائط للسيارات والشركات. والمثير في قصتها أنها غيرت طريقة بناء خريطتها، ففي بيان 9 يناير 2024 أعلنت خريطة Orbis Maps التي تجمع بين البيانات المفتوحة والبيانات المملوكة، وتصف OpenStreetMap بأنها مصدر رئيسي Super Source، وتقول إن الخريطة تغطي 86 مليون كيلومتر من شبكات النقل. وقبل ذلك كانت TomTom من الشركات المؤسسة لـ Overture Maps. وهذا تحول مهم في الصناعة، فشركة بنت خريطتها بنفسها عقوداً قررت أن تبني فوق قاعدة مفتوحة، وأن تبيع ما تضيفه فوقها.

Esri

Esri هي الشركة التي تقف خلف برنامج ArcGIS، أشهر منصة نظم معلومات جغرافية GIS في الجهات الحكومية والبلديات والشركات الهندسية. وهي لا تنافس على تطبيق الهاتف، ولكنها تنشر خرائط أساس Basemaps لعملائها، وتجمع بيانات من الجهات المشتركة في برنامج Community Maps، حيث ترفع البلديات والجامعات والجهات بياناتها لتظهر في خريطة الأساس. وبعض هذه البيانات يصل إلى Overture، فصفحة النسبة في توثيق Overture تذكر «Esri Community Maps contributors» برخصة CC BY 4.0 بين مصادر المباني والحدود الإدارية.

OpenStreetMap

OpenStreetMap قاعدة بيانات مفتوحة يحررها متطوعون، وأي شخص يستطيع أن يصحح الشارع في حيه الآن، وأي شركة تستطيع أن تبني خريطتها عليها برخصة ODbL. وقد شرحناها كاملة، بنموذج بياناتها ورخصتها وطريقة المساهمة فيها، في ما هي OpenStreetMap؟، فلن نعيد ذلك هنا. والذي يهمنا في هذا المقال أن OSM أصبحت المادة الخام لجهات كثيرة غيرها: TomTom تصفها بالمصدر الرئيسي، وOverture تبني عليها طبقة الطرق وجزءاً من المباني، وخدمات خرائط كثيرة ترسم منها مربعاتها.

Overture Maps

Overture Maps Foundation مشروع أعلنته Linux Foundation في ديسمبر 2022، وأسسته Amazon Web Services وMeta وMicrosoft وTomTom، والهدف المعلن بيانات خرائط مفتوحة موحدة المخطط Schema وجاهزة للاستخدام في المنتجات. وفي إعلان يوليو 2026 وصل عدد الأعضاء إلى 50 عضواً، وذكر الإعلان أن Meta وTomTom وTripadvisor وUber تساهم بإشارات تساعد في إبقاء البيانات حديثة، مثل حركة الزوار والتقييمات ونقاط الركوب والنزول وأنماط المرور.

وقد يتساءل البعض: هل جاءت Overture لتحل محل OpenStreetMap؟ والإجابة في الأسئلة الشائعة للمشروع: المشروعان مكملان لبعضهما، وOverture تستخدم بيانات OSM مع أكثر من 200 مصدر مفتوح آخر لتنتج مجموعات بيانات جديدة. فالفرق في الطريقة: OSM يحررها الناس مباشرة عنصراً عنصراً، أما Overture فلا تقبل تعديلاً من المستخدم، وإنما تأخذ مصادر كاملة وتدمجها وتنشر النتيجة كل شهر بصيغة GeoParquet على Amazon S3 وMicrosoft Azure.

والبيانات مقسمة إلى ستة مواضيع Themes كما في كتالوج الإصدارات: العناوين Addresses، والأساس Base مثل الماء والغطاء الأرضي، والمباني Buildings، والحدود الإدارية Divisions، والأماكن Places، والنقل Transportation. ولكل موضوع رخصته ومصادره كما في صفحة النسبة:

الموضوعالرخصةالمصادر الرئيسية
الأماكن PlacesCDLA Permissive 2.0 لأغلبها، وApache 2.0 لبيانات Foursquare، وCC0 لبيانات AllThePlacesMeta وMicrosoft وFoursquare وAllThePlaces وشركات قوائم الأنشطة
المباني BuildingsODbLOpenStreetMap وMicrosoft وGoogle Open Buildings وEsri Community Maps وغيرها
النقل TransportationODbLOpenStreetMap وTomTom
الحدود DivisionsODbLOpenStreetMap وgeoBoundaries وEsri Community Maps
الأساس BaseODbLOpenStreetMap وبيانات ESA WorldCover وغيرها
العناوين Addressesتختلف بحسب الدولة والمصدرجهات حكومية في دول كثيرة، وOpenAddresses

لاحظ أن رخصة الأماكن لا تشترط المشاركة بالمثل، بعكس الطرق والمباني التي تأخذ ODbL لأنها مبنية على OSM، لذلك لا تقل «استخدمنا Overture» وتكتفي، وإنما اعرف من أي طبقة أخذت، كما نبهنا في مقال البيانات السعودية.

الهيئة العامة للمساحة والمعلومات الجيومكانية GEOSA

كل الجهات السابقة ترسم خريطة، أما الهيئة العامة للمساحة والمعلومات الجيومكانية فهي التي تملك المرجع الذي تقاس عليه الخرائط في المملكة: الشبكة الجيوديسية ومحطات الرصد المستمر، والخرائط الطبوغرافية، والصور الجوية والفضائية المصححة، والمسميات الجغرافية الرسمية. وهي لا تنافس تطبيقات الخرائط، ولكن أي إحداثية دقيقة في المملكة تمر في النهاية على مرجعها، وقد شرحنا لماذا يهمك المرجع الجيوديسي في لماذا تنحرف نقطتك مئات الأمتار؟، وما تنشره الهيئة مفتوحاً وما تبيعه بترخيص في قسم الهيئة في مقال البيانات السعودية.

الدمج Conflation: عشرة مصادر ومكان واحد

لنفرض أن عندك أربعة مصادر للمطاعم في مدينتك: قائمة من شركة بيانات، وصفحات الأنشطة في منصة تواصل، وOSM، وبلاغات مستخدمي تطبيقك. فالمطعم الواحد قد يظهر أربع مرات، باسم عربي في مصدر وإنجليزي في آخر، وبدبوس على الباب في مصدر وعلى منتصف الشارع في آخر، وبرقم هاتف قديم في مصدر ثالث. والدمج Conflation هو الخطوة التي تقرر أن هذه السجلات الأربعة مكان واحد، وتختار لكل حقل القيمة الأوثق، وتعطي النتيجة معرفاً ثابتاً.

والطريقة البسيطة هي أن تقول: سجلان بالاسم نفسه وعلى بعد أقل من 50 متراً مكان واحد. ولكنها تفشل بسرعة، لأن الاسم نفسه يكتب «مسجد قباء» و«Masjid Quba» و«Mosjid Quba»، فتحتاج مقارنة نصية مرنة وترجمة حرفية Transliteration. ثم تفشل مرة أخرى لأن المسافة لا تكفي، فهناك صيدليتان من السلسلة نفسها في المركز التجاري نفسه على بعد 30 متراً، وهما مكانان مختلفان فعلاً. ثم تفشل مرة ثالثة لأن الدبوس الخاطئ قد يكون على بعد كيلومترات، كما سوف نرى بعد قليل. لذلك فإن الدمج الحقيقي عند الشركات يجمع كل هذه الإشارات: تشابه الاسم بعد التطبيع، والمسافة، والتصنيف، ورقم الهاتف والموقع الإلكتروني، ودرجة الثقة في كل مصدر، ثم نموذج يقرر، ثم مراجعة بشرية للحالات الصعبة.

والصورة التالية من مخرج حقيقي في التجربة العملية: كل سجلات الأماكن في Overture التي تحمل اسم مسجد قباء في المدينة المنورة، وبعد كل منها عن مبنى المسجد كما رسمه المتطوعون في OSM:

خريطة مبسطة فيها مبنى مسجد قباء من OSM في الأسفل، وبجانبه سجلان أخضران على بعد 57 و112 متراً، وسجل أصفر على بعد 816 متراً، وخمسة سجلات حمراء في الأعلى على بعد 2,772 إلى 3,811 متراً حول المسجد النبوي، وعلى اليمين قائمة السجلات الثمانية بأسمائها المختلفة مثل Madena Masjad Quba Mein. وMosjid Quba والمسجد القباء ودرجة الثقة لكل منها والمصدر Meta
ثمانية سجلات لمسجد واحد، خمسة منها حول المسجد النبوي على بعد قرابة ثلاثة كيلومترات

في الصورة أعلاه لاحظ التالي:

  • السجلات الثمانية كلها من مصدر واحد هو صفحات الأنشطة في Meta، أي أن المشكلة ليست بين مصدرين فقط، وإنما داخل المصدر الواحد، لأن كل من أنشأ صفحة للمسجد أنشأها بطريقته.
  • خمسة سجلات تقع حول المسجد النبوي، والتفسير المنطقي أن من أنشأ الصفحة كان هناك عندما أنشأها، فأخذ التطبيق موقع هاتفه بدل موقع المسجد. وهذا نمط تراه في كل مدينة سياحية.
  • درجة الثقة Confidence لا تكفي وحدها، فالسجل الثامن على بعد 3.8 كيلومتر ودرجته 0.82، أعلى من السجل الثاني الصحيح الذي درجته 0.78، لأن الدرجة تقيس هل المكان موجود فعلاً، لا هل الدبوس في موضعه.

ولهذا السبب بالضبط بنت Overture نظام المعرف العالمي Global Entity Reference System واختصاراً GERS. وبحسب توثيق GERS فالمعرف رقم عشوائي من 128 بت بصيغة UUID لا يحمل موقعاً ولا معنى، ويعطى لكل معلم في الخريطة المرجعية، وعندما تدخل بيانات جديدة في الإصدار التالي تطابق مع المعالم الموجودة فيبقى المعرف كما هو للمعلم نفسه، ويحصل المعلم الجديد فعلاً على معرف جديد. ومع المعرف سجل Registry يقول متى ظهر كل معرف أول مرة وآخر مرة ومتى تغير، وسجل تغييرات Changelog لكل إصدار، وملفات ربط Bridge Files تربط معرفات المصادر بمعرفات GERS. والفائدة لك كمطور أنك تستطيع أن تخزن في قاعدتك المعرف بدل نسخ البيانات، ثم تربط بياناتك بأي إصدار لاحق دون أن تعيد المطابقة بنفسك. ولاحظ أن التوثيق نفسه يذكر أن المعرفات قبل إصدار 2025-06-25.0 كانت بصيغة أخرى ولا تعمل مع البيانات الحالية، فإذا وجدت معرفاً قديماً في مشروع سابق فلا تتوقع أن تجده.

كيف تبلغ عن خطأ في الخريطة، وكيف يصلح؟

لنأخذ مثالاً عملياً: عميل اتصل بك يقول إن تطبيقك يوصل السائق إلى الباب الخلفي لمبنى الشركة، والباب مغلق. أين تصلح هذا الخطأ؟ والإجابة تعتمد على من يملك البيانات التي يعرضها تطبيقك، والصورة التالية تبين ثلاثة طرق مختلفة تماماً:

ثلاثة مسارات أفقية: Google Maps يبدأ بزر Send feedback في التطبيق ثم مراجعة الفريق التي تنشر عند ثقة عالية ثم يظهر التصحيح في خرائط Google وحدها، وOpenStreetMap يبدأ بتعديل مباشر أو ملاحظة Note من أي حساب ثم يدخل قاعدة البيانات خلال دقائق ثم يصل لكل من يستخدم البيانات عند تحديثه التالي، وOverture Maps يبدأ بالبحث عن مصدر المعلم في الحقل sources ثم إصلاحه في المصدر مثل OSM أو صاحب النشاط ثم يظهر في الإصدار الشهري التالي بالمعرف GERS نفسه
التصحيح يذهب إلى صاحب البيانات، لا إلى من يعرضها
  • خريطة مملوكة مثل Google: المستخدم يرسل اقتراحاً من زر Send feedback كما في صفحة المساعدة، والفريق يراجعه وينشره عندما يثق به، والتصحيح يبقى داخل خرائط Google وحدها. وأنت كمطور لا تستطيع أن تصلح شيئاً بنفسك، وكل ما تفعله أن تطلب من عميلك أن يقترح التصحيح وينتظر.
  • بيانات مفتوحة يحررها الناس مثل OSM: أي شخص بحساب يستطيع أن يعدل العنصر مباشرة، ومن لا يريد التعديل يضع ملاحظة Note على الخريطة كما في توثيق الملاحظات فيصلحها متطوع آخر. والتعديل يدخل قاعدة البيانات خلال دقائق، ولكنه يصل إلى تطبيقك عندما تحدث نسختك من البيانات، وإلى غيرك عندما يحدثون نسخهم.
  • بيانات مدمجة مثل Overture: لا يوجد زر تعديل، لأن Overture لا تحرر البيانات وإنما تدمج مصادر. فالطريق الصحيح أن تقرأ الحقل sources للمعلم الخاطئ، فإذا كان مصدره OSM فأصلحه في OSM، وإذا كان مصدره صفحة نشاط فالتصحيح عند صاحب الصفحة، ثم ينتقل في الإصدار الشهري التالي بالمعرف نفسه. وللأسئلة والملاحظات العامة يمكن فتح نقاش في مستودع البيانات على GitHub.

وهناك قاعدة عملية تختصر كل ذلك: لا تصلح البيانات في نسختك فقط ثم تنسى. إذا عدلت نسختك المحلية من OSM مثلاً، فسوف يرجع الخطأ عند أول تحديث، وسوف يبقى عند كل من يستخدم البيانات غيرك، لذلك أصلح في المصدر أولاً، ثم إذا احتجت تصحيحاً فورياً فضعه في طبقة منفصلة فوق البيانات تطبق بعد كل تحديث، مع تاريخ وسبب لكل تعديل.

📌
في أغسطس 2018 غير مستخدم في OSM اسم مدينة نيويورك إلى اسم مسيء، ووصل الاسم إلى تطبيقات كانت تعرض خرائط Mapbox المبنية على OSM، ومنها Snapchat، قبل أن يصلح. وقد شرحنا الحادثة وكيف يكتشف المجتمع التخريب في مقال OpenStreetMap، والدرس هنا للمطور: من يأخذ البيانات المفتوحة يحتاج فحصاً قبل النشر، لأن التعديل المفتوح يعمل في الاتجاهين.

رخصة الخريطة: لماذا تقرر شكل تطبيقك؟

قد تبدو الرخصة موضوعاً قانونياً يترك للمحامي، ولكن في الخرائط هي قرار تقني بالدرجة الأولى، لأنها تحدد ما يحق لكودك أن يخزنه، وعلى أي خريطة يرسمه، وما الذي يجب أن يظهر في زاوية الشاشة. لنأخذ مثالاً واضحاً من شروط Google Maps Platform، ففي البند 3.2.3 الخاص بإساءة استخدام الخدمات:

  • لا تستخرج البيانات No Scraping: لا يحق لك أن تحمل مسبقاً أو تفهرس أو تخزن محتوى خرائط Google خارج الخدمات، ولا أن تنسخ أسماء الأنشطة وعناوينها وتقييماتها وتحفظها.
  • لا تخزن مؤقتاً No Caching: إلا ما تسمح به الشروط الخاصة بكل خدمة صراحة.
  • لا تصنع محتوى من محتواها: ومن أمثلتها الصريحة ألا ترسم الطرق أو حدود المباني من صور الأقمار الصناعية في واجهة الخرائط، وألا تبني نماذج تضاريس من قيم الارتفاع.
  • لا تستخدمها مع خريطة أخرى No Use With Non-Google Maps: فلا تعرض بيانات الأماكن من Google على خريطة غير خريطة Google، ولا تضع صور Street View مع خريطة أخرى في الشاشة نفسها.

ماذا يعني ذلك لتطبيقك؟ إذا بنيت خدمة البحث على Places API من Google، فلن تستطيع لاحقاً أن تنقل العرض إلى خريطة مفتوحة على سيرفرك دون أن تغير مصدر البحث أيضاً، ولن تستطيع أن تبني قاعدة أماكن خاصة بك من نتائجها. أما البيانات المفتوحة فشروطها مختلفة: تأخذ البيانات كاملة، وتخزنها، وترسمها كما تريد، وفي المقابل تلتزم بالنسبة Attribution دائماً، وبالمشاركة بالمثل Share-Alike إذا كانت الرخصة ODbL وعدلت البيانات أو بنيت عليها قاعدة مشتقة واستخدمتها علناً. وقد فصلنا الخط الفاصل بين القاعدة المجمعة والقاعدة المشتقة في قسم الرخص في مقال تطبيق الخرائط، فلن نكرره هنا.

والجدول التالي يجمع أهم الأسئلة لكل نوع من المصادر:

السؤالخريطة مملوكة عبر APIOpenStreetMapأماكن Overtureطرق ومباني Overture
هل تخزن البيانات على سيرفرك؟لا، إلا ما تسمح به الشروطنعمنعمنعم
هل ترسمها على أي خريطة؟غالباً على خريطة المزود فقطنعمنعمنعم
النسبة المطلوبةشعار المزود وشروطه© OpenStreetMapاسم كل مصدر كما في صفحة النسبة© OpenStreetMap ومصادر المباني
المشاركة بالمثللا تنطبقنعم، على ما تعدله أو تشتقه وتستخدمه علناًلانعم، ODbL
التكلفةبحسب عدد الطلباتسيرفرك وفريقكسيرفرك وفريقكسيرفرك وفريقك
من يصلح الخطأ؟المزود وحدهأنت أو أي مساهمالمصدر الأصليغالباً OSM
⚠️
قرار مصدر البيانات يصعب تغييره بعد الإطلاق، لأن قاعدة بياناتك وواجهاتك وشاشات تطبيقك تبنى حوله، لذلك اتخذه في التصميم مع المستشار القانوني، واكتب في وثيقة المشروع من أين تأتي كل طبقة وبأي رخصة. وهذا تبسيط من النصوص الرسمية وليس استشارة قانونية.

التجربة العملية: Overture وOpenStreetMap في مستطيل واحد

الكلام عن المصادر والدمج يبقى نظرياً حتى ترى البيانات بعينك، لذلك سوف نأخذ مستطيل المدينة المنورة نفسه الذي استخدمناه في مقال OpenStreetMap، أي خطوط الطول من 39.50 إلى 39.75 والعرض من 24.38 إلى 24.56، ونحمل منه الأماكن والمباني والطرق من آخر إصدار لـ Overture، ثم نعد العناصر نفسها في OSM، ونقرأ من أين جاء كل معلم. وكل الأدوات في Container واحد، والبيانات تقرأ مباشرة من ملفات GeoParquet العامة على Amazon S3 دون حساب ولا مفتاح.

الأدوات

نستخدم DuckDB مع إضافة spatial لأنها تقرأ Parquet من S3 مباشرة وتفهم الأشكال الجغرافية، والأداة الرسمية overturemaps للمقارنة. ملف lab/Dockerfile:

FROM python:3.13-slim
RUN pip install --no-cache-dir duckdb==2.0.0 overturemaps==2.1.1 && \
    python -c "import duckdb; c=duckdb.connect(); [c.install_extension(e) for e in ('httpfs','spatial')]"
WORKDIR /lab
mkdir -p data
docker build -t overture-tools lab/
docker images overture-tools --format '{{.Repository}}  {{.Size}}'

والمخرج سوف يكون كما يلي:

overture-tools  816MB

لاحظ أننا ثبتنا إصدار كل مكتبة، وحملنا إضافتي httpfs وspatial أثناء البناء حتى لا يحملهما كل تشغيل. وحجم الـ Image كبير نسبياً لأن الأداة الرسمية تأتي بمكتبة pyarrow كاملة.

أي إصدار نقرأ؟

Overture تنشر إصداراً كل شهر، وكتالوج STAC العام يقول ما هو الأحدث دون أن تحمل شيئاً:

docker run --rm --name lab-overture overture-tools python -c "
import json, urllib.request
get = lambda u: json.load(urllib.request.urlopen(u))
latest = get('https://stac.overturemaps.org/catalog.json')['latest']
d = get(f'https://stac.overturemaps.org/{latest}/catalog.json')
print(latest, d['schema:version'], [l['title'] for l in d['links'] if l['rel'] == 'child'])"

والمخرج سوف يكون كما يلي:

2026-10-21.0 2.0.0 ['addresses', 'base', 'buildings', 'divisions', 'places', 'transportation']

أي أن آخر إصدار عند كتابة المقال هو 2026-10-21.0، بالمخطط Schema رقم 2.0.0، وفيه المواضيع الستة. وثبت رقم الإصدار في كودك دائماً بدل كلمة latest، لأن نتائجك يجب أن تتكرر بعد شهر عندما يصدر إصدار جديد.

قراءة المستطيل بـ DuckDB

الملف التالي يقرأ من كل موضوع المعالم التي يقع ركنها الأدنى داخل المستطيل، ويحفظها محلياً بصيغة Parquet حتى لا نحملها مرة أخرى، ثم يطبع كم بايت نزل من الشبكة فعلاً. ملف lab/overture.py:

# Count Overture features in one bbox, straight from the public GeoParquet on S3
import duckdb, time
BBOX = (39.50, 24.38, 39.75, 24.56)          # xmin, ymin, xmax, ymax (Madinah)
R = "s3://overturemaps-us-west-2/release/2026-10-21.0"
c = duckdb.connect()
c.sql("LOAD httpfs; LOAD spatial; SET s3_region='us-west-2';")
where = f"bbox.xmin BETWEEN {BBOX[0]} AND {BBOX[2]} AND bbox.ymin BETWEEN {BBOX[1]} AND {BBOX[3]}"
for name, path in (("place", "theme=places/type=place"),
                   ("building", "theme=buildings/type=building"),
                   ("segment", "theme=transportation/type=segment")):
    t = time.time()
    c.sql(f"""CREATE TABLE {name} AS SELECT * FROM read_parquet('{R}/{path}/*', hive_partitioning=1)
              WHERE {where}""")
    n = c.execute(f"SELECT count(*) FROM {name}").fetchall()[0][0]
    print(f"{name:9} {n:>8,}  ({time.time() - t:.0f} s)")
    c.sql(f"COPY {name} TO '/data/{name}.parquet' (FORMAT parquet)")
rx = sum(int(l.split()[1]) for l in open("/proc/net/dev").readlines()[2:] if not l.strip().startswith("lo:"))
print(f"downloaded by this container: {rx / 1e6:.1f} MB")
time docker run --rm --name lab-overture -v "$PWD/lab:/lab" -v "$PWD/data:/data" overture-tools python -I /lab/overture.py

وعند أول تشغيل ظهر الخطأ التالي:

Traceback (most recent call last):
  File "/lab/overture.py", line 14, in <module>
    n = c.sql(f"SELECT count(*) FROM {name}").fetchone()[0]
...
AttributeError: Relations no longer have fetchone(): a relation keeps no result between calls, so every call runs it again. Use rel.limit(1).fetchall() instead.. Did you mean: 'fetchall'?

والسبب أن DuckDB 2.0 غير طريقة عمل العلاقات Relations في Python، فالنتيجة من c.sql() لم تعد تحتفظ بالنتيجة، والرسالة نفسها تقترح البديل. لذلك نستخدم c.execute(...).fetchall() كما في الملف أعلاه، وإذا وجدت كوداً قديماً من مثال على الإنترنت يستخدم fetchone() على c.sql() فهذا سبب فشله. وبعد التصحيح، المخرج سوف يكون كما يلي:

place        5,172  (45 s)
building   109,092  (229 s)
segment     60,112  (193 s)
downloaded by this container: 852.0 MB

real	8m50.875s

في المخرج أعلاه لاحظ التالي:

  • في مستطيل واحد من مدينة سعودية 5,172 مكاناً و109,092 مبنى و60,112 مقطع طريق Segment.
  • التشغيل استغرق قرابة تسع دقائق ونزل 852 ميغابايت، أغلبها في المباني والطرق. والسبب أن DuckDB لا يعرف مسبقاً أي ملفات Parquet تغطي مستطيلك، فيقرأ ترويسة كل ملف في الموضوع ويقفز على مجموعات الصفوف Row Groups التي تقع خارج المستطيل بحسب إحصاءات العمود bbox، ثم يجلب كل أعمدة المجموعات التي تتقاطع معه.
  • الشرط على bbox.xmin وbbox.ymin يعني أن المعلم الذي يبدأ خارج المستطيل ويمتد داخله لا يدخل، وهذا مقبول للعد، ولكن إذا احتجت كل ما يلمس المستطيل فاستخدم شرط التقاطع الكامل على الأطراف الأربعة.

هل نستطيع أن نقلل التحميل باختيار أعمدة أقل؟ اختبرنا ذلك على الأماكن وحدها بالملف lab/places-only.py مرة بكل الأعمدة ومرة بخمسة أعمدة فقط:

for c in "*" "id, names, taxonomy, confidence, geometry"; do
  docker run --rm --name lab-overture -v "$PWD/lab:/lab" overture-tools python -I /lab/places-only.py "$c"
done

والمخرج سوف يكون كما يلي:

columns: *                                        rows 5,172  11 s  downloaded 43.2 MB
columns: id, names, taxonomy, confidence, geometry rows 5,172  12 s  downloaded 42.5 MB

الفرق أقل من ميغابايت واحد، وهذا يؤكد أن التكلفة الكبيرة ليست في الأعمدة، وإنما في قراءة بيانات الملفات كلها لتعرف أين بياناتك. والحل في الخطوة التالية.

الطريقة الأخف: الأداة الرسمية

الأداة الرسمية overturemaps تقرأ كتالوج STAC أولاً لتعرف أي ملفات تغطي المستطيل، ثم لا تفتح غيرها:

docker run --rm --name lab-overture -v "$PWD/data:/data" overture-tools bash -c '
  overturemaps --version
  time overturemaps download --bbox=39.50,24.38,39.75,24.56 -f geojson --type=place -o /data/places.geojson
  ls -l /data/places.geojson
  awk "NR>2 && !/lo:/ {s+=\$2} END {print s/1e6, \"MB\"}" /proc/net/dev'

والمخرج سوف يكون كما يلي (حذفنا أسطر شريط التقدم):

overturemaps, version 2.1.1
Downloading: 5172 rows [00:23, 218.29 rows/s]
State saved to /data/places.geojson.state

real	0m36.046s
-rw-r--r-- 1 root root 6447301 Nov 16 21:50 /data/places.geojson
14.2064 MB

العدد نفسه، 5,172 مكاناً، في 36 ثانية و14 ميغابايت فقط بدل 43 ميغابايت، لأن الأداة لم تفتح إلا الملفات التي يقول الكتالوج إنها تغطي المستطيل. والقاعدة العملية: للاستكشاف والتحليل السريع استخدم DuckDB، ولتحميل منطقة بانتظام في Pipeline استخدم الأداة الرسمية أو اقرأ الكتالوج بنفسك قبل أن تفتح الملفات.

من أين جاء كل معلم؟

الآن نعمل على الملفات المحلية دون شبكة، ونعد المعالم بحسب مصدرها الأول في الحقل sources، ونفحص الأسماء العربية. ملف lab/analyse.py:

# Where did each Overture feature come from? (local files from overture.py, no network)
import duckdb
c = duckdb.connect()
c.execute("LOAD spatial")
q = lambda s: c.execute(s).fetchall()
for t in ("place", "building", "segment"):
    print(f"== {t}: first source of each feature")
    for ds, lic, n in q(f"""SELECT sources[1].dataset, sources[1].license, count(*) n FROM '/data/{t}.parquet'
                           GROUP BY ALL ORDER BY n DESC"""):
        print(f"   {str(ds):28} {str(lic):24} {n:>8,}")
print("== places: names")
print(q("""SELECT count(*) total,
             count(*) FILTER (WHERE regexp_matches(names."primary", '[؀-ۿ]')) primary_arabic,
             count(*) FILTER (WHERE names.common['ar'] IS NOT NULL) common_ar,
             count(*) FILTER (WHERE confidence >= 0.77) conf_077
           FROM '/data/place.parquet'"""))
print("== places: top categories")
for r in q("""SELECT taxonomy."primary", count(*) n FROM '/data/place.parquet' GROUP BY 1 ORDER BY n DESC LIMIT 8"""):
    print("  ", r)
print("== places: confidence buckets")
for r in q("""SELECT floor(confidence * 10) / 10 b, count(*) FROM '/data/place.parquet' GROUP BY 1 ORDER BY 1"""):
    print("  ", r)
print("== segments: subtype / class")
for r in q("""SELECT subtype, class, count(*) n FROM '/data/segment.parquet' GROUP BY ALL ORDER BY n DESC LIMIT 8"""):
    print("  ", r)
print("== segments with an Arabic name:",
      q("""SELECT count(*) FROM '/data/segment.parquet' WHERE regexp_matches(names."primary", '[؀-ۿ]')"""))
docker run --rm --name lab-overture -v "$PWD/lab:/lab" -v "$PWD/data:/data" overture-tools python -I /lab/analyse.py

والمخرج سوف يكون كما يلي:

== place: first source of each feature
   meta                         CDLA-Permissive-2.0         4,339
   Microsoft                    CDLA-Permissive-2.0           373
   Foursquare                   Apache-2.0                    269
   AllThePlaces                 CC0-1.0                       127
   Uberall                      CDLA-Permissive-2.0            55
   PinMeTo                      CDLA-Permissive-2.0             6
   OpenTravel                   CDLA-Permissive-2.0             3
== building: first source of each feature
   Microsoft ML Buildings       ODbL-1.0                  106,468
   OpenStreetMap                ODbL-1.0                    2,624
== segment: first source of each feature
   OpenStreetMap                ODbL-1.0                   52,754
   TomTom                       ODbL-1.0                    7,358
== places: names
[(5172, 2899, 0, 1924)]
== places: top categories
   ('hotel', 420)
   ('muslim_place_of_worship', 235)
   ('coffee_shop', 222)
   ('restaurant', 195)
   (None, 165)
   ('fast_food_restaurant', 141)
   ('hospital', 121)
   ('pharmacy', 111)
== places: confidence buckets
   (0.0, 16)
   (0.1, 102)
   (0.2, 319)
   (0.3, 298)
   (0.4, 329)
   (0.5, 750)
   (0.6, 756)
   (0.7, 1149)
   (0.8, 983)
   (0.9, 464)
   (1.0, 6)
== segments: subtype / class
   ('road', 'residential', 36813)
   ('road', 'unknown', 7178)
   ('road', 'secondary', 5837)
   ('road', 'tertiary', 3928)
   ('road', 'service', 2711)
   ('road', 'primary', 1044)
   ('road', 'unclassified', 837)
   ('road', 'trunk', 533)
== segments with an Arabic name: [(1991,)]

في المخرج أعلاه لاحظ التالي:

  • الأماكن: 4,339 من 5,172 مصدرها صفحات الأنشطة في Meta، أي 84%، ثم Microsoft وFoursquare وAllThePlaces. وكل الرخص متساهلة، ولا يوجد بينها ODbL.
  • المباني: 106,468 من 109,092 مصدرها نموذج Microsoft الذي يرسم المباني من الصور، أي قرابة 98%، والباقي 2,624 مبنى من OSM. فطبقة المباني في هذه المدينة رسمتها الآلة لا الإنسان.
  • الطرق: 52,754 مقطعاً من OSM و7,358 من TomTom، ولاحظ أن أغلب مقاطع TomTom تصنيفها unknown، وسوف نرى السبب بعد قليل.
  • الأسماء العربية: 2,899 مكاناً اسمها الأساسي بحروف عربية، والحقل names.common['ar'] فارغ في كل الأماكن، أي أن Overture لا تضيف ترجمة عربية للاسم الإنجليزي، وما تراه بالعربية هو ما كتبه صاحب الصفحة. و1,991 مقطع طريق فقط له اسم بالعربية من 60,112.
  • الثقة: قرابة 1,064 مكاناً درجة ثقتها أقل من 0.5، والدرجة كما رأينا في قسم الدمج تقيس وجود المكان لا دقة موضعه.

معرف GERS والمصدر لكل معلم

نقرأ ثلاثة معالم حقيقية بمعرفاتها ومصادرها: مكان من Meta، ومبنى المسجد النبوي من OSM، ومقطع طريق من TomTom. ملف lab/record.py:

# Provenance: the GERS id and the sources field of three real features (local files, no network)
import duckdb, json
c = duckdb.connect(); c.execute("LOAD spatial; SET geometry_always_xy = true")
def show(title, sql):
    cur = c.execute(sql); cols = [d[0] for d in cur.description]
    print(f"== {title}")
    for r in cur.fetchall(): print(json.dumps(dict(zip(cols, r)), ensure_ascii=False, default=str))
show("place", """SELECT id, names."primary" AS name, taxonomy."primary" AS category, round(confidence, 2) AS confidence,
                 [s.dataset || ' ' || coalesce(s.record_id, '-') || ' ' || s.update_time[:10] FOR s IN sources] AS sources
                 FROM '/data/place.parquet' WHERE names."primary" = 'وكالة الرئاسة العامة لشئون المسجد النبوي'""")
show("building", """SELECT id, names."primary" AS name, sources[1].dataset AS dataset, sources[1].record_id AS record_id,
                    sources[1].update_time AS edited FROM '/data/building.parquet' WHERE sources[1].record_id LIKE 'w461699097@%'""")
show("segment from TomTom", """SELECT id, class, sources[1].dataset AS dataset, sources[1].version AS version,
                    round(ST_Length_Spheroid(geometry)) AS meters FROM '/data/segment.parquet' WHERE sources[1].dataset = 'TomTom' LIMIT 1""")
show("TomTom segments", """SELECT count(*) AS total, count(names) AS named FROM '/data/segment.parquet' WHERE sources[1].dataset = 'TomTom'""")
docker run --rm --name lab-overture -v "$PWD/lab:/lab" -v "$PWD/data:/data" overture-tools python -I /lab/record.py

والمخرج سوف يكون كما يلي:

== place
{"id": "e50688f1-0b96-4056-b7b7-93b7de0692a0", "name": "وكالة الرئاسة العامة لشئون المسجد النبوي", "category": "government_office", "confidence": 0.94, "sources": ["meta 753314241669418 2026-10-12", "Overture - 2026-10-15"]}
== building
{"id": "6ec01b87-f954-4d6c-b2f4-4bcfad509733", "name": "المسجد النبوي", "dataset": "OpenStreetMap", "record_id": "w461699097@41", "edited": "2025-10-31T11:56:14.000Z"}
== segment from TomTom
{"id": "17872ebd-8a56-4209-beae-8981b09c123c", "class": "unknown", "dataset": "TomTom", "version": "2641", "meters": 38.0}
== TomTom segments
{"total": 7358, "named": 0}

في المخرج أعلاه لاحظ التالي:

  • المعرف id في كل سطر UUID عشوائي، وهو معرف GERS الذي تخزنه في قاعدتك إذا أردت أن تربط بياناتك بهذا المعلم.
  • المكان له مصدران: الأول من Meta برقم الصفحة الأصلية وتاريخ تحديثها، والثاني من Overture نفسها ومعناه أن درجة الثقة حسبتها Overture في 15 أكتوبر. فالحقل sources يقول لك من أين جاء كل جزء من المعلم، لا المعلم كله فقط.
  • مبنى المسجد النبوي مصدره OSM، والقيمة w461699097@41 تعني الطريق Way رقم 461699097 في إصداره 41، وهو العنصر نفسه الذي قرأنا تاريخه في مقال OpenStreetMap. فإذا وجدت خطأ في هذا المبنى في Overture فأنت تعرف بالضبط أي عنصر تصلحه في OSM.
  • مقاطع TomTom بلا رقم سجل وبلا اسم، وكلها 7,358 بلا اسم، وتصنيف أغلبها unknown. والبيانات نفسها لا تقول لماذا أضيفت، ولكن ما نراه أنها تكمل شكل الشبكة دون اسم ولا تصنيف، فهي تفيد رسم الخريطة وربما حساب المسار، ولكنها لا تساعد البحث عن العناوين.

مكان واحد وسجلات كثيرة

الملف lab/quba.py يأخذ مبنى مسجد قباء من طبقة المباني، ثم يبحث في الأماكن عن كل سجل اسمه يحمل قباء ومسجد بالعربية أو الإنجليزية، ويحسب بعده عن المبنى:

# One mosque, many records: every Overture place that names Quba Mosque, and its distance from the building
import duckdb
c = duckdb.connect(); c.execute("LOAD spatial; SET geometry_always_xy = true")
b = c.execute("""SELECT names."primary", sources[1].dataset, sources[1].record_id, ST_AsText(ST_Centroid(geometry))
                 FROM '/data/building.parquet' WHERE names."primary" LIKE '%مسجد قباء%'""").fetchall()
print("building:", b)
rows = c.execute("""
  WITH m AS (SELECT ST_Centroid(geometry) g FROM '/data/building.parquet' WHERE names."primary" LIKE '%مسجد قباء%' LIMIT 1)
  SELECT names."primary", taxonomy."primary", round(confidence, 2), sources[1].dataset,
         round(ST_Distance_Sphere(p.geometry, m.g)) AS meters, round(ST_X(p.geometry), 5), round(ST_Y(p.geometry), 5)
  FROM '/data/place.parquet' p, m
  WHERE (names."primary" ILIKE '%quba%' OR names."primary" LIKE '%قباء%')
    AND (names."primary" ILIKE '%masj%' OR names."primary" ILIKE '%mosj%' OR names."primary" LIKE '%مسجد%')
  ORDER BY meters""").fetchall()
for r in rows: print(f"{r[4]:>7,.0f} m  conf {r[2]:.2f}  {r[3]:10} {str(r[1]):24} {r[0]}  ({r[5]}, {r[6]})")

وعند التشغيل الأول فشل الاستعلام برسالة No function matches the given name and argument types 'ST_Distance_Spheroid(GEOMETRY('OGC:CRS84'), ...)'، لأن هذه الدالة في DuckDB تقبل النوع POINT_2D فقط، فاستبدلناها بالدالة ST_Distance_Sphere التي تقبل الأشكال العامة، والفرق في الدقة بين الكرة والإهليلج Ellipsoid لا يهم في مسافات من هذا الحجم. والمخرج بعد ذلك سوف يكون كما يلي:

building: [('مسجد قباء', 'OpenStreetMap', 'r18051738@3', 'POINT (39.617257473402525 24.43935036531662)')]
     57 m  conf 0.89  meta       muslim_place_of_worship  Madena Masjad Quba Mein.  (39.61779, 24.43917)
    112 m  conf 0.78  meta       religious_organization   Masjid Quba  (39.61677, 24.44026)
    816 m  conf 0.77  meta       muslim_place_of_worship  Quba Masjid  (39.61395, 24.44605)
  2,772 m  conf 0.75  meta       muslim_place_of_worship  Masjid Quba, Madinah, Saudi Arabia  (39.6076, 24.46268)
  3,157 m  conf 0.80  meta       muslim_place_of_worship  Mosjid Quba  (39.61651, 24.46774)
  3,366 m  conf 0.71  meta       muslim_place_of_worship  مسجدالقباء - Masjid Alquba  (39.62445, 24.46891)
  3,664 m  conf 0.71  meta       muslim_place_of_worship  المسجد القباء  (39.60818, 24.47125)
  3,811 m  conf 0.82  meta       muslim_place_of_worship  Masjid Quba Medina El Munawara  (39.61038, 24.47304)

وهذا هو المخرج الذي رسمنا منه صورة قسم الدمج. والرقم r18051738@3 يعني أن مبنى مسجد قباء في OSM علاقة Relation في إصدارها الثالث وليس طريقاً Way، وهذا ما يحدث عندما يرسم المبنى مضلعاً متعدداً Multipolygon.

المستطيل نفسه في OpenStreetMap

نعد العناصر نفسها في OSM عبر Overpass API بطلب عد فقط، فلا تحمل البيانات نفسها. ملف lab/osm.py:

# The same box in OpenStreetMap, counted by Overpass API
import json, time, urllib.request, urllib.parse, urllib.error
B = "24.38,39.50,24.56,39.75"            # Overpass order: south, west, north, east
QUERIES = {
    "buildings":       f'nwr["building"]({B});',
    "roads":           f'way["highway"]({B});',
    "places (named)":  f'nwr["name"]["amenity"]({B}); nwr["name"]["shop"]({B}); nwr["name"]["tourism"]({B}); nwr["name"]["office"]({B}); nwr["name"]["healthcare"]({B}); nwr["name"]["leisure"]({B});',
    "  with name:ar":  f'nwr["name:ar"]["amenity"]({B}); nwr["name:ar"]["shop"]({B}); nwr["name:ar"]["tourism"]({B}); nwr["name:ar"]["office"]({B}); nwr["name:ar"]["healthcare"]({B}); nwr["name:ar"]["leisure"]({B});',
}
def ask(q):
    data = urllib.parse.urlencode({"data": f"[out:json][timeout:120];({q});out count;"}).encode()
    req = urllib.request.Request("https://overpass-api.de/api/interpreter", data, {"User-Agent": "lab-script/1.0"})
    for attempt in range(3):          # the public server answers 429/502/504 when it is busy
        try:
            return json.load(urllib.request.urlopen(req, timeout=180))
        except urllib.error.HTTPError as e:
            print(f"  HTTP {e.code}, waiting 30 s"); time.sleep(30)
    raise SystemExit("Overpass is busy, try later")
for name, q in QUERIES.items():
    r = ask(q)
    print(f"{name:15} {int(r['elements'][0]['tags']['total']):>8,}   data as of {r['osm3s']['timestamp_osm_base']}")
docker run --rm --name lab-overture -v "$PWD/lab:/lab" overture-tools python -I /lab/osm.py

والمخرج سوف يكون كما يلي:

buildings          2,664   data as of 2026-11-16T21:37:51Z
  HTTP 502, waiting 30 s
roads             22,502   data as of 2026-11-16T21:38:42Z
places (named)     1,830   data as of 2026-11-16T21:40:50Z
  with name:ar       553   data as of 2026-11-16T21:40:50Z

لاحظ السطر HTTP 502: سيرفر Overpass العام مشترك بين آلاف المستخدمين، وفي التشغيل الأول بدون إعادة محاولة نجحت ثلاثة طلبات ثم فشل الرابع بخطأ HTTP Error 502: Bad Gateway وتوقف الملف كله، لذلك أضفنا إعادة المحاولة بعد 30 ثانية. وإذا كنت تستعلم كثيراً فلا تضغط على السيرفر العام، وشغل نسخة Overpass خاصة بك، أو اعمل على ملف مقتطف Extract محلي كما في مقال OSM.

المقارنة

والصورة التالية تجمع الأرقام كلها، والشريط العلوي في كل صف ملون بمصدر كل معلم في Overture:

ثلاثة صفوف من الأشرطة: الأماكن 5,172 في Overture أغلبها من Meta مقابل 1,830 مكاناً له اسم في OSM، والمباني 109,092 في Overture أغلبها من Microsoft ML Buildings مقابل 2,664 في OSM، والطرق 60,112 مقطعاً في Overture من OSM وTomTom مقابل 22,502 طريقاً highway في OSM
Overture أكبر في كل طبقة، والفرق يأتي من المصادر الآلية والتجارية
الطبقةOverture 2026-10-21.0OpenStreetMap 2026-11-16من أين جاء الفرق؟
الأماكن5,172، منها 2,899 باسم عربي1,830 مكاناً له اسم، منها 553 عليها name:arصفحات الأنشطة في Meta، وفيها التكرار والدبابيس الخاطئة
المباني109,0922,664نموذج Microsoft الذي يرسم المباني من الصور
الطرق60,112 مقطعاً22,502 طريقاًOverture تقسم الطريق عند التقاطعات، و7,358 مقطعاً من TomTom

وقد يتساءل البعض: إذن Overture أفضل من OSM في كل شيء؟ والإجابة لا، فالأرقام تقيس الكمية لا الجودة. المباني في Overture أكثر بأربعين ضعفاً، ولكنها حدود رسمتها الآلة بلا اسم ولا عدد طوابق في أغلبها، والأماكن أكثر بثلاثة أضعاف، ولكن رأينا مسجداً واحداً بثمانية سجلات. أما OSM فأقل عدداً، ولكن كل عنصر فيه أضافه شخص قصد ما يكتبه، ويمكنك أن تعرف من أضافه ومتى. والقرار الصحيح يعتمد على حاجتك، وهذا ما في جدول القرار أدناه.

ماذا يحدث إذا نسيت ترتيب المحاور؟

جرب أن تحسب طول مقطع طريق بالدالة ST_Length_Spheroid دون السطر SET geometry_always_xy = true في record.py، وسوف تحصل على الخطأ التالي:

_duckdb.Error: The 'ST_Length_Spheroid' function is sensitive to the coordinate axis order of the input geometry.
Unless 'geometry_always_xy' is enabled, all input geometries are assumed to be in [LATITUDE, LONGITUDE] axis order.
In DuckDB v2.0, the 'geometry_always_xy' setting must be set explicitly to use this functionality.
In DuckDB v2.1, 'geometry_always_xy = true' will become the default.

والرسالة تشرح مشكلة قديمة في الأنظمة الجغرافية: هل الإحداثية خط الطول أولاً أم خط العرض؟ وقد شرحنا ترتيب المحاور في مقال المرجع الجيوديسي. وDuckDB 2.0 يرفض الحساب بدل أن يعطيك رقماً خاطئاً بصمت، وهذا أفضل بكثير من الإصدارات السابقة التي كانت تحسب على ترتيب العرض ثم الطول وتعطيك طولاً خاطئاً إذا كانت بياناتك بالترتيب المعاكس.

تنظيف التجربة

docker image rm overture-tools
rm -rf data

والملفات في data قرابة 31 ميغابايت للمستطيل كله، فإذا أردت أن تكمل التحليل في QGIS فاحتفظ بها، فهو يفتح ملفات Parquet مباشرة.

أخطاء شائعة

  • أن تعتبر الخريطة الأكثر عناصر هي الأدق: الكمية قد تأتي من تكرار أو من رسم آلي، فافحص عينة على الأرض أو على الصور قبل أن تحكم.
  • أن تخلط الطبقات دون أن تعرف رخصة كل منها: أماكن Overture برخصة متساهلة، وطرقها ومبانيها ODbL، وإذا خلطت مبانيها مع مبانيك في طبقة واحدة ونشرتها فقد تنطبق المشاركة بالمثل.
  • أن تأخذ بيانات من API مملوك وتخزنها: شروط Google Maps Platform تمنع ذلك صراحة إلا فيما تسمح به كل خدمة، ونسخ نتائج البحث إلى قاعدتك مخالفة حتى لو كانت تقنياً سهلة.
  • أن تصلح الخطأ في نسختك فقط: يرجع مع أول تحديث، فأصلح في المصدر، وضع التصحيح العاجل في طبقة منفصلة تطبق بعد كل تحديث.
  • أن تعتمد على درجة الثقة وحدها: رأينا سجلاً بدرجة 0.82 على بعد 3.8 كيلومتر من المكان الصحيح.
  • أن تنسى النسبة: كل مصدر يطلب نصاً معيناً في زاوية الخريطة أو في صفحة حول التطبيق، واجمعها من صفحة النسبة في كل مصدر قبل الإطلاق.
  • أن تقرأ latest بدل رقم الإصدار: نتائجك سوف تتغير الشهر القادم دون أن تعرف لماذا.

أي مصدر تستخدم لأي حاجة؟

حاجتكالمصدر الأنسبوالسبب
خريطة في صفحة الفروع دون فريق خرائطخريطة مملوكة عبر API، أو مربعات OSM على سيرفركالأسرع في البداية، أو الأرخص على المدى الطويل كما في مقال الخرائط على سيرفرك
خريطة أساس على سيرفركOpenStreetMapبيانات كاملة يحررها الناس، ورخصة تسمح بالرسم والتخزين مع النسبة
قاعدة أماكن لتطبيق بحث أو توصيلأماكن Overture مع تنظيف ودمج من فريقكتغطية أكبر من OSM ورخصة لا تشترط المشاركة بالمثل، ولكنها تحتاج إزالة التكرار
حدود المباني لتحليل أو تقدير سكانيمباني Overtureتغطية شبه كاملة من النماذج الآلية، مع ODbL والنسبة
شبكة طرق لحساب المساراتOpenStreetMapأسماء الطرق واتجاهاتها وقيودها، وهي ما يحتاجه محرك المسارات
المرجع الرسمي للإحداثيات والحدود في المملكةالهيئة العامة للمساحةالمصدر الرسمي، وبعضه مفتوح وبعضه بترخيص
خريطة لسيارة أو منتج يحتاج عقداً وضماناًHERE أو TomTomبيانات تجارية بعقد واتفاقية مستوى خدمة SLA ودعم

قائمة تحقق قبل أن تختار مصدر خريطة

  • كتبت لكل طبقة في تطبيقك مصدرها ورقم إصدارها أو تاريخها ورخصتها.
  • قرأت الشروط فيما يخص التخزين والعرض على خرائط أخرى، لا الأسعار فقط.
  • جمعت نصوص النسبة لكل مصدر، وتأكدت أنها تظهر في الخريطة أو في صفحة حول التطبيق.
  • فحصت عينة من البيانات في مدينتك على الأرض أو على الصور، ولم تكتف بالأعداد.
  • عندك خطة لإزالة التكرار في الأماكن، وقاعدة مسافة واسم لا تعتمد على درجة الثقة وحدها.
  • تعرف أين يذهب بلاغ العميل عن خطأ: إلى المزود، أو إلى OSM، أو إلى طبقة التصحيحات عندك.
  • تخزن المعرف الثابت للمعلم، مثل GERS أو رقم عنصر OSM، بجانب بياناتك حتى تربطها بالتحديثات.

تدريب عملي

  • غير المستطيل في overture.py إلى حي تعرفه جيداً، وقارن عدد الأماكن في Overture وOSM، ثم اختر خمسة أماكن تعرفها وتأكد هل موقعها صحيح في كل مصدر.
  • عدل quba.py ليبحث عن معلم معروف في مدينتك، وعد السجلات المكررة ومسافاتها، ثم فكر في قاعدة دمج تجمعها دون أن تجمع صيدليتين مختلفتين.
  • افتح ملف building.parquet في QGIS وضع فوقه صور الأقمار الصناعية، وانظر أين أخطأ النموذج الآلي في رسم المباني.

الخلاصة

وصلنا لنهاية الموضوع، وأهم ما فيه:

  • كل خريطة قاعدة بيانات من ستة أنواع من المصادر على الأقل، والدمج هو ما يصنع منها خريطة واحدة، والخلاف بين التطبيقات خلاف بين قواعد بيانات.
  • هناك ثلاثة نماذج: خريطة مملوكة تستأجر عرضها مثل Google وApple وHERE وTomTom، وبيانات مفتوحة مثل OpenStreetMap وOverture، ومرجع رسمي مثل الهيئة العامة للمساحة.
  • Overture تدمج OSM مع أكثر من 200 مصدر، ولا تقبل تعديلاً مباشراً، وتعطي كل معلم معرف GERS ثابتاً، ورخصة كل طبقة فيها مختلفة.
  • في المدينة المنورة كانت Overture أكبر في كل طبقة: 5,172 مكاناً مقابل 1,830، و109,092 مبنى مقابل 2,664، والفرق من صفحات Meta ونموذج Microsoft للمباني ومقاطع TomTom.
  • الكمية ليست الجودة: مسجد واحد ظهر بثمانية سجلات خمسة منها على بعد قرابة ثلاثة كيلومترات، ودرجة الثقة لم تكشف ذلك.
  • الخطأ يصلح عند صاحب البيانات، والرخصة تقرر ما يحق لتطبيقك أن يخزنه ويرسمه، فقررها قبل كتابة الكود.

والخطوة التالية في هذه المرحلة أن نرى مصدراً من المصادر الستة عن قرب: صور الأقمار الصناعية المجانية وكيف تقرأها بنفسك، ثم ننتقل إلى عرض البيانات في خريطة تفاعلية على موقعك.

دليلما هي OpenStreetMap؟ البيانات والرخصة والمساهمةكيف تبنى أكبر قاعدة بيانات جغرافية مفتوحة من نقاط وطرق ووسوم، وما الذي تلزمك به رخصتها، وكيف تفحص جودتها في مدينتك قبل أن تبني عليها.دليلسيارات مسح الخرائط: ماذا تجمع وأي عتاد تحمل؟ما الذي تسجله السيارات التي تجوب الشوارع بالكاميرات والليزر، وكيف تتحول صورها وقياساتها إلى عناوين وخرائط على هاتفك.دليلصور الأقمار الصناعية: Sentinel-2 وLandsat مجاناًكيف يرى القمر الصناعي الأرض، وما الذي تعنيه الحزم والدقة والغيوم، وكيف تقرأ مستطيلك من صور Sentinel-2 المجانية وتحسب منها NDVI بنفسك.دليلكيف تعرف الخرائط الزحام وسرعة الطريق؟كيف تتحول نقاط GPS من الهواتف إلى سرعة لكل شارع وزمن وصول أدق، وما الذي يحمي خصوصية أصحابها.دليلالبيانات الجغرافية المفتوحة Open Data في السعوديةأين تجد البيانات الجغرافية عن المملكة، وما الذي يمكن تحميله فعلاً من كل مصدر وبأي رخصة، وكيف تفحص الملف الرسمي قبل أن تبني عليه.دليلأول خريطة تفاعلية في موقعك مع MapLibre GL JSخريطة تفاعلية في صفحتك خطوة بخطوة بمكتبة MapLibre: طبقات وعلامات ونوافذ وأسماء عربية وتجميع لآلاف الأماكن، مع الأعطال التي ستقابلها وحلها.دليلكيف تبني تطبيق خرائط وملاحة مثل هدهد وGoogle Maps؟ما الذي يقف خلف كل ميزة في تطبيقات الخرائط، وكيف تبني نسخة أولى منها بأدوات مفتوحة المصدر وبيانات مرخصة بشكل صحيح.

سجل التحديثات

  • 17 نوفمبر 2026: كتابة المقال، وتنفيذ التجربة على إصدار Overture 2026-10-21.0 (المخطط 2.0.0) بأداة DuckDB 2.0.0 وأداة overturemaps 2.1.1 على python:3.13-slim، ومقارنة OSM عبر Overpass API ببيانات 2026-11-16، مع Docker Engine 29.8.0 على Windows 11.
نشرة عرب رووت | ArabRoot

معرفة تستحق مكاناً في بريدك.

مقالات مختارة وأدوات مفيدة وأفكار لمشروعك القادم، في رسالة واحدة كل أسبوع.

يمكنك إلغاء الاشتراك متى شئت. الخصوصية

تم استلام طلبك. افتح بريدك واضغط رابط التأكيد لإتمام الاشتراك.