> ## Content Index
> Fetch the complete content index at: https://arabroot.io/llms.txt
> Use this file to discover other available public pages before exploring further.

# الحصاد OAI-PMH: كيف تجمع البوابات سجلات المستودعات
- URL: https://arabroot.io/articles/الحصاد-oai-pmh-كيف-تجمع-البوابات-سجلات-المستودعات/
- Published: 2026-11-18T10:01:11.000Z
- Updated: 2026-11-18T11:02:55.000Z
- Description: كيف تحصد البوابات تسجيلات المستودعات بالبروتوكول OAI-PMH، مع حاصد صغير جربناه على مستودعين عربيين حقيقيين وما وجدناه فيهما من أخطاء في التواريخ واللغة والحذف.
- Author: فريق عرب رووت
- Tags: الأدلة التقنية, المكتبات ونظم المعلومات, تطبيقات لفريقك, الاستضافة الذاتية, DSpace

إذا كنت في مكتبة جامعة وطلبت منك العمادة أن تظهر رسائل الماجستير والدكتوراه في بوابة وطنية أو في محرك بحث أكاديمي عالمي، أو كنت في الطرف الآخر وطلب منك أن تبني بوابة واحدة تجمع رسائل عدة جامعات، فسوف تسمع الاسم نفسه في الحالتين: OAI-PMH. والفكرة تبدو بسيطة، فالبوابة تطلب من كل مستودع تسجيلاته ثم تبحث فيها، ولكن ما يحدث في الواقع أن البوابة تعرض تسجيلات حذفت من المستودع قبل سنة، أو لا تجد رسائل أضيفت الأسبوع الماضي، أو تعرض اسم الباحث بثلاثة أشكال، أو تتوقف عن الحصاد من مستودع كامل دون أن يلاحظ أحد. وكل هذه المشكلات لها سبب محدد في البروتوكول نفسه أو في طريقة إعداده، وهذا ما سوف نراه على مستودعات عربية حقيقية.

وقد مررنا على البروتوكول باختصار في [دليل مستودع الجامعة مع DSpace](https://arabroot.io/articles/%D8%AA%D8%AB%D8%A8%D9%8A%D8%AA-%D8%A7%D9%84%D9%85%D8%B3%D8%AA%D9%88%D8%AF%D8%B9-%D8%A7%D9%84%D8%B9%D9%84%D9%85%D9%8A-%D9%84%D9%84%D8%AC%D8%A7%D9%85%D8%B9%D8%A9-%D9%85%D8%B9-dspace/)، ورأينا هناك كيف يملأ DSpace فهرس OAI الخاص به، وفي خريطة أنظمة المكتبة أرسلنا الأفعال الأساسية إلى نسخة DSpace التجريبية. أما هذا المقال فهو عن الحصاد نفسه من الطرفين: ما الذي يطلبه الحاصد، وما الذي يجب أن يرد به المستودع، وأين تضيع التسجيلات.

وفي هذا المقال سوف نناقش:

- لماذا تجمع البوابات نسخة من السجلات بالحصاد Harvesting بدلاً من أن تبحث في كل مستودع لحظة السؤال.
- الأفعال الستة في البروتوكول، والمعرف والتاريخ والمجموعات والصيغ، وكيف تعمل الصفحات بالرمز resumptionToken.
- مختبر عملي: حاصد صغير بلغة Python يحصد مستودع جامعة قطر QSpace ومستودع جامعة قاصدي مرباح ورقلة، حصاداً كاملاً ثم تزايدياً، ويلتقط التسجيلات المحذوفة.
- الأخطاء التي يعيدها البروتوكول، وما وجدناه من مشكلات حقيقية في ثلاثة مستودعات، منها تاريخ مكتوب بصيغة خاطئة يجعل المستودع يعيد كل شيء.
- تقرير جودة نحسبه بأنفسنا على 856 تسجيلة: رموز اللغة، والتواريخ، والأسماء، والتكرار، وما يضيع عند التحويل إلى Dublin Core.
- قائمة تحقق لمن يدير المستودع، وأخرى لمن يبني الحاصد.

وهذا المقال ضمن مرحلة «المستودعات والأرشيف الرقمي»:

[![](https://arabroot.io/content/images/2026/11/library-systems-map-cover-cover.webp)دليلخريطة أنظمة المكتبة: ILS والمستودع وبوابة البحثما الأنظمة التي تتكون منها المكتبة الحديثة وكيف تتكلم مع بعضها، مع مختبر ينسخ تسجيلة كتاب من مكتبة الكونغرس عبر Z39.50 ويحصد مستودعاً عبر OAI-PMH.](https://arabroot.io/articles/%D8%AE%D8%B1%D9%8A%D8%B7%D8%A9-%D8%A7%D9%86%D8%B8%D9%85%D8%A9-%D8%A7%D9%84%D9%85%D9%83%D8%AA%D8%A8%D8%A9-ils-%D9%88%D8%A7%D9%84%D9%85%D8%B3%D8%AA%D9%88%D8%AF%D8%B9-%D9%88%D8%A8%D9%88%D8%A7%D8%A8%D8%A9-%D8%A7%D9%84%D8%A8%D8%AD%D8%AB/)[![](https://arabroot.io/content/images/2026/11/dspace-cover-cover.webp)دليلمستودع الجامعة Institutional Repository مع DSpaceكيف تشغل DSpace لأرشفة رسائل الطلاب وأبحاث الجامعة، من الإيداع ومراجعته حتى الحصاد عبر OAI-PMH، وما يحتاج تعريباً قبل الإطلاق.](https://arabroot.io/articles/%D8%AA%D8%AB%D8%A8%D9%8A%D8%AA-%D8%A7%D9%84%D9%85%D8%B3%D8%AA%D9%88%D8%AF%D8%B9-%D8%A7%D9%84%D8%B9%D9%84%D9%85%D9%8A-%D9%84%D9%84%D8%AC%D8%A7%D9%85%D8%B9%D8%A9-%D9%85%D8%B9-dspace/)[![](https://arabroot.io/content/images/2026/11/vufind-discovery-cover-cover.webp)دليلواجهة البحث Discovery مع VuFind فوق Kohaكيف تضع VuFind فوق Koha والمستودع الرقمي ليبحث القارئ في مربع واحد، مع حالة الكتاب من Koha مباشرة وبحث عربي يجد العنوان المكتوب في الحقل 880.](https://arabroot.io/articles/%D9%88%D8%A7%D8%AC%D9%87%D8%A9-%D8%A7%D9%84%D8%A8%D8%AD%D8%AB-discovery-%D9%85%D8%B9-vufind-%D9%81%D9%88%D9%82-koha/)[![](https://arabroot.io/content/images/2026/11/atom-archives-cover-cover.webp)دليلالأرشيف والوثائق بمعيار ISAD(G) مع AtoM وArchivesSpaceكيف تصف وثائق مؤسستك بمعيار ISAD(G) في AtoM بالعربية، مع مقارنة بـ ArchivesSpace ومختبر كشف ثلاث مشكلات في الاستيراد والبحث العربي وحلولها.](https://arabroot.io/articles/%D8%A7%D9%84%D8%A7%D8%B1%D8%B4%D9%8A%D9%81-%D9%88%D8%A7%D9%84%D9%88%D8%AB%D8%A7%D8%A6%D9%82-%D9%85%D8%B9-atom-%D9%88-archivesspace/)

## لماذا الحصاد Harvesting وليس البحث في كل مستودع؟

لنفرض أن لديك عشرين جامعة، ولكل منها مستودع، وتريد مربع بحث واحداً للباحث. هناك طريقتان. الأولى البحث الموزع Federated Search، أي أن البوابة تأخذ كلمة البحث وترسلها إلى المستودعات العشرين في اللحظة نفسها، وتنتظر الردود، ثم تدمجها في صفحة واحدة. وهذه الطريقة تبدو مثالية لأنها تعرض أحدث البيانات دائماً، ولكنها في الواقع بطيئة بقدر أبطأ مستودع، وإذا كان أحد المستودعات متوقفاً للصيانة اختفت رسائله من النتائج، وكل مستودع يرتب النتائج بطريقته فلا يمكن ترتيبها معاً ترتيباً عادلاً، والأهم أن البحث العربي يعالج في كل مستودع بقواعد مختلفة، فالكلمة نفسها تجد في مستودع ولا تجد في آخر.

والطريقة الثانية هي الحصاد، أي أن البوابة تجمع مسبقاً نسخة من وصف كل التسجيلات في فهرس خاص بها، ثم تبحث في هذه النسخة. وبالتالي يكون البحث سريعاً لأنه محلي، ويعالج العربية بقاعدة واحدة كما شرحنا في [البحث في النصوص العربية](https://arabroot.io/articles/%D8%A7%D9%84%D8%A8%D8%AD%D8%AB-%D9%81%D9%8A-%D8%A7%D9%84%D9%86%D8%B5%D9%88%D8%B5-%D8%A7%D9%84%D8%B9%D8%B1%D8%A8%D9%8A%D8%A9-%D9%85%D8%B9-opensearch-%D9%88-meilisearch/)، ويستمر حتى لو توقف أحد المستودعات، والثمن أن النسخة المحلية متأخرة عن المستودع بقدر الفترة بين حصادين. وهذا الثمن مقبول في عالم المستودعات، فالرسالة الجامعية لا تتغير كل دقيقة، وتأخير يوم في ظهورها في البوابة لا يضر أحداً.

لذلك اتفقت المستودعات في 1999، في اجتماع في مدينة سانتا في الأمريكية، على أن تقدم كل منها سجلاتها بطريقة واحدة يفهمها أي حاصد، وصدرت النسخة 2.0 من البروتوكول في 2002، وهي [النسخة المعتمدة حتى اليوم](https://www.openarchives.org/OAI/openarchivesprotocol.html?ref=arabroot.io). واسمه بروتوكول مبادرة الأرشيف المفتوح لحصاد البيانات الوصفية Open Archives Initiative Protocol for Metadata Harvesting، ولاحظ الكلمة الأخيرة: البروتوكول ينقل الوصف Metadata، أي العنوان والمؤلف والتاريخ ورابط الملف، ولا ينقل ملفات PDF نفسها، فالقارئ الذي يجد الرسالة في البوابة يضغط الرابط فيذهب إلى المستودع الأصلي ليقرأها.

## الطرفان: مزود البيانات Data Provider ومزود الخدمة Service Provider

في البروتوكول طرفان فقط. مزود البيانات Data Provider هو المستودع الذي يملك التسجيلات ويرد على الطلبات، مثل DSpace في الجامعة، أو مجلة على [OJS](https://arabroot.io/articles/%D8%A7%D8%B5%D8%AF%D8%A7%D8%B1-%D9%85%D8%AC%D9%84%D8%A9-%D8%B9%D9%84%D9%85%D9%8A%D8%A9-%D9%85%D8%AD%D9%83%D9%85%D8%A9-%D9%85%D8%B9-open-journal-systems/)، أو فهرس المكتبة في [Koha](https://arabroot.io/articles/%D8%AA%D8%AB%D8%A8%D9%8A%D8%AA-%D9%86%D8%B8%D8%A7%D9%85-%D8%A7%D9%84%D9%85%D9%83%D8%AA%D8%A8%D8%A9-koha-%D9%84%D8%A7%D8%AF%D8%A7%D8%B1%D8%A9-%D8%A7%D9%84%D9%83%D8%AA%D8%A8-%D9%88%D8%A7%D9%84%D8%A7%D8%B9%D8%A7%D8%B1%D8%A9/). ومزود الخدمة Service Provider هو من يحصد ويقدم خدمة فوق ما حصده، مثل بوابة وطنية للرسائل، أو طبقة اكتشاف مثل VuFind، أو محرك بحث أكاديمي، والصورة التالية تبين العلاقة بينهما:

![مخطط الطرفين في OAI-PMH: على اليمين مزودو البيانات Data Providers وهم ثلاثة سيرفرات: QSpace في جامعة قطر وفيه 68798 تسجيلة، وDSpace في جامعة ورقلة وفيه 30938 تسجيلة، ومجلة OJS أو فهرس Koha على المسار oai، وتخرج منها أسهم زرقاء تحمل XML وresumptionToken إلى الوسط حيث مزود الخدمة Service Provider وهو الحاصد harvest.py الذي يرسل طلبات GET كل ليلة ويحفظ نسخة محلية في قاعدة SQLite أو Solr، ثم سهم أخضر إلى اليسار حيث البوابة أمام القارئ بمربع بحث في رسائل كل الجامعات وثلاثة مستخدمين يبحثون في النسخة المحلية وليس في المستودعات، وفي الأسفل: البروتوكول كله طلبات HTTP GET عادية والرد ملف XML والمستودع لا يعرف من يحصد منه ولا يحتاج اتفاقاً مسبقاً](https://arabroot.io/content/images/2026/11/oai-pmh-harvesting-01-roles.webp)

المستودع يرد فقط، والحاصد هو الذي يقرر متى يسأل وماذا يحفظ

في الصورة أعلاه لاحظ التالي:

- **المستودع سلبي تماماً:** لا يرسل شيئاً من نفسه، ولا يعرف من يحصد منه، وكل ما عليه أن يرد على الطلب. لذلك إذا أضفت رسالة جديدة فلن تظهر في البوابة حتى تسأل البوابة.
- **الطلب رابط عادي:** كل طلب في البروتوكول هو طلب HTTP GET مثل الذي يرسله المتصفح، والرد ملف XML. وبالتالي تستطيع أن تجرب أي مستودع من المتصفح نفسه بإضافة `?verb=Identify` إلى عنوانه.
- **لا يوجد تسجيل ولا مفتاح:** أغلب المستودعات تترك واجهة OAI مفتوحة لأي حاصد، والهدف أصلاً أن تنتشر التسجيلات، وهذا ما يجعل البروتوكول سهلاً ويجعل أخطاء الإعداد ظاهرة لكل العالم في الوقت نفسه.

## ستة أفعال Verbs فقط

البروتوكول كله ستة أوامر، تسمى في المعيار أفعالاً Verbs، وترسل في المعامل `verb`. والجدول التالي يبينها بالترتيب الذي يستخدمه أي حاصد عادة:

| الفعل               | ما الذي يعيده                                                                               | متى يستخدمه الحاصد                              |
| ------------------- | ------------------------------------------------------------------------------------------- | ----------------------------------------------- |
| Identify            | اسم المستودع، والبريد المسؤول، وأقدم تاريخ فيه، ودقة التاريخ، وطريقته في التعامل مع المحذوف | مرة واحدة عند إضافة المستودع، ثم عند كل مشكلة   |
| ListMetadataFormats | الصيغ التي يستطيع المستودع أن يرسل بها التسجيلة، مثل oai\_dc وmods وmarc                    | لاختيار أغنى صيغة يفهمها الحاصد                 |
| ListSets            | المجموعات Sets، أي أقسام المستودع التي يمكن حصاد كل منها وحده                               | عندما يريد الحاصد كلية أو نوعاً واحداً فقط      |
| ListIdentifiers     | رؤوس التسجيلات فقط: المعرف والتاريخ والمجموعات، دون الوصف                                   | للعد السريع، أو لمعرفة المحذوف دون تنزيل كل شيء |
| ListRecords         | التسجيلات كاملة، صفحة بعد صفحة                                                              | الحصاد نفسه، الكامل والتزايدي                   |
| GetRecord           | تسجيلة واحدة بمعرفها                                                                        | لإعادة جلب تسجيلة بعينها أو لفحص مشكلة          |

وفوق هذه الأفعال أربعة مفاهيم يجب أن تفهمها قبل أن تكتب أي حاصد أو تعد أي مستودع، لأن كل مشكلات الحصاد التي سوف نراها في المختبر ترجع إلى أحدها.

### المعرف Identifier والتاريخ Datestamp

كل تسجيلة في المستودع لها معرف ثابت بشكل مثل `oai:qspace.qu.edu.qa:10576/17724`، والجزء الأوسط اسم المستودع، والأخير رقم المادة. وهذا المعرف هو ما يحفظه الحاصد ليعرف أن التسجيلة التي وصلت اليوم هي نفسها التي وصلت أمس فيستبدلها ولا يضيف نسخة ثانية، لذلك إذا تغير المعرف تغيرت التسجيلة في نظر كل الحاصدين، حتى لو كانت الرسالة نفسها.

ولكل تسجيلة أيضاً تاريخ Datestamp، وهو تاريخ آخر تغيير في وصفها، وليس تاريخ نشر الرسالة. وهذا التاريخ هو أساس الحصاد التزايدي Incremental Harvesting، فالحاصد يقول للمستودع: أعطني ما تغير منذ `from` هذا التاريخ، فيرد بالتسجيلات التي تاريخها بعده فقط. ودقة التاريخ Granularity نوعان في المعيار: باليوم `YYYY-MM-DD`، أو بالثانية `YYYY-MM-DDThh:mm:ssZ`، والتوقيت دائماً بالتوقيت العالمي UTC، وحرف Z في النهاية يعني ذلك.

### المجموعات Sets

المجموعة طريقة اختيارية لتقسيم المستودع، فالبوابة التي تجمع رسائل الشريعة فقط لا تحتاج أن تحصد أبحاث الهندسة. وفي DSpace كل مجتمع Community وكل مجموعة Collection تصبح Set تلقائياً، باسم مثل `com_10576_60` للمجتمع و`col_10576_3036` للمجموعة. ولاحظ أن التسجيلة الواحدة قد تكون في عدة مجموعات في الوقت نفسه، فرسالة في قسم الفقه تظهر في مجموعة القسم وفي مجتمع الكلية وفي مجتمع الرسائل الجامعية، والحاصد الذي يحصد المجموعات الثلاث منفصلة سوف يأخذها ثلاث مرات، ولذلك يجب أن يحفظ التسجيلة بمعرفها وليس بالمجموعة التي جاءت منها.

### الصيغ Metadata Formats: لماذا oai\_dc إلزامية؟

المعيار يلزم كل مستودع بصيغة واحدة على الأقل هي `oai_dc`، أي Dublin Core البسيط بعناصره الخمسة عشر، وهذا ما يضمن أن أي حاصد في العالم يستطيع أن يقرأ أي مستودع. ثم يضيف كل مستودع ما يشاء من الصيغ الأغنى، فـ DSpace يقدم `mods` و`marc` و`etdms` للرسائل و`dim` وهي صيغته الداخلية، وKoha يقدم `marc21`. والحاصد الذكي يسأل `ListMetadataFormats` ويختار أغنى صيغة يفهمها، لأن Dublin Core البسيط يضيع تفاصيل مهمة كما سوف نرى في المختبر، وسوف نشرح Dublin Core وما بعده في مقال مستقل ضمن مرحلة الفهرسة.

### الصفحات والرمز resumptionToken

المستودع الذي فيه سبعون ألف تسجيلة لا يرسلها في رد واحد، وإنما يرسل صفحة، مئة تسجيلة مثلاً في DSpace، وفي نهايتها رمز اسمه `resumptionToken`، فيرسل الحاصد الرمز في الطلب التالي فيأخذ الصفحة الثانية، وهكذا حتى يصل رد فيه رمز فارغ، وهذا معناه أن القائمة انتهت. وفي الرمز سمتان اختياريتان: `completeListSize` وهو العدد الكلي، و`cursor` وهو عدد ما أرسل قبل هذه الصفحة. والمعيار يترك شكل الرمز للمستودع، فهو نص لا يحاول الحاصد أن يفهمه أو يعدله، وإنما يعيده كما هو.

### التسجيلات المحذوفة Deleted Records

هذه أكثر نقطة يغفل عنها من يبني بوابة. عندما تسحب الجامعة رسالة من المستودع، لسبب قانوني أو لأنها أضيفت مرتين، كيف تعرف البوابة التي حصدتها قبل سنة؟ المستودع يعلن في رد `Identify` طريقته في الحقل `deletedRecord`، وله ثلاث قيم كما في الصورة التالية:

![ثلاث بطاقات لقيم deletedRecord: البطاقة الحمراء deletedRecord يساوي no والمستودع لا يخبر أحداً والتسجيلة تختفي من الردود فقط والبوابة تبقيها عندها إلى الأبد إلا إذا أعادت الحصاد كاملاً، والبطاقة البرتقالية transient يخبر فترة ثم قد ينسى وهي حالة QSpace وورقلة وDSpace التجريبي والحاصد الذي يغيب طويلاً قد لا يعرف بالحذف، والبطاقة الخضراء persistent يخبر دائماً مثل Koha ورأس status يساوي deleted يبقى مهما تأخر الحاصد، وتحتها رأس حقيقي من QSpace في المجموعة com_10576_44 فيه header status deleted والمعرف oai:qspace.qu.edu.qa:10576/68853 والتاريخ 2025-11-29 دون عنصر metadata](https://arabroot.io/content/images/2026/11/oai-pmh-harvesting-03-deleted.webp)

الحذف يصل للحاصد رأساً بلا وصف، إذا كان المستودع يتذكره

والحاصد الذي يرى رأساً عليه `status="deleted"` يجب أن يحذف التسجيلة من فهرسه، وهذا سطر واحد في الكود، ولكن الحاصد الذي لا يتعامل معه يجعل البوابة تعرض رسالة لم تعد موجودة، فيضغط القارئ الرابط فيجد صفحة خطأ 404، وهي أسوأ تجربة يمكن أن تقدمها بوابة.

## المختبر: حاصد صغير بلغة Python

توجد أدوات حصاد جاهزة كثيرة، منها مكتبة [Sickle](https://github.com/mloesch/sickle?ref=arabroot.io) للغة Python، والسكربت [pyoaiharvester](https://github.com/vphill/pyoaiharvester?ref=arabroot.io)، وأداة الحصاد المدمجة في VuFind التي استخدمناها في دليل VuFind. ولكننا سوف نكتب حاصداً صغيراً بأنفسنا بمكتبات Python القياسية فقط، دون أي مكتبة خارجية، والسبب أن الهدف هنا أن ترى كل خطوة في البروتوكول بعينك: الطلب، والرمز، والحذف، والخطأ، فإذا استخدمت بعد ذلك أي أداة جاهزة عرفت ما الذي تفعله خلف الواجهة. والحاصد يحفظ التسجيلات في قاعدة SQLite، وهي ملف واحد لا يحتاج سيرفراً، ويتذكر تاريخ آخر حصاد لكل مستودع ومجموعة.

شغلنا كل شيء داخل Container من Image الرسمي `python:3.13-slim`، وفيه Python 3.13.18، والملفات في مجلد على الجهاز:

```bash
docker tag python:3.13-slim lb3-py:1
docker run --rm -v "$PWD:/lab" -w /lab lb3-py:1 python -V
```

وهذا هو الحاصد كاملاً، وسوف نشرح أجزاءه بعده:

```python
"""A small OAI-PMH harvester: python harvest.py BASE_URL DB [--set S] [--from DATE] [--prefix oai_dc]
Stores every record (or deletion) in SQLite and remembers the last responseDate for the next run."""
import sqlite3, sys, time, json, argparse, datetime, urllib.request, urllib.parse, urllib.error
import xml.etree.ElementTree as ET

NS = {"oai": "http://www.openarchives.org/OAI/2.0/",
      "dc": "http://purl.org/dc/elements/1.1/",
      "oai_dc": "http://www.openarchives.org/OAI/2.0/oai_dc/"}

def fetch(base, params, tries=4):
    url = base + "?" + urllib.parse.urlencode(params)
    for n in range(1, tries + 1):
        try:
            req = urllib.request.Request(url, headers={"User-Agent": "lb3-harvester/1.0 (ArabRoot lab)"})
            with urllib.request.urlopen(req, timeout=120) as r:
                ctype = r.headers.get("Content-Type", "")
                body = r.read()
            if not body.lstrip().startswith(b"<?xml") and b"<OAI-PMH" not in body[:2000]:
                raise RuntimeError(f"not an OAI-PMH response (Content-Type: {ctype}), first bytes: {body[:80]!r}")
            return ET.fromstring(body)
        except urllib.error.HTTPError as e:
            wait = int(e.headers.get("Retry-After", "0") or 0) or 10 * n
            print(f"  HTTP {e.code}, try {n}/{tries}, waiting {wait}s", flush=True)
            time.sleep(wait)
        except (urllib.error.URLError, TimeoutError) as e:
            print(f"  network error: {e}, try {n}/{tries}", flush=True)
            time.sleep(10 * n)
    raise RuntimeError("giving up after %d tries" % tries)

def main():
    ap = argparse.ArgumentParser()
    ap.add_argument("base"); ap.add_argument("db")
    ap.add_argument("--set"); ap.add_argument("--from", dest="frm"); ap.add_argument("--until")
    ap.add_argument("--prefix", default="oai_dc"); ap.add_argument("--incremental", action="store_true")
    a = ap.parse_args()
    db = sqlite3.connect(a.db)
    db.executescript("""create table if not exists rec(id text primary key, datestamp text, deleted int,
                          sets text, md text, harvested text);
                        create table if not exists state(base text, setspec text, last text, primary key(base, setspec));""")
    frm = a.frm
    if a.incremental:
        row = db.execute("select last from state where base=? and setspec=?", (a.base, a.set or "")).fetchone()
        if row:  # overlap by a few minutes, as the OAI harvester guidelines advise
            last = datetime.datetime.strptime(row[0], "%Y-%m-%dT%H:%M:%SZ")
            frm = (last - datetime.timedelta(minutes=5)).strftime("%Y-%m-%dT%H:%M:%SZ")
        print("last run started", row[0] if row else None, "-> asking from", frm)
    params = {"verb": "ListRecords", "metadataPrefix": a.prefix}
    if a.set: params["set"] = a.set
    if frm: params["from"] = frm
    if a.until: params["until"] = a.until
    page, new, upd, dele, started = 0, 0, 0, 0, None
    while True:
        root = fetch(a.base, params)
        started = started or root.findtext("oai:responseDate", namespaces=NS)
        err = root.find("oai:error", NS)
        if err is not None:
            if err.get("code") == "noRecordsMatch":
                print("noRecordsMatch: nothing new"); break
            raise SystemExit(f"OAI error {err.get('code')}: {err.text}")
        page += 1
        recs = root.findall("oai:ListRecords/oai:record", NS)
        for r in recs:
            h = r.find("oai:header", NS)
            oid = h.findtext("oai:identifier", namespaces=NS)
            ds = h.findtext("oai:datestamp", namespaces=NS)
            sets = [s.text for s in h.findall("oai:setSpec", NS)]
            deleted = 1 if h.get("status") == "deleted" else 0
            md = {}
            dcroot = r.find("oai:metadata/oai_dc:dc", NS)
            if dcroot is not None:
                for el in dcroot:
                    tag = el.tag.split("}")[1]
                    if el.text and el.text.strip():
                        md.setdefault(tag, []).append(el.text.strip())
            old = db.execute("select datestamp from rec where id=?", (oid,)).fetchone()
            if deleted: dele += 1
            elif old: upd += 1
            else: new += 1
            db.execute("insert or replace into rec values(?,?,?,?,?,?)",
                       (oid, ds, deleted, json.dumps(sets), json.dumps(md, ensure_ascii=False), started))
        tok = root.find("oai:ListRecords/oai:resumptionToken", NS)
        size = tok.get("completeListSize") if tok is not None else None
        cur = tok.get("cursor") if tok is not None else None
        print(f"page {page}: {len(recs)} records, cursor={cur}, completeListSize={size}, token={tok.text if tok is not None else None}", flush=True)
        db.commit()
        if tok is None or not (tok.text or "").strip():
            break
        params = {"verb": "ListRecords", "resumptionToken": tok.text.strip()}
        time.sleep(1)
    db.execute("insert or replace into state values(?,?,?)", (a.base, a.set or "", started))
    db.commit()
    total = db.execute("select count(*), sum(deleted) from rec").fetchone()
    print(f"done: {new} new, {upd} updated, {dele} deleted in this run; database now {total[0]} records ({total[1]} deleted); next run from {started}")

main()
```

في الكود أعلاه لاحظ التالي:

- **الدالة fetch:** ترسل الطلب، وتتعرف على User-Agent باسم واضح حتى يعرف صاحب المستودع من يحصد منه إذا راجع السجلات Logs، ثم تتأكد أن الرد XML فعلاً قبل أن تحاول قراءته، وسوف ترى بعد قليل لماذا أضفنا هذا الفحص.
- **إعادة المحاولة:** إذا رد المستودع بخطأ HTTP مثل 503، تقرأ الدالة الترويسة `Retry-After` وتنتظر المدة التي يطلبها المستودع، ثم تحاول أربع مرات فقط، لأن [إرشادات الحاصدين](https://www.openarchives.org/OAI/2.0/guidelines-harvester.htm?ref=arabroot.io) في موقع المبادرة تقول صراحة إن الحاصد يجب ألا يعيد المحاولة إلى ما لا نهاية.
- **الحلقة while:** هي قلب البروتوكول. الطلب الأول فيه `metadataPrefix` و`set` و`from`، والطلبات التالية فيها `resumptionToken` فقط، لأن المعيار يمنع إرسال أي معامل آخر مع الرمز.
- **الحذف:** الرأس الذي فيه `status="deleted"` يحفظ بقيمة 1 في العمود `deleted`، والبوابة التي تبنى فوق هذه القاعدة تعرض فقط ما قيمته 0.
- **التاريخ للحصاد التالي:** يحفظ الكود `responseDate` من أول رد في هذا الحصاد، وليس ساعة جهازنا، ثم يطرح منه خمس دقائق في المرة التالية، وسوف نشرح السبب في قسم الحصاد التزايدي.

### أول حصاد: كلية الشريعة في مستودع جامعة قطر

مستودع جامعة قطر اسمه QSpace، ويعمل على DSpace، وفيه وقت التجربة 68,798 تسجيلة كما أعلن الرمز في أول صفحة. ولن نحصده كله، وإنما نختار مجموعة واحدة، فأرسلنا `ListSets` فوجدنا كليات الجامعة كل منها مجتمع، واخترنا مجتمع كلية الشريعة والدراسات الإسلامية `com_10576_60`:

```bash
docker run --rm -v "$PWD:/lab" -w /lab lb3-py:1 \
  python harvest.py https://qspace.qu.edu.qa/server/oai/request qspace.db --set com_10576_60
```

والمخرج سوف يكون كما يلي:

```text
page 1: 100 records, cursor=0, completeListSize=230, token=oai_dc///com_10576_60/100
page 2: 100 records, cursor=1, completeListSize=230, token=oai_dc///com_10576_60/200
page 3: 30 records, cursor=2, completeListSize=230, token=None
done: 230 new, 0 updated, 0 deleted in this run; database now 230 records (0 deleted); next run from 2026-11-17T00:31:04Z
```

في المخرج أعلاه لاحظ التالي:

- **ثلاثة طلبات لـ 230 تسجيلة:** مئة ثم مئة ثم ثلاثون، والرمز في كل صفحة يحمل اسم الصيغة والمجموعة ورقم البداية `oai_dc///com_10576_60/100`، أي أن DSpace يكتب في الرمز كل ما يحتاجه ليكمل، ولا يحفظ شيئاً عنده، وهذا تصميم جيد لأن الرمز لا تنتهي صلاحيته إذا تأخر الحاصد.
- **الصفحة الأخيرة بلا رمز:** فيها العنصر `<resumptionToken completeListSize="230" cursor="2"/>` فارغاً، وهذه هي علامة النهاية في المعيار.
- **قيمة cursor غريبة:** المعيار يقول إن `cursor` هو عدد التسجيلات التي أرسلت قبل هذه الصفحة، أي 0 ثم 100 ثم 200، ولكن DSpace يرسل رقم الصفحة 0 ثم 1 ثم 2\. ولا تعتمد على هذه القيمة في حساب التقدم إذن، واحسب أنت عدد ما وصلك.
- **الصفحة الأولى الحقيقية:** هذا أولها وآخرها، والوصف يأتي داخل عنصر `metadata` لكل تسجيلة، والرمز في آخر الملف:

```xml
<responseDate>2026-11-17T00:48:23Z</responseDate>
<request verb="ListRecords" metadataPrefix="oai_dc" set="com_10576_60">https://qspace.qu.edu.qa/server/oai/request</request>
<ListRecords><record><header><identifier>oai:qspace.qu.edu.qa:10576/17724</identifier>
<datestamp>2024-07-23T11:23:23Z</datestamp><setSpec>com_10576_60</setSpec><setSpec>com_10576_33</setSpec> ...
...
   <dc:type>Master Thesis</dc:type>
   <dc:identifier>http://hdl.handle.net/10576/21410</dc:identifier>
   <dc:language>ar</dc:language>
   <dc:format>application/pdf</dc:format>
   <dc:accessType>Open Access</dc:accessType>
</oai_dc:dc></metadata></record><resumptionToken completeListSize="230" cursor="0">oai_dc///com_10576_60/100</resumptionToken></ListRecords>
```

ثم حصدنا مجتمعاً ثانياً في المستودع نفسه هو `com_10576_44`، وفيه 461 تسجيلة في خمس صفحات، وهنا ظهر الحذف لأول مرة:

```text
page 1: 100 records, cursor=0, completeListSize=461, token=oai_dc///com_10576_44/100
page 2: 100 records, cursor=1, completeListSize=461, token=oai_dc///com_10576_44/200
page 3: 100 records, cursor=2, completeListSize=461, token=oai_dc///com_10576_44/300
page 4: 100 records, cursor=3, completeListSize=461, token=oai_dc///com_10576_44/400
page 5: 61 records, cursor=4, completeListSize=461, token=None
done: 458 new, 0 updated, 3 deleted in this run; database now 691 records (3 deleted); next run from 2026-11-17T00:31:33Z
```

أي أن 3 من 461 وصلت رؤوساً محذوفة، وعندما سألنا المستودع عن إحداها بالفعل `GetRecord` كان الرد رأساً عليه `status="deleted"` بلا أي وصف، كما في الصورة السابقة. ولاحظ أن تاريخ حذف اثنتين منها 2022-02-09، أي أن QSpace ما زال يتذكر حذفاً عمره أكثر من أربع سنوات رغم أنه يعلن `transient`، وهذا جيد للحاصدين، ولكنه وعد لا يلزمه به المعيار، لذلك لا تبن عليه.

### ماذا يحدث إذا شغلته مرة ثانية؟ الحصاد التزايدي

الحصاد الكامل يحدث مرة واحدة، أما الحصاد اليومي فيجب أن يأخذ ما تغير فقط. شغلنا الأمر نفسه مع `--incremental`:

```bash
docker run --rm -v "$PWD:/lab" -w /lab lb3-py:1 \
  python harvest.py https://qspace.qu.edu.qa/server/oai/request qspace.db --set com_10576_60 --incremental
```

والمخرج سوف يكون كما يلي:

```text
last run started 2026-11-17T00:31:31Z -> asking from 2026-11-17T00:26:31Z
noRecordsMatch: nothing new
done: 0 new, 0 updated, 0 deleted in this run; database now 691 records (3 deleted); next run from 2026-11-17T00:40:03Z
```

في المخرج أعلاه لاحظ التالي:

- **noRecordsMatch ليس خطأ:** المعيار يستخدم عنصر الخطأ `error` ليقول «لا توجد تسجيلات بهذه الشروط»، والحاصد الذي يعامل كل `error` على أنه عطل سوف يرسل لك تنبيهاً كل ليلة لا يتغير فيها شيء. لذلك عامل هذا الرمز بالذات على أنه «لا جديد».
- **التداخل Overlap:** آخر حصاد بدأ في 00:31:31 بتوقيت المستودع، فسأل الحاصد من 00:26:31\. والسبب أن المستودع قد يكون عدل تسجيلة أثناء الحصاد السابق، فتاريخها قبل لحظة انتهائه ولكنها لم تكن في الصفحات التي وصلت. وإرشادات الحاصدين تطلب صراحة أن يبدأ الحصاد التالي من `responseDate` في أول رد من الحصاد السابق، وأن يتداخل قليلاً مع المستودعات التي دقتها بالثانية. والتداخل لا يضر، فالتسجيلة التي تصل مرتين تستبدل بمعرفها.

ولنرى الفرق الحقيقي في الحجم، سألنا المستودع كله عما تغير خلال أسبوع، من 10 نوفمبر:

```bash
docker run --rm -v "$PWD:/lab" -w /lab lb3-py:1 \
  python harvest.py https://qspace.qu.edu.qa/server/oai/request qspace-week.db --from 2026-11-10T00:00:00Z
```

```text
page 1: 100 records, cursor=0, completeListSize=1039, token=oai_dc/2026-11-10T00:00:00Z///100
page 2: 100 records, cursor=1, completeListSize=1039, token=oai_dc/2026-11-10T00:00:00Z///200
page 3: 100 records, cursor=2, completeListSize=1039, token=oai_dc/2026-11-10T00:00:00Z///300
page 4: 100 records, cursor=3, completeListSize=1039, token=oai_dc/2026-11-10T00:00:00Z///400
page 5: 100 records, cursor=4, completeListSize=1039, token=oai_dc/2026-11-10T00:00:00Z///500
page 6: 100 records, cursor=5, completeListSize=1039, token=oai_dc/2026-11-10T00:00:00Z///600
page 7: 100 records, cursor=6, completeListSize=1039, token=oai_dc/2026-11-10T00:00:00Z///700
page 8: 100 records, cursor=7, completeListSize=1039, token=oai_dc/2026-11-10T00:00:00Z///800
page 9: 100 records, cursor=8, completeListSize=1039, token=oai_dc/2026-11-10T00:00:00Z///900
page 10: 100 records, cursor=9, completeListSize=1039, token=oai_dc/2026-11-10T00:00:00Z///1000
page 11: 39 records, cursor=10, completeListSize=1039, token=None
done: 1039 new, 0 updated, 0 deleted in this run; database now 1039 records (0 deleted); next run from 2026-11-17T00:40:18Z
```

أي أن 1,039 تسجيلة تغيرت في أسبوع من أصل 68,798، وهذا 1.5% فقط، وأخذناها في 11 طلباً، بينما الحصاد الكامل يحتاج 688 طلباً، ومع انتظار ثانية بين كل طلبين يصبح الفرق دقائق مقابل ساعة تقريباً، وعلى سيرفر المستودع الفرق أكبر لأن كل صفحة استعلام على قاعدة بياناته. والصورة التالية تلخص الحصادين:

![مخطط الحصاد الكامل ثم التزايدي من المختبر: أولاً الحصاد الأول لكل المجموعة com_10576_60 صفحة بعد صفحة، الصفحة 1 مئة تسجيلة والرمز oai_dc///com_10576_60/100، والصفحة 2 مئة تسجيلة والرمز oai_dc///com_10576_60/200، والصفحة 3 ثلاثون تسجيلة والرمز فارغ يعني النهاية، ثم نحفظ responseDate بقيمة 2026-11-17T00:31:04Z، ثانياً الحصاد التالي from يساوي آخر responseDate ناقص 5 دقائق تداخل Overlap بالطلب ListRecords from 2026-11-17T00:26:31Z فيرد noRecordsMatch وهذا ليس خطأ وإنما لا جديد، ثالثاً المستودع كله في أسبوع من 2026-11-10: الحصاد الكامل 68798 تسجيلة في 688 طلباً مقابل ما تغير في أسبوع 1039 تسجيلة في 11 طلباً أي 1.5 بالمئة، وفي الأسفل: التاريخ الذي تبدأ منه هو تاريخ المستودع في responseDate وليس ساعة جهازك](https://arabroot.io/content/images/2026/11/oai-pmh-harvesting-02-incremental.webp)

الحصاد التزايدي يأخذ ما تغير فقط، والتاريخ يأتي من المستودع نفسه

### وإذا كان المستودع لا يتذكر الحذف؟ المقارنة الدورية

الحاصد الذي يعتمد على رؤوس الحذف وحدها يثق بالمستودع، ولكن ماذا لو كان المستودع يعلن `deletedRecord` بقيمة `no`، أو كان `transient` وغاب الحاصد شهرين بسبب عطل؟ في هذه الحالة لا يوجد في الحصاد التزايدي ما يخبرك بالحذف، والتسجيلة تبقى في بوابتك. والحل المعتاد مقارنة دورية Reconciliation، مرة في الأسبوع أو في الشهر بحسب حجم المستودع: يطلب الحاصد `ListIdentifiers` للمجموعة كلها، وهو رد خفيف فيه الرؤوس فقط دون الوصف، ثم يقارن قائمة المعرفات التي وصلت بقائمة المعرفات الحية في قاعدته، وكل معرف موجود عنده وغير موجود في رد المستودع يعلمه محذوفاً. وفي مجموعة ورقلة مثلاً، كانت قائمة `ListIdentifiers` صفحتين لـ 175 رأساً، وهذا أخف بكثير من إعادة حصاد الوصف كاملاً.

ولاحظ أن هذه المقارنة لا تغني عن رؤوس الحذف، وإنما تلتقط ما فاتها، ويجب أن تكون حذرة: إذا عاد رد `ListIdentifiers` فارغاً أو ناقصاً بسبب عطل في المستودع، فلا تحذف نصف بوابتك بناء عليه. لذلك ضع حداً، فإذا كان عدد المعرفات التي سوف تحذف أكثر من نسبة صغيرة، 5% مثلاً، فأوقف الحذف وأرسل تنبيهاً لإنسان يراجع، فالأرجح أن المشكلة في الرد وليس في المستودع.

### مستودع جامعة ورقلة: ساعة السيرفر وتاريخ البداية

المستودع الثاني هو مستودع جامعة قاصدي مرباح في ورقلة بالجزائر، ويعمل أيضاً على DSpace، وفيه 30,938 تسجيلة، أغلب أسماء مجموعاته بالفرنسية وأغلب رسائل الآداب فيه بالعربية. حصدنا مجموعة رسائل الدكتوراه في قسم اللغة العربية `col_123456789_224`:

```text
page 1: 100 records, cursor=0, completeListSize=175, token=oai_dc///col_123456789_224/100
page 2: 75 records, cursor=1, completeListSize=175, token=None
done: 168 new, 0 updated, 7 deleted in this run; database now 175 records (7 deleted); next run from 2026-11-17T01:22:02Z
```

أي 175 تسجيلة، منها 7 رؤوس محذوفة. وحتى الآن كل شيء طبيعي، ولكن عندما نظرنا في الردود نفسها ظهرت ثلاث مشكلات يجب أن يعرفها كل من يدير مستودعاً:

- **ساعة السيرفر متقدمة 50 دقيقة:** في اللحظة نفسها التي كانت الساعة فيها 00:32:49 بالتوقيت العالمي على جهازنا، رد المستودع بـ `responseDate` قيمته 01:22:30، وترويسة HTTP `Date` فيها 01:22:31 GMT، أي أن ساعة السيرفر نفسها متقدمة نحو خمسين دقيقة، وليست مشكلة منطقة زمنية. وهذا هو سبب أن حاصدنا يأخذ التاريخ من رد المستودع وليس من ساعة الجهاز، فالتواريخ في تسجيلاته مكتوبة بساعته هو، فإذا سألته بساعتنا ضاعت التسجيلات التي تغيرت في هذه الخمسين دقيقة. والحل الصحيح عند صاحب المستودع أن يفعل مزامنة الوقت NTP على السيرفر.
- **أقدم تاريخ هو أمس:** رد `Identify` يقول إن `earliestDatestamp` هو 2026-11-16، بينما التسجيلات التي حصدناها تواريخها من 2020-03-10\. والمعيار يقول إن هذه القيمة هي الحد الأدنى لكل التواريخ في المستودع، والحاصد الذي يثق بها ويبدأ منها سوف يفقد كل ما قبلها.
- **المعرفات باسم localhost:** كل المعرفات بالشكل `oai:localhost:123456789/...`، والرقم 123456789 هو البادئة التجريبية التي يأتي بها DSpace قبل تسجيل Handle حقيقي، وlocalhost هو الاسم الافتراضي. وقد حذرنا من هذا بالضبط في دليل DSpace، والنتيجة هنا أن أي بوابة تحصد عدة مستودعات بهذا الإعداد سوف ترى معرفات من عدة جامعات تبدأ كلها بـ `oai:localhost:123456789`، وتعتمد على المسار وحده لتفرق بينها.

ثم وجدنا مشكلة رابعة أغرب. أخذنا معرفاً من القائمة `oai:localhost:123456789/39143`، وهو ما زال يظهر في `ListIdentifiers` رأساً عادياً غير محذوف، وطلبناه بالفعل `GetRecord`، فكان الرد:

```xml
<request verb="GetRecord" identifier="oai:localhost:123456789/39143" metadataPrefix="oai_dc">https://dspace.univ-ouargla.dz/oai/request</request>
<error code="idDoesNotExist">The given id does not exist</error>
```

بينما معرف آخر من القائمة نفسها `123456789/40030` عاد بوصفه كاملاً. والتفسير الأرجح ما شرحناه في دليل DSpace: واجهة OAI لا تقرأ قاعدة البيانات مباشرة، وإنما تقرأ فهرساً منفصلاً في Solr تملؤه المهمة `dspace oai import`، فإذا حذفت مادة أو نقلت ولم تعمل هذه المهمة بعدها، أصبح الفهرس يعلن تسجيلة لا يجدها النظام عندما يطلب تفاصيلها. ولاحظ أن رسالة 39143 لها تسجيلة أخرى بالعنوان نفسه رقمها 39363، كما سوف نرى في تقرير الجودة، فالأرجح أنها حذفت لأنها مكررة. لذلك إذا كنت تدير DSpace فتأكد أن مهمة `oai import` في جدول المهام المجدولة وأنها تنجح، ولا تكتف بأنها موجودة.

### عندما لا يرد المستودع بـ XML

المستودع الثالث الذي جربناه هو مستودع جامعة الملك عبدالله للعلوم والتقنية KAUST، فرد على كل طلب برمز HTTP 200، وهو رمز النجاح، ولكن المحتوى كان صفحة HTML من جدار حماية تطبيقات الويب WAF يطلب التحقق من أن الزائر ليس برنامجاً. وهذا ما قاله حاصدنا:

```text
  File "/lab/harvest.py", line 19, in fetch
    raise RuntimeError(f"not an OAI-PMH response (Content-Type: {ctype}), first bytes: {body[:80]!r}")
RuntimeError: not an OAI-PMH response (Content-Type: text/html), first bytes: b'<html style="height:100%"><head><META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">'
```

وهذا هو سبب الفحص الذي وضعناه في الدالة `fetch`. فالحاصد البسيط الذي ينظر إلى رمز HTTP فقط يرى 200، ثم يبحث عن تسجيلات في الرد فلا يجد، فيسجل أن المستودع فارغ أو أن لا جديد فيه، ويستمر على ذلك أشهراً دون أن ينتبه أحد. والمشكلة هنا ليست عند الحاصد، فالمستودع حمى نفسه من البرامج الآلية، والحاصد برنامج آلي بطبيعته، والحل عند صاحب المستودع أن يستثني المسار `/oai` من فحص الزوار، أو أن يعطي الحاصدين المعروفين استثناء. وإذا كان مستودعك خلف Cloudflare أو أي جدار مشابه، فجرب واجهة OAI من سيرفر خارجي بالأمر curl، وليس من المتصفح، لأن المتصفح يجتاز الفحص ولا يريك المشكلة.

![ثلاث بطاقات بما وجدناه عند حصاد ثلاثة مستودعات: QSpace جامعة قطر: رد Identify فيه متغير لم يستبدل oai.identifier.prefix، وعنصر accessType خارج Dublin Core فتفشل التسجيلة أمام المخطط XSD، وفي الجانب الجيد رموز لغة ISO صحيحة في 99.6 بالمئة والحذف يصل برأس deleted، ومجموعة كلية الشريعة 230 تسجيلة في 3 طلبات. DSpace جامعة ورقلة: ساعة السيرفر متقدمة 50 دقيقة Date 01:22:31 GMT والساعة الحقيقية 00:32 UTC، وearliestDatestamp أمس والتسجيلات من 2020 والمعرفات oai:localhost:123456789، ومعرف في ListIdentifiers يرد عليه GetRecord بالخطأ idDoesNotExist، وقسم اللغة العربية دكتوراه 175 تسجيلة منها 7 محذوفة. مستودع خلف جدار حماية WAF: الرد 200 ولكنه صفحة HTML بنوع text/html، والحاصد الذي يفحص رمز HTTP فقط يظن أن المستودع فارغ، والحل عند صاحب المستودع استثناء المسار oai من الحماية، وحاصدنا توقف برسالة واضحة not an OAI-PMH response](https://arabroot.io/content/images/2026/11/oai-pmh-harvesting-06-findings.webp)

كل مشكلة هنا ظهرت في رد حقيقي يوم 17 نوفمبر 2026

وفي الصورة لاحظ مشكلة أخرى في QSpace لم نذكرها بعد: رد `Identify` فيه العنصر `repositoryIdentifier` بالقيمة `${oai.identifier.prefix}` حرفياً، أي متغير في ملف إعداد لم يستبدل بقيمته عند التثبيت. ومع ذلك فالمعرفات الحقيقية في التسجيلات صحيحة `oai:qspace.qu.edu.qa:...`، أي أن الخطأ في الوصف فقط، ولكن أدوات التحقق من المستودعات التي تقرأ `Identify` سوف تعترض عليه. وهذا يذكرك بأن رد `Identify` هو بطاقة تعريف مستودعك أمام كل الحاصدين، فاقرأه بنفسك بعد كل تحديث.

## الأخطاء التي يعيدها البروتوكول، وتاريخ يعيد كل شيء

المعيار يعرف رموز أخطاء محددة يعيدها المستودع داخل عنصر `error`، والحاصد الجيد يفرق بينها، لأن بعضها خطأ عنده هو، وبعضها مجرد «لا يوجد». كتبنا سكربتاً يسأل QSpace أسئلة خاطئة عن قصد، وشغلناه من Container الرسمي `curlimages/curl` بالإصدار 8.23.0:

```bash
#!/bin/sh
# Ask the repository wrong questions on purpose and print the error element (or the request echo if none).
B=${1:-https://qspace.qu.edu.qa/server/oai/request}
ask() {
  r=$(curl -s -m 60 "$B?$1")
  e=$(printf '%s' "$r" | grep -o '<error[^>]*>[^<]*</error>' | head -1)
  [ -z "$e" ] && e="NO ERROR, echo: $(printf '%s' "$r" | grep -o '<request[^>]*>' | head -1)"
  printf '%s\n    %s\n' "$1" "$e"
}
ask "verb=ListRecord&metadataPrefix=oai_dc"
ask "verb=ListRecords"
ask "verb=ListRecords&metadataPrefix=marc21"
ask "verb=ListRecords&metadataPrefix=oai_dc&from=17-11-2026"
ask "verb=ListRecords&metadataPrefix=oai_dc&from=2026-11-10&until=2026-11-01"
ask "verb=ListRecords&metadataPrefix=oai_dc&from=2030-01-01"
ask "verb=ListRecords&metadataPrefix=oai_dc&set=com_10576_51"
ask "verb=ListRecords&resumptionToken=hello"
ask "verb=GetRecord&metadataPrefix=oai_dc&identifier=oai:qspace.qu.edu.qa:10576/0"
```

والمخرج سوف يكون كما يلي:

```text
verb=ListRecord&metadataPrefix=oai_dc
    <error code="badVerb">Illegal verb</error>
verb=ListRecords
    <error code="badArgument">ListRecords verb must receive the metadataPrefix parameter</error>
verb=ListRecords&metadataPrefix=marc21
    <error code="cannotDisseminateFormat">Unknown metadata format</error>
verb=ListRecords&metadataPrefix=oai_dc&from=17-11-2026
    NO ERROR, echo: <request verb="ListRecords" metadataPrefix="oai_dc" from="0023-05-19T00:00:00Z">
verb=ListRecords&metadataPrefix=oai_dc&from=2026-11-10&until=2026-11-01
    <error code="badArgument">The 'from' date must be less then the 'until' one</error>
verb=ListRecords&metadataPrefix=oai_dc&from=2030-01-01
    <error code="noRecordsMatch">No matches for the query</error>
verb=ListRecords&metadataPrefix=oai_dc&set=com_10576_51
    <error code="noRecordsMatch">No matches for the query</error>
verb=ListRecords&resumptionToken=hello
    <error code="badResumptionToken">The resumption token is invalid</error>
verb=GetRecord&metadataPrefix=oai_dc&identifier=oai:qspace.qu.edu.qa:10576/0
    <error code="idDoesNotExist">The given id does not exist</error>
```

وهذه الأخطاء مع معناها وما يفعله الحاصد في كل منها:

| الرمز                   | متى ظهر                                         | ما يفعله الحاصد                                |
| ----------------------- | ----------------------------------------------- | ---------------------------------------------- |
| badVerb                 | فعل مكتوب خطأ ListRecord                        | خطأ في الكود، يتوقف ويبلغ                      |
| badArgument             | معامل ناقص، أو from بعد until                   | خطأ في الكود، يتوقف ويبلغ                      |
| cannotDisseminateFormat | صيغة لا يعرفها المستودع marc21، وهو يسميها marc | يرجع إلى ListMetadataFormats ويختار من القائمة |
| noRecordsMatch          | تاريخ في المستقبل، أو مجموعة فارغة              | ليس خطأ: لا جديد                               |
| badResumptionToken      | رمز معدل أو منتهي الصلاحية                      | يعيد الحصاد من آخر تاريخ ناجح                  |
| idDoesNotExist          | معرف غير موجود                                  | يسجل التسجيلة للمراجعة                         |

ولكن أهم سطر في المخرج هو السطر الذي لا خطأ فيه. أرسلنا التاريخ بالصيغة التي يكتبها أغلبنا يومياً `17-11-2026`، أي اليوم ثم الشهر ثم السنة، والمعيار يلزم المستودع أن يرد على أي تاريخ بغير صيغة ISO 8601 بالخطأ `badArgument`. ولكن DSpace قبله، وفسره على أنه السنة 0023 من الميلاد، كما يظهر في صدى الطلب `from="0023-05-19T00:00:00Z"`، ثم أعاد كل تسجيلات المستودع منذ ذلك التاريخ، أي كل شيء. وجربنا الطلب نفسه على نسخة DSpace التجريبية الرسمية فكانت النتيجة نفسها، أي أن هذا سلوك البرنامج وليس إعداد جامعة بعينها.

تخيل الآن حاصداً كتبه مبرمج يحفظ التاريخ بصيغة يوم-شهر-سنة: كل ليلة يظن أنه يأخذ ما تغير منذ أمس، وفي الحقيقة يحصد سبعين ألف تسجيلة كاملة، فيضغط على سيرفر المستودع ساعة كل ليلة، والبوابة تعمل جيداً فلا يشك أحد. لذلك اكتب التاريخ دائماً بصيغة `YYYY-MM-DDThh:mm:ssZ` من الكود وليس يدوياً، وراقب عدد التسجيلات في كل حصاد تزايدي، فإذا كان قريباً من حجم المستودع كله فهناك خطأ في التاريخ.

⚠️

إذا لاحظت أن الحصاد التزايدي يأخذ عدداً قريباً من حجم المستودع كله، فافحص صدى الطلب في عنصر `request` داخل الرد، فهو يبين كيف فهم المستودع التاريخ الذي أرسلته.

## ما الذي يضيع في Dublin Core؟

قلنا إن `oai_dc` صيغة يفهمها الجميع، ولكن ما الثمن؟ أخذنا رسالة ماجستير واحدة من QSpace، رقمها 10576/17724، وطلبناها مرتين: مرة بـ `oai_dc`، ومرة بـ `dim` وهي الصيغة الداخلية في DSpace التي فيها كل الحقول كما أدخلها المفهرس:

```bash
B=https://qspace.qu.edu.qa/server/oai/request
curl -s "$B?verb=GetRecord&metadataPrefix=oai_dc&identifier=oai:qspace.qu.edu.qa:10576/17724" > rec-oai_dc.xml
curl -s "$B?verb=GetRecord&metadataPrefix=dim&identifier=oai:qspace.qu.edu.qa:10576/17724"    > rec-dim.xml
```

وهذه الحقول المهمة في `dim`، الاسم المؤهل ثم القيمة:

```text
dc.contributor.advisor        صالح, أيمن
dc.contributor.author         المري, سارة محمد
dc.date.available             2021-02-18T08:13:48Z
dc.date.issued                2021-01
dc.title                      إحلال المفاهيم عوامله وآثارها : الجهاد والإرهاب أنموذجًا
dc.title.alternative          Substitution of Concepts: Factors and Their Effects, ...
dc.department                 الفقه وأصوله
dc.accessType                 Open Access
```

وهذه الحقول نفسها كما وصلت في `oai_dc`:

```xml
<dc:title>إحلال المفاهيم عوامله وآثارها : الجهاد والإرهاب أنموذجًا</dc:title>
<dc:title>Substitution of Concepts: Factors and Their Effects, Jihad and terrorism as a Model, An Analytical Study.</dc:title>
<dc:creator>المري, سارة محمد</dc:creator>
<dc:contributor>صالح, أيمن</dc:contributor>
<dc:date>2021-02-18T08:13:48Z</dc:date>
<dc:date>2021-01</dc:date>
<dc:type>Master Thesis</dc:type>
<dc:language>ar</dc:language>
<dc:accessType>Open Access</dc:accessType>
```

![مقارنة الرسالة نفسها بصيغتين: على اليمين dim الصيغة الداخلية في DSpace بحقولها contributor.author المري سارة محمد، وcontributor.advisor صالح أيمن، وtitle إحلال المفاهيم، وtitle.alternative Substitution of، وdate.issued 2021-01، وdate.available 2021-02-18، وdepartment الفقه وأصوله، وaccessType Open Access، وعلى اليسار oai_dc ما يصل لكل حاصد: dc:creator المؤلف صحيح، وdc:contributor المشرف أم المحكم ضاع الدور، وdc:title عنوانان دون ترتيب وأيهما الرئيسي، وdc:date مرتان تاريخان بلا وصف النشر أم الإيداع، والقسم لا يصل، وdc:accessType عنصر خارج المعيار، وفي الأسفل رسالة xmllint: Element accessType This element is not expected](https://arabroot.io/content/images/2026/11/oai-pmh-harvesting-04-dc-loss.webp)

كل سهم رمادي معلومة وصلت ناقصة، والسهم المتقطع معلومة لم تصل

في المقارنة أعلاه لاحظ التالي:

- **المشرف أصبح مساهماً:** `advisor` تحول إلى `dc:contributor` دون أي إشارة إلى الدور، فالبوابة التي تريد أن تعرض «الرسائل التي أشرف عليها الدكتور فلان» لا تستطيع أن تفرق بين المشرف والمحكم والمترجم.
- **تاريخان دون وصف:** تاريخ الإتاحة في المستودع وتاريخ إصدار الرسالة كلاهما `dc:date`، والحاصد يجب أن يخمن، والتخمين المعتاد أن السنة القصيرة هي تاريخ النشر.
- **القسم لم يصل:** `dc.department` حقل محلي أضافته الجامعة، وليس له مقابل في Dublin Core، فلم يرسل أصلاً.
- **العنصر الزائد:** `dc:accessType` ليس من عناصر Dublin Core الخمسة عشر، والجامعة أضافته إلى تحويل oai\_dc.

والنقطة الأخيرة لها أثر أكبر مما تبدو، فتحققنا من التسجيلة أمام مخطط `oai_dc.xsd` الرسمي من موقع المبادرة بالأداة `xmllint` من libxml2 2.9.14 في Container من Debian 13:

```bash
#!/bin/sh
# Extract the oai_dc:dc element of a GetRecord response and validate it against the official oai_dc schema.
xmlstarlet sel -N d=http://www.openarchives.org/OAI/2.0/oai_dc/ -t -c "//d:dc" "$1" > /tmp/dc.xml
xmllint --noout --schema oai_dc.xsd /tmp/dc.xml
```

```text
/tmp/dc.xml:19: element accessType: Schemas validity error : Element '{http://purl.org/dc/elements/1.1/}accessType': This element is not expected.
/tmp/dc.xml fails to validate
/tmp/dc.xml:1: parser error : Document is empty

^
/tmp/dc.xml:1: parser error : Document is empty

^
```

أي أن التسجيلة غير صالحة حسب المخطط الرسمي، والحاصد المتشدد الذي يتحقق من كل رد قبل قبوله سوف يرفضها، أما تسجيلة ورقلة فنجحت في الفحص نفسه. وإذا كنت تريد أن تنشر حقلاً محلياً للحاصدين فمكانه صيغة أغنى تسمح به، وليس `oai_dc`. وإذا كنت الحاصد وتحتاج الأدوار والتفاصيل، فاحصد صيغة أغنى من المستودعات التي تقدمها، مثل `mods`، أو صيغة متخصصة في الرسائل مثل `etdms` التي يقدمها DSpace، وارجع إلى `oai_dc` فقط للمستودعات التي لا تقدم غيرها.

ولاحظ شيئاً آخر في الملخص العربي لهذه الرسالة كما وصل في الحصاد: «أن للمفاهيم أربع حالت» و«ودللتها»، والصحيح «حالات» و«ودلالتها». والأرجح أن الملخص نسخ من ملف PDF، وأداة النسخ أسقطت حرفي «لا» حين يرسمهما الخط شكلاً واحداً Ligature. وهذه مشكلة لا يراها الحاصد ولا البروتوكول، ولكنها تجعل البحث عن «دلالة» لا يجد هذه الرسالة، وسوف نعود إلى استخراج النص العربي من الصفحات في مقال رقمنة المخطوطات.

## تقرير الجودة: أرقام من 856 تسجيلة

بعد الحصاد صار عندنا 856 تسجيلة حية في ملفي SQLite، 688 من QSpace و168 من ورقلة، والسؤال الذي يهم من يبني بوابة: هل هذه التسجيلات صالحة للبحث والعرض كما هي؟ كتبنا سكربتاً صغيراً يحسب ذلك:

```python
"""Quality report for a harvested SQLite file: python stats.py DB"""
import sqlite3, sys, json, re, collections
ARABIC = re.compile(r"[\u0600-\u06FF]")
db = sqlite3.connect(sys.argv[1])
rows = [(i, json.loads(m)) for i, m in db.execute("select id, md from rec where deleted=0")]
n = len(rows)
dele = db.execute("select count(*) from rec where deleted=1").fetchone()[0]
print(f"live records: {n}, deleted: {dele}")
print("field presence (% of live records):")
for f in ["title", "creator", "contributor", "subject", "description", "date", "type", "language", "identifier", "rights", "publisher", "format"]:
    c = sum(1 for _, m in rows if f in m)
    print(f"  {f:<12} {c:>4}  {100*c/n:5.1f}%")
ar_title = sum(1 for _, m in rows if any(ARABIC.search(t) for t in m.get("title", [])))
print(f"titles in Arabic script: {ar_title} ({100*ar_title/n:.1f}%)")
multi_title = sum(1 for _, m in rows if len(m.get("title", [])) > 1)
print(f"records with more than one title: {multi_title}")
def top(field, k=8, fn=lambda v: v):
    c = collections.Counter(fn(v) for _, m in rows for v in m.get(field, []))
    print(f"{field} values ({len(c)} distinct):", ", ".join(f"{v!r}:{x}" for v, x in c.most_common(k)))
top("language"); top("type")
top("date", 6, lambda v: re.sub(r"\d", "9", v))
ids = collections.Counter()
for _, m in rows:
    for v in m.get("identifier", []):
        ids["handle" if "hdl.handle.net" in v or "/handle/" in v else "doi" if "doi" in v.lower() else "isbn/issn" if re.match(r"^(97[89]|\d{4}-\d{3})", v) else "other"] += 1
print("identifier kinds:", dict(ids))
norm = lambda t: re.sub(r"[\u064B-\u0652\u0640]", "", re.sub(r"[أإآ]", "ا", re.sub(r"ة", "ه", re.sub(r"ى", "ي", t)))).lower()
norm2 = lambda t: re.sub(r"[^\w]", "", norm(t))
titles = collections.Counter(norm2(m["title"][0]) for _, m in rows if m.get("title"))
dups = {t: c for t, c in titles.items() if c > 1}
print(f"possible duplicates (same normalised first title): {sum(dups.values())} records in {len(dups)} groups")
for t, c in list(dups.items())[:3]:
    ex = [i for i, m in rows if m.get("title") and norm2(m["title"][0]) == t]
    print("  e.g.", c, ex[:3])
creators = collections.Counter(v for _, m in rows for v in m.get("creator", []))
print("creator name forms sample:", list(creators.items())[:6])
```

وهذا تقرير QSpace:

```text
live records: 688, deleted: 3
field presence (% of live records):
  title         688  100.0%
  creator       688  100.0%
  contributor   321   46.7%
  subject       688  100.0%
  description   688  100.0%
  date          688  100.0%
  type          688  100.0%
  language      688  100.0%
  identifier    688  100.0%
  rights          0    0.0%
  publisher     446   64.8%
  format        514   74.7%
titles in Arabic script: 665 (96.7%)
records with more than one title: 323
language values (4 distinct): 'ar':653, 'en':25, 'tr':7, 'en_ar':3
type values (8 distinct): 'Article':335, 'Master Thesis':221, 'Book':64, 'Conference':32, 'Book chapter':25, 'Dissertation':9, 'Presentation':3, 'Book Review':1
date values (4 distinct): '9999-99-99T99:99:99Z':688, '9999':341, '9999-99':272, '9999-99-99':75
identifier kinds: {'handle': 690, 'other': 1416, 'isbn/issn': 432, 'doi': 147}
possible duplicates (same normalised first title): 4 records in 2 groups
  e.g. 2 ['oai:qspace.qu.edu.qa:10576/4217', 'oai:qspace.qu.edu.qa:10576/17457']
  e.g. 2 ['oai:qspace.qu.edu.qa:10576/42334', 'oai:qspace.qu.edu.qa:10576/61596']
creator name forms sample: [('المري, سارة محمد', 2), ('المهندي, شريفة علي عيسى الحسن', 1), ('سالم, سعد', 1), ('المري, مريم حمد جابر الغياثين', 1), ('مقارح, نورة راشد', 1), ('عبد العزيز, آية فكري عبد المقتدر', 1)]
```

وهذا تقرير ورقلة:

```text
live records: 168, deleted: 7
field presence (% of live records):
  title         168  100.0%
  creator       168  100.0%
  contributor   166   98.8%
  subject       148   88.1%
  description   168  100.0%
  date          168  100.0%
  type          167   99.4%
  language      112   66.7%
  identifier    168  100.0%
  rights          0    0.0%
  publisher      91   54.2%
  format          0    0.0%
titles in Arabic script: 168 (100.0%)
records with more than one title: 1
language values (2 distinct): 'other':111, 'fr':1
type values (3 distinct): 'Thesis':163, 'Other':3, 'theses':1
date values (3 distinct): '9999-99-99T99:99:99Z':324, '9999':168, '9999T99:99:99Z':12
identifier kinds: {'handle': 168}
possible duplicates (same normalised first title): 8 records in 4 groups
  e.g. 2 ['oai:localhost:123456789/39143', 'oai:localhost:123456789/39363']
  e.g. 2 ['oai:localhost:123456789/40030', 'oai:localhost:123456789/40607']
  e.g. 2 ['oai:localhost:123456789/40311', 'oai:localhost:123456789/40652']
creator name forms sample: [('بولنوار, سعد', 1), ('خليفة, بولفعة', 1), ('حسيني, الطاهر', 1), ('محــدادي, عــلي', 1), ('شتيح, ابن يوسف', 1), ('سـليـم عـواريـب', 1)]
```

![رسم أعمدة أفقية يقارن QSpace بـ 688 تسجيلة باللون الأزرق وورقلة بـ 168 تسجيلة باللون البرتقالي كنسبة من التسجيلات الحية: لها مؤلف وعنوان وتاريخ 100 و100، رمز لغة صحيح ISO 639 في QSpace 99.6 مع en_ar ثلاث مرات وفي ورقلة 0.6 مع other 111 مرة وبلا لغة 56، لها ناشر publisher 64.8 و54.2، لها حقوق rights صفر وصفر، تكرار محتمل للعنوان 0.6 أي 4 تسجيلات و4.8 أي 8 تسجيلات، وتحتها أمثلة حقيقية من الحصاد: المؤلف نفسه بترتيبين دباز عبد الفتاح وعبد الفتاح دباز لرسالة واحدة في تسجيلتين، وحرف التطويل في الأسماء محــدادي عــلي فلا يجده من يكتب محدادي، وتواريخ مثل 2018T09:02:30Z بلا شهر ولا يوم، والى وإلى في عنوانين لبحث واحد](https://arabroot.io/content/images/2026/11/oai-pmh-harvesting-05-quality.webp)

الحقول الأساسية موجودة في المستودعين، والمشكلة في القيم وليس في وجودها

والآن نقرأ الأرقام معاً، لأن كل رقم منها له أثر مباشر على البوابة:

- **اللغة:** QSpace يستخدم رموز ISO 639 القياسية `ar` و`en` و`tr`، إلا ثلاث تسجيلات بالرمز `en_ar` الذي لا يوجد في أي معيار. أما ورقلة فيضع `other` في 111 رسالة كل عناوينها عربية، ولا يضع شيئاً في 56، ويضع `fr` لرسالة عنوانها «معجم مفردات أسماء النبات في معجم لسان العرب». وبالتالي إذا وضعت البوابة مرشحاً «اللغة: العربية» اختفت كل رسائل ورقلة من النتائج، وهي كلها رسائل عربية. والسبب في الغالب أن قائمة اللغات في نموذج الإيداع في DSpace لا تحتوي العربية افتراضياً، فيختار الموظف «أخرى».
- **التاريخ:** في QSpace التواريخ بأربعة أشكال: سنة فقط، وسنة وشهر، وتاريخ كامل، وتاريخ ووقت، وكلها صحيحة حسب ISO 8601\. أما في ورقلة فهناك 12 تاريخاً بالشكل `2018T09:02:30Z`، أي سنة ثم وقت دون شهر ولا يوم، وهذا ليس تاريخاً صالحاً، والبوابة التي تفرز بالسنة يجب أن تأخذ أول أربعة أرقام وتتجاهل الباقي.
- **التكرار:** بعد توحيد الهمزات والتاء المربوطة والياء وحذف التشكيل والترقيم، وجد السكربت 4 تسجيلات في مجموعتين في QSpace، و8 في أربع مجموعات في ورقلة. ومثال ورقلة واضح: الرسالة «أصول النحو عند ابن قيم الجوزية من خلال مؤلفاته» موجودة برقمين 39143 و39363، والمؤلف مرة «دباز، عبد الفتاح» ومرة «عبد الفتاح، دباز»، أي أن الرسالة أودعت مرتين وبترتيب مختلف للاسم. ومثال QSpace مختلف: «وسائل دعوة الصم الى الإسلام» في 2015 و«وسائل دعوة الصم إلى الإسلام» في 2020، والفرق همزة واحدة، فقد يكون البحث نفسه نشر مرتين، أو إيداعاً مكرراً، وهذا يحتاج إنساناً يقرر.
- **الأسماء:** في ورقلة أسماء مكتوبة بحرف التطويل Tatweel مثل «محــدادي، عــلي» و«سـليـم عـواريـب»، ومن يبحث عن «محدادي» لن يجدها إلا إذا حذفت البوابة هذا الحرف قبل الفهرسة. وبعض الأسماء بالترتيب «العائلة، الاسم» وبعضها «الاسم العائلة» دون فاصلة، وتوحيد الأسماء موضوع مقال ملفات الإسناد في مرحلة الفهرسة.
- **الحقوق:** لا توجد تسجيلة واحدة في المستودعين فيها `dc:rights`. وهذا يعني أن البوابة لا تعرف هل يحق لها أن تعرض الملخص كاملاً أو أن تشير إلى ترخيص، وQSpace يضع المعلومة في `dc:accessType` غير القياسي، فلا يراها إلا الحاصد الذي يعرف هذا الحقل بالذات.
- **العنوان المتعدد:** 323 تسجيلة في QSpace فيها أكثر من عنوان، والثاني عادة الترجمة الإنجليزية أو التركية، ولأن oai\_dc لا يقول أيهما الرئيسي، فالبوابة التي تعرض أول عنوان تعرضه بالعربية في الغالب، وهذا صحيح هنا، ولكنه صدفة الترتيب وليس قاعدة.

وقد يتساءل البعض: هل نصلح هذه البيانات في البوابة أم نطلب من المستودعات إصلاحها؟ والإجابة: الاثنان، ولكل منهما دوره. البوابة تطبق تنظيفاً آلياً لا يغير المعنى، مثل حذف التطويل وتوحيد الهمزات في فهرس البحث فقط، وتحويل `other` إلى «غير محدد» وليس إلى «العربية»، لأن التخمين في البيانات الوصفية يصنع أخطاء جديدة. أما ما يحتاج قراراً، مثل دمج التسجيلتين المكررتين أو تصحيح اللغة، فمكانه المستودع نفسه، فترسل البوابة لكل مستودع تقريراً دورياً مثل الذي حسبناه، والمستودع يصحح عنده، فيصل التصحيح لكل الحاصدين في الحصاد التالي وليس لبوابة واحدة فقط.

## أين تذهب تسجيلاتك بعد الحصاد؟

عندما يكون مستودعك سليماً، فهذه أمثلة على من يحصده، ولكل منهم شروطه:

- **المجمعات الأكاديمية العالمية:** مثل BASE من مكتبة جامعة بيليفيلد، و[CORE](https://core.ac.uk/services/repository-dashboard?ref=arabroot.io) البريطاني، و[OpenAIRE](https://guidelines.openaire.eu/?ref=arabroot.io) الأوروبي الذي ينشر إرشادات مفصلة لما يجب أن يكون في التسجيلة، وكلها تبدأ من رابط OAI-PMH تسجله لديها.
- **البوابات الوطنية والمتخصصة:** مثل اتحاد [NDLTD](https://www.ndltd.org/?ref=arabroot.io) للرسائل الجامعية، والبوابات الوطنية للرسائل في الدول التي لديها مثلها.
- **طبقة الاكتشاف في جامعتك:** مثل VuFind الذي جمع Koha وDSpace في مربع بحث واحد.

أما Google Scholar فطريقه مختلف، فهو لا يعتمد على الحصاد، وإنما يزحف إلى صفحات المستودع نفسها ويقرأ وسوم `meta` في رأس كل صفحة مثل `citation_title`، كما تقول [إرشادات الإدراج](https://scholar.google.com/intl/en/scholar/inclusion.html?ref=arabroot.io) عنده، ويوصي فيها المستودعات الجامعية باستخدام أحدث إصدار من DSpace. لذلك لا تحكم على مستودعك من ظهوره في Google Scholar وحده، فقد يظهر هناك ويكون OAI فيه معطلاً تماماً، والعكس.

## إذا كنت أنت المستودع: إعدادات تحمي الحاصدين

كل ما وجدناه في المختبر يمكن تجنبه بإعدادات يراجعها مدير المستودع مرة واحدة، ثم بعد كل تحديث. وهذه القائمة مبنية على [إرشادات المستودعات](https://www.openarchives.org/OAI/2.0/guidelines-repository.htm?ref=arabroot.io) في موقع المبادرة وعلى [توثيق OAI في DSpace](https://wiki.lyrasis.org/display/DSDOC10x/OAI?ref=arabroot.io):

1. **اقرأ رد Identify بنفسك:** الاسم الحقيقي للمستودع، وبريد يقرؤه إنسان، وبادئة المعرفات باسم نطاقك وليس localhost، ولا يوجد أي متغير بالشكل `${...}`.
2. **اختر البادئة مرة واحدة:** تغيير بادئة المعرفات بعد أن يحصد منك أحد يجعل كل تسجيلاتك جديدة في نظره، وكل القديمة باقية عنده لا يعرف أنها نفسها.
3. **زامن الساعة:** فعل NTP على السيرفر، فالتواريخ هي أساس الحصاد التزايدي كله.
4. **تأكد من المهمة التي تملأ OAI:** في DSpace هي `dspace oai import`، وضعها في جدول المهام وراقب أنها تنجح، وقارن عدد التسجيلات في `completeListSize` بعدد المواد في المستودع.
5. **تذكر المحذوف:** إذا استطعت أن تجعل `deletedRecord` بقيمة `persistent` فافعل، وإذا بقيت `transient` فلا تحذف رؤوس المحذوف إلا بعد مدة طويلة.
6. **رموز لغة قياسية:** أضف العربية إلى قائمة اللغات في نموذج الإيداع بالرمز `ar`، ولا تترك `other` خياراً سهلاً.
7. **لا تضف عناصر إلى oai\_dc:** الحقول المحلية مكانها صيغة أغنى، واختبر التسجيلة أمام المخطط بعد كل تعديل على قوالب التحويل.
8. **استثن /oai من حماية الزوار:** وجرب من سيرفر خارجي بالأمر curl بعد كل تغيير في جدار الحماية.

## إذا كنت الحاصد: أي أداة تستخدم؟

الحاصد الذي كتبناه يكفي لتفهم البروتوكول ولتحسب تقارير الجودة، ولكن في الإنتاج قد تكون الأداة الجاهزة أنسب، والجدول التالي يساعدك في القرار:

| الحالة                                    | الأنسب                                                    | والسبب                                                 |
| ----------------------------------------- | --------------------------------------------------------- | ------------------------------------------------------ |
| طبقة اكتشاف تجمع فهرس المكتبة والمستودع   | أداة الحصاد في VuFind                                     | تحصد وتفهرس في Solr بقواعد جاهزة لـ MARC وDublin Core  |
| بوابة رسائل تجمع مستودعات عدة جامعات      | حاصد مكتوب بمكتبة مثل Sickle، مع قاعدة بيانات وتقرير جودة | تحتاج تحكماً في التنظيف والتكرار والتنبيهات لكل مستودع |
| تحليل لمرة واحدة أو تقرير لمستودعك        | سكربت مثل الذي في هذا المقال                              | بسيط، ونتيجته ملف SQLite تفتحه بأي أداة                |
| تريد أن يظهر مستودعك في البوابات العالمية | لا تحتاج حاصداً                                           | تحتاج مستودعاً سليماً وتسجيل رابطه لدى كل مجمع         |

وأياً كانت الأداة، فهذه قواعد الحاصد الجيد: يحفظ `responseDate` من أول رد ويبدأ منه مع تداخل، ويتعامل مع الحذف، ويفرق بين `noRecordsMatch` والخطأ، ويحترم `Retry-After`، ويتحقق أن الرد XML، وينتظر ثانية على الأقل بين الطلبات، ويعرف نفسه باسم وبريد في User-Agent.

## أخطاء شائعة في الحصاد وحلولها

| الخطأ                           | ما الذي يحدث                                              | الحل                                                  |
| ------------------------------- | --------------------------------------------------------- | ----------------------------------------------------- |
| التاريخ بصيغة يوم-شهر-سنة       | DSpace يفهمه سنة 0023 ويعيد المستودع كله كل ليلة          | صيغة ISO 8601 من الكود، ومراقبة حجم كل حصاد           |
| البدء من ساعة جهاز الحاصد       | تضيع التسجيلات التي تغيرت بين الساعتين، كما في ورقلة      | responseDate من المستودع مع تداخل بضع دقائق           |
| تجاهل رؤوس الحذف                | البوابة تعرض رسائل سحبت، وروابطها 404                     | حذف التسجيلة من الفهرس عند status="deleted"           |
| اعتبار noRecordsMatch عطلاً     | تنبيه كل ليلة لا جديد فيها، فيتجاهل الفريق التنبيهات كلها | معاملته على أنه «لا جديد»                             |
| فحص رمز HTTP فقط                | صفحة WAF برمز 200 تبدو مستودعاً فارغاً                    | التأكد أن الرد XML فيه OAI-PMH                        |
| حفظ التسجيلة حسب المجموعة       | الرسالة نفسها ثلاث مرات من ثلاث مجموعات                   | المفتاح هو المعرف وحده                                |
| الثقة بـ earliestDatestamp      | البدء من أمس وفقدان كل ما قبله                            | الحصاد الأول دون from                                 |
| تصحيح البيانات في البوابة وحدها | التصحيح يضيع مع الحصاد التالي                             | تقرير جودة يرسل للمستودع، وتنظيف آلي محدود في البوابة |

## قائمة تحقق قبل أن تضيف مستودعاً إلى بوابتك

- رد `Identify` صحيح: الاسم والبريد والبادئة، و`deletedRecord` معروف.
- الرد XML حقيقي من سيرفر خارجي، وليس صفحة حماية.
- الصيغة المختارة أغنى صيغة يقدمها المستودع وتفهمها البوابة.
- المجموعات المطلوبة معروفة، والتسجيلة تحفظ بمعرفها.
- الحصاد الأول كامل دون `from`، وعدد ما وصل يساوي `completeListSize`.
- تاريخ الحصاد التالي من `responseDate` مع تداخل.
- تقرير الجودة الأول أرسل إلى المستودع: اللغة، والتواريخ، والتكرار، والحقوق.
- تنبيه إذا فشل الحصاد، أو إذا كان الحصاد التزايدي كبيراً بشكل غير طبيعي، أو إذا توقف عدد التسجيلات عن التغير شهوراً.

## تدريب عملي

- شغل الحاصد على مستودع جامعتك أو جامعة تعرفها، واقرأ رد `Identify`: هل البادئة صحيحة؟ وهل ساعة السيرفر قريبة من الساعة الحقيقية؟
- شغل `stats.py` على ما حصدته، واكتب لإدارة المستودع ثلاث ملاحظات من التقرير، مع معرف تسجيلة لكل ملاحظة.

## الخلاصة

وصلنا لنهاية الموضوع، وأهم ما فيه:

- الحصاد يجمع نسخة من وصف التسجيلات مسبقاً، فيكون البحث سريعاً وموحداً ومستقلاً عن توقف أي مستودع، والثمن تأخير يوم أو أقل.
- البروتوكول ستة أفعال فوق HTTP، وأساسه المعرف الثابت والتاريخ والصفحات بالرمز `resumptionToken` ورؤوس الحذف.
- الحصاد التزايدي يبدأ من `responseDate` في رد المستودع مع تداخل، وأخذ ما تغير في أسبوع من QSpace احتاج 11 طلباً بدلاً من 688.
- المستودعات الحقيقية فيها أخطاء إعداد ظاهرة: ساعة متقدمة، وبادئة localhost، وتاريخ بداية خاطئ، وفهرس OAI غير متزامن، وجدار حماية يرد بـ HTML، وDSpace يقبل تاريخاً بصيغة خاطئة ويعيد كل شيء.
- oai\_dc يضيع الأدوار والتفاصيل، فاحصد أغنى صيغة متاحة، ولا تضف عناصر إليه إذا كنت المستودع.
- جودة البيانات مشكلة قيم أكثر منها مشكلة حقول: رموز اللغة، والتواريخ، والتطويل، والتكرار، والحقوق، وإصلاحها مكانه المستودع بتقرير من البوابة.

وفي المقال التالي من هذه المرحلة بإذن الله ننتقل من المستودع إلى الأرشيف، حيث الوثيقة جزء من مجموعة لها تسلسل وليست عملاً مستقلاً:

[![](https://arabroot.io/content/images/2026/11/atom-archives-cover-cover.webp)دليلالأرشيف والوثائق بمعيار ISAD(G) مع AtoM وArchivesSpaceكيف تصف وثائق مؤسستك بمعيار ISAD(G) في AtoM بالعربية، مع مقارنة بـ ArchivesSpace ومختبر كشف ثلاث مشكلات في الاستيراد والبحث العربي وحلولها.](https://arabroot.io/articles/%D8%A7%D9%84%D8%A7%D8%B1%D8%B4%D9%8A%D9%81-%D9%88%D8%A7%D9%84%D9%88%D8%AB%D8%A7%D8%A6%D9%82-%D9%85%D8%B9-atom-%D9%88-archivesspace/)[![](https://arabroot.io/content/images/2026/11/digitization-workflow-cover-cover.webp)دليلرقمنة الكتب Digitization: من الماسح إلى نص عربيسلسلة رقمنة كاملة على صفحة من كتاب طبع في بولاق 1906: نسخة حفظ TIFF وبصمة، وOCR نقيس خطأه على نص كتبناه بأيدينا، وPDF/A، وعرض عميق عبر IIIF.](https://arabroot.io/articles/%D8%B1%D9%82%D9%85%D9%86%D8%A9-%D8%A7%D9%84%D9%83%D8%AA%D8%A8-digitization-%D9%85%D9%86-%D8%A7%D9%84%D9%85%D8%A7%D8%B3%D8%AD-%D8%A7%D9%84%D9%89-%D8%A7%D9%84%D9%86%D8%B5-%D8%A7%D9%84%D8%B9%D8%B1%D8%A8%D9%8A/)[![](https://arabroot.io/content/images/2026/11/dublin-core-bibframe-cover-cover.webp)دليلDublin Core وBIBFRAME: البيانات الوصفية بعد MARCنحول تسجيلتين حقيقيتين من مكتبة الكونغرس إلى Dublin Core وإلى BIBFRAME بالأدوات الرسمية، ونرى ما يبقى وما يضيع من الوصف العربي.](https://arabroot.io/articles/dublin-core-%D9%88-bibframe-%D8%A7%D9%84%D8%A8%D9%8A%D8%A7%D9%86%D8%A7%D8%AA-%D8%A7%D9%84%D9%88%D8%B5%D9%81%D9%8A%D8%A9-%D8%A8%D8%B9%D8%AF-marc/)[![](https://arabroot.io/content/images/2026/11/authority-records-cover-cover.webp)دليلملفات الإسناد Authority Files وأسماء المؤلفين العربنبحث في ملف أسماء مكتبة الكونغرس عن مؤلفين عرب، ونقيس كم اسماً حقيقياً في فهرس مفتوح يجد صاحبه بالشكل المعتمد والإحالات والتوحيد.](https://arabroot.io/articles/%D9%85%D9%84%D9%81%D8%A7%D8%AA-%D8%A7%D9%84%D8%A7%D8%B3%D9%86%D8%A7%D8%AF-authority-records-%D9%88%D8%AA%D9%88%D8%AD%D9%8A%D8%AF-%D8%A7%D8%B3%D9%85%D8%A7%D8%A1-%D8%A7%D9%84%D9%85%D8%A4%D9%84%D9%81%D9%8A%D9%86-%D8%A7%D9%84%D8%B9%D8%B1%D8%A8/)

## سجل التحديثات

- 17 نوفمبر 2026: كتابة المقال، وحصاد مستودع جامعة قطر QSpace (مجتمعا com\_10576\_60 وcom\_10576\_44 وتغييرات أسبوع كامل) ومستودع جامعة قاصدي مرباح ورقلة (رسائل الدكتوراه في قسم اللغة العربية) بحاصد Python 3.13.18، واختبار رموز الأخطاء بـ curl 8.23.0، والتحقق من oai\_dc بـ xmllint من libxml2 2.9.14.