الذكاء الاصطناعي والبيانات الأدلة التقنية

تحليل المشاعر Sentiment Analysis للتغريدات العربية

نقارن خط أساس TF-IDF بنموذج CAMeLBERT العربي على CPU في تغريدات مصرية وأردنية حقيقية، ونختبرهما على ردود خليجية فيها نفي وسخرية وإيموجي، ونعرض أخطاءهما كما هي.

تحليل المشاعر Sentiment Analysis للتغريدات العربية

إذا كنت مسؤولاً عن حساب تطبيق خدمي على منصة X، فأنت تعرف ما يحدث بعد كل تحديث كبير: مئات الردود في أول يومين، بعضها «ما قصرتوا والله، التطبيق صار اسرع»، وبعضها «من بعد التحديث الدفع يعلق كل مرة»، وبعضها «يا سلام على السرعة، الطلب وصل بعد ثلاث ساعات 👏»، والأخيرة ليست مدحاً كما تعرف. وفي اجتماع الأحد يسأل مدير المنتج سؤالاً واحداً: هل الناس راضون عن التحديث أم لا؟ وكم نسبة الغاضبين، وهل ارتفعت عن الشهر الماضي؟ وقراءة كل الردود بيدك تنجح في أول أسبوع، ثم تصبح مستحيلة عندما تتكرر كل أسبوع، وعندما يريد المدير رقماً يقارنه بين شهر وآخر بدل انطباعك.

وهذه المسألة اسمها تحليل المشاعر Sentiment Analysis: أن يقرأ برنامج النص ويقرر هل هو إيجابي أم سلبي أم محايد. وهي من أقدم مسائل معالجة اللغة الطبيعية، ولكنها في العربية أصعب بكثير مما تبدو، لأن الناس يكتبون بلهجاتهم، وينفون بكلمات مختلفة في كل بلد، «مو» و«مش» و«ما» و«موب»، ويسخرون، ويضعون إيموجي بدل الكلمة. وفي هذا المقال سوف نبني مصنفين: الأول خط أساس Baseline بسيط بطريقة TF-IDF مع الانحدار اللوجستي Logistic Regression، يتدرب في ثوان، والثاني نموذج عربي مدرب مسبقاً من عائلة BERT هو CAMeLBERT، يعمل على المعالج CPU دون بطاقة رسوميات. ونقيسهما على مجموعتي تغريدات عربية عامتين، ثم على ردود كتبناها بأنفسنا بلهجة خليجية فيها نفي وسخرية وإيموجي، ونعرض الأخطاء كما هي. وكل مخرج في المقال هو مخرج حقيقي من تشغيل الكود الموجود في مجلد lab داخل Container مبني على python:3.13-slim.

وسوف نناقش في هذا المقال ما يلي:

  • لماذا لا نسحب التغريدات من X مباشرة، وما البيانات العربية المفتوحة المتاحة ورخصها.
  • الفكرة الأولى التي يجربها الجميع: قاموس كلمات مع قاعدة نفي، وحدودها بالأرقام.
  • لماذا المشاعر في العربية صعبة، وما الذي في هذه البيانات فعلاً قبل أي نموذج.
  • خط الأساس TF-IDF: الكلمات مقابل مقاطع الحروف، وماذا يتعلم النموذج.
  • ماذا يحدث عندما تتغير اللهجة بين التدريب والاستخدام.
  • النموذج المدرب مسبقاً CAMeLBERT على CPU: كيف يعمل، وكم يستغرق، وكيف نقيسه بعدل.
  • الحالات الصعبة: النفي والسخرية والإيموجي والرد المختلط، والأخطاء الحقيقية للنموذجين.
  • تجربة «ماذا يحدث إذا» على التطبيع، ثم كيف نبني التقرير الأسبوعي، وقائمة تحقق.

من أين نأتي بالتغريدات؟ X API and Open Datasets

أول فكرة أن نسحب الردود من X ونصنفها. ولكن واجهة X البرمجية لم تعد مجانية للقراءة، فبحسب صفحة الأسعار الرسمية النظام بالدفع حسب الاستخدام، وقراءة المنشور الواحد بـ 0.005 دولار، أي قرابة 50 دولاراً لكل عشرة آلاف رد، مع حد أعلى للقراءات في الشهر. وهذا مبلغ معقول لجهة تعرف ما تريد، ولكنه لا يناسب مرحلة التجربة التي لا نعرف فيها بعد أي نموذج يصلح، ثم إن سحب الردود لا يحل المشكلة الأصعب: أننا نحتاج ردوداً مصنفة بيد إنسان حتى نقيس أي نموذج. والقاعدة التي نعمل بها في هذا المقال: ابدأ بالبيانات المفتوحة المصنفة لتختار الطريقة، ثم صنف عينة صغيرة من ردودك أنت لتقيس عليها قبل أن تعتمد أي رقم.

والبيانات العربية المفتوحة لتحليل المشاعر قليلة، وأغلبها من سنوات مضت. واخترنا مجموعتين يمكن تنزيلهما مباشرة برخصة واضحة:

  • ASTD، مجموعة التغريدات العربية للمشاعر Arabic Sentiment Tweets Dataset، نشرها Mahmoud Nabil وزملاؤه في 2015، وفيها قرابة عشرة آلاف تغريدة أغلبها باللهجة المصرية، في أربع فئات: إيجابي، وسلبي، ومختلط، وموضوعي لا رأي فيه. وهي منشورة في مستودعها على GitHub برخصة GPL-2.0.
  • AJGT، مجموعة التغريدات الأردنية العامة Arabic Jordanian General Tweets، وفيها 1,800 تغريدة بالأردنية والفصحى، نصفها إيجابي ونصفها سلبي، برخصة Academic Free License 3.0.

وهناك مجموعات أخرى معروفة مثل ArSAS ومهمة SemEval 2017 للتغريدات العربية، ولن نستخدمها مباشرة، ولكن سوف نراها بعد قليل لأن النموذج المدرب مسبقاً الذي نستخدمه درب عليها. والتنزيل في التجربة يتم بسكربت صغير:

# Downloads the two public datasets into data/ (about 1.7 MB); the model is downloaded by Transformers on first use (about 440 MB)
#   ASTD, Nabil et al. 2015 (GPL-2.0)   AJGT, Alomari et al. 2017 (Academic Free License 3.0)
import os, urllib.request

os.makedirs("data", exist_ok=True)
for url, name in (("https://raw.githubusercontent.com/mahmoudnabil/ASTD/master/data/Tweets.txt", "astd-tweets.txt"),
                  ("https://raw.githubusercontent.com/komari6/Arabic-twitter-corpus-AJGT/master/AJGT.xlsx", "AJGT.xlsx")):
    urllib.request.urlretrieve(url, f"data/{name}")
print(sorted(os.listdir("data")))

والتجربة كلها في Image واحدة بنيناها لهذا المقال، فيها PyTorch من فهرس الحزم الرسمي للمعالج CPU، ثم Transformers وscikit-learn، والإصدارات مثبتة بالرقم:

# CPU-only image for the lab: PyTorch from the official CPU wheel index, then Transformers and scikit-learn
FROM python:3.13-slim
RUN pip install --no-cache-dir --root-user-action=ignore torch==2.15.0 --index-url https://download.pytorch.org/whl/cpu \
 && pip install --no-cache-dir --root-user-action=ignore transformers==5.22.1 scikit-learn==1.9.1 pandas==3.1.0 openpyxl==3.1.5
WORKDIR /w
#!/bin/sh
# Runs the lab of this article from this folder: one CPU-only image, a volume that keeps the downloaded model
set -e
docker build -t hml-nlp:1 .
mkdir -p outs
for s in fetch step1_look step2a_lexicon step2_tfidf step3_bert step4_hard step5_errors; do
  echo "=== $s"
  docker run --rm --name hml-nlp -v "$PWD:/w" -v hml-hf:/root/.cache/huggingface -w /w hml-nlp:1 python $s.py | tee output-$s.txt
done
# clean up afterwards: docker rmi hml-nlp:1 && docker volume rm hml-hf

في الملفين أعلاه لاحظ التالي:

  • الفهرس download.pytorch.org/whl/cpu يعطي نسخة PyTorch دون مكتبات CUDA، ولو ثبتها من الفهرس العادي لنزلت معها مكتبات بطاقات NVIDIA بعدة جيجابايت لن نستخدمها.
  • الـ Volume المسمى hml-hf يحفظ النموذج بعد أول تنزيل، وحجمه قرابة 440 ميجابايت، فلا ينزل مرة أخرى مع كل خطوة.
  • كل خطوة تعمل في Container مؤقت يحذف بعدها، وفي آخر السكربت أمر الحذف للـ Image والـ Volume.

لماذا المشاعر في العربية صعبة؟ Why Arabic Is Hard

قد يبدو تحليل المشاعر مسألة واحدة في كل اللغات، ولكن العربية تضيف فوقها طبقات لا تجدها في الإنجليزية بنفس الحجم، وقد شرحنا أغلبها بالتفصيل في مقال NLP للعربية، وهذه أهمها لمسألتنا:

  • اللهجات Dialects: الفصحى في الأخبار والبيانات الرسمية، أما الردود فباللهجة، والفرق بين المصرية والأردنية والخليجية والمغاربية ليس في النطق فقط، وإنما في الكلمات نفسها. فـ «بايخ» و«ماصخ» و«سخيف» معناها متقارب، و«يهبل» مدح في الخليج، و«عادي» قد تكون رضا أو استخفافاً حسب السياق.
  • النفي Negation: كل لهجة تنفي بطريقتها، «مو» و«مب» و«موب» و«مش» و«ما ... ش»، وبعض عبارات النفي معناها مدح مثل «ما قصرتوا» و«ما عليك زود»، وبعضها ذم مثل «ما ينفع».
  • الصرف Morphology: الكلمة الواحدة تلتصق بها السوابق واللواحق، «وبالتطبيق» و«تطبيقكم» و«التطبيقات»، فعد الكلمات كما هي يفرق الكلمة الواحدة إلى عشرات الأشكال، وهذا ما سوف يجعل مقاطع الحروف تفيدنا.
  • الإملاء غير الموحد: الهمزات والتاء المربوطة والألف المقصورة تكتب بأشكال مختلفة، والتكرار للتعبير «حلووووو»، والكتابة بالحروف اللاتينية والأرقام أحياناً، المسماة عربيزي Arabizi، مثل «7elo».
  • الدين والمجاملة: كثير من الكلمات الإيجابية في الشكل عبارات يومية لا تحمل رأياً، «الله يعطيك العافية» قد تكون شكراً أو بداية شكوى، و«الحمد لله» تأتي مع الرضا ومع المصيبة. فالنموذج الذي يتعلم أن «الله» كلمة إيجابية سوف يخطئ في نصف الحالات.
  • قلة البيانات المصنفة: مقارنة بالإنجليزية، البيانات العربية المصنفة للمشاعر قليلة، وأغلبها تغريدات من سنوات مضت عن أحداث سياسية أو رياضية، وليس ردود عملاء.

وكل نقطة من هذه سوف نراها بالأرقام في التجارب التالية، وبعضها سوف يكسب فيه النموذج الكبير، وبعضها يخسر فيه النموذجان معاً.

ما الذي في البيانات؟ First Look

كما فعلنا في مقال تحليل البيانات مع pandas، لا نبدأ بنموذج قبل أن ننظر إلى البيانات. وهذه أول خطوة:

# Loading the two datasets and the light Arabic normalisation shared by every step
import re
import pandas as pd

def load_astd():
    """ASTD (Nabil et al. 2015, GPL-2.0): about 10k Egyptian tweets, POS / NEG / NEUTRAL (mixed) / OBJ"""
    df = pd.read_csv("data/astd-tweets.txt", sep="\t", header=None, names=["text", "label"], quoting=3)
    return df.dropna()

def load_ajgt():
    """AJGT (Alomari et al. 2017, AFL-3.0): 1,800 Jordanian / MSA tweets, Positive / Negative"""
    df = pd.read_excel("data/AJGT.xlsx")
    df = df.rename(columns={"Feed": "text", "Sentiment": "label"})[["text", "label"]]
    df["label"] = df["label"].map({"Positive": "POS", "Negative": "NEG"})
    return df

EMOJI = re.compile("[\U0001F300-\U0001FAFF☀-➿]")

def normalize(text):
    text = re.sub(r"https?://\S+", " ", str(text))
    text = re.sub(r"@\w+", " ", text)
    text = re.sub(r"[ً-ْـ]", "", text)          # harakat and tatweel
    text = re.sub("[إأآا]", "ا", text).replace("ى", "ي").replace("ة", "ه")
    text = re.sub(r"(.)\1{2,}", r"\1\1", text)                 # «حلوووو» -> «حلوو»
    text = EMOJI.sub(lambda m: f" {m.group(0)} ", text)        # each emoji becomes its own token
    return re.sub(r"\s+", " ", text).strip()
# Step 1: what is inside the two datasets before any model
import pandas as pd
from common import load_astd, load_ajgt, EMOJI

astd, ajgt = load_astd(), load_ajgt()
for name, df in (("ASTD", astd), ("AJGT", ajgt)):
    print(f"== {name}: {len(df)} tweets")
    print(df["label"].value_counts().to_string())
    words = df["text"].str.split().str.len()
    print(f"words per tweet: median {words.median():.0f}, 90th percentile {words.quantile(.9):.0f}")
    print("tweets with an emoji:", int(df["text"].str.contains(EMOJI).sum()),
          "| exact duplicates:", int(df["text"].duplicated().sum()))
pd.set_option("display.max_colwidth", 80)
short = lambda df: df[df["text"].str.split().str.len().between(5, 12)]
print("-- AJGT examples")
print(short(ajgt).sample(8, random_state=11)[["label", "text"]].to_string(index=False))

والمخرج سوف يكون كما يلي:

== ASTD: 10006 tweets
label
OBJ        6691
NEG        1684
NEUTRAL     832
POS         799
words per tweet: median 14, 90th percentile 22
tweets with an emoji: 115 | exact duplicates: 4
== AJGT: 1800 tweets
label
POS    900
NEG    900
words per tweet: median 7, 90th percentile 17
tweets with an emoji: 0 | exact duplicates: 0
-- AJGT examples
label                                                             text
  NEG                                       اخ يا بطني عورني من الضحكك
  POS  كلام بليغ اللهم ارزقنا الزوج الصالح من يعرف معني رفقا بالقوارير
  NEG                     ما يستحون هم جايين لو انا منهم اروح اقشر بصل
  NEG                             الظاهر انه جايين يستهبلون عالحكام بس
  NEG في خطبه وحده رفض شيخ اخواني النووي الاردني و مدح النووي الايراني
  NEG                        سخافه الشاميين ابدا ما ينفع لهم الكوميديا
  POS                          الصادق ينتظر الفرج ولا يياس من روح الله
  NEG                               ولا مستحيل يطلع واحد يفشل نفسه كذا

في المخرج أعلاه لاحظ التالي:

  • في ASTD الفئة الأكبر بكثير هي الموضوعي OBJ، 6,691 تغريدة، أي ثلثا المجموعة لا رأي فيه. والإيجابي 799 فقط مقابل 1,684 سلبي. وهذا يشبه الواقع كثيراً: أغلب ما يكتب أخبار أو أسئلة، والناس يكتبون عندما يغضبون أكثر مما يكتبون عندما يرضون.
  • في AJGT الفئتان متساويتان تماماً، 900 و900، لأن من جمعها اختار ذلك. وهذا يجعلها جيدة للمقارنة بين النماذج، ولكن النسبة فيها لا تشبه أي حساب حقيقي.
  • تغريدة ASTD وسيطها 14 كلمة، وتغريدة AJGT وسيطها 7 كلمات. والنص القصير صعب على أي نموذج، لأن الدليل فيه قليل، فكلمة واحدة تحسم القرار.
  • الإيموجي شبه غائب: 115 تغريدة فقط في ASTD، وصفر في AJGT، والأغلب أن من جمعها نظفها. وهذا مهم لنا لأن ردود العملاء اليوم مليئة بالإيموجي، فالنموذج الذي يتدرب على هذه البيانات لن يعرف معنى 😡.
  • عينة AJGT في آخر المخرج تكشف أشياء لا تراها في الأرقام. فالتغريدة «اخ يا بطني عورني من الضحكك» مصنفة سلبية، وهي في الحقيقة ضحك ومدح، وقد يكون من صنفها قرأ «عورني» فقط. و«ما يستحون هم جايين لو انا منهم اروح اقشر بصل» سخرية مصنفة سلبية وهذا صحيح، ولكن السلبية فيها تأتي من المعنى كله أكثر من كلمة بعينها. أي أن التصنيف البشري نفسه فيه أخطاء، والنموذج الذي يصل إلى 100% على هذه البيانات يكون قد حفظ الأخطاء أيضاً.

وهناك ملاحظة لا تظهر في المخرج لأننا أخفيناها عمداً: عندما طبعنا عينات من ASTD كانت أغلبها سياسية، عن أحداث مصر في 2013، وبعضها فيه شتائم ووسوم سياسية لا نريد نشرها، ولذلك لم نطبع عينة منها. وهذه المعلومة سوف تفسر لنا بعد قليل لماذا يتعلم النموذج أسماء سياسيين كدليل على الغضب.

جدول مجموعات المشاعر العربية: ASTD مصرية 10,006 تغريدة في أربع فئات برخصة GPL-2.0، وAJGT أردنية وفصحى 1,800 تغريدة إيجابية وسلبية برخصة AFL-3.0، وArSAS وSemEval التي دخلت في تدريب CAMeLBERT، وتحته ملاحظة أنه لا توجد لهجة خليجية ولا ردود عملاء، وأن قراءة المنشور من X API بـ 0.005 دولار
البيانات المفتوحة المتاحة: لا لهجة خليجية فيها، ولا ردود عملاء، وتقريباً لا إيموجي، وهذه هي الفجوة التي سوف نقيسها.

الفكرة الأولى: قاموس الكلمات Sentiment Lexicon

قبل أي تعلم آلة، أول ما يخطر لأي مطور هو قائمتان: كلمات إيجابية مثل «حلو» و«ممتاز» و«شكرا»، وكلمات سلبية مثل «سيء» و«فاشل» و«زفت»، ثم نعد في كل رد كم كلمة من كل قائمة، والفائز يحدد القرار. وهذه الطريقة لها اسم هو التحليل بالقاموس Lexicon-Based Analysis، وهي ليست فكرة ضعيفة كما قد تظن، فهناك قواميس مشاعر عربية منشورة في البحوث بآلاف الكلمات، وميزتها أنك تستطيع أن تشرح كل قرار: «سلبي لأن فيه كلمة فاشل». ولكي نعرف حدودها بالأرقام، كتبنا قاموساً صغيراً من 24 كلمة لكل جهة، وأضفنا قاعدة نفي بسيطة: إذا جاءت كلمة النفي «مو» أو «مش» أو «ما» قبل الكلمة مباشرة نقلب إشارتها:

# Step 2a: the first idea everyone tries: a word list, with and without a negation rule
from common import load_ajgt, normalize

POS = {"حلو", "حلوه", "جميل", "جميله", "رائع", "رائعه", "ممتاز", "ممتازه", "احسن", "افضل", "شكرا", "الحمد",
       "مبروك", "يسلمو", "تسلم", "ابداع", "روعه", "احب", "بحب", "فرحه", "سعاده", "نجاح", "خير", "الله"}
NEG = {"سيء", "سيئه", "زفت", "فاشل", "فاشله", "فشل", "تخلف", "حرام", "ظلم", "كذب", "حزن", "مشكله", "غلط",
       "سخيف", "سخافه", "خساره", "قرف", "مقرف", "فساد", "حراميه", "اسوا", "تعبان", "زعلان", "ضد"}
NEGATORS = {"مو", "مش", "ما", "لا", "ليس", "مب", "موب", "مافي", "ماهو"}

def score(text, negation):
    words, s = normalize(text).split(), 0
    for i, w in enumerate(words):
        w = w[1:] if w.startswith("و") and w[1:] in POS | NEG else w      # «وحلو» -> «حلو»
        v = 1 if w in POS else -1 if w in NEG else 0
        if negation and v and i > 0 and words[i - 1] in NEGATORS:
            v = -v                                                       # «مو حلو» flips
        s += v
    return s

ajgt = load_ajgt()
for negation in (False, True):
    s = ajgt["text"].map(lambda t: score(t, negation))
    hit = s != 0
    acc_hit = ((s[hit] > 0) == (ajgt["label"][hit] == "POS")).mean()
    acc_all = ((s > 0) == (ajgt["label"] == "POS")).mean()             # no word found counts as negative
    print(f"negation rule={negation}: tweets with a list word {hit.mean():.1%}, accuracy on those {acc_hit:.3f}, on all {acc_all:.3f}")
for t in ["التحديث مو ممتاز", "ما قصرتوا والله", "مو سيء", "التطبيق حلو بس الدفع يعلق"]:
    print(score(t, True), t)

والمخرج سوف يكون كما يلي:

negation rule=False: tweets with a list word 30.9%, accuracy on those 0.727, on all 0.611
negation rule=True: tweets with a list word 30.8%, accuracy on those 0.742, on all 0.616
-1 التحديث مو ممتاز
1 ما قصرتوا والله
1 مو سيء
1 التطبيق حلو بس الدفع يعلق

في المخرج أعلاه لاحظ التالي:

  • أكبر مشكلة ليست الدقة، وإنما التغطية Coverage: 30.9% فقط من التغريدات فيها كلمة واحدة على الأقل من القاموس. أي أن سبعين بالمئة من الردود لا يعرف القاموس عنها شيئاً، وعلى كل البيانات الدقة 0.611، قريبة من رمي عملة. ولو كبرنا القاموس إلى ألف كلمة سوف ترتفع التغطية، ولكن اللهجات لا تنتهي، فكل منطقة لها كلماتها للمدح والذم، «يهبل» و«خرافي» و«تحفة» و«بايخ» و«ماله داعي».
  • على التغريدات التي وجد فيها كلمة، الدقة 0.727، وقاعدة النفي رفعتها إلى 0.742 فقط. فالنفي مهم، ولكن النفي المباشر قبل الكلمة قليل نسبياً في البيانات، والنفي الحقيقي غالباً أبعد، «ما كان التحديث بهذا الجمال».
  • «التحديث مو ممتاز» خرجت -1، وهذا صحيح بفضل القاعدة. و«ما قصرتوا والله» خرجت +1، وهذا صحيح، ولكن لسبب خاطئ: القاموس لا يعرف «قصرتوا»، ووجد «الله» داخل «والله» في قائمة الإيجابي. وهذه هي مشكلة القواعد اليدوية: تعطيك الجواب الصحيح أحياناً بالصدفة، فتظن أنها تعمل.
  • «مو سيء» خرجت +1 بفضل قلب النفي، وهذا صحيح هنا، ولكن نفس القاعدة تقلب «مو بس سيء، زفت» إلى إيجابي. و«التطبيق حلو بس الدفع يعلق» خرجت +1، لأن «يعلق» ليست في القاموس، وهي بالضبط الشكوى التي يريدها فريق المنتج.

فالقاموس يصلح كأداة مساعدة، مثل قاعدة الإيموجي التي سوف نقترحها لاحقاً، أو كطريقة سريعة لتصفية الردود التي فيها كلمات قوية جداً، ولكنه لا يصلح كمصنف رئيسي لردود بلهجات مختلفة. والخطوة التالية أن نترك البيانات المصنفة تختار الكلمات وأوزانها بدلاً عنا، وهذا ما يفعله التعلم الآلي.

خط الأساس TF-IDF Baseline

قبل أي نموذج كبير نحتاج خط أساس Baseline بسيطاً، لسببين: الأول أنه يقول لنا كم يستحق النموذج الكبير، فإذا كان الفرق بينهما صغيراً فلماذا ندفع ثمن الكبير؟ والثاني أن خط الأساس سريع ويمكن فهمه، فنعرف منه ماذا في البيانات. والطريقة التي اخترناها اسمها TF-IDF، وهي اختصار تكرار المصطلح في المستند Term Frequency مضروباً في معكوس تكرار المستندات Inverse Document Frequency. والفكرة أن كل تغريدة تتحول إلى متجه، فيه رقم لكل كلمة أو جزء، والرقم كبير إذا تكررت الكلمة في التغريدة، وصغير إذا كانت الكلمة موجودة في كل التغريدات مثل «من» و«في». وبعد ذلك يتعلم الانحدار اللوجستي وزناً لكل كلمة، موجباً للإيجابي وسالباً للسلبي، والقرار مجموع الأوزان. وهي قريبة من فكرة Naive Bayes التي شرحناها في مقال كشف الرسائل المزعجة، والفرق أن الانحدار اللوجستي يتعلم الأوزان معاً بدل أن يحسب كل كلمة وحدها.

وهناك قرار مهم في TF-IDF: ما هي الوحدة؟ الكلمة، أم أزواج الكلمات، أم مقاطع الحروف؟ وفي العربية لهذا القرار أثر كبير، لأن الكلمة الواحدة لها أشكال كثيرة بالسوابق واللواحق والإملاء واللهجة، «ممتاز» و«ممتازه» و«والممتاز» و«ممتااز»، وكل شكل كلمة مختلفة في عد الكلمات. أما مقاطع الحروف Character N-grams، أي كل سلسلة من حرفين إلى خمسة أحرف داخل الكلمة، فتجعل هذه الأشكال تشترك في أغلب مقاطعها. والخيار char_wb في TfidfVectorizer يأخذ المقاطع داخل حدود الكلمة فقط، فلا يخلط آخر كلمة بأول التي بعدها.

التغريدة مو ممتاز ابدا مقسمة مرة إلى كلمات وأزواج كلمات، ومرة إلى مقاطع حروف داخل الكلمة مثل مم وممت ومتا وتاز، مع شرح وزن TF-IDF والانحدار اللوجستي
نفس التغريدة بطريقتين: الكلمات تحتاج أن ترى الشكل نفسه من قبل، والمقاطع تنجو من اختلاف الكتابة لأن الأشكال تشترك في أغلب أجزائها.

ونقتصر في كل التجارب على إيجابي مقابل سلبي، ونترك المحايد والمختلط والموضوعي، لأن AJGT فيها فئتان فقط، ونريد أن نقارن على نفس السؤال. وهذا كود الخطوة الثانية:

# Step 2: the TF-IDF baseline, inside one dataset and across dialects (positive vs negative only)
import time
import numpy as np
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.linear_model import LogisticRegression
from sklearn.pipeline import make_pipeline
from sklearn.model_selection import train_test_split, cross_val_score, StratifiedKFold
from sklearn.metrics import classification_report, f1_score
from common import load_astd, load_ajgt, normalize

astd = load_astd(); astd = astd[astd["label"].isin(["POS", "NEG"])].copy()
ajgt = load_ajgt()
for df in (astd, ajgt):
    df["clean"] = df["text"].map(normalize)

def model(kind):
    if kind == "word":   # words and word pairs; the token rule keeps emoji as tokens
        vec = TfidfVectorizer(ngram_range=(1, 2), min_df=2, sublinear_tf=True, token_pattern=r"\S+")
    else:                # character pieces inside words: survives spelling and dialect variation better
        vec = TfidfVectorizer(analyzer="char_wb", ngram_range=(2, 5), min_df=2, sublinear_tf=True)
    return make_pipeline(vec, LogisticRegression(max_iter=3000, class_weight="balanced"))

tr, te = train_test_split(astd, test_size=0.2, stratify=astd["label"], random_state=42)
print(f"ASTD positive/negative: train {len(tr)}, test {len(te)} ({(te['label'] == 'NEG').mean():.0%} negative)")
for kind in ("word", "char"):
    t = time.perf_counter()
    m = model(kind).fit(tr["clean"], tr["label"])
    pred = m.predict(te["clean"])
    print(f"-- {kind} n-grams, trained in {time.perf_counter() - t:.1f} s, features {len(m[0].vocabulary_)}")
    print(classification_report(te["label"], pred, digits=3))
    if kind == "word":
        coef, names = m[1].coef_[0], m[0].get_feature_names_out()      # classes_ = [NEG, POS]
        words = lambda idx: [n for n in names[idx] if not n.startswith("#")][:12]   # hashtags hidden (political slogans)
        print("most positive:", " | ".join(words(np.argsort(coef)[::-1][:30])))
        print("most negative:", " | ".join(words(np.argsort(coef)[:30])))
    # the same model on Jordanian tweets it never saw
    t = time.perf_counter(); pj = m.predict(ajgt["clean"]); dt = time.perf_counter() - t
    print(f"   predicted {len(ajgt)} tweets in {dt:.2f} s ({len(ajgt) / dt:,.0f} tweets/s)")
    print(f"   on AJGT (other dialect): accuracy {(pj == ajgt['label']).mean():.3f}, macro F1 {f1_score(ajgt['label'], pj, average='macro'):.3f}")

cv = StratifiedKFold(5, shuffle=True, random_state=42)
for kind in ("word", "char"):
    s = cross_val_score(model(kind), ajgt["clean"], ajgt["label"], cv=cv, scoring="accuracy")
    print(f"AJGT trained on AJGT, 5-fold, {kind}: accuracy {s.mean():.3f} (folds {' '.join(f'{x:.3f}' for x in s)})")

والمخرج سوف يكون كما يلي:

ASTD positive/negative: train 1986, test 497 (68% negative)
-- word n-grams, trained in 0.3 s, features 4827
              precision    recall  f1-score   support

         NEG      0.818     0.828     0.823       337
         POS      0.628     0.613     0.620       160

    accuracy                          0.759       497
   macro avg      0.723     0.720     0.722       497
weighted avg      0.757     0.759     0.758       497

most positive: الله | شكرا | :) | ♡ | اللهم | تحيه | انك | احسن | افضل | ، | رائعه | لي
most negative: الاخوان | الانقلاب | مرسي | علي | ده | لم | مش | من | بس | هل | لا | قانون
   predicted 1800 tweets in 0.09 s (20,824 tweets/s)
   on AJGT (other dialect): accuracy 0.717, macro F1 0.716
-- char n-grams, trained in 3.7 s, features 32856
              precision    recall  f1-score   support

         NEG      0.875     0.849     0.861       337
         POS      0.700     0.744     0.721       160

    accuracy                          0.815       497
   macro avg      0.787     0.796     0.791       497
weighted avg      0.818     0.815     0.816       497

   predicted 1800 tweets in 0.41 s (4,405 tweets/s)
   on AJGT (other dialect): accuracy 0.726, macro F1 0.722
AJGT trained on AJGT, 5-fold, word: accuracy 0.834 (folds 0.850 0.839 0.875 0.819 0.786)
AJGT trained on AJGT, 5-fold, char: accuracy 0.864 (folds 0.864 0.853 0.886 0.864 0.853)

في المخرج أعلاه لاحظ التالي:

  • بعد إبقاء الإيجابي والسلبي فقط في ASTD بقيت 2,483 تغريدة، 1,986 للتدريب و497 للاختبار، و68% من الاختبار سلبي. فالنموذج الذي يقول «سلبي» دائماً يحصل على دقة 0.68، وهذا هو الحد الأدنى الذي يجب أن نتجاوزه، وليس 0.5.
  • نموذج الكلمات دقته 0.759، ولكن الأهم الصف POS: الضبط 0.628 والاستدعاء 0.613، أي أن النموذج يخطئ في قرابة 40% من التغريدات الإيجابية. والسبب أن الإيجابي قليل في التدريب، 639 تغريدة تقريباً، ولذلك وضعنا class_weight="balanced" حتى لا يميل النموذج كلياً إلى الفئة الكبيرة.
  • أقوى الكلمات الإيجابية: «الله» و«شكرا» و«اللهم» و«:)» و«♡» و«تحيه» و«احسن» و«افضل» و«رائعه». وهذه منطقية، ولاحظ أن الرمز :) والقلب دخلا لأن قاعدة التقطيع في هذا النموذج تقبل أي سلسلة غير المسافة. وأخفينا من القائمة الوسوم Hashtags لأن أقواها شعارات سياسية.
  • أقوى الكلمات السلبية تكشف مشكلة البيانات: «الاخوان» و«الانقلاب» و«مرسي» و«قانون»، أي أسماء وأحداث سياسية، ثم «مش» و«لم» و«لا» و«بس» و«هل». فالنموذج تعلم أن الكلام عن السياسة في تلك السنة غاضب غالباً، وهذا صحيح في هذه البيانات وعديم الفائدة لردود تطبيق. وتعلم أن أدوات النفي علامة سلبية بذاتها، وسوف نرى ثمن ذلك في «ما قصرتوا».
  • مقاطع الحروف رفعت الدقة من 0.759 إلى 0.815، والضبط في الإيجابي من 0.628 إلى 0.700، وعدد الميزات من 4,827 إلى 32,856. والتدريب أبطأ، 11.2 ثانية بدل 0.7، ولكنه ما زال ثوان.
  • التوقع على 1,800 تغريدة أخذ 0.09 ثانية بالكلمات و0.41 ثانية بالمقاطع، أي آلاف التغريدات في الثانية على المعالج، وتذكر هذا الرقم عندما نصل إلى BERT.

تغير اللهجة Dialect Shift: من المصرية إلى الأردنية

الآن السطر الأهم في المخرج: on AJGT (other dialect). فقد أخذنا نفس النموذج المدرب على ASTD المصرية، وطبقناه على 1,800 تغريدة أردنية لم يرها، فانخفضت الدقة إلى 0.717 بالكلمات و0.726 بالمقاطع، أي قرابة تسع نقاط أقل من اختباره على المصرية. وهذا ما سوف يحدث لك بالضبط إذا أخذت نموذجاً دربه غيرك على لهجة أو موضوع آخر وشغلته على ردود عملائك: الأرقام المنشورة معه لن تكون أرقامك. والسبب في TF-IDF واضح، فالنموذج يعرف الكلمات التي رآها فقط، و«مش» المصرية التي تعلمها لا تفيده في «مو» الخليجية، و«بحكي» و«هسا» الأردنية لم يرها أصلاً.

وفي آخر سطرين دربنا النموذج على AJGT نفسها وقيمناه بالتحقق المتقاطع Cross Validation بخمسة أجزاء، أي نقسم البيانات خمسة أقسام، وندرب على أربعة ونختبر على الخامس، ونكرر خمس مرات. والنتيجة 0.834 بالكلمات و0.864 بالمقاطع، والفرق بين الأجزاء الخمسة من 0.786 إلى 0.875 بالكلمات، وهذا تذبذب يجب أن تعرفه: رقم واحد من تقسيم واحد قد يبعد عن الحقيقة بأربع نقاط في بيانات بهذا الحجم. والدرس من القسم كله: 1,800 تغريدة مصنفة من نفس اللهجة أفادت أكثر من 2,483 تغريدة من لهجة أخرى، فالبيانات القريبة من الاستخدام أهم من البيانات الأكثر.

النموذج المدرب مسبقاً CAMeLBERT على CPU

النماذج المدربة مسبقاً Pretrained Models من عائلة BERT تحل مشكلة الكلمات غير المرئية بطريقة مختلفة. فالنموذج يتدرب أولاً على كمية ضخمة من النص دون أي تصنيف، فيتعلم كيف تستخدم الكلمات في سياقها، ثم يضبط Fine-tuning على مهمة محددة مثل المشاعر ببيانات مصنفة قليلة نسبياً. وقد شرحنا الفكرة العامة للنماذج اللغوية والانتباه Attention في كيف تعمل نماذج اللغة الكبيرة، والفرق أن BERT لا يولد نصاً، وإنما يقرأ الجملة كلها مرة واحدة ويعطي تمثيلاً لها، وفوقه طبقة صغيرة تصنف.

واخترنا CAMeLBERT-DA للمشاعر من مختبر CAMeL في جامعة نيويورك أبوظبي، وهو منشور برخصة Apache-2.0. وحرفا DA يعنيان العربية اللهجية Dialectal Arabic، فالنموذج الأساسي درب مسبقاً على 54 جيجابايت من نصوص اللهجات، وبحسب بطاقة النموذج ضبط بعد ذلك على ثلاث مجموعات للمشاعر: ASTD وArSAS وSemEval. وهذه المعلومة هي سبب اختيارنا لـ AJGT للاختبار: النموذج لم يرها، فهي اختبار عادل له، أما ASTD فقد رآها في الضبط، فأي رقم عليها سوف يكون أعلى من الحقيقة. والفريق شرح النماذج ونتائجها في ورقة منشورة في ورشة WANLP 2021، ومن نتائجها أن قرب لهجة بيانات التدريب المسبق من لهجة المهمة أهم من حجم البيانات.

# The pretrained CAMeLBERT-DA sentiment model (Apache-2.0), pinned to one revision, on CPU
import torch
from transformers import pipeline

MODEL = "CAMeL-Lab/bert-base-arabic-camelbert-da-sentiment"
REVISION = "b0df630d23e5aa5f8a326017605337f6d0863ecd"

def load():
    return pipeline("text-classification", model=MODEL, revision=REVISION, top_k=None, device="cpu")

def scores(clf, texts, batch_size=32):
    """one dict per text: {'positive': p, 'negative': p, 'neutral': p}"""
    out = clf(list(texts), batch_size=batch_size, truncation=True, max_length=128)
    return [{d["label"]: d["score"] for d in row} for row in out]
# Step 3: the pretrained Arabic model on the Jordanian tweets it was never trained on
import time
import pandas as pd
import torch, transformers
from sklearn.metrics import classification_report, confusion_matrix
from sklearn.model_selection import train_test_split
from common import load_astd, load_ajgt
from bert import load, scores

print("torch", torch.__version__, "| transformers", transformers.__version__, "| CPU threads", torch.get_num_threads())
t = time.perf_counter(); clf = load(); print(f"model loaded in {time.perf_counter() - t:.1f} s")
print("parameters:", f"{sum(p.numel() for p in clf.model.parameters()):,}")

ajgt = load_ajgt()
t = time.perf_counter(); s = scores(clf, ajgt["text"]); dt = time.perf_counter() - t
print(f"AJGT: {len(ajgt)} tweets in {dt:.1f} s ({len(ajgt) / dt:.1f} tweets/s)")
ajgt["top"] = [max(x, key=x.get) for x in s]
ajgt["pos"] = [x["positive"] for x in s]; ajgt["neg"] = [x["negative"] for x in s]
print("3-class output:", ajgt["top"].value_counts().to_dict())
ajgt["pred"] = (ajgt["pos"] > ajgt["neg"]).map({True: "POS", False: "NEG"})   # positive vs negative only
print(confusion_matrix(ajgt["label"], ajgt["pred"], labels=["NEG", "POS"]))
print(classification_report(ajgt["label"], ajgt["pred"], digits=3))
ajgt.to_pickle("outs/ajgt_bert.pkl")

# what if we test on ASTD? the model was fine-tuned on ASTD, so this number is not a fair test
astd = load_astd(); astd = astd[astd["label"].isin(["POS", "NEG"])]
_, te = train_test_split(astd, test_size=0.2, stratify=astd["label"], random_state=42)
st = scores(clf, te["text"])
pred = ["POS" if x["positive"] > x["negative"] else "NEG" for x in st]
print(f"ASTD test split (seen in fine-tuning): accuracy {(pd.Series(pred, index=te.index) == te['label']).mean():.3f}")

والمخرج سوف يكون كما يلي:

torch 2.15.0+cpu | transformers 5.22.1 | CPU threads 4
model loaded in 174.4 s
parameters: 109,083,651
AJGT: 1800 tweets in 250.3 s (7.2 tweets/s)
3-class output: {'positive': 844, 'negative': 838, 'neutral': 118}
[[804  96]
 [ 81 819]]
              precision    recall  f1-score   support

         NEG      0.908     0.893     0.901       900
         POS      0.895     0.910     0.902       900

    accuracy                          0.902      1800
   macro avg      0.902     0.902     0.902      1800
weighted avg      0.902     0.902     0.902      1800

ASTD test split (seen in fine-tuning): accuracy 0.942

في المخرج أعلاه لاحظ التالي:

  • ثبتنا النموذج بمراجعة Revision محددة بالهاش في bert.py، لأن صاحب النموذج يستطيع أن يرفع نسخة جديدة بنفس الاسم، فتتغير نتائجك دون أن تغير سطراً.
  • تحميل النموذج أخذ 174.4 ثانية في أول تشغيل، وأغلبها تنزيل 440 ميجابايت. وفي التشغيلات التالية يقرأ من الـ Volume في ثوان.
  • النموذج فيه 109 ملايين معامل Parameter تقريباً، وهو حجم BERT الأساسي. وعلى 4 خيوط Threads في المعالج صنف 1,800 تغريدة في 250 ثانية، أي 7.2 تغريدة في الثانية، مقابل آلاف في الثانية لـ TF-IDF. والجهاز كان يشغل أعمالاً أخرى في نفس الوقت، فالرقم على جهاز مخصص أعلى، ولكن الفرق بين النموذجين يبقى مئات المرات.
  • النموذج يعطي ثلاث فئات، وصنف 118 تغريدة من 1,800 محايدة، رغم أن AJGT ليس فيها محايد. ولكي نقارن على نفس السؤال، نأخذ الأعلى بين الإيجابي والسلبي فقط ونتجاهل المحايد.
  • الدقة على AJGT 0.902، والفئتان متوازنتان: 96 سلبية صنفها إيجابية، و81 إيجابية صنفها سلبية. وهذا أعلى من TF-IDF المدرب على AJGT نفسها، 0.864، رغم أن BERT لم ير تغريدة أردنية واحدة مصنفة. وأعلى بكثير من TF-IDF المدرب على المصرية، 0.726. وهذا هو المكسب الحقيقي للنموذج المدرب مسبقاً: يتحمل تغير اللهجة لأنه رأى اللهجات في التدريب المسبق.
  • آخر سطر هو تجربة «ماذا لو» على التقييم نفسه: على قسم الاختبار من ASTD أعطى 0.942. وهذا رقم لا نستخدمه للمقارنة، لأن النموذج ضبط على ASTD، والأرجح أنه رأى بعض هذه التغريدات بعينها. ولو وضعنا هذا الرقم في تقرير لقارنا خط أساس لم ير الاختبار بنموذج رآه.
أربع مراحل للتصنيف في BERT: التقطيع WordPiece، ثم التمثيل في متجهات من 768 رقماً، ثم 12 طبقة انتباه Attention، ثم طبقة تصنيف بثلاثة احتمالات، وتحتها 109 ملايين معامل و7.2 تغريدة في الثانية على 4 أنوية ودقة 0.902 على AJGT
داخل المصنف: الانتباه هو ما يجعل «مو» تغير معنى «ممتاز» بعدها، والثمن 109 ملايين معامل و7.2 تغريدة في الثانية على المعالج.

وفي داخل النموذج، التقطيع WordPiece يقسم الكلمة غير المعروفة إلى أجزاء معروفة من مفردات حجمها 30,000 جزء، فلا توجد كلمة «غير مرئية» تماماً كما في TF-IDF. ثم يتحول كل جزء إلى متجه من 768 رقماً، وتمر المتجهات على 12 طبقة انتباه، في كل طبقة ينظر كل جزء إلى بقية أجزاء الجملة ويعدل تمثيله بناءً عليها. وهذا ما يسمح للنموذج أن يفهم أن «ممتاز» بعد «مو» ليست مدحاً، وهو ما لا يستطيعه نموذج يعد الكلمات منفصلة.

جدول ورسم أعمدة للدقة: TF-IDF كلمات على ASTD 0.759، ومقاطع 0.815، ومقاطع من المصرية إلى الأردنية 0.726 بالأحمر، ومقاطع مدرب على AJGT 0.864، وCAMeLBERT على AJGT 0.902، وCAMeLBERT على ASTD التي رآها 0.942 بعمود مخطط
كل الأرقام على نفس السؤال، إيجابي مقابل سلبي. العمود المخطط ليس مقارنة عادلة، والأحمر هو ثمن تغير اللهجة.

الحالات الصعبة Hard Cases: النفي والسخرية والإيموجي

الأرقام على البيانات العامة تقول إن CAMeLBERT أفضل، ولكن سؤال مدير المنتج عن ردود عملاء تطبيقنا، بلهجة خليجية غالباً، وفيها إيموجي، وليست تغريدات سياسية من 2013. ولأنه ليس عندنا بعد ردود مصنفة، كتبنا عشرة ردود بأنفسنا تمثل ما يصلنا فعلاً، وكتبنا بجانب كل منها قراءتنا لها، ثم مررناها على النموذجين. ودربنا TF-IDF هذه المرة على كل ما عندنا، ASTD وAJGT معاً، حتى نعطيه أفضل فرصة:

# Step 4: negation, sarcasm, emoji and mixed replies, written by us in Gulf dialect, through both models
import pandas as pd
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.linear_model import LogisticRegression
from sklearn.pipeline import make_pipeline
from common import load_astd, load_ajgt, normalize
from bert import load, scores

astd = load_astd(); astd = astd[astd["label"].isin(["POS", "NEG"])]
train = pd.concat([astd, load_ajgt()])                       # every labelled tweet we have
tfidf = make_pipeline(TfidfVectorizer(analyzer="char_wb", ngram_range=(2, 5), min_df=2, sublinear_tf=True),
                      LogisticRegression(max_iter=3000, class_weight="balanced"))
tfidf.fit(train["text"].map(normalize), train["label"])
pos_col = list(tfidf.classes_).index("POS")

probes = [  # (our own reading, text)
    ("POS", "التحديث الجديد ممتاز والتطبيق صار اسرع"),
    ("NEG", "التحديث الجديد مو ممتاز ابدا"),
    ("NEG", "ما عجبني التحديث"),
    ("POS", "ما قصرتوا والله"),
    ("POS", "مو سيء"),
    ("NEG", "يا سلام على السرعة، الطلب وصل بعد ثلاث ساعات 👏"),
    ("NEG", "خدمة العملاء ما ترد 😡"),
    ("POS", "😍😍"),
    ("NEG", "التطبيق حلو بس الدفع يعلق كل مرة"),
    ("POS", "الله يعطيكم العافية على سرعة الرد"),
]
bert = load()
b = scores(bert, [t for _, t in probes])
t = tfidf.predict_proba([normalize(t) for _, t in probes])[:, pos_col]
print("ours  tfidf p(pos)  bert pos/neg/neutral       text")
for (want, text), tp, bp in zip(probes, t, b):
    print(f"{want}   {tp:5.2f}            {bp['positive']:.2f}/{bp['negative']:.2f}/{bp['neutral']:.2f}   {text}")

والمخرج سوف يكون كما يلي:

ours  tfidf p(pos)  bert pos/neg/neutral       text
POS    0.46            0.97/0.01/0.02   التحديث الجديد ممتاز والتطبيق صار اسرع
NEG    0.48            0.09/0.69/0.22   التحديث الجديد مو ممتاز ابدا
NEG    0.40            0.06/0.47/0.48   ما عجبني التحديث
POS    0.47            0.99/0.01/0.00   ما قصرتوا والله
POS    0.29            0.06/0.85/0.09   مو سيء
NEG    0.50            0.96/0.02/0.02   يا سلام على السرعة، الطلب وصل بعد ثلاث ساعات 👏
NEG    0.57            0.03/0.41/0.56   خدمة العملاء ما ترد 😡
POS    0.57            0.28/0.09/0.63   😍😍
NEG    0.42            0.50/0.08/0.42   التطبيق حلو بس الدفع يعلق كل مرة
POS    0.76            0.99/0.00/0.00   الله يعطيكم العافية على سرعة الرد

وسوف نقرأ الردود في مجموعات، لأن كل مجموعة تختبر شيئاً مختلفاً.

النفي Negation

«التحديث الجديد مو ممتاز ابدا» أخذت عند BERT 0.69 سلبي، وهذا صحيح، أما TF-IDF فأعطاها 0.48 إيجابي، أي لا يعرف، لأن «ممتاز» تدفع للإيجابي و«مو» تدفع للسلبي وتلغيان بعضهما. و«ما قصرتوا والله» عبارة شكر شائعة جداً في الخليج، شكلها نفي ومعناها مدح، فأعطاها BERT 0.99 إيجابي، وTF-IDF 0.47، لأنه تعلم من ASTD أن «ما» وأخواتها علامة سلبية. أما «مو سيء» فأخطأ فيها النموذجان: BERT أعطاها 0.85 سلبي، وTF-IDF 0.29 إيجابي، أي سلبية أيضاً. والسبب أن «سيء» دليل سلبي قوي، ونفي الكلمة السلبية أقل شيوعاً في بيانات التدريب من نفي الإيجابية، فالنموذج لم يتعلمه جيداً. و«ما عجبني التحديث» صنفها BERT محايدة بفارق صغير جداً، 0.48 محايد مقابل 0.47 سلبي، فإذا قارنا الإيجابي بالسلبي فقط خرجت سلبية، ولكن النموذج غير متأكد في جملة يفهمها أي طفل.

السخرية Sarcasm

«يا سلام على السرعة، الطلب وصل بعد ثلاث ساعات 👏» أخذت عند BERT 0.96 إيجابي، أي أنه متأكد أنها مدح. وهذا أسوأ خطأ في الجدول، لأن الثقة عالية والمعنى عكسي تماماً. فالسخرية تحتاج معرفة لا توجد في الجملة: أن ثلاث ساعات للتوصيل كثير، وأن التصفيق هنا تهكم. والنموذج يرى «يا سلام» و«السرعة» و👏 فيقرر. وTF-IDF أعطاها 0.50، أي لا يعرف، وهذا أقل ضرراً من الخطأ الواثق. ولا يوجد حل بسيط للسخرية، وقد رأينا في عينة AJGT أعلاه أن حتى التصنيف البشري يختلف فيها. والحل العملي في التقرير الأسبوعي أن نعرض الردود التي صنفها النموذج إيجابية وفيها كلمات شكوى، مثل «ساعات» و«تأخير»، لإنسان يراجعها.

الإيموجي Emoji

«😍😍» وحدها أخذت عند BERT 0.63 محايد و0.28 إيجابي، و«خدمة العملاء ما ترد 😡» أخذت 0.56 محايد و0.41 سلبي، فكلاهما يميل إلى المحايد، أي أن النموذج لا يعرف معنى الوجه الغاضب ولا القلوب. والسبب ما رأيناه في الخطوة الأولى: ASTD فيها 115 تغريدة بإيموجي، وAJGT صفر، والأغلب أن بيانات الضبط الأخرى نظفت منه، فالنموذج لم يتعلم أن 😡 غضب. وTF-IDF أعطى 😍😍 0.57 إيجابي، وهو صحيح بالصدفة تقريباً، لأن مقاطع الحروف لا تجد إيموجي في التدريب أصلاً، فالرقم قريب من الاحتمال المسبق. والحل في هذه الحالة سهل نسبياً: قائمة صغيرة من الإيموجي الشائعة مع معناها، تضاف كقاعدة بجانب النموذج، أو تتحول إلى كلمات قبل التصنيف، مثل 😡 إلى «غاضب».

الرد المختلط Mixed

«التطبيق حلو بس الدفع يعلق كل مرة» أخذت عند BERT 0.50 إيجابي و0.42 محايد و0.08 سلبي، أي أنه قرأ «حلو» ولم ير الشكوى. ولكن هذا النوع من الردود هو الأهم لفريق المنتج، لأن فيه مشكلة محددة، الدفع، في رد يبدو إيجابياً. ورد واحد له مشاعر مختلفة تجاه أجزاء مختلفة، وهذه مسألة لها اسم هو تحليل المشاعر على مستوى الجانب Aspect-Based Sentiment Analysis، أي أن تصنف المشاعر تجاه كل جانب، الدفع والتوصيل والسرعة، وليس الرد كله. وهي أصعب، وتحتاج بيانات مصنفة بالجوانب، ولكنك تستطيع أن تقترب منها بخطوة بسيطة: قسم الرد عند «بس» و«لكن» و«بينما»، وصنف كل جزء وحده.

جدول سبعة ردود كتبناها مع قراءتنا لها واحتمال TF-IDF واحتمالات CAMeLBERT: ما قصرتوا والله صحيحة عند BERT، ومو سيء خاطئة عند الاثنين، ورد السخرية عن التوصيل بعد ثلاث ساعات إيجابي 0.96 عند BERT، والإيموجي يميل للمحايد، والرد المختلط عن الدفع إيجابي عند BERT
الحالات الصعبة على ردود كتبناها: BERT يفهم أغلب النفي، ويخطئ بثقة في السخرية والرد المختلط، ولا يعرف الإيموجي.

ولاحظ في عمود TF-IDF أن أغلب الأرقام بين 0.40 و0.57، حتى في الردود الواضحة مثل «التحديث الجديد ممتاز والتطبيق صار اسرع» التي أخذت 0.46. فالنموذج المدرب على تغريدات سياسية مصرية وأردنية لا يعرف لغة تطبيق خليجي، وهذا يعيدنا إلى درس تغير اللهجة. والرد الوحيد الذي صنفه بثقة هو «الله يعطيكم العافية على سرعة الرد» بـ 0.76، لأن «الله» كانت أقوى كلمة إيجابية في ASTD.

الأخطاء الحقيقية Honest Errors على AJGT

الردود التي كتبناها عشرة فقط، فلننظر إلى أخطاء BERT على 1,800 تغريدة حقيقية:

# Step 5: where the pretrained model is wrong on AJGT, and what if we normalise its input like the TF-IDF model
import pandas as pd
from common import normalize
from bert import load, scores

ajgt = pd.read_pickle("outs/ajgt_bert.pkl")
wrong = ajgt[ajgt["pred"] != ajgt["label"]].copy()
wrong["conf"] = (wrong["pos"] - wrong["neg"]).abs()
print(len(wrong), "errors;", int((wrong["conf"] > 0.8).sum()), "of them with a margin above 0.8")
print(wrong.groupby("label").size().rename("errors by true label").to_string())
pd.set_option("display.max_colwidth", 70)
short = wrong[wrong["text"].str.split().str.len().between(4, 12)]
print(short.sort_values("conf", ascending=False).head(12)[["label", "pos", "neg", "text"]].round(2).to_string(index=False))

clf = load()
s = scores(clf, ajgt["text"].map(normalize))
pred = ["POS" if x["positive"] > x["negative"] else "NEG" for x in s]
print(f"accuracy on raw text {(ajgt['pred'] == ajgt['label']).mean():.3f}, "
      f"on normalised text {(pd.Series(pred, index=ajgt.index) == ajgt['label']).mean():.3f}")

والمخرج سوف يكون كما يلي:

177 errors; 66 of them with a margin above 0.8
label
NEG    96
POS    81
label  pos  neg                                                                  text
  POS 0.00 1.00 الله يرحم هلبلاد من الحراميه والمتسلقين على قوت الشعب لك الله ياشعبنا
  NEG 0.99 0.00                                      انا مع الاخ محمد سلامه بهالموضوع
  NEG 1.00 0.00                               الله حيك شيخ ابراهيم بالفعل حكم يا نشمي
  POS 0.00 1.00                                                  عنجد الكذب اكبر ورطه
  NEG 0.99 0.00                              اعطيه علي راسي هدا الصح ياحاجه الله اكبر
  NEG 0.99 0.01                                 ما اجمل من مثل هذا الحُب الصادق الشفا
  NEG 0.99 0.00                وادم علينا يارب نعمه الامن والامان وسائر بلاد المسلمين
  POS 0.00 0.99                                          وياريت بتظبط الكذب ماوش رجلي
  NEG 0.99 0.01               يا ربي شو هالولد الله مجنون مبيستحييش متاكدين انو مغربي
  NEG 0.99 0.01                                           من ضحك عليك وحكالك صوتك حلو
  NEG 0.99 0.01                                                   واثق من نفسه الحبيب
  POS 0.01 0.98                                          يا هيك الاكل يا بلا لش الحكي
accuracy on raw text 0.902, on normalised text 0.904

في المخرج أعلاه لاحظ التالي:

  • من 177 خطأ، هناك 66 بفارق أكبر من 0.8 بين الإيجابي والسلبي، أي أن النموذج كان واثقاً جداً وهو مخطئ في ثلث أخطائه تقريباً. وهذا يعني أن احتمال النموذج لا يصلح وحده لتحديد ما يراجعه الإنسان، فالخطأ الواثق لن يظهر في قائمة «غير المتأكد».
  • عندما قرأنا الأخطاء الواثقة بأعيننا وجدنا ثلاثة أنواع. الأول أخطاء حقيقية في النموذج، مثل «الله حيك شيخ ابراهيم بالفعل حكم يا نشمي»، وهي مدح أردني واضح صنفته المجموعة سلبية والنموذج إيجابية، أي أن النموذج على الأرجح محق والتصنيف البشري هو الخطأ. ومثلها «واثق من نفسه الحبيب» و«ما اجمل من مثل هذا الحب الصادق»، وكلها مصنفة سلبية في البيانات.
  • النوع الثاني السخرية، مثل «من ضحك عليك وحكالك صوتك حلو»، وهي سخرية مصنفة سلبية بحق، والنموذج قرأ «صوتك حلو» فأعطاها 0.99 إيجابي، وهو نفس خطأ رد التوصيل.
  • النوع الثالث الدعاء على الظالم والكلام الديني، مثل «الله يرحم هلبلاد من الحراميه والمتسلقين على قوت الشعب» المصنفة إيجابية في البيانات وسلبية عند النموذج. والحقيقة أنها مختلطة، فيها دعاء وفيها غضب، وكل قارئ قد يصنفها بشكل مختلف.
  • أي أن جزءاً من «الأخطاء» ليس أخطاء نموذج، وإنما خلاف على التصنيف نفسه أو خطأ فيه. ولذلك لا تتوقع من أي نموذج أن يصل إلى 100% على بيانات المشاعر، فالحد الأعلى هو اتفاق البشر أنفسهم، وفي المشاعر هذا الاتفاق أقل بكثير من 100%.

ماذا يحدث إذا طبعنا مدخل BERT؟ What If

آخر سطر في المخرج تجربة مقصودة: TF-IDF يحتاج التطبيع، توحيد الهمزات والتاء المربوطة والألف المقصورة، حتى لا تتشتت الكلمة الواحدة في أشكال، فهل يحتاجه BERT أيضاً؟ مررنا نفس التغريدات بعد دالة normalize من common.py، فأصبحت الدقة 0.904 بدل 0.902، أي تغيير في ثلاث أو أربع تغريدات فقط من 1,800، وهذا داخل حدود الصدفة. والسبب أن النموذج المدرب مسبقاً رأى في التدريب كل أشكال الكتابة، فتعلم أن «مدرسة» و«مدرسه» نفس الكلمة تقريباً. والدرس العملي: لا تنقل خطوات التنظيف من النموذج البسيط إلى الكبير دون قياس، فبعضها لا يفيد، وبعضها قد يضر، مثل حذف الإيموجي أو علامات الترقيم التي يفهم منها النموذج النبرة. والقاعدة: نظف للنموذج الكبير بنفس الطريقة التي نظفت بها بيانات تدريبه، وإذا لم تعرفها فأرسل النص كما هو.

أي نموذج تختار؟ TF-IDF or BERT

جدول قرار بين TF-IDF مع Logistic Regression وCAMeLBERT على CPU: البيانات المصنفة من نفس المجال، وغياب البيانات، والنفي، والسخرية، والسرعة 4,405 تغريدة في الثانية مقابل 7.2، وشرح القرار
لا يوجد فائز في كل الأسئلة: BERT أفضل عندما لا تملك بيانات من مجالك، وTF-IDF أسرع بمئات المرات وأسهل في الشرح.

بعد هذه التجارب أصبح القرار لفريقنا واضحاً، ونلخصه كما في الجدول أعلاه. فإذا لم تكن عندك ردود مصنفة من مجالك، فالنموذج المدرب مسبقاً هو الاختيار الوحيد المعقول، لأن TF-IDF المدرب على لهجة أخرى ينهار. وعشرة آلاف رد في الأسبوع تحتاج قرابة 23 دقيقة على المعالج بسرعة 7.2 تغريدة في الثانية، وهذا مقبول تماماً لتقرير أسبوعي يعمل في الليل، ولا يحتاج بطاقة رسوميات. أما إذا كنت تريد التصنيف لحظياً على كل رد يصل، أو تملك ملايين النصوص، فالفرق بين 4,405 و7.2 تغريدة في الثانية يصبح مهماً، ويستحق أن تصنف بيدك بضع مئات من ردودك وتدرب عليها TF-IDF بمقاطع الحروف، فقد رأينا أن 1,800 تغريدة من نفس اللهجة أوصلته إلى 0.864.

وقد يسأل البعض: لماذا لا أرسل الردود إلى نموذج لغة كبير وأسأله؟ والإجابة أن ذلك ممكن، والنماذج الكبيرة تفهم السخرية أحياناً أفضل من BERT الصغير، ولكن الثمن تكلفة لكل رد، وإرسال ردود العملاء إلى خدمة خارجية، وصعوبة في الحصول على نفس الإجابة مرتين. وإذا أردت أن تجرب ذلك على جهازك دون إرسال البيانات للخارج، فقد شرحنا ما تحتاجه في تشغيل نماذج اللغة على جهازك. وفي كل الأحوال تحتاج نفس الشيء: عينة مصنفة بيد إنسان من ردودك، تقيس عليها كل الخيارات.

ماذا عن ضبط النموذج على بياناتك؟ Fine-tuning

النموذج الذي استخدمناه ضبطه غيرنا على تغريدات مصرية وغيرها، ولم نغير فيه شيئاً. والخطوة الطبيعية التالية عندما تجمع ردوداً مصنفة من مجالك أن تضبطه عليها، أي تكمل تدريب نفس النموذج بضع دورات Epochs على ردودك، فيتعلم أن «يعلق» شكوى، وأن 👏 بعد «ثلاث ساعات» سخرية. وهذا ممكن على المعالج لبضع مئات أو آلاف من الردود القصيرة، ولكنه أبطأ بكثير من التصنيف نفسه، لأن التدريب يحسب التدرجات Gradients لكل معامل من 109 ملايين، والتفاصيل في توثيق Transformers وأدلته. ولم نضبط النموذج في هذا المقال لأنه ليس عندنا بعد ردود مصنفة من مجال التطبيق، وضبطه على تغريدات أخرى لا يقربه من مسألتنا.

وقبل أن تضبط، انتبه لثلاثة أمور. الأول أن تفصل بيانات الاختبار قبل أي شيء، ولا تستخدمها في الضبط أبداً، وإلا تكرر خطأ ASTD الذي رأيناه. والثاني أن الضبط على بيانات قليلة قد ينسي النموذج ما تعلمه من قبل، فيتحسن على ردودك ويسوء على غيرها، ولذلك قارن قبل الضبط وبعده على عينة من AJGT أيضاً. والثالث أن الضبط يعطيك نموذجاً جديداً تحتاج أن تحفظه وتثبت إصداره وتعيد قياسه، فأصبح عندك نظام تديره وليس سطر pipeline واحداً.

التقرير الأسبوعي Weekly Report: من النموذج إلى الرقم

الرقم الذي يريده مدير المنتج ليس دقة النموذج، وإنما نسبة الردود السلبية هذا الأسبوع مقارنة بالأسبوع الماضي. وهنا يجب أن تنتبه لنقطتين. الأولى أن خطأ النموذج يدخل في هذه النسبة: فإذا كان النموذج يصنف 10% من الإيجابي سلبياً، فإن نسبة السلبي في التقرير ترتفع كلما زاد عدد الردود الإيجابية، وليس فقط عندما يغضب الناس. ولكن ما دام النموذج نفسه لم يتغير بين أسبوعين، فإن الاتجاه، صعوداً أو هبوطاً، أصدق من النسبة نفسها. ولذلك لا تغير النموذج في منتصف السلسلة دون أن تعيد حساب الأسابيع السابقة به.

والثانية أن الرقم وحده لا يكفي، فمع النسبة ضع في التقرير عينة من الردود السلبية الأكثر تكراراً، وعينة من الردود الإيجابية التي فيها «بس» أو «لكن»، لأن فيها المشاكل المحددة. والتصميم الذي نقترحه لفريقنا يعمل كما يلي:

  1. كل ليلة تسحب الردود الجديدة على حساب الجهة، وتحذف المكررة والردود الآلية.
  2. تمر الردود على CAMeLBERT، ويحفظ معها الاحتمالات الثلاثة وليس الفئة فقط.
  3. قاعدة صغيرة للإيموجي الشائعة تعدل القرار عندما يكون الرد إيموجي فقط أو ينتهي بإيموجي واضح.
  4. الرد الذي فيه «بس» أو «لكن» يقسم ويصنف كل جزء وحده.
  5. كل أسبوع يصنف موظف خمسين رداً عشوائياً بيده، وتقارن بتصنيف النموذج، فإذا انخفض الاتفاق عن المعتاد فهذا إنذار أن لغة الردود تغيرت، مثلاً بسبب مصطلح جديد أو حملة.
  6. بعد أشهر تكون عندك مئات الردود المصنفة من مجالك، وعندها تضبط النموذج عليها، أو تدرب TF-IDF أسرع وأرخص، وتقارن الاثنين على نفس العينة.

وهذه الخطوة الأخيرة هي التي تحول التجربة إلى نظام يتحسن. وللحساب الإحصائي للنسب وفترات الثقة حولها، والفرق بين تغير حقيقي وتذبذب عادي بين أسبوعين، ارجع إلى الإحصاء للمهندسين.

أخطاء شائعة Common Mistakes

  • تقييم النموذج على بيانات رآها: CAMeLBERT على ASTD أعطى 0.942 لأنه ضبط عليها، والرقم العادل على AJGT 0.902. اقرأ بطاقة النموذج Model Card قبل أن تختار بيانات الاختبار.
  • الثقة في أرقام لهجة أخرى: TF-IDF انخفض من 0.815 إلى 0.726 عندما تغيرت اللهجة.
  • نسيان خط الأساس: دقة 0.68 على ASTD يحققها نموذج يقول «سلبي» دائماً، فقارن دائماً بأبسط نموذج ممكن.
  • قراءة الاحتمال كثقة: ثلث أخطاء BERT على AJGT بفارق أكبر من 0.8، فالخطأ الواثق شائع.
  • حذف الإيموجي في التنظيف: في ردود العملاء الإيموجي قد يكون الدليل الوحيد.
  • اعتبار تصنيف البيانات حقيقة مطلقة: «اخ يا بطني عورني من الضحكك» مصنفة سلبية، وجزء من «أخطاء» النموذج أخطاء في التصنيف.
  • تغيير النموذج في منتصف سلسلة التقارير: النسب الأسبوعية لا تقارن إذا تغير النموذج بينها.
  • عدم تثبيت إصدار النموذج: اسم النموذج على Hugging Face قد يشير إلى نسخة جديدة غداً، فثبت المراجعة بالهاش.

قائمة تحقق Checklist قبل أول تقرير

  1. هل قرأت رخصة كل مجموعة بيانات وكل نموذج، وهل تسمح باستخدامك؟
  2. هل تعرف على ماذا درب النموذج المدرب مسبقاً، وهل بيانات اختبارك خارجها؟
  3. هل صنفت بيدك عينة من ردودك أنت، 300 رد على الأقل، وقست عليها كل الخيارات؟
  4. هل قارنت بخط أساس بسيط، وبنموذج يقول الفئة الأكبر دائماً؟
  5. هل اختبرت النفي باللهجة المحلية، «مو» و«ما» و«موب» و«مش»، والعبارات مثل «ما قصرتوا»؟
  6. هل عندك قاعدة للإيموجي الشائعة، وطريقة للردود المختلطة؟
  7. هل يحفظ النظام الاحتمالات الثلاثة وليس الفئة فقط؟
  8. هل الإصدارات مثبتة، والنموذج مثبت بالمراجعة، والتجربة تعاد بأمر واحد؟
  9. هل يراجع إنسان عينة كل أسبوع، وتعرف معدل الاتفاق المعتاد؟
  10. هل يعرض التقرير الاتجاه مع حدود الرقم، وأمثلة من الردود، وليس النسبة وحدها؟

تدريب عملي Practice

  • اكتب ثلاثين رداً بلهجتك على تحديث تطبيق تستخدمه، عشرة إيجابية وعشرة سلبية وعشرة مختلطة أو ساخرة، ومررها على النموذجين في step4_hard.py. كم نسبة الاتفاق مع قراءتك؟
  • أضف إلى normalize قاموساً صغيراً يحول عشرة إيموجي شائعة إلى كلمات، وأعد تشغيل الخطوة الرابعة: هل تغيرت نتيجة 😡 و😍؟
  • جرب نموذج bert-base-arabic-camelbert-mix-sentiment من نفس المختبر بدل نموذج اللهجات على AJGT، وقارن الدقة والسرعة.
  • قسم الردود عند «بس» و«لكن» وصنف كل جزء، وانظر ماذا يحدث لرد «التطبيق حلو بس الدفع يعلق كل مرة».

الخلاصة Summary

وصلنا لنهاية الموضوع، وأهم ما فيه:

  • قراءة منشورات X بـ 0.005 دولار للمنشور، فابدأ بالبيانات المفتوحة المصنفة لتختار الطريقة، ثم قس على عينة مصنفة من ردودك.
  • ASTD مصرية سياسية من 2013 بأربع فئات، وAJGT أردنية متوازنة 1,800 تغريدة، وكلتاهما تقريباً بلا إيموجي ولا لهجة خليجية.
  • TF-IDF بمقاطع الحروف أفضل من الكلمات في العربية: 0.815 مقابل 0.759 على ASTD، ويتوقع آلاف التغريدات في الثانية.
  • تغير اللهجة يكلف: من المصرية إلى الأردنية انخفض TF-IDF إلى 0.726، بينما 1,800 تغريدة أردنية أوصلته إلى 0.864.
  • CAMeLBERT-DA على CPU أعطى 0.902 على AJGT دون أن يراها، بسرعة 7.2 تغريدة في الثانية، والرقم 0.942 على ASTD غير عادل لأنه ضبط عليها.
  • BERT يفهم أغلب النفي مثل «ما قصرتوا والله»، ويخطئ بثقة في السخرية والرد المختلط، ولا يعرف الإيموجي.
  • ثلث أخطاء BERT واثقة، وجزء منها أخطاء في التصنيف البشري نفسه.

وهذا المقال من مرحلة مشاريع تعلم الآلة العملية، وهذه مقالات منشورة ترتبط به:

دليلمعالجة اللغة الطبيعية NLP للعربية ولماذا تصعب على البرامجلماذا تصعب العربية على البرامج من الزوائد واللهجات إلى تكلفة التوكنز، وما الأدوات والنماذج المتاحة لمن يبني مساعداً عربياً.دليلكشف الرسائل المزعجة Spam بخوارزمية Naive Bayesنكتب Naive Bayes من الصفر ونقارنه بـ scikit-learn على رسائل SMS وتغريدات عربية حقيقية، ونختار العتبة التي لا تضيع رسالة عميل، ونكشف كيف تخدعنا أرقام التقييم عندما تكون البيانات متحيزة.دليلتحليل البيانات Data Analysis مع pandas للمبتدئيننجيب على سؤال حقيقي من بيانات 32 محطة طقس سعودية: كم يوماً فوق 45 درجة في كل منطقة ومتى، ونتعلم في الطريق تنظيف البيانات والربط والتجميع والتواريخ مع pandas وأخطاءها الشائعة.دليلكيف تعمل نماذج اللغة الكبيرة LLM من الداخل؟كيف يحول النموذج سؤالك إلى أرقام ويختار الكلمة التالية حتى تكتمل الإجابة، ولماذا يخطئ بنفس الثقة.دليلالتعلم الآلي Machine Learning للمبتدئينكيف تتعلم الآلة القواعد من الأمثلة، وكيف تعرف أن النموذج تعلم فعلاً ولم يحفظ الإجابات، ومتى تختار كل خوارزمية.دليلالإحصاء Statistics للمهندسين: لماذا يخدعك المتوسط Mean؟كيف تقرأ زمن الاستجابة بالوسيط والمئين p95 وp99 والمدرج التكراري بدل المتوسط، ولماذا لا يجوز حساب متوسط المئين، مع تجربة حقيقية لسيرفر تحت الضغط.دليلتشغيل نماذج اللغة على جهازك: كم ذاكرة وأي GPU تحتاج؟كيف تحسب الذاكرة التي يحتاجها النموذج، وماذا تتوقع من جهازك الحالي قبل أن تشتري بطاقة رسومية GPU.

سجل التحديثات Changelog

  • نوفمبر 2026: كتابة المقال، وتشغيل TF-IDF مع scikit-learn 1.9.1 وCAMeLBERT-DA للمشاعر مع Transformers 5.22.1 وPyTorch 2.15.0 على CPU، على ASTD وAJGT، داخل Docker.
نشرة عرب رووت | ArabRoot

معرفة تستحق مكاناً في بريدك.

مقالات مختارة وأدوات مفيدة وأفكار لمشروعك القادم، في رسالة واحدة كل أسبوع.

يمكنك إلغاء الاشتراك متى شئت. الخصوصية

تم استلام طلبك. افتح بريدك واضغط رابط التأكيد لإتمام الاشتراك.