إصلاح ترميز الحروف العربية في Python وpandas

UnicodeDecodeError عند القراءة

تتوقع pd.read_csv ملف UTF-8. فإذا حُفظ الملف بترميز Windows-1256 (ANSI العربي) تتوقف pandas برسالة UnicodeDecodeError: 'utf-8' codec can't decode byte 0xc7 – والبايت 0xC7 هو الحرف ا في Windows-1256. عندها اذكر الترميز:

• pd.read_csv('data.csv', encoding='cp1256') للملفات الآتية من Excel وويندوز العربي.
• encoding='latin-1' لا يفشل أبدًا لكنه يقرأ العربية كرموز غريبة – فلا تستخدمه لها.
• إذا لم تعرف الترميز فاسحب الملف إلى Mojibuster: يكتشفه ويحفظ الملف بترميز UTF-8.

رموز غريبة بدل العربية في DataFrame

إذا عرض DataFrame رموزًا مثل ط§ظ„ط¹، فقد قُرئ ملف UTF-8 بترميز cp1256 أو latin-1 – أو كانت البيانات تالفة من قبل. في الحالة الأولى يكفي encoding='utf-8'. أما إذا كانت البيانات نفسها تالفة فيفيد value.encode('cp1256').decode('utf-8') للقيم المفردة. لكنه يفشل مع البيانات المختلطة بمجرد أن تكون خلية سليمة. الأسهل: أصلح الملف بـ Mojibuster ثم اقرأه.

ط§ظ„ط§ط³ظ…,ط§ظ„ظ…ط¯ظٹظ†ط©,ط§ظ„ط¥ظٹط±ط§ط¯
ط£ط­ظ…ط¯ ط­ط³ظ†,ط§ظ„ط±ظٹط§ط¶,1250
ظپط§ط·ظ…ط© ط§ظ„ط²ظ‡ط±ط§ط،,ط§ظ„ظ‚ط§ظ‡ط±ط©,980

الاسم,المدينة,الإيراد
أحمد حسن,الرياض,1250
فاطمة الزهراء,القاهرة,980

to_csv: يعرض Excel الملف بشكل خاطئ

يكتب df.to_csv('export.csv') ملف UTF-8 بلا BOM. يفتح Excel مثل هذه الملفات بترميز ANSI فتتحول الحروف العربية إلى رموز غريبة. مع encoding='utf-8-sig' تكتب pandas علامة BOM فيتعرف Excel على UTF-8. المزيد في Excel وCSV: حروف عربية غريبة.

open() على ويندوز

يستخدم open('file.txt') بلا encoding ترميز النظام على ويندوز، وهو غالبًا cp1256 في النظام العربي. فيقرأ سكربت يعمل على لينكس ملف UTF-8 نفسه على ويندوز كرموز غريبة. لذا مرّر دائمًا encoding='utf-8' أو اضبط متغير البيئة PYTHONUTF8=1. وبحسب PEP 686 سيصبح UTF-8 افتراضيًا في إصدارات Python القادمة.

بيانات الويب مع requests

تستنتج requests قيمة response.text من ترويسة Content-Type. فإذا لم تذكر استجابة نصية مجموعة المحارف هناك فإنها تفترض ISO-8859-1، فتظهر صفحات UTF-8 العربية رموزًا غريبة. اضبط response.encoding = 'utf-8' أولًا، أو استخدم response.json() الذي يكتشف UTF-8 بنفسه.

وإذا كُتب النص بـ errors='replace' إلى ترميز لا يحوي الحروف المطلوبة فالملف يحوي ? – وعندها تضيع المعلومات، راجع ما هي الرموز الغريبة.

أسئلة شائعة

أدلة أخرى

• إصلاح الحروف العربية يصلح الرموز الغريبة في النصوص والملفات.
• العربية في Excel عندما يفتح Excel ملف CSV برموز غريبة.
• الترجمة برموز غريبة ملفات ترجمة SRT تظهر برموز غريبة.
• ما هي الرموز الغريبة؟ معنى الرموز الغريبة وأصل التسمية وأسبابها.
• الترميز المزدوج عندما تتلف الحروف العربية مرة، ثم تتلف مرة أخرى.
• علامات استفهام بدل الحروف ? أو � بدل الحروف: ما يمكن إنقاذه وما لا يمكن.
• رموز URL %D9%85 بدل م: حوّل الرموز القادمة من الروابط والنماذج إلى نص مقروء.
• WordPress وقاعدة البيانات إصلاح نسخ SQL ومحتوى WordPress الذي تظهر فيه العربية رموزًا غريبة.
• MySQL وphpMyAdmin اضبط ترميز الجدول والاتصال والاستيراد بشكل صحيح.
• Outlook أصلح الحروف التالفة في الرسائل وملفات جهات الاتصال.
• PowerShell -Encoding والكونسول وملفات السكربت في PowerShell 5.1 و7.
• Notepad++ اختيار الترميز أم تحويله – الفرق الحاسم.
• بيانات العملاء وCRM إصلاح قوائم العملاء من CRM وERP دون رفعها إلى خادم.
• Windows-1256 إلى UTF-8 يحوّل الملفات العربية القديمة إلى UTF-8.