Python ve pandas’ta Türkçe karakter sorununu giderin

Okurken UnicodeDecodeError

pd.read_csv UTF-8 bekler. Dosya Windows-1254 (Türkçe ANSI) ile kaydedildiyse pandas UnicodeDecodeError: 'utf-8' codec can't decode byte 0xfd in position 12: invalid start byte hatasıyla durur – 0xFD Windows-1254’te ı harfidir. O zaman kodlamayı belirtin:

• Excel ve Türkçe Windows’tan gelen dosyalar için pd.read_csv('veri.csv', encoding='cp1254').
• encoding='latin-1' hata vermez ama ı, ş, ğ gibi harfleri yanlış okur – Türkçede cp1254 doğru seçimdir.
• Kodlamayı bilmiyorsanız dosyayı Mojibuster’a bırakın: kodlamayı bulur ve dosyayı UTF-8 kaydeder.

DataFrame’de ş yerine ÅŸ

DataFrame ÅŸ ve ı gösteriyorsa UTF-8 dosya latin-1 ya da cp1252 olarak okunmuştur – veya veri daha önce bozulmuştur. İlk durumda encoding='utf-8' yeter. Verinin kendisi bozuksa tek tek değerler için deger.encode('cp1252').decode('utf-8') işe yarar. Karışık verilerde ise bir hücre zaten doğruysa başarısız olur. Daha kolayı: dosyayı Mojibuster ile onarın, sonra okuyun.

ad,sehir,ciro
Şule Çelik,İstanbul,1250 ₺
Oğuz Işık,Eskişehir,980 ₺

ad,sehir,ciro
Şule Çelik,İstanbul,1250 ₺
Oğuz Işık,Eskişehir,980 ₺

to_csv: Excel dosyayı yanlış gösteriyor

df.to_csv('cikti.csv') BOM’suz UTF-8 yazar. Excel böyle dosyaları ANSI olarak açar ve Türkçe harfler ÅŸ gibi bozulur. encoding='utf-8-sig' ile pandas BOM yazar ve Excel UTF-8’i tanır. Ayrıntı için Excel’de Türkçe karakter sorunu.

Windows’ta open()

encoding vermeden open('dosya.txt') Windows’ta sistem kodlamasını kullanır, Türkçe kurulumda bu cp1254’tür. Linux’ta çalışan bir betik Windows’ta aynı UTF-8 dosyayı ÅŸ olarak okur. Bu yüzden her zaman encoding='utf-8' verin ya da PYTHONUTF8=1 ortam değişkenini ayarlayın. PEP 686 ile ilerideki Python sürümlerinde UTF-8 zaten varsayılan olacak.

requests ile web verisi

requests, response.text değerini Content-Type başlığından türetir. Metin yanıtı orada karakter seti belirtmezse ISO-8859-1 varsayar ve UTF-8 sayfalar ÅŸ gösterir. Önce response.encoding = 'utf-8' atayın ya da UTF-8’i kendisi bulan response.json() kullanın.

Metin errors='replace' ile gerekli karakterleri içermeyen bir kodlamaya yazıldıysa dosyada ? vardır – bilgi kaybolmuştur, bkz. Türkçe harfler yerine soru işareti.

Sık sorulan sorular

Diğer rehberler

• Her metinde bozuk karakterleri düzeltin Metin ve dosyalardaki bozuk Türkçe karakterleri düzeltin.
• CSV düzeltme CSV dışa aktarımlarındaki Türkçe karakterleri düzeltip UTF-8 kaydedin.
• Excel’de Türkçe karakter Excel bir CSV’yi açarken ş yerine ÅŸ gösterdiğinde.
• UTF-8 düzeltme Veritabanı, e-posta ve web sitelerindeki mojibake’yi giderin.
• Altyazı düzeltme Bozuk Türkçe karakterli SRT ve VTT altyazılarını düzeltin.
• Mojibake nedir? Bozuk karakterlerin anlamı, kökeni ve nedenleri.
• Çift kodlanmış ş önce ÅŸ, sonra ÅŸ olduğunda.
• ü, ÅŸ, ı yerine Türkçe karakter ü, ÅŸ, ı, ÄŸ ve diğer bozuk Türkçe karakterlerin tablosu.
• Kesme işareti ve tırnaklar Kesme işareti, tırnak ve tireler yerine ’, “, – ve ….
• ANSI → UTF-8 Eski ANSI dosyalarını Türkçe karakterleri kaybetmeden UTF-8’e dönüştürün.
• Türkçe karakter yerine soru işareti Harfler yerine ? ya da � – neler kurtarılabilir, neler kurtarılamaz.
• Mac ve konsolda bozuk karakterler Mac’ten ş, ü, ’ – Windows konsolundan ├╝, ┼ş.
• URL kodlu karakterler ç yerine %C3%A7: bağlantı ve form kodlarını yeniden okunur hale getirin.
• WordPress ve veritabanı ş yerine ÅŸ gösteren SQL yedeklerini ve WordPress içeriğini onarın.
• MySQL ve phpMyAdmin Tablo, bağlantı ve içe aktarma karakter setini doğru ayarlayın.
• Outlook E-postalardaki ve kişi dışa aktarımlarındaki bozuk karakterleri düzeltin.
• PowerShell PowerShell 5.1 ve 7’de -Encoding, konsol ve betik dosyaları.
• Notepad++ Kodlamayı seçmek ile dönüştürmek arasındaki kritik fark.
• Müşteri verileri ve CRM CRM ve ERP müşteri listelerini yüklemeden onarın.