Tekencodering herstellen in Python en pandas

UnicodeDecodeError bij het lezen

pd.read_csv verwacht UTF-8. Is het bestand opgeslagen in Windows-1252 (ANSI), dan stopt pandas met UnicodeDecodeError: 'utf-8' codec can't decode byte 0xe9; 0xE9 is é in Windows-1252. Geef dan de codering op:

• pd.read_csv('data.csv', encoding='cp1252') voor bestanden uit Excel en Windows.
• encoding='latin-1' mislukt nooit, maar leest € en typografische aanhalingstekens verkeerd; cp1252 is meestal de betere keuze.
• Weet je de codering niet, sleep het bestand dan naar Mojibuster: het herkent de codering en slaat het bestand op als UTF-8.

é in plaats van é in het DataFrame

Toont het DataFrame é, dan is een UTF-8-bestand gelezen als latin-1 of cp1252, of de data was al kapot. In het eerste geval volstaat encoding='utf-8'. Is de data zelf kapot, dan helpt waarde.encode('cp1252').decode('utf-8') bij losse waarden. Bij gemengde data mislukt dat zodra een cel al goed is. Makkelijker: herstel het bestand met Mojibuster en lees het daarna in.

naam,woonplaats,omzet
Zoë de Bruijn,Genève,1250 €
Renée Müller,Doetinchem,980 €

naam,woonplaats,omzet
Zoë de Bruijn,Genève,1250 €
Renée Müller,Doetinchem,980 €

to_csv: Excel toont het bestand verkeerd

df.to_csv('export.csv') schrijft UTF-8 zonder BOM. Excel opent zulke bestanden als ANSI en letters met accenten worden é. Met encoding='utf-8-sig' schrijft pandas een BOM en herkent Excel UTF-8. Meer over Excel dat rare tekens toont.

open() onder Windows

open('bestand.txt') zonder encoding gebruikt onder Windows de systeemcodering, meestal cp1252. Een script dat op Linux werkt, leest hetzelfde UTF-8-bestand onder Windows dan als é. Geef dus altijd encoding='utf-8' op of zet de omgevingsvariabele PYTHONUTF8=1. Met PEP 686 wordt UTF-8 in toekomstige Python-versies sowieso de standaard.

Webdata met requests

requests leidt response.text af uit de Content-Type-header. Staat daar bij een tekstantwoord geen tekenset, dan gaat het uit van ISO-8859-1 en tonen UTF-8-pagina’s é. Zet eerst response.encoding = 'utf-8', of gebruik response.json(), dat UTF-8 zelf herkent.

Is tekst met errors='replace' weggeschreven naar een codering zonder de benodigde tekens, dan bevat het bestand ?. De informatie is dan verloren, zie vraagtekens in plaats van letters.

Veelgestelde vragen

Meer uitleg

• Rare tekens herstellen in elke tekst Herstel rare tekens en kapotte accenten in tekst en bestanden.
• CSV herstellen Herstel accenten in CSV-exports en sla op als UTF-8.
• Rare tekens in Excel Als Excel ë toont in plaats van ë bij het openen van een CSV.
• UTF-8 herstellen Verwijder mojibake uit databases, e-mails en websites.
• Ondertitels herstellen Herstel SRT- en VTT-ondertitels met kapotte accenten.
• Wat is mojibake? Betekenis, herkomst en oorzaken van rare tekens.
• Dubbel gecodeerd Als é eerst é werd en daarna é.
• ë in plaats van ë Tabel met ë, é, ï en meer – en wat erachter zit.
• Apostrofs en aanhalingstekens ’, “, – en … in plaats van apostrofs, aanhalingstekens en streepjes.
• ANSI → UTF-8 Oude ANSI-bestanden omzetten naar UTF-8 zonder dat je accenten kwijtraakt.
• Vraagtekens in plaats van letters ? of � in plaats van letters – wat te redden is en wat niet.
• ‚Äô in plaats van ’ Mojibake van een Mac: ’, é – en é uit de Windows-console.
• URL-gecodeerde tekens %C3%AB in plaats van ë: codes uit links en formulieren weer leesbaar maken.
• WordPress en database SQL-dumps en WordPress-inhoud met é in plaats van é herstellen.
• MySQL en phpMyAdmin Tekenset van tabel, verbinding en import goed instellen.
• Outlook Kapotte tekens in e-mails en contactexports herstellen.
• PowerShell -Encoding, console en scriptbestanden in PowerShell 5.1 en 7.
• Notepad++ Codering kiezen of converteren: het cruciale verschil.
• Klantgegevens en CRM Klantenlijsten uit CRM en ERP herstellen zonder ze te uploaden.
• Voor bedrijven en functionarissen gegevensbescherming Hoe Mojibuster gegevens beschermt en hoe je dat zelf controleert.