Tekencodering herstellen in MySQL en phpMyAdmin

Drie plekken waar MySQL een codering nodig heeft

• Kolom of tabel: de tekenset waarin de gegevens staan, zoals utf8mb4 of latin1.
• Verbinding: de tekenset waarin client en server met elkaar praten, in te stellen met SET NAMES utf8mb4 of in de verbindingsinstellingen.
• Bestand: de codering waarmee een import wordt gelezen of een export wordt geschreven, in phpMyAdmin onder Tekenset van het bestand.

Als de drie niet overeenkomen, gaan tekens kapot. Het vaakst gebeurt dit zo: UTF-8-tekst is via een latin1-verbinding in een latin1-kolom geschreven. De applicatie ziet er goed uit, maar phpMyAdmin en de export tonen é.

"1","Zoë van der Heijden","Café-straat 12","Genève"

"1","Zoë van der Heijden","Café-straat 12","Genève"

De tekensets controleren

• SHOW VARIABLES LIKE 'character_set%'; toont de instellingen van server en verbinding.
• SHOW CREATE TABLE klanten; toont de tekenset van de tabel en de kolommen.
• SELECT naam, HEX(naam) FROM klanten LIMIT 5; toont de echte bytes: in een utf8mb4-kolom is C3A9 een é, terwijl C383C2A9 een al kapotte é is.

Een export of dump herstellen

1. Exporteer de tabel in phpMyAdmin als SQL of CSV, of met mysqldump --default-character-set=utf8mb4.
2. Sleep het bestand naar het vak hierboven. Mojibuster herstelt alleen de kapotte plekken; correcte tekens blijven ongemoeid.
3. Controleer de herstelde plekken onder Wat is er veranderd? en download het bestand.
4. Importeer het in een tabel met utf8mb4 en kies in het importvenster utf-8 als tekenset.
5. Test eerst op een kopie voordat je de echte tabel vervangt.

De export verlaat je computer niet, wat belangrijk is bij klantgegevens. Staat er al dubbel gecodeerde tekst in? Lees dan à in plaats van accenten.

De oorzaak oplossen

• Maak nieuwe tabellen aan met DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci.
• Zet de verbinding van je applicatie op utf8mb4, in PHP bijvoorbeeld met charset=utf8mb4 in de PDO-DSN.
• Staan er UTF-8-bytes in een latin1-kolom? Zet die dan niet direct om met CONVERT TO, want dan worden ze een tweede keer gecodeerd. De veilige weg loopt via een binair type: eerst MODIFY naam VARBINARY(255), dan MODIFY naam VARCHAR(255) CHARACTER SET utf8mb4.
• Vervangt MySQL tekens door ?, dan kan de kolom of verbinding ze niet weergeven. Wat al zo is opgeslagen, is verloren: meer over vraagtekens in plaats van letters.

Veelgestelde vragen

Meer uitleg

• Rare tekens herstellen in elke tekst Herstel rare tekens en kapotte accenten in tekst en bestanden.
• CSV herstellen Herstel accenten in CSV-exports en sla op als UTF-8.
• Rare tekens in Excel Als Excel ë toont in plaats van ë bij het openen van een CSV.
• UTF-8 herstellen Verwijder mojibake uit databases, e-mails en websites.
• Ondertitels herstellen Herstel SRT- en VTT-ondertitels met kapotte accenten.
• Wat is mojibake? Betekenis, herkomst en oorzaken van rare tekens.
• Dubbel gecodeerd Als é eerst é werd en daarna é.
• ë in plaats van ë Tabel met ë, é, ï en meer – en wat erachter zit.
• Apostrofs en aanhalingstekens ’, “, – en … in plaats van apostrofs, aanhalingstekens en streepjes.
• ANSI → UTF-8 Oude ANSI-bestanden omzetten naar UTF-8 zonder dat je accenten kwijtraakt.
• Vraagtekens in plaats van letters ? of � in plaats van letters – wat te redden is en wat niet.
• ‚Äô in plaats van ’ Mojibake van een Mac: ’, é – en é uit de Windows-console.
• URL-gecodeerde tekens %C3%AB in plaats van ë: codes uit links en formulieren weer leesbaar maken.
• WordPress en database SQL-dumps en WordPress-inhoud met é in plaats van é herstellen.
• Outlook Kapotte tekens in e-mails en contactexports herstellen.
• PowerShell -Encoding, console en scriptbestanden in PowerShell 5.1 en 7.
• Python en pandas encoding bij read_csv, to_csv, open() en requests.
• Notepad++ Codering kiezen of converteren: het cruciale verschil.
• Klantgegevens en CRM Klantenlijsten uit CRM en ERP herstellen zonder ze te uploaden.
• Voor bedrijven en functionarissen gegevensbescherming Hoe Mojibuster gegevens beschermt en hoe je dat zelf controleert.