Mojibuster

Ret mærkelige tegn i MySQL og phpMyAdmin

Viser phpMyAdmin, dit SQL-dump eller dit program ø eller ? i stedet for ø? Som regel passer tabel, forbindelse og import ikke sammen. Mojibuster retter eksporter direkte i browseren – bagefter indstiller du MySQL rigtigt én gang for alle.

Virker med tekst og med disse filer:

  • CSV
  • TXT
  • JSON
  • XML
  • SRT
  • VTT
  • SMI
  • TSV
  • MD
  • HTML
  • SQL
  • LOG

For eksempel eksporter fra Excel, databasebackups, undertekster eller kode fra hjemmesider.

Ret

  1. Træk en fil herind, eller sæt tekst ind
  2. Rettelsen sker automatisk
  3. Kopiér eller download
eller træk en fil herind

Tre steder, hvor MySQL har brug for en kodning

  • Kolonne eller tabel: tegnsættet, dataene gemmes i, fx utf8mb4 eller latin1.
  • Forbindelse: tegnsættet, klient og server taler i – sættes med SET NAMES utf8mb4 eller i forbindelsesindstillingerne.
  • Fil: kodningen, en import læses eller en eksport skrives med – i phpMyAdmin under Filens tegnsæt (Character set of the file).

Passer de tre ikke sammen, går tegnene i stykker. Det hyppigste tilfælde: UTF-8-tekst blev skrevet over en latin1-forbindelse til en latin1-kolonne. Programmet ser fint ud, men phpMyAdmin og eksporten viser ø.

En række fra en CSV-eksport i phpMyAdmin

Før

"1","Søren Ærø","Åboulevarden 12","Århus"

Efter

"1","Søren Ærø","Åboulevarden 12","Århus"

Tjek tegnsættene

  • SHOW VARIABLES LIKE 'character_set%'; viser indstillingerne for server og forbindelse.
  • SHOW CREATE TABLE kunder; viser tegnsættet for tabellen og dens kolonner.
  • SELECT navn, HEX(navn) FROM kunder LIMIT 5; viser de egentlige bytes: i en utf8mb4-kolonne er C3B8 et ø, mens C383C2B8 er et allerede ødelagt ø.

Ret en eksport eller et dump

  1. Eksportér tabellen i phpMyAdmin som SQL eller CSV – eller med mysqldump --default-character-set=utf8mb4.
  2. Slip filen i feltet ovenfor. Mojibuster retter kun de ødelagte steder; korrekte tegn forbliver uændrede.
  3. Kontrollér de rettede steder under Hvad blev ændret? og download filen.
  4. Importér den i en tabel med utf8mb4, og vælg utf-8 som tegnsæt i importdialogen.
  5. Test først på en kopi, før du erstatter den rigtige tabel.

Eksporten forlader aldrig din computer – vigtigt, når det gælder kundedata. Mere om UTF-8-fejl generelt finder du på siden ret UTF-8-tegn.

Fjern årsagen

  • Opret nye tabeller med DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_danish_ci eller utf8mb4_unicode_ci.
  • Sæt programmets forbindelse til utf8mb4, i PHP fx med charset=utf8mb4 i PDO-DSN.
  • Ligger UTF-8-bytes i en latin1-kolonne, så konvertér den ikke direkte med CONVERT TO – det koder dem endnu en gang og giver dobbeltkodet tekst, se hvad er mojibake. Den sikre vej går via en binær type: først MODIFY navn VARBINARY(255), derefter MODIFY navn VARCHAR(255) CHARACTER SET utf8mb4.
  • Erstatter MySQL tegn med ?, kan kolonnen eller forbindelsen ikke rumme dem. Det, der allerede er gemt sådan, er tabt – mere under spørgsmålstegn i stedet for bogstaver.

Ofte stillede spørgsmål

Hvorfor ser alt rigtigt ud i mit program, men ikke i phpMyAdmin?

Fordi program og database begår den samme fejl to gange: programmet skriver UTF-8 over en latin1-forbindelse og læser det tilbage på samme måde. phpMyAdmin forbinder korrekt og viser derfor det, der virkelig er gemt. Ligger fejlen allerede i en WordPress-eksport, kan du læse mere under WordPress og database og om dobbeltkodet tekst.

Hvilken collation skal jeg bruge?

utf8mb4_danish_ci giver dansk sortering (æ, ø, å til sidst i alfabetet), utf8mb4_unicode_ci passer til de fleste andre programmer. Tegnsættet utf8mb4 er vigtigst – ikke utf8, som i MySQL ikke kan gemme emojis.

Virker det også med MariaDB?

Ja. MariaDB håndterer tegnsæt som MySQL, og kommandoerne er de samme.

Hvor stort må dumpet være?

Op til 100 MB pr. fil. Eksportér større databaser tabel for tabel.

Læs mere

Flere vejledninger på engelsk