Tekencodering herstellen in PowerShell

Het grondprobleem: elk commando een andere codering

In Windows PowerShell 5.1 heeft bijna elk commando een eigen standaardcodering: Get-Content leest bestanden zonder BOM als ANSI (Windows-1252), Out-File en > schrijven UTF-16, Set-Content schrijft ANSI en Export-Csv ASCII. PowerShell 7 heeft dit gelijkgetrokken en gebruikt overal UTF-8 zonder BOM.

Gebruiker;Afdeling;Vestiging
Zoë de Bruijn;Verkoop;Doetinchem
Renée Müller;Inkoop;Genève

Gebruiker;Afdeling;Vestiging
Zoë de Bruijn;Verkoop;Doetinchem
Renée Müller;Inkoop;Genève

Bestanden goed lezen en schrijven

• Get-Content data.csv -Encoding UTF8 leest UTF-8-bestanden goed, ook zonder BOM.
• Set-Content, Out-File en Add-Content schrijven met -Encoding UTF8 UTF-8, in 5.1 altijd met BOM.
• Export-Csv data.csv -Encoding UTF8 -NoTypeInformation in plaats van de ASCII-standaard, die letters met accenten door ? vervangt.
• Voor alle commando’s tegelijk: $PSDefaultParameterValues['*:Encoding'] = 'utf8' bovenaan het script.

Webverzoeken met Invoke-RestMethod en Invoke-WebRequest

Geeft een server in de Content-Type geen tekenset op, dan decodeert Windows PowerShell 5.1 het antwoord als ISO-8859-1. UTF-8-antwoorden bevatten dan é. De oplossing: haal het antwoord als bytes op en decodeer het zelf, bijvoorbeeld met [Text.Encoding]::UTF8.GetString((Invoke-WebRequest $url).RawContentStream.ToArray()).

Scriptbestanden met bijzondere tekens

Sla je een script op als UTF-8 zonder BOM, dan leest Windows PowerShell 5.1 het als ANSI. Tekens in teksten als Write-Host "Café" worden dan Café. Sla .ps1-bestanden op als UTF-8 met BOM: in VS Code via de codering in de statusbalk, in Notepad++ via Codering → UTF-8-BOM.

De console

Toont alleen het consolevenster verkeerde tekens zoals é in plaats van é, dan is het bestand vaak in orde: de console leest UTF-8 als DOS-codepagina 437. Zet de uitvoer om met [Console]::OutputEncoding = [Text.Encoding]::UTF8. Voor uitvoer die je naar externe programma’s pipet, stel je ook $OutputEncoding = [Text.Encoding]::UTF8 in.

Is het bestand al kapot geschreven, sleep het dan naar het vak hierboven: Mojibuster herstelt é en soortgelijke fouten en zet ANSI-bestanden om naar UTF-8. Staan er al vraagtekens in het bestand, dan is de tekst verloren, zie vraagtekens in plaats van letters.

Veelgestelde vragen

Meer uitleg

• Rare tekens herstellen in elke tekst Herstel rare tekens en kapotte accenten in tekst en bestanden.
• CSV herstellen Herstel accenten in CSV-exports en sla op als UTF-8.
• Rare tekens in Excel Als Excel ë toont in plaats van ë bij het openen van een CSV.
• UTF-8 herstellen Verwijder mojibake uit databases, e-mails en websites.
• Ondertitels herstellen Herstel SRT- en VTT-ondertitels met kapotte accenten.
• Wat is mojibake? Betekenis, herkomst en oorzaken van rare tekens.
• Dubbel gecodeerd Als é eerst é werd en daarna é.
• ë in plaats van ë Tabel met ë, é, ï en meer – en wat erachter zit.
• Apostrofs en aanhalingstekens ’, “, – en … in plaats van apostrofs, aanhalingstekens en streepjes.
• ANSI → UTF-8 Oude ANSI-bestanden omzetten naar UTF-8 zonder dat je accenten kwijtraakt.
• Vraagtekens in plaats van letters ? of � in plaats van letters – wat te redden is en wat niet.
• ‚Äô in plaats van ’ Mojibake van een Mac: ’, é – en é uit de Windows-console.
• URL-gecodeerde tekens %C3%AB in plaats van ë: codes uit links en formulieren weer leesbaar maken.
• WordPress en database SQL-dumps en WordPress-inhoud met é in plaats van é herstellen.
• MySQL en phpMyAdmin Tekenset van tabel, verbinding en import goed instellen.
• Outlook Kapotte tekens in e-mails en contactexports herstellen.
• Python en pandas encoding bij read_csv, to_csv, open() en requests.
• Notepad++ Codering kiezen of converteren: het cruciale verschil.
• Klantgegevens en CRM Klantenlijsten uit CRM en ERP herstellen zonder ze te uploaden.
• Voor bedrijven en functionarissen gegevensbescherming Hoe Mojibuster gegevens beschermt en hoe je dat zelf controleert.