Công cụ phát hiện mã hóa văn bản

Khi kết quả là bảng mã cũ hoặc không xác định

Văn bản không hợp lệ theo UTF-8 thường nhất là văn bản dùng một bảng mã đơn byte cũ. Với văn bản Tây Âu, đó thường là Windows-1252 hoặc ISO-8859-1. Hãy chuyển đổi một lần rồi dùng UTF-8 từ đó về sau: iconv -f WINDOWS-1252 -t UTF-8 in.txt > out.txt trên Linux hoặc macOS, hoặc mở tệp trong trình chỉnh sửa cho phép chọn bảng mã rồi lưu dưới dạng UTF-8. Công cụ chỉ kiểm tra 1 MB đầu tiên, vì vậy một tệp lớn có megabyte đầu tiên chỉ gồm ASCII vẫn có thể chứa văn bản không phải ASCII ở phần sau.

Dấu thứ tự byte và UTF-16

Dấu thứ tự byte UTF-8 (EF BB BF) giúp Excel mở CSV có dấu chính xác, nhưng lại gây lỗi cho những thành phần khác: dòng #! của tập lệnh shell, đầu ra PHP được gửi trước header và tên cột đầu tiên của CSV khi được mã đọc nhưng không loại bỏ dấu này. Tệp UTF-16 thường xuất phát từ Windows, chẳng hạn từ chuyển hướng > của Windows PowerShell 5.1. Nhiều công cụ Unix đọc chúng như văn bản đầy các byte null.

Cách sử dụng

1. Chọn một tệp dạng văn bản có dung lượng tối đa 50 MB.
2. Kiểm tra cục bộ 1 MB đầu tiên.
3. Xem mã hóa và nhãn độ tin cậy.

Quyền riêng tư và giới hạn

Tệp vẫn ở trên thiết bị của bạn. Việc phát hiện mã hóa không có BOM dựa trên heuristic và không phải lúc nào cũng phân biệt được các bộ ký tự kế thừa.