инструмент для файлов / 05

Определитель кодировки текста

Проверьте маркеры BOM, совместимость с ASCII и строгую корректность UTF-8 в локальном образце файла.

Определитель кодировки текста: TOEA определяет маркеры порядка байтов UTF-8 и UTF-16, чистый ASCII и строго корректный UTF-8; для других байтов осторожно возвращается результат «неизвестная/устаревшая кодировка». Работает на 100% локально в вашем браузере, файлы на сервер не загружаются.

Категория
Инструменты для разработчиков
Запуски
В вашем браузере
Стоимость
Бесплатно · без регистрации
Доступность
Готово к использованию
Text encoding detectorЛокальная обработка

Полностью работает в браузере

Если результат указывает на устаревшую или неизвестную кодировку

Текст, который не является корректным UTF-8, чаще всего записан в старой однобайтной кодировке. Для западноевропейского текста это обычно Windows-1252 или ISO-8859-1. Преобразуйте его один раз и в дальнейшем используйте UTF-8: iconv -f WINDOWS-1252 -t UTF-8 in.txt > out.txt в Linux или macOS либо откройте его в редакторе, позволяющем выбрать кодировку, и сохраните как UTF-8. Проверяется только первый 1 MB, поэтому большой файл, первый мегабайт которого содержит обычный ASCII, всё ещё может содержать текст вне ASCII дальше.

Метки порядка байтов и UTF-16

Метка порядка байтов UTF-8 (EF BB BF) помогает Excel правильно открыть CSV с диакритическими знаками, но мешает другим операциям: строке #! в shell-скрипте, выводу PHP, отправленному до заголовков, и имени первого столбца CSV, если файл читается кодом, который не удаляет эту метку. Файлы UTF-16 обычно создаются в Windows, например перенаправлением > в Windows PowerShell 5.1. Многие Unix-инструменты читают их как текст, заполненный нулевыми байтами.

Как пользоваться

  1. Выберите текстовый или похожий на текст файл размером до 50 MB.
  2. Локально проверьте первые 1 MB.
  3. Просмотрите кодировку и уровень уверенности результата.

Конфиденциальность и ограничения

Файл остаётся локально. Определение кодировки без BOM основано на эвристике и не всегда позволяет отличить устаревшие наборы символов.

Похожие инструменты

MIME-типХеш файлаСчётчик символов

Часто задаваемые вопросы

Почему ASCII считается совместимым с UTF-8?

Байты ASCII используют в UTF-8 те же значения, поэтому корректный ASCII также декодируется как UTF-8.

Может ли инструмент определить любую устаревшую кодировку?

Нет. Многие однобайтовые кодировки невозможно однозначно определить без учёта языка.

Бесплатный инструмент · запусков: в вашем браузере · аккаунт не нужен