टेक्स्ट एन्कोडिंग डिटेक्टर

जब result legacy या अज्ञात हो

जो text मान्य UTF-8 नहीं होता, वह अक्सर किसी पुराने single-byte encoding में होता है। Western European text के लिए इसका अर्थ आम तौर पर Windows-1252 या ISO-8859-1 होता है। इसे एक बार convert करें और उसके बाद UTF-8 बनाए रखें: Linux या macOS पर iconv -f WINDOWS-1252 -t UTF-8 in.txt > out.txt, या ऐसे editor में खोलें जो encoding चुनने और UTF-8 के रूप में सेव करने देता हो। केवल पहला 1 MB जाँचा जाता है, इसलिए पहली megabyte में plain ASCII वाली बड़ी फ़ाइल में आगे non-ASCII text फिर भी हो सकता है।

Byte-order marks और UTF-16

UTF-8 byte-order mark (EF BB BF) Excel को accents वाली CSV सही तरीके से खोलने में मदद करता है, लेकिन यह दूसरी चीज़ों को बिगाड़ देता है: shell script की #! line, headers से पहले भेजा गया PHP output और ऐसे code द्वारा पढ़े गए CSV का पहला column name जो इसे strip नहीं करता। UTF-16 फ़ाइलें आम तौर पर Windows से आती हैं, जैसे Windows PowerShell 5.1 का > redirect। कई Unix tools इन्हें null bytes से भरे text के रूप में पढ़ते हैं।

इस्तेमाल करने का तरीका

1. 50 MB तक की टेक्स्ट जैसी फ़ाइल चुनें।
2. पहले 1 MB की स्थानीय रूप से जाँच करें।
3. एन्कोडिंग और भरोसे का लेबल देखें।

गोपनीयता और सीमाएँ

फ़ाइल स्थानीय रहती है। BOM के बिना एन्कोडिंग का पता लगाना अनुमान पर आधारित होता है और यह हमेशा पुराने कैरेक्टर सेट में अंतर नहीं कर सकता।