如何在Linux上通过脚本查找文件的编码？

我需要找到放置在目录中的所有文件的编码。有没有办法找到使用的编码？

该file命令无法执行此操作。

我感兴趣的编码是：ISO-8859-1。如果编码是其他方式，我想将文件移到另一个目录。

听起来好像您在寻找enca。它可以猜测甚至转换编码。只看手册页。

或者，如果失败，请使用file -i（linux）或file -I（osx）。这将输出文件的MIME类型信息，其中还将包括字符集编码。我也找到了手册页 :)

file -bi <file name>

如果您想对一堆文件这样做

for f in `find | egrep -v Eliminate`; do echo "$f" ' -- ' `file -bi "$f"` ; done

uchardet-从Mozilla移植的编码检测器库。

用法：

~> uchardet file.java 
UTF-8

各种Linux发行版（Debian / Ubuntu，OpenSuse-packman等）都提供了二进制文件。

这是一个使用文件-I和iconv的示例脚本，该脚本在MacOsX上有效如果您有问题，您需要使用mv而不是iconv

#!/bin/bash
# 2016-02-08
# check encoding and convert files
for f in *.java
do
  encoding=`file -I $f | cut -f 2 -d";" | cut -f 2 -d=`
  case $encoding in
    iso-8859-1)
    iconv -f iso8859-1 -t utf-8 $f > $f.utf8
    mv $f.utf8 $f
    ;;
  esac
done

真的很难确定它是否是iso-8859-1。如果您的文本只有7位字符，也可能是iso-8859-1，但您不知道。如果您有8位字符，则高位字符也按顺序编码存在。因此，您将必须使用字典来更好地猜测它是哪个单词，并从那里确定它必须是哪个字母。最后，如果您检测到它可能是utf-8，则确定它不是iso-8859-1

编码是最难的事情之一，因为您永远不知道是否没有任何信息可以告诉您

在Debian中，您还可以使用encguess：

$ encguess test.txt
test.txt  US-ASCII

要将编码从8859转换为ASCII：

iconv -f ISO_8859-1 -t ASCII filename.txt

使用Python，您可以使用chardet模块：https : //github.com/chardet/chardet

这不是万无一失的方法。一种可能性是，以检查每一个字符的文件，以确保它不包含在范围中的任何字符0x00 - 0x1f或0x7f -0x9f不过，正如我所说，这可能是真实的任何数量的文件，包括ISO8859的至少一个其他变种。

另一种可能性是使用所有受支持的语言在文件中查找特定单词，然后查看是否可以找到它们。

因此，例如，找到8859-1所有受支持的语言中英语“ and”，“ but”，“ to”，“ of”等的等价形式，并查看它们中是否存在大量的文件。

我不是在谈论直译，例如：

English   French
-------   ------
of        de, du
and       et
the       le, la, les

虽然有可能。我说的是目标语言中的常用字词（据我所知，冰岛语中没有“ and”一词-您可能不得不将其单词用于“ fish” [对不起，这有点陈规定型，我没有表示任何冒犯，只说明一点]]。

我知道您对一个更通用的答案感兴趣，但是ASCII的优点通常在其他编码中也不错。这是Python的单行代码，用于确定标准输入是否为ASCII。（我很确定这可以在Python 2中使用，但我只在Python 3上进行过测试。）

python -c 'from sys import exit,stdin;exit()if 128>max(c for l in open(stdin.fileno(),"b") for c in l) else exit("Not ASCII")' < myfile.txt

如果您在谈论XML文件（ISO-8859-1），则其中的XML声明指定了编码：<?xml version="1.0" encoding="ISO-8859-1" ?>
因此，您可以使用正则表达式（例如使用perl）来检查每个文件的规范。
在此处可以找到更多信息：如何确定文本文件编码。

在php中，您可以像下面这样检查：

明确指定编码列表：

php -r "echo 'probably : ' . mb_detect_encoding(file_get_contents('myfile.txt'), 'UTF-8, ASCII, JIS, EUC-JP, SJIS, iso-8859-1') . PHP_EOL;"

更准确的“ mb_list_encodings”：

php -r "echo 'probably : ' . mb_detect_encoding(file_get_contents('myfile.txt'), mb_list_encodings()) . PHP_EOL;"

在第一个示例中，您可以看到我放置了可能匹配的编码列表（检测列表顺序）。为了获得更准确的结果，您可以通过mb_list_encodings（）使用所有可能的编码

注意mb_ *函数需要php-mbstring

apt-get install php-mbstring

在Cygwin中，这似乎对我有用：

find -type f -name "<FILENAME_GLOB>" | while read <VAR>; do (file -i "$<VAR>"); done

例：

find -type f -name "*.txt" | while read file; do (file -i "$file"); done

您可以将其通过管道传输到awk并创建一个iconv命令，以将所有内容从iconv支持的任何源编码转换为utf8。

例：

find -type f -name "*.txt" | while read file; do (file -i "$file"); done | awk -F[:=] '{print "iconv -f "$3" -t utf8 \""$1"\" > \""$1"_utf8\""}' | bash

您可以使用file命令提取单个文件的编码。我有一个sample.html文件，其中：

$ file sample.html 

sample.html：HTML文档，UTF-8 Unicode文本，带有很长的行

$ file -b sample.html

HTML文档，UTF-8 Unicode文本，行很长

$ file -bi sample.html

text / html; 字符集= utf-8

$ file -bi sample.html  | awk -F'=' '{print $2 }'

utf-8

我正在使用以下脚本

1. 查找所有与SIL_ENCODING匹配的FILTER文件
2. 创建它们的备份
3. 将它们转换为DST_ENCODING
4. （可选）删除备份

。

#!/bin/bash -xe

SRC_ENCODING="iso-8859-1"
DST_ENCODING="utf-8"
FILTER="*.java"

echo "Find all files that match the encoding $SRC_ENCODING and filter $FILTER"
FOUND_FILES=$(find . -iname "$FILTER" -exec file -i {} \; | grep "$SRC_ENCODING" | grep -Eo '^.*\.java')

for FILE in $FOUND_FILES ; do
    ORIGINAL_FILE="$FILE.$SRC_ENCODING.bkp"
    echo "Backup original file to $ORIGINAL_FILE"
    mv "$FILE" "$ORIGINAL_FILE"

    echo "converting $FILE from $SRC_ENCODING to $DST_ENCODING"
    iconv -f "$SRC_ENCODING" -t "$DST_ENCODING" "$ORIGINAL_FILE" -o "$FILE"
done

echo "Deleting backups"
find . -iname "*.$SRC_ENCODING.bkp" -exec rm {} \;

使用此命令：

for f in `find .`; do echo `file -i "$f"`; done

您可以列出目录和子目录中的所有文件以及相应的编码。

对于Perl，请使用Encode :: Detect。