tr：将撇号转换为ASCII

我想一个转换右单引号一个撇号使用tr。

tr "`echo -e '\xE2\x80\x99'`" "`echo -e '\x27'`" < a > b

给定一个名为UTF-8编码的文件a，其中包含以下示例：

We’re not a different species
“All alone?” Jeth mentioned.

OS X使用BSD tr并产生不错的结果：

We're not a different species
“All alone?” Jeth mentioned.

Ubuntu使用GNU tr并产生以下讨厌的结果：

We'''re not a different species
''<9C>All alone?''<9D> Jeth mentioned.

如何在Ubuntu中完成此转换？

您可以尝试其他一些工具，例如sed：

$ sed "s/’/'/g" <a
We're not a different species
“All alone?” Jeth mentioned.

或者，由于我们正在执行简单的翻译，因此可以将y命令用于sed：

$ sed "y/’/'/" <a
We're not a different species
“All alone?” Jeth mentioned.

GNUtr不能正常工作是因为：

当前tr仅完全支持单字节字符。最终它将支持多字节字符；当它-C 启用时，该选项将使它补充字符集，而使-c 它对值集补充。仅当某些值不是字符时，这种区分才重要；只有当输入包含编码错误时，才可能在使用多字节编码的语言环境中实现。

并且’是一个多字节字符：

$ echo -n \' | wc -c
1
$ echo -n ’ | wc -c  
3

如果您还想转换双引号和其他字符，可以使用GNUiconv：

$ iconv -f utf-8 -t ascii//translit < a
We're not a different species
"All alone?" Jeth mentioned.

所述//TRANSLIT后缀告诉iconv，对于目标编码（这里ASCII）的剧目以外的字符，它可以自动替代外观相似的字符或序列。如果没有后缀，iconv则会在发现不可翻译的字符时立即放弃。

请注意，这//TRANSLIT似乎是GNU扩展：POSIXiconv不支持它。

您可以使用以下awk解决方案之一：

awk '{gsub(/\xE2\x80\x99/, "\x27");print}' file # with Hex ASCII code

awk '{gsub(/’/, "\x27");print}' file

awk '{gsub(/\342\200\231/, "\47");print}'  file # with Octal ASCII code

awk '{gsub(/’/, "\47");print}' file

要么

awk '{gsub(/’/, "'"'"'");print}' file

使用-s选项tr ：

$ echo "We’re not a different species"|tr -s "’" "'"
We're not a different species

来自man tr ：

--truncate-set1
          first truncate SET1 to length of SET2