如何在Unix行尾（CR / LF到LF）中转换Windows行尾

我是Java开发人员，正在使用Ubuntu进行开发。该项目是使用Eclipse在Windows中创建的，并且使用Windows-1252编码。

要转换为UTF-8，我使用了重新编码程序：

find Web -iname \*.java | xargs recode CP1252...UTF-8

此命令给出此错误：

recode: Web/src/br/cits/projeto/geral/presentation/GravacaoMessageHelper.java failed: Ambiguous output in step `CR-LF..data

我已经搜索了它，并在Bash和Windows中获得了解决方案，重新编码：在“ data..CR-LF”步骤中的输出模棱两可，它说：

将行尾从CR / LF转换为单个LF：使用Vim编辑文件，输入命令:set ff=unix并保存文件。现在重新编码应该可以正常运行。

很好，但是我有很多文件要从中删除CR / LF字符，我无法打开每个文件来完成。Vi不为Bash操作提供任何命令行选项。

sed可以用来做到这一点吗？怎么样？

应该有一个名为的程序dos2unix，它将为您修复行尾。如果您的Linux机器上尚未安装它，则应该可以通过软件包管理器使用它。

sed无法匹配\ n，因为尾随换行符是在将行放入模式空间之前删除的，但是可以匹配\ r，因此您可以通过删除\ r将\ r \ n（dos）转换为\ n（unix）

sed -i 's/\r//g' file

警告：这将更改原始文件

但是，您不能由此从unix EOL更改为dos或旧的mac（\ r）。在这里更多阅读：

如何使用sed替换换行符（\ n）？

实际上，vim确实可以满足您的需求。输入vim，然后键入以下命令：

:args **/*.java
:argdo set ff=unix | update | next

这些命令中的第一个命令将参数列表**/*.java递归设置到每个匹配的文件（即所有Java文件）中。这些命令的第二个依次对参数列表中的每个文件执行以下操作：

• 将行尾设置为Unix风格（您已经知道了）
• 如果文件已更改，则将其写出
• 前进到下一个文件

tr命令也可以这样做：

tr -d '\15\32' < winfile.txt > unixfile.txt

并且应该对您可用。

您需要在脚本中运行tr，因为它无法使用文件名。例如，创建一个文件myscript.sh：

#!/bin/bash

for f in `find -iname \*.java`; do
    echo "$f"
    tr -d '\15\32' < "$f" > "$f.tr"
    mv "$f.tr" "$f"
    recode CP1252...UTF-8 "$f"
done

运行myscript.sh将处理当前目录及其子目录中的所有java文件。

我会略去吉超的回答。实际上，您可以轻松地完成他刚刚谈到的所有事情。而不是寻找\n，只需寻找行尾的回车即可。

sed -i 's/\r$//' "${FILE_NAME}"

要从Unix更改为dos，只需查找该行的最后一个字符并向其中添加换页。（我将添加-r使用grep正则表达式使此操作更容易。）

sed -ri 's/(.)$/\1\r/' "${FILE_NAME}"

从理论上讲，可以通过将代码添加到最后一个示例中来将文件更改为mac样式，该示例还将下一行输入追加到第一行，直到处理完所有行。不过，我不会在这里举这个例子。

警告： -i更改实际文件。如果要进行备份，请在之后添加一个字符串-i。这会将现有文件移动到与您的字符添加到最后的同名文件。

为了克服

Ambiguous output in step `CR-LF..data'

简单的解决方案可能是添加-f标志以强制转换。

您是否尝试过在这里找到的Bryan Maupin的python脚本？（我对其进行了一些修改，以使其更通用）

#!/usr/bin/env python

import sys

input_file_name = sys.argv[1]
output_file_name = sys.argv[2]

input_file = open(input_file_name)
output_file = open(output_file_name, 'w')

line_number = 0

for input_line in input_file:
    line_number += 1
    try:  # first try to decode it using cp1252 (Windows, Western Europe)
        output_line = input_line.decode('cp1252').encode('utf8')
    except UnicodeDecodeError, error:  # if there's an error
        sys.stderr.write('ERROR (line %s):\t%s\n' % (line_number, error))  # write to stderr
        try:  # then if that fails, try to decode using latin1 (ISO 8859-1)         
            output_line = input_line.decode('latin1').encode('utf8')
        except UnicodeDecodeError, error:  # if there's an error
            sys.stderr.write('ERROR (line %s):\t%s\n' % (line_number, error))  # write to stderr
            sys.exit(1)  # and just keep going
    output_file.write(output_line)

input_file.close()
output_file.close()

您可以将该脚本与

$ ./cp1252_utf8.py file_cp1252.sql file_utf8.sql

返回Windows，告诉Eclipse将编码更改为UTF-8，然后返回Unix并d2u在文件上运行。