如何在Bash脚本中将DOS / Windows换行符（CRLF）转换为Unix换行符（LF）？

如何以编程方式（即不使用vi）将DOS / Windows换行符转换为Unix？

该dos2unix和unix2dos命令不可用在某些系统上。如何使用sed/ awk/ 这样的命令模拟这些tr？

您可以tr用来将DOS转换为Unix。但是，只有当CR仅作为CRLF字节对的第一个字节出现在文件中时，您才能安全地执行此操作。通常是这种情况。然后，您使用：

tr -d '\015' <DOS-file >UNIX-file

请注意，名称与名称DOS-file不同UNIX-file；如果尝试两次使用相同的名称，则文件中最终将没有数据。

您不能反过来做（使用标准的“ tr”）。

如果您知道如何输入回车，请返回一个脚本（control-V，control-M输入control-M），然后：

sed 's/^M$//'     # DOS to Unix
sed 's/$/^M/'     # Unix to DOS

其中“ ^ M”是控制M字符。您还可以使用bash ANSI-C报价机制指定回车符：

sed $'s/\r$//'     # DOS to Unix
sed $'s/$/\r/'     # Unix to DOS

但是，如果您将不得不经常执行此操作（粗略地说，不止一次），则安装转换程序（例如dos2unix和unix2dos，或者也许dtou和utod）并使用它们就更加明智了。

如果需要处理整个目录和子目录，可以使用zip：

zip -r -ll zipfile.zip somedir/
unzip zipfile.zip

这将创建一个zip存档，其行尾从CRLF更改为CR。unzip然后将转换后的文件放回原处（并逐个文件询问您-您可以回答：是全部）。感谢@vmsnomad指出了这一点。

tr -d "\r" < file

在这里看看使用示例sed：

# IN UNIX ENVIRONMENT: convert DOS newlines (CR/LF) to Unix format.
sed 's/.$//'               # assumes that all lines end with CR/LF
sed 's/^M$//'              # in bash/tcsh, press Ctrl-V then Ctrl-M
sed 's/\x0D$//'            # works on ssed, gsed 3.02.80 or higher

# IN UNIX ENVIRONMENT: convert Unix newlines (LF) to DOS format.
sed "s/$/`echo -e \\\r`/"            # command line under ksh
sed 's/$'"/`echo \\\r`/"             # command line under bash
sed "s/$/`echo \\\r`/"               # command line under zsh
sed 's/$/\r/'                        # gsed 3.02.80 or higher

使用sed -i就地转化例如sed -i 's/..../' file。

使用POSIX这样做很棘手：

• POSIX Sed不支持\r或\15。即使这样做，就位选项-i也不是POSIX

• POSIX Awk确实支持\r和\15，但是该-i inplace选项不是POSIX

• d2u和dos2unix不是POSIX实用程序，但ex是

• POSIX前不支持\r，\15，\n或者\12

要删除回车：

ex -bsc '%!awk "{sub(/\r/,\"\")}1"' -cx file

要添加回车符：

ex -bsc '%!awk "{sub(/$/,\"\r\")}1"' -cx file

您可以通过选项-c {command}以编程方式使用vim：

对Unix的用法：

vim file.txt -c "set ff=unix" -c ":wq"

Unix下要做的事情：

vim file.txt -c "set ff=dos" -c ":wq"

“ set ff = unix / dos”表示将文件的文件格式（ff）更改为Unix / DOS行尾格式

“：wq”表示将文件写入磁盘并退出编辑器（允许在循环中使用该命令）

使用AWK，您可以执行以下操作：

awk '{ sub("\r$", ""); print }' dos.txt > unix.txt

使用Perl，您可以执行以下操作：

perl -pe 's/\r$//' < dos.txt > unix.txt

要就地转换文件

dos2unix <filename>

要将转换后的文本输出到其他文件，请使用

dos2unix -n <input-file> <output-file>

您可以使用以下命令在Ubuntu或Debian上安装它

sudo apt install dos2unix

或在MacOS上使用自制软件

brew install dos2unix

可以使用标准工具解决此问题，但是我建议您安装该flip命令，该陷阱有足够多的陷阱，我建议您安装该命令，该命令由的作者Rahul Dhesi于20年前编写zoo。它在转换文件格式方面做得非常出色，例如，避免了二进制文件的无意破坏，如果您只是想改变一下看到的每个CRLF，这太容易了。

到目前为止，发布的解决方案仅解决了部分问题，将DOS / Windows的CRLF转换为Unix的LF。他们缺少的部分是DOS使用CRLF作为行分隔符，而Unix使用LF作为行终止符。区别在于，DOS文件（通常）在文件的最后一行之后通常没有任何内容，而Unix则没有。为了正确进行转换，您需要添加最后的LF（除非文件的长度为零，即根本没有行）。我最喜欢的方法（添加一点逻辑来处理Mac样式的CR分隔文件，而不是破坏已经为unix格式的文件）有点perl：

perl -pe 'if ( s/\r\n?/\n/g ) { $f=1 }; if ( $f || ! $m ) { s/([^\n])\z/$1\n/ }; $m=1' PCfile.txt

请注意，这会将文件的Unixified版本发送到stdout。如果要用Unixified版本替换文件，请添加perl的-i标志。

如果您没有访问dos2unix的权限，但可以阅读此页面，则可以从此处复制/粘贴dos2unix.py。

#!/usr/bin/env python
"""\
convert dos linefeeds (crlf) to unix (lf)
usage: dos2unix.py <input> <output>
"""
import sys

if len(sys.argv[1:]) != 2:
  sys.exit(__doc__)

content = ''
outsize = 0
with open(sys.argv[1], 'rb') as infile:
  content = infile.read()
with open(sys.argv[2], 'wb') as output:
  for line in content.splitlines():
    outsize += len(line) + 1
    output.write(line + '\n')

print("Done. Saved %s bytes." % (len(content)-outsize))

从超级用户交叉发布。

借助PCRE轻松实现超级骗子；

作为脚本，或替换$@为文件。

#!/usr/bin/env bash
perl -pi -e 's/\r\n/\n/g' -- $@

这将覆盖您的文件！

我建议仅使用备份（版本控制或其他方式）进行此操作

带有程序的更简单的awk解决方案：

awk -v ORS='\r\n' '1' unix.txt > dos.txt

从技术上讲，“ 1”是您的程序，给定选项时，b / c awk需要一个。

更新：在很长一段时间以来第一次重新访问此页面之后，我意识到还没有人发布内部解决方案，所以这里是一个：

while IFS= read -r line;
do printf '%s\n' "${line%$'\r'}";
done < dos.txt > unix.txt

有趣的是，我在Windows上的git-bash中sed ""已经完成了窍门：

$ echo -e "abc\r" >tst.txt
$ file tst.txt
tst.txt: ASCII text, with CRLF line terminators
$ sed -i "" tst.txt
$ file tst.txt
tst.txt: ASCII text

我的猜测是，sed在从输入中读取行时会忽略它们，并始终在输出中写入unix行尾。

这对我有用

tr "\r" "\n" < sampledata.csv > sampledata2.csv 

只是想想同样的问题（在Windows端，但同样适用于Linux。）令人惊讶的是，没有人提到使用非常好的旧zip -ll选项（Info-ZIP）对文本文件执行CRLF <-> LF转换的非常自动化的方法：

zip -ll textfiles-lf.zip files-with-crlf-eol.*
unzip textfiles-lf.zip 

注意：这将创建一个zip文件，保留原始文件名，但将行尾转换为LF。然后unzip将解压缩后的文件解压缩，即保留其原始名称（但带有LF结尾），从而提示覆盖本地原始文件（如果有）。

相关摘录zip --help：

zip --help
...
-l   convert LF to CR LF (-ll CR LF to LF)

对于Mac osx，如果已安装自制软件[ http://brew.sh/][1]

brew install dos2unix

for csv in *.csv; do dos2unix -c mac ${csv}; done;

确保已复制文件，因为此命令将在适当位置修改文件。-c mac选项使该开关与osx兼容。

TIMTOWTDI！

perl -pe 's/\r\n/\n/; s/([^\n])\z/$1\n/ if eof' PCfile.txt

基于@GordonDavisson

必须考虑[noeol]... 的可能性

您可以使用awk。将记录分隔符（RS）设置为与所有可能的换行符匹配的正则表达式。并将输出记录分隔符（ORS）设置为Unix风格的换行符。

awk 'BEGIN{RS="\r|\n|\r\n|\n\r";ORS="\n"}{print}' windows_or_macos.txt > unix.txt

在Linux上，使用sed将^ M（ctrl-M）转换为* nix换行符（^ J）很容易。

在CLI上会像这样，实际上文本中会有换行符。但是，\将^ J传递给sed：

sed 's/^M/\
/g' < ffmpeg.log > new.log

您可以通过在键入时使用^ V（ctrl-V），^ M（ctrl-M）和\（反斜杠）来获得此信息：

sed 's/^V^M/\^V^J/g' < ffmpeg.log > new.log

sed --expression='s/\r\n/\n/g'

由于问题提到sed，因此这是使用sed实现此目的的最直接方法。表达式说的是仅用换行替换所有回车和换行。从Windows到Unix，这就是您所需要的。我验证了它的工作原理。

作为对Jonathan Leffler的Unix to DOS解决方案的扩展，当不确定文件的当前行尾时可以安全地转换为DOS：

sed '/^M$/! s/$/^M/'

这会在转换为CRLF之前检查该行是否尚未以CRLF结尾。

我根据接受的答案制作了一个脚本，因此您可以直接将其转换，而无需最后添加其他文件，之后再删除和重命名。

convert-crlf-to-lf() {
    file="$1"
    tr -d '\015' <"$file" >"$file"2
    rm -rf "$file"
    mv "$file"2 "$file"
}

只要确保您拥有的文件“ file1.txt2”之类的文件（例如“ file1.txt”）被覆盖或将其覆盖，就可以将其用作存储文件的临时位置。

在bash 4.2及更高版本中，您可以使用类似以下的方法剥离尾随CR，该CR仅使用bash内置功能：

if [[ "${str: -1}" == $'\r' ]]; then
    str="${str:: -1}"
fi

我尝试在OSX上使用sed's / ^ M $ //'file.txt以及其他几种方法（http://www.thingy-ma-jig.co.uk/blog/25-11-2010/fixing- dos-line-endings或http://hintsforums.macworld.com/archive/index.php/t-125.html）。没有任何效果，文件保持不变（需要使用Ctrl-v Enter来重现^ M）。最后，我使用了TextWrangler。它不是严格的命令行，但是可以正常工作，并且不会抱怨。