删除文本中字母之间多余空格的脚本

我有一个文本文档，其中包含大量文本，每个字母后都添加了额外的空格！

例：

T h e  b o o k  a l s o  h a s  a n  a n a l y t i c a l  p u r p o s e  w h i c h  i s  m o r e  i m p o r t a n t…

视觉上：

T␣h␣e␣␣b␣o␣o␣k␣␣a␣l␣s␣o␣␣h␣a␣s␣␣a␣n␣␣a␣n␣a␣l␣y␣t␣i ␣c␣a␣l␣␣p␣u␣r␣p␣o␣s␣e␣␣w␣h␣i␣c␣h␣␣i␣s␣␣m␣o␣r␣e␣␣i␣ m␣p␣o␣r␣t␣a␣n␣t…

请注意，每个字母后都有一个多余的空格，因此连续单词之间有两个空格。

有什么方法可以获取awk或sed删除多余的空格？（不幸的是，此文本文档非常庞大，需要很长时间才能手动完成。）  我很欣赏这可能是一个简单的bash脚本要解决的复杂得多的问题，因为还需要某种形式的文本识别。

我该如何解决这个问题？

以下正则表达式将删除任何空格字符串中的第一个空格。那应该做的。

s/ ( *)/\1/g

所以像这样：

perl -i -pe 's/ ( *)/\1/g' infile.txt

...将用“固定”版本替换infile.txt。

使用wordsegment，一个纯Python的词段NLP包：

$ pip install wordsegment
$ python2.7 -m wordsegment <<<"T h e b o o k a l s o h a s a n a n a l y t i c a l p u r p o s e w h i c h i s m o r e i m p o r t a n t"
the book also has an analytical purpose which is more important

基于输入在单词之间包含双倍空格的事实，有一个简单得多的解决方案。您只需将双倍空格更改为未使用的字符，删除空格并将未使用的字符更改回一个空格：

echo "T h e  b o o k  a l s o  h a s  a n  a n a l y t i c a l  p u r p o s e  w h i c h  i s  m o r e  i m p o r t a n t  " | sed 's/  /\-/g;s/ //g;s/\-/ /g'

...输出：

这本书还有分析的目的，这更重要

Perl进行救援！

您需要一本字典，即每行列出一个单词的文件。在我的系统上，它以形式存在/var/lib/dict/words，我也看到过类似的文件，/usr/share/dict/british等等。

首先，您要记住字典中的所有单词。然后，您逐行读取输入内容，然后尝试在单词中添加字符。如果有可能，请记住该单词并尝试分析该行的其余部分。如果到达该行的末尾，则输出该行。

#!/usr/bin/perl
use warnings;
use strict;
use feature qw{ say };

my $words = '/var/lib/dict/words';
my %word;

sub analyze {
    my ($chars, $words, $pos) = @_;
    if ($pos == @$chars) {
        $_[3] = 1;  # Found.
        say "@$words";
        return
    }
    for my $to ($pos .. $#$chars) {
        my $try = join q(), @$chars[ $pos .. $to ];
        if (exists $word{$try}) {
            analyze($chars, [ @$words, $try ], $to + 1, $_[3]);
        }
    }
}


open my $WORDS, '<', $words or die $!;
undef @word{ map { chomp; lc $_ } <$WORDS> };

while (<>) {
    my @chars = map lc, /\S/g;
    analyze(\@chars, [], 0, my $found = 0);
    warn "Unknown: $_" unless $found;
}

作为您的输入，它将在我的系统上生成4092个可能的读数。

注意：此答案（如此处的其他答案）基于较早版本的问题，其中单词未定界。较新的版本可以平凡回答。

在像这样的输入上：

T h e b o o k a l s o h a s a n a n a l y t i c a l p u r p o s e w h i c h i s m o r e i m p o r t a n t

您可以尝试：

 $ tr -d ' ' < file | grep -oiFf /usr/share/dict/words | paste -sd ' '
 The book also has ana na l y tic al purpose which ism ore important

它从左到右处理，并在下一个之后找到最长的单词。

显然，这里并不是最佳的单词选择，因为该句子没有任何意义，但是要想出正确的单词，您需要能够理解语法或文本含义或至少具有一定统计意义的工具有关可能会找到哪些单词的信息，以提供最可能的单词集。看起来解决方案是由Lynn找到的专用库

与Dewi Morgan的版本类似，但带有sed：

$ echo "f o o  t h e  b a r" | sed -r "s/[ ]{1}([^ ]{1})/\1/g"
foo the bar

尽管可以（并且应该）使用Perl单行代码完成，但是小型C解析器也非常快，而且也非常小（希望非常正确）：

#include <stdio.h>
#include <stdlib.h>

int main()
{
  char c1 = '\0', c2 = '\0', tmp_c;

  c1 = fgetc(stdin);
  for (;;) {
    if (c1 == EOF) {
      break;
    }
    c2 = fgetc(stdin);
    if (c2 == EOF) {
      if (c1 != ' ') {
        fputc(c1, stdout);
      }
      break;
    }
    if (c1 == c2 && c1 == ' ') {
      tmp_c = fgetc(stdin);
      if (tmp_c != EOF) {
        if (tmp_c != '\n') {
          ungetc(tmp_c, stdin);
          fputc(' ', stdout);
        } else {
          ungetc(tmp_c, stdin);
        }
      } else {
        break;
      }
    } else if (c1 != ' ') {
      fputc(c1, stdout);
    }
    c1 = c2;
  }
  exit(EXIT_SUCCESS);
}

编译与

gcc-4.9 -O3 -g3  -W -Wall -Wextra -std=c11 lilcparser.c -o lilcparser

（程序少于9kb）

在像这样的管道中使用：

echo "T h e  b o o k  a l s o  h a s  a n  a n a l y t i c a l  p u r p o s e  w h i c h  i s  m o r e  i m p o r t a n t  " | ./lilcparser

我尝试了这个，它似乎可以工作：

echo "<text here>" | sed -r 's/(\w)(\s)/\1/g'

该sed命令捕获两个组，并且仅返回第一个。

在c ++中，我会这样做：

#include <fstream>
using namespace std;

int main()
{   
    fstream is("test.txt", std::ios::in);

    char buff;
    vector<char>str;

    while (!is.eof()){is.get(buff);str.push_back(buff);} //read file to string

    for (int a=0;a<str.size();++a)if (str[a] == ' ' && str[a + 1] != ' ')str.erase(str.begin()+a);
    is.close();

    ofstream os("test.txt", std::ios::out | std::ios::trunc); //clear file for rewrite

    os.write(str.data(), str.size() * sizeof(char)); //write chars
    os.close();

    return 0;
    }

将测试文本文件的内容更改为相同的字符串，但字母之间的空格被删除。（它要求每个字母之间都有一个空格才能准确）。

$ echo 'F o u r  s c o r e  a n d' | \
txr -t '(mapcar* (opip (split-str @1 "  ")
                       (mapcar (op regsub #/ / ""))
                       (cat-str @1 " "))
                 (get-lines))'
Four score and


$ txr -e '(awk (:begin (set fs "  "))
               ((mf (regsub #/ / ""))))'  # mf: modify fields
F o u r  s c o r e  a n d
Four score and


$ awk -F'  ' '{for(i=1;i<=NF;i++)gsub(/ /,"",$i);print}'
F o u r  s c o r e  a n d
Four score and