文字中的“河流”检测

在TeX stackexchange上，我们一直在讨论如何在此问题的段落中检测“河流” 。

在这种情况下，河流是空白区域，是文本中单词间空格的意外对齐导致的。由于这可能会使读者分心，因此糟糕的河流被认为是不良印刷的征兆。带有河流的文本的一个示例是该河流，其中有两条河流沿对角线流动。

有兴趣自动检测这些河流，以便可以避免（可能是通过手动编辑文本）。Raphink在TeX级别上取得了一些进展（仅知道字形位置和边界框），但是我有信心，检测河流的最佳方法是进行某些图像处理（因为字形形状非常重要，TeX无法使用）。 。我尝试了多种方法从上述图像中提取河流，但是我提出的应用少量椭圆形模糊的简单想法似乎还不够好。我也试过Rad基于霍夫变换的过滤，但是我也没有。河流对于人眼/视网膜/大脑的特征检测电路非常明显，因此我认为可以将其转换为某种过滤操作，但我无法使其工作。有任何想法吗？

具体来说，我正在寻找一些操作来检测上图中的2条河流，但没有太多其他误报检测。

编辑： endolith问我为什么要采用基于图像处理的方法，因为在TeX中我们可以访问字形的位置，间距等，并且使用检查实际文本的算法可能更快，更可靠。我做事的原因是形状的字形可能会影响河流的明显程度，并且在文本级别上很难考虑这种形状（取决于字体，绑扎等）。有关字形形状如何重要的示例，请考虑以下两个示例，它们之间的区别在于，我用几乎相同宽度的其他字形替换了一些字形，以便进行基于文本的分析他们同样好/坏。但是请注意，第一个示例中的河流比第二个示例中的河流差很多。

我对此进行了更多考虑，并认为以下内容应该相当稳定。请注意，我仅限于进行形态学操作，因为这些应在任何标准图像处理库中可用。

（1）使用nPix x 1遮罩打开图像，其中nPix大约为字母之间的垂直距离

#% read image
img = rgb2gray('http://i.stack.imgur.com/4ShOW.png');

%# threshold and open with a rectangle
%# that is roughly letter sized
bwImg = img > 200; %# threshold of 200 is better than 128

opImg = imopen(bwImg,ones(13,1));

（2）使用1-by-mPix遮罩打开图像，以消除太窄而不能成为河流的任何东西。

opImg = imopen(opImg,ones(1,5));

（3）删除由于段落之间的空间或凹痕而引起的水平“河流和湖泊”。为此，我们删除所有正确的行，并使用已知不会影响我们先前发现的河流的nPix-by-1掩码打开。

要去除色淀，我们可以使用比nPix-by-nPix稍大的开口掩模。

在此步骤中，我们还可以丢弃所有太小而不能成为真实河流的东西，即，所有面积小于（nPix + 2）*（mPix + 2）* 4（这将给我们3条线）的区域。之所以加上+2，是因为我们知道所有对象的高度至少为nPix，宽度至少为mPix，并且我们想在其上略高一点。

%# horizontal river: just look for rows that are all true
opImg(all(opImg,2),:) = false;
%# open with line spacing (nPix)
opImg = imopen(opImg,ones(13,1));

%# remove lakes with nPix+2
opImg = opImg & ~imopen(opImg,ones(15,15)); 

%# remove small fry
opImg = bwareaopen(opImg,7*15*4);

（4）如果我们不仅对河流的长度感兴趣，而且对河流的宽度感兴趣，我们可以将距离变换与骨架相结合。

   dt = bwdist(~opImg);
   sk = bwmorph(opImg,'skel',inf);
   %# prune the skeleton a bit to remove branches
   sk = bwmorph(sk,'spur',7);

   riversWithWidth = dt.*sk;

（颜色与河流的宽度相对应（尽管颜色条偏离了2倍）

现在，您可以通过计算每个连接组件中像素的数量来获得河流的大致长度，并通过平均河流像素值来获得平均宽度。

这是应用于第二张“无河流”图像的完全相同的分析：

在Mathematica中，使用腐蚀和霍夫变换：

(*Get Your Images*)
i = Import /@ {"http://i.stack.imgur.com/4ShOW.png", 
               "http://i.stack.imgur.com/5UQwb.png"};

(*Erode and binarize*)
i1 = Binarize /@ (Erosion[#, 2] & /@ i);

(*Hough transform*)
lines = ImageLines[#, .5, "Segmented" -> True] & /@ i1;

(*Ready, show them*)
Show[#[[1]],Graphics[{Thick,Orange, Line /@ #[[2]]}]] & /@ Transpose[{i, lines}]

编辑回答向导先生的评论

如果要摆脱水平线，请改为执行以下操作（可能有人可以简化它）：

Show[#[[1]], Graphics[{Thick, Orange, Line /@ #[[2]]}]] & /@ 
 Transpose[{i, Select[Flatten[#, 1], Chop@Last@(Subtract @@ #) != 0 &] & /@ lines}]

嗯...我想Radon变换并不是那么容易提取。（Radon变换基本上在“直视”边缘的同时旋转图像。这是CAT扫描的原理。）图像的变换会产生此正弦图，“河流”形成明亮的峰，并圈出：

旋转为70度时，可以清楚地看到此切片沿水平轴的左侧的峰值：

特别是如果文本首先是高斯模糊的：

但是我不确定如何从其余噪声中可靠地提取这些峰值。正弦图的明亮的顶端和底端代表了文本水平线之间的“河流”，您显然并不在乎。也许权重函数与角度的关系强调了更多的垂直线并最小化了水平线？

一个简单的余弦加权函数在此图像上效果很好：

找到90度的垂直河，这是正弦图中的全局最大值：

并在此图像上找到104度的图像，尽管首先模糊使它更准确：

（SciPy的radon()功能有点笨，或者我会将这个峰作为一条穿过河中的线映射回原始图像上。）

但是，经过模糊和加权后，它在图像的正弦图中找不到两个主要峰值之一：

它们在那里，但是它们被加权函数中间峰值附近的东西所淹没。有了正确的权重和调整这种方法可能会工作，但我不知道正确的调整是什么。这也可能取决于页面扫描的属性。也许权重需要从切片中的总能量或诸如归一化之类的东西中得出。

from pylab import *
from scipy.misc import radon
import Image

filename = 'rivers.png'
I = asarray(Image.open(filename).convert('L').rotate(90))

# Do the radon transform and display the result
a = radon(I, theta = mgrid[0:180])

# Remove offset
a = a - min(a.flat)

# Weight it to emphasize vertical lines
b = arange(shape(a)[1]) #
d = (0.5-0.5*cos(b*pi/90))*a

figure()
imshow(d.T)
gray()
show()

# Find the global maximum, plot it, print it
peak_x, peak_y = unravel_index(argmax(d),shape(d))
plot(peak_x, peak_y,'ro')
print len(d)- peak_x, 'pixels', peak_y, 'degrees'

我使用了不同比例的派生特征（最高2阶）对像素进行了判别式分类器训练。

我的标签：

对训练图像的预测：

对其他两个图像的预测：

我认为这看起来很有希望，并且在获得更多训练数据和更智能功能的情况下可能会产生可用的结果。另一方面，我只花了几分钟就得到了这些结果。您可以使用开源软件ilastik自己重现结果。[免责声明：我是主要开发人员之一。]

（很抱歉，此帖子未附带出色的演示。）

如果您想使用TeX已经拥有的信息（字母和位置），可以手动将字母和字母对分类为在一个方向或另一个方向上“倾斜”。例如，“ w”具有SW和SE角坡度，“ al”组合具有NW角坡度，“ k”具有NE角坡度。（别忘了标点符号-引号后跟一个字母，该字母填充字形框的下半部分，建立了一个不错的斜率；引号后跟q特别强。）

然后，寻找在空间相对两侧的相应坡度的出现-SW到NE的河流为“ w al”，NW到SE的河流为“ k T”。当您在一行上找到一个时，请查看在上方/下方的行上是否发生了类似的事件（适当地向左或向右移动）；当您发现其中的一部分时，可能会有一条河。

同样，显然，对于平原的垂直河流，只需寻找几乎垂直堆叠的空间即可。

通过测量坡度的“强度”，您可以变得更加复杂：由于坡度，前进框的多少是“空的”，从而对河流的宽度有所贡献。“ w”相当小，因为它的前进箱只有一个小角可用于河道，但“ V”非常强。“ b”比“ k”略强；柔和的曲线使河流边缘更具视觉上的连续性，使其更坚固且视觉上更宽。