OpenCV C ++ / Obj-C：检测一张纸/正方形检测

178

我在测试应用程序中成功实现了OpenCV平方检测示例，但现在需要过滤输出，因为它很乱-还是我的代码错误？

我感兴趣的纸歪斜减少（如的四个角点是），并进一步处理...

输入输出： 输入输出

原始图片：

点击

码：

double angle( cv::Point pt1, cv::Point pt2, cv::Point pt0 ) {
    double dx1 = pt1.x - pt0.x;
    double dy1 = pt1.y - pt0.y;
    double dx2 = pt2.x - pt0.x;
    double dy2 = pt2.y - pt0.y;
    return (dx1*dx2 + dy1*dy2)/sqrt((dx1*dx1 + dy1*dy1)*(dx2*dx2 + dy2*dy2) + 1e-10);
}

- (std::vector<std::vector<cv::Point> >)findSquaresInImage:(cv::Mat)_image
{
    std::vector<std::vector<cv::Point> > squares;
    cv::Mat pyr, timg, gray0(_image.size(), CV_8U), gray;
    int thresh = 50, N = 11;
    cv::pyrDown(_image, pyr, cv::Size(_image.cols/2, _image.rows/2));
    cv::pyrUp(pyr, timg, _image.size());
    std::vector<std::vector<cv::Point> > contours;
    for( int c = 0; c < 3; c++ ) {
        int ch[] = {c, 0};
        mixChannels(&timg, 1, &gray0, 1, ch, 1);
        for( int l = 0; l < N; l++ ) {
            if( l == 0 ) {
                cv::Canny(gray0, gray, 0, thresh, 5);
                cv::dilate(gray, gray, cv::Mat(), cv::Point(-1,-1));
            }
            else {
                gray = gray0 >= (l+1)*255/N;
            }
            cv::findContours(gray, contours, CV_RETR_LIST, CV_CHAIN_APPROX_SIMPLE);
            std::vector<cv::Point> approx;
            for( size_t i = 0; i < contours.size(); i++ )
            {
                cv::approxPolyDP(cv::Mat(contours[i]), approx, arcLength(cv::Mat(contours[i]), true)*0.02, true);
                if( approx.size() == 4 && fabs(contourArea(cv::Mat(approx))) > 1000 && cv::isContourConvex(cv::Mat(approx))) {
                    double maxCosine = 0;

                    for( int j = 2; j < 5; j++ )
                    {
                        double cosine = fabs(angle(approx[j%4], approx[j-2], approx[j-1]));
                        maxCosine = MAX(maxCosine, cosine);
                    }

                    if( maxCosine < 0.3 ) {
                        squares.push_back(approx);
                    }
                }
            }
        }
    }
    return squares;
}

编辑17/08/2012：

要在图像上绘制检测到的正方形，请使用以下代码：

cv::Mat debugSquares( std::vector<std::vector<cv::Point> > squares, cv::Mat image )
{
    for ( int i = 0; i< squares.size(); i++ ) {
        // draw contour
        cv::drawContours(image, squares, i, cv::Scalar(255,0,0), 1, 8, std::vector<cv::Vec4i>(), 0, cv::Point());

        // draw bounding rect
        cv::Rect rect = boundingRect(cv::Mat(squares[i]));
        cv::rectangle(image, rect.tl(), rect.br(), cv::Scalar(0,255,0), 2, 8, 0);

        // draw rotated rect
        cv::RotatedRect minRect = minAreaRect(cv::Mat(squares[i]));
        cv::Point2f rect_points[4];
        minRect.points( rect_points );
        for ( int j = 0; j < 4; j++ ) {
            cv::line( image, rect_points[j], rect_points[(j+1)%4], cv::Scalar(0,0,255), 1, 8 ); // blue
        }
    }

    return image;
}
c++  objective-c  image-processing  opencv  computer-vision 
— dom
source
1
— karlphillip 2012年
1
我认为您可以将问题的标题调整为“ 检测一张纸”之类的内容，如果您认为更合适的话。
— karlphillip 2012年
1
@moosgummi我希望具有与您已实现的功能相同的功能，即“检测捕获的图像/文档的角落”。如何实现此目的？我可以在我的iPhone应用程序中使用OpenCV吗？请建议我一些更好的方法
— 来做
1
您曾经使用OpenCV做过什么吗？有任何应用吗？
— karlphillip 2012年
6
值得注意的是，在找到要拒绝封闭形状内的所有轮廓的计数时，可以使用标志CV_RETR_EXTERNAL。
— mehfoos yacoob

Answers:

162

这是Stackoverflow中反复出现的主题，由于我找不到相关的实现，因此决定接受挑战。

我对OpenCV中存在的squares演示进行了一些修改，下面生成的C ++代码能够检测图像中的纸：

void find_squares(Mat& image, vector<vector<Point> >& squares)
{
    // blur will enhance edge detection
    Mat blurred(image);
    medianBlur(image, blurred, 9);

    Mat gray0(blurred.size(), CV_8U), gray;
    vector<vector<Point> > contours;

    // find squares in every color plane of the image
    for (int c = 0; c < 3; c++)
    {
        int ch[] = {c, 0};
        mixChannels(&blurred, 1, &gray0, 1, ch, 1);

        // try several threshold levels
        const int threshold_level = 2;
        for (int l = 0; l < threshold_level; l++)
        {
            // Use Canny instead of zero threshold level!
            // Canny helps to catch squares with gradient shading
            if (l == 0)
            {
                Canny(gray0, gray, 10, 20, 3); // 

                // Dilate helps to remove potential holes between edge segments
                dilate(gray, gray, Mat(), Point(-1,-1));
            }
            else
            {
                    gray = gray0 >= (l+1) * 255 / threshold_level;
            }

            // Find contours and store them in a list
            findContours(gray, contours, CV_RETR_LIST, CV_CHAIN_APPROX_SIMPLE);

            // Test contours
            vector<Point> approx;
            for (size_t i = 0; i < contours.size(); i++)
            {
                    // approximate contour with accuracy proportional
                    // to the contour perimeter
                    approxPolyDP(Mat(contours[i]), approx, arcLength(Mat(contours[i]), true)*0.02, true);

                    // Note: absolute value of an area is used because
                    // area may be positive or negative - in accordance with the
                    // contour orientation
                    if (approx.size() == 4 &&
                            fabs(contourArea(Mat(approx))) > 1000 &&
                            isContourConvex(Mat(approx)))
                    {
                            double maxCosine = 0;

                            for (int j = 2; j < 5; j++)
                            {
                                    double cosine = fabs(angle(approx[j%4], approx[j-2], approx[j-1]));
                                    maxCosine = MAX(maxCosine, cosine);
                            }

                            if (maxCosine < 0.3)
                                    squares.push_back(approx);
                    }
            }
        }
    }
}

执行此过程后，纸页将成为以下位置中最大的方块vector<vector<Point> >：

opencv纸张检测

我让您编写函数以找到最大的正方形。;）

— 卡尔菲利普
source
4
这就是为什么我使用源代码控制。可以很容易地发现对代码的最小意外修改。如果您没有做任何更改，请尝试使用其他映像进行测试，最后重新编译/重新安装opencv。
— karlphillip 2012年
2
对于所有平台（Win / Linux / Mac / iPhone / ...），OpenCV几乎相同。不同之处在于，有些不支持OpenCV的GPU模块。您是否已经为iOS构建了OpenCV？你可以测试吗？我认为这些是您在尝试更高级内容之前需要回答的问题。宝贝的步骤！
— karlphillip 2012年
1
@karlphillip我测试了此代码，并且能够清晰地检测到该纸张，但是需要花费很多时间。代码真的很重吗？有一个名为SayText的应用程序，其中该检测是从视频流实时进行的。这段代码对于实时性是不切实际的，对吗？
— alandalusi 2012年
1
大概。这是一个学术性的答案，对于行业来说不是很实用。您可以尝试各种优化方法，从位于的计数器定义开始，该计数器for (int c = 0; c < 3; c++)负责在图像的每个通道上进行迭代。例如，您可以将其设置为仅在一个频道上进行迭代：)不要忘记投票。
— karlphillip 2012年
3
@SilentPro angle()是一个辅助函数。如答案中所述，此代码基于OpenCV中存在的samples / cpp / squares.cpp。
— karlphillip 2013年
40

除非未指定其他要求，否则我将简单地将彩色图像转换为灰度图像并仅使用该图像（无需在3个通道上工作，对比度已经太高了）。另外，除非存在关于调整大小的特定问题，否则我将使用缩小版本的图像，因为它们相对较大，并且尺寸不会对解决的问题产生任何影响。然后，最后，使用中值滤波器，一些基本的形态学工具和统计数据（主要是针对Otsu阈值处理，已经为您完成）解决了您的问题。

这是我从您的样本图像获得的，以及从附近发现的一张纸获得的其他图像：

在此处输入图片说明 在此处输入图片说明

中值过滤器用于从现在的灰度图像中删除次要细节。这样做可能会去除发白纸内的细线，这很不错，因为这样一来，您最终会得到很小的连接零件，这些零件很容易丢弃。在中位数之后，应用形态学梯度（简单地dilation- erosion），然后通过Otsu将结果二值化。形态梯度是保持强边缘的好方法，应更多使用。然后，由于此梯度将增加轮廓宽度，因此应进行形态学细化。现在，您可以丢弃小的组件。

至此，上面的右侧图像（在绘制蓝色多边形之前）具有以下功能，左侧的图像未显示，因为剩下的唯一组件是描述纸张的组件：

在此处输入图片说明

给定示例，现在剩下的唯一问题是区分看起来像矩形的组件和不看起来像矩形的组件。这是确定包含形状的凸包的面积与其边界框的面积之比的问题。对于这些示例，比率0.7很好。在某些情况下，您也可能需要丢弃纸张内部的组件，但在这些示例中，不需要使用此方法（尽管如此，执行此步骤应该非常容易，尤其是因为可以直接通过OpenCV完成）。

作为参考，下面是Mathematica中的示例代码：

f = Import["http://thwartedglamour.files.wordpress.com/2010/06/my-coffee-table-1-sa.jpg"]
f = ImageResize[f, ImageDimensions[f][[1]]/4]
g = MedianFilter[ColorConvert[f, "Grayscale"], 2]
h = DeleteSmallComponents[Thinning[
     Binarize[ImageSubtract[Dilation[g, 1], Erosion[g, 1]]]]]
convexvert = ComponentMeasurements[SelectComponents[
     h, {"ConvexArea", "BoundingBoxArea"}, #1 / #2 > 0.7 &], 
     "ConvexVertices"][[All, 2]]
(* To visualize the blue polygons above: *)
Show[f, Graphics[{EdgeForm[{Blue, Thick}], RGBColor[0, 0, 1, 0.5], 
     Polygon @@ convexvert}]]

如果在更多情况下纸张的矩形定义不太明确，或者该方法将其与其他形状混淆-这些情况可能由于各种原因而发生，但常见的原因是图像获取质量差-然后尝试结合使用-处理步骤与论文“基于窗口式霍夫变换的矩形检测”中描述的工作相同。

— 毫米波
source
1
您的实现与上述实现有什么主要区别（即@karlphilip的答案）？很抱歉，我无法快速找到任何内容（3通道1通道和Mathematica-OpenCV除外）。
— Abid Rahman K
2
@AbidRahmanK是的，有..我从不使用坎尼，也不是从“几个门槛”开始的。还有其他差异，但是根据您的评论语气，对我自己的评论做出任何努力似乎毫无意义。
— mmgp
1
我看到你们两个都先找到边缘，然后确定哪个边缘是正方形。为了找到边缘，人们使用不同的方法。他使用精明，使用一些扩张侵蚀。而“几个阈值”，可能是他从OpenCV样本中获得的，用于查找平方。最主要的是，我觉得总体概念是相同的。“找到边缘并检测正方形”。我真诚地问，我不知道您从我的评论中得到了什么“基调”，或者您是什么（被理解/被误解了）。因此，如果您认为这个问题是真诚的，我想知道其他差异。否则，请放弃我的评论。
— 阿比德·拉曼K
1
@AbidRahmanK当然的概念是相同的，任务是相同的。正在使用中值过滤，正在使用细化，我不在乎他采用了几个阈值的想法-只是在这里不使用（因此怎么可能没有区别？），在这里调整图像的大小，组件尺寸不同。“某些膨胀侵蚀”不会产生二进制边缘，为此使用了otsu。提到这一点毫无意义，代码在那里。
— mmgp 2013年
1
K.谢谢。得到了答案。Concept is the same。（我从未使用过Mathematica，因此我无法理解代码。）您提到的差异是差异，但不是不同的方法或主要的方法。如果您仍然没有，例如，请检查以下内容：
— Abid Rahman K
14

好吧，我来晚了。

在您的图像中，纸张为white，背景为colored。因此，最好检测纸张Saturation(饱和度)在中HSV color space。首先参考Wiki HSL_and_HSV。然后，我将从答案中的大部分想法复制到图像的“检测彩色段”中。

主要步骤：

  1. 读入 BGR
  2. 将图像从转换bgr为hsv空间
  3. 门限S通道
  4. 然后找到最大外部轮廓 Canny，或者HoughLines根据需要，选择findContours），大约得到拐角。

这是我的结果：

在此处输入图片说明

Python程式码（Python 3.5 + OpenCV 3.3）：

#!/usr/bin/python3
# 2017.12.20 10:47:28 CST
# 2017.12.20 11:29:30 CST

import cv2
import numpy as np

##(1) read into  bgr-space
img = cv2.imread("test2.jpg")

##(2) convert to hsv-space, then split the channels
hsv = cv2.cvtColor(img, cv2.COLOR_BGR2HSV)
h,s,v = cv2.split(hsv)

##(3) threshold the S channel using adaptive method(`THRESH_OTSU`) or fixed thresh
th, threshed = cv2.threshold(s, 50, 255, cv2.THRESH_BINARY_INV)

##(4) find all the external contours on the threshed S
#_, cnts, _ = cv2.findContours(threshed, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
cnts = cv2.findContours(threshed, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)[-2]

canvas  = img.copy()
#cv2.drawContours(canvas, cnts, -1, (0,255,0), 1)

## sort and choose the largest contour
cnts = sorted(cnts, key = cv2.contourArea)
cnt = cnts[-1]

## approx the contour, so the get the corner points
arclen = cv2.arcLength(cnt, True)
approx = cv2.approxPolyDP(cnt, 0.02* arclen, True)
cv2.drawContours(canvas, [cnt], -1, (255,0,0), 1, cv2.LINE_AA)
cv2.drawContours(canvas, [approx], -1, (0, 0, 255), 1, cv2.LINE_AA)

## Ok, you can see the result as tag(6)
cv2.imwrite("detected.png", canvas)

相关答案：

  1. 如何使用OpenCV检测图像中的彩色斑块？
  2. 使用OpenCV在彩色背景上进行边缘检测
  3. OpenCV C ++ / Obj-C：检测一张纸/正方形检测
  4. 如何在不同的OpenCV版本中使用`cv2.findContours`？
— 金特
source
我尝试使用S空间，但仍然无法成功。看到这一点： stackoverflow.com/questions/50699893/...
— hchouhan02
3

您需要的是四边形而不是旋转的矩形。 RotatedRect会给您不正确的结果。另外，您将需要透视投影。

基本上必须做的是：

  • 循环遍历所有多边形线段，并连接几乎相等的线段。
  • 对它们进行排序，以便获得4个最大的线段。
  • 与这些线相交，您将获得四个最可能的拐角点。
  • 在从已知对象的拐角点和纵横比收集的透视图上变换矩阵。

我上了一堂课 Quadrangle，它负责轮廓到四边形的转换，并且还将在正确的角度对其进行转换。

在此处查看有效的实现： Java OpenCV校正轮廓

— 提姆
source
1

一旦检测到文档的边界框，就可以执行四点透视变换以获得图像的自上而下的鸟瞰图。这将修复偏斜并仅隔离所需的对象。

输入图片：

检测到的文字对象

文本文档的俯视图

码

from imutils.perspective import four_point_transform
import cv2
import numpy

# Load image, grayscale, Gaussian blur, Otsu's threshold
image = cv2.imread("1.png")
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
blur = cv2.GaussianBlur(gray, (7,7), 0)
thresh = cv2.threshold(blur, 0, 255, cv2.THRESH_BINARY + cv2.THRESH_OTSU)[1]

# Find contours and sort for largest contour
cnts = cv2.findContours(thresh, cv2.RETR_EXTERNAL,cv2.CHAIN_APPROX_SIMPLE)
cnts = cnts[0] if len(cnts) == 2 else cnts[1]
cnts = sorted(cnts, key=cv2.contourArea, reverse=True)
displayCnt = None

for c in cnts:
    # Perform contour approximation
    peri = cv2.arcLength(c, True)
    approx = cv2.approxPolyDP(c, 0.02 * peri, True)
    if len(approx) == 4:
        displayCnt = approx
        break

# Obtain birds' eye view of image
warped = four_point_transform(image, displayCnt.reshape(4, 2))

cv2.imshow("thresh", thresh)
cv2.imshow("warped", warped)
cv2.imshow("image", image)
cv2.waitKey()
— 幼稚
source
-1

检测纸是有点老派。如果要解决偏斜检测，那么直接针对文本行检测是更好的选择。有了这个，您将获得左，右，上和下极值。如果不需要，请丢弃图像中的所有图形，然后对文本线段进行一些统计以找到最常出现的角度范围或角度。这样您将缩小到一个良好的倾斜角度。现在，在此之后，您可以将这些参数设置为偏斜角和极值，以使图像偏斜并将其切成所需的图像。

至于当前的图像要求，最好尝试使用CV_RETR_EXTERNAL而不是CV_RETR_LIST。

检测边缘的另一种方法是在纸张边缘上训练随机森林分类器，然后使用该分类器获取边缘贴图。到目前为止，这是一种可靠的方法，但需要培训和时间。

随机森林将在低对比度差异的情况下工作，例如在大致白色背景上的白皮书。

— 阿努巴夫·罗哈吉（Anubhav Rohatgi）
source
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.