如何提高在MNIST上训练的模型的数字识别能力？

我正在使用进行手印多位数识别Java，使用OpenCV库进行预处理和分割，并使用KerasMNIST训练的模型（精度为0.98）进行识别。

除了一件事之外，这种识别似乎效果很好。网络经常无法识别那些（数字“一”）。我不知道这是否是由于分割的预处理/不正确的实现而发生的，或者是否是在标准MNIST上训练的网络没有看到看起来像我的测试用例的第一名。

这是经过预处理和分割后出现问题的数字的样子：

成为并归类为4。

成为并归类为7。

成为并归类为4。等等...

通过改进细分过程，可以解决此问题吗？还是通过增强培训设置？

编辑：增强训练集（数据扩充）肯定会有所帮助，这已经在我测试中，正确预处理的问题仍然存在。

我的预处理包括调整大小，转换为灰度，二值化，反转和膨胀。这是代码：

Mat resized = new Mat();
Imgproc.resize(image, resized, new Size(), 8, 8, Imgproc.INTER_CUBIC);

Mat grayscale = new Mat();
Imgproc.cvtColor(resized, grayscale, Imgproc.COLOR_BGR2GRAY);

Mat binImg = new Mat(grayscale.size(), CvType.CV_8U);
Imgproc.threshold(grayscale, binImg, 0, 255, Imgproc.THRESH_OTSU);

Mat inverted = new Mat();
Core.bitwise_not(binImg, inverted);

Mat dilated = new Mat(inverted.size(), CvType.CV_8U);
int dilation_size = 5;
Mat kernel = Imgproc.getStructuringElement(Imgproc.CV_SHAPE_CROSS, new Size(dilation_size, dilation_size));
Imgproc.dilate(inverted, dilated, kernel, new Point(-1,-1), 1);

然后将预处理后的图像分割成各个数字，如下所示：

List<Mat> digits = new ArrayList<>();
List<MatOfPoint> contours = new ArrayList<>();
Imgproc.findContours(preprocessed.clone(), contours, new Mat(), Imgproc.RETR_EXTERNAL, Imgproc.CHAIN_APPROX_SIMPLE);

// code to sort contours
// code to check that contour is a valid char

List rects = new ArrayList<>();

for (MatOfPoint contour : contours) {
     Rect boundingBox = Imgproc.boundingRect(contour);
     Rect rectCrop = new Rect(boundingBox.x, boundingBox.y, boundingBox.width, boundingBox.height);

     rects.add(rectCrop);
}

for (int i = 0; i < rects.size(); i++) {
    Rect x = (Rect) rects.get(i);
    Mat digit = new Mat(preprocessed, x);

    int border = 50;
    Mat result = digit.clone();
    Core.copyMakeBorder(result, result, border, border, border, border, Core.BORDER_CONSTANT, new Scalar(0, 0, 0));

    Imgproc.resize(result, result, new Size(28, 28));
    digits.add(result);
}

我相信您的问题是扩张过程。我了解您希望规范化图像尺寸，但是您不应该破坏比例，您应该将一个轴调整为最大尺寸（该尺寸允许最大的缩放比例，而另一轴尺寸不超过最大尺寸）并填充具有背景色的图像的其余部分。并不是说“标准MNIST没看到过看起来像测试用例的数字”，而是让图像看起来像不同的受过训练的数字（被识别出的数字）

如果您维护了图像的正确长宽比（源图像和后处理图像），则可以看到您不仅调整了图像的大小，而且“扭曲了”它。可能是非均匀膨胀或尺寸调整不正确的结果

已经发布了一些答案，但没有一个答案能回答您关于以下内容的实际问题 图像预处理的。

就我而言，只要您的研究项目做得很好，我就不会发现您的实施存在任何重大问题。

但是要注意的一件事是您可能会错过。数学形态学中有一些基本运算：腐蚀和膨胀（您使用）。并且存在复杂的操作：基本操作的各种组合（例如，打开和关闭）。 Wikipedia链接不是最佳的简历参考，但是您可以先从中获得灵感。

通常，最好使用开孔而不是腐蚀，再用闭合而不是膨胀，因为在这种情况下，原始二进制图像的变化要小得多（但是达到了清洁尖锐边缘或填充间隙的理想效果）。因此，在您的情况下，您应检查关闭（图像扩散，然后使用相同的内核进行侵蚀）。如果即使使用1 * 1内核进行放大（如果1像素大于图像的16％），在放大时会大大修改8 * 8的小图像（在较大的图像上较小）。

以可视化的想法看下面的图片（来自OpenCV的教程：1，2）：

扩张：

闭幕：

希望能帮助到你。

因此，您需要一种复杂的方法来使计算的每个步骤都基于先前的结果。在算法中，您具有以下功能：

1. 图像预处理

如前所述，如果应用调整大小，则会丢失有关图像长宽比的信息。您必须对数字图像进行相同的重新处理，以获得与训练过程中相同的结果。

如果仅通过固定尺寸的图片裁切图像，则更好的方法。在该变体中，您无需在训练过程之前进行轮廓查找和调整数字图像的大小。然后，您可以对裁剪算法进行一些更改以更好地识别：只需找到轮廓并放置手指，而无需调整大小即可在相关图像帧的中心进行识别。

另外，您还应该更加注意二值化算法。我曾经研究过二值化阈值对学习错误的影响：我可以说这是一个非常重要的因素。您可以尝试使用其他二值化算法来检查此想法。例如，您可以使用此库来测试其他二值化算法。

2. 学习算法

为了提高识别质量，您可以在训练过程中使用交叉验证。这可以帮助您避免过度拟合训练数据的问题。例如，您可以阅读这篇文章，其中解释了如何与Keras结合使用。

有时，较高的准确度度量无法说明真实的识别质量，这是因为受训练的ANN在训练数据中找不到模式。如上所述，它可能与训练过程或输入数据集有关，也可能是由ANN架构选择引起的。

3. 人工神经网络架构

这是个大问题。如何定义更好的ANN架构来解决任务？没有通用的方法可以做到这一点。但是有几种方法可以接近理想。例如，您可以阅读这本书。它可以帮助您更好地解决问题。另外，您可能还会在这里找到一些启发式公式，以适合ANN的隐藏层/元素的数量。另外，您会在此找到一些概述。

我希望这会有所帮助。

经过一些研究和实验，我得出的结论是图像预处理本身不是问题（我确实更改了一些建议的参数，例如膨胀大小和形状，但对结果并不重要）。但是，有帮助的是以下两个方面：

1. 正如@ f4f所注意的那样，我需要使用真实数据收集自己的数据集。这已经极大地帮助了。

2. 我对细分预处理进行了重要更改。获得单个轮廓后，我首先对图像进行尺寸规格化以适合20x20像素盒（如中所示MNIST）。之后，我使用质心将框居中于28x28图像的中间（对于二值图像，这是两个方向上的平均值）。

当然，仍然存在困难的分割情况，例如重叠的数字或相连的数字，但是上述更改回答了我的最初问题，并改善了分类性能。