0条评论
还没有人评论过~
上一节介绍了如何openCV的透视转换方法的应用，并构建了一个基于给定四角点转换鸟瞰图的方法函数，这一节将继续这个运用，通过查找边缘的方法实现自动转换的功能。
实现步骤实际上很简单，只需要三步：
第一步：查找文档的边缘
第二步：通过边缘查找文档轮廓并找到四个角点的坐标
第三步：使用透视转换函数完成图像转换
下面的代码基于openCV/python的版本：openCV2.4/3+, python2.7/3+
上一章节我们完成了transform.py模块的构建，我们将在接下来的涉及图像四角点处理的问题中均会使用到。打开你的python编辑器，创建一个新的文档，并命名为scan.py。
# 导入必要的库
#导入上一节构建的模块和函数
from transform import four_point_transform
#记得安装scikit-image包，threshold-local函数帮助我们处理黑白图像
from skimage.filters import threshold_local
import numpy as np
import argparse
import cv2
#imutils是一个很实用的图像处理库，比如resize/cropping/rotate等图像基本编辑
import imutils
# 构建解析器并解析参数
ap = argparse.ArgumentParser()
ap.add_argument("-i", "--image", required = True, help = "Path to the image to be scanned")
args = vars(ap.parse_args())
接下来就是第一步：边缘查找：
# 加载图像并计算新旧图像高度的比例，并拷贝一份，修改大小。
# 为了加快图像处理速度，同时使边缘检测步骤更加准确，
# 我们将扫描图像的高度调整为500像素。
# 我们还特别注意跟踪图像的原始高度与新高度的比值，
# 这将允许我们对原始图像而不是调整大小的图像执行扫描。
image = cv2.imread(args["image"])
ratio = image.shape[0] / 500.0
orig = image.copy()
image = imutils.resize(image, height = 500)
# 把图象转化为灰度, 并加模糊处理，然后查找边缘
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
gray = cv2.GaussianBlur(gray, (5, 5), 0)
edged = cv2.Canny(gray, 75, 200)
# 显示原始图像和检测到的边缘图像
print("STEP 1: Edge Detection")
cv2.imshow("Image", image)
cv2.imshow("Edged", edged)
cv2.waitKey(0)
cv2.destroyAllWindows()
测试一下效果：
shell
python scan.py --image images/doc.jpg
图1：图像背景最后选择比较纯且和文档反差大的效果比较好
虽然背景有点不干净但是文档的边缘还是很明显的，接下来我们想办法查找文档的边缘并生成轮廓。
第二步：寻找轮廓：
事实上，在构建文档扫描器时，有一个非常重要的前提：扫描仪只是在一张纸上扫描。一张纸被假定为长方形，矩形有四条边。因此，我们可以创建一个简单的方法来帮助我们构建文档扫描器。我们假设图像中最大的轮廓恰好有四个点，这就是我们要扫描的那张纸。这也是一个相当安全的假设——当然，也可以人为的给定文档轮廓。
# 在边缘图像的基础上查找轮廓保留最大的一个，并在图像中标识出来
cnts = cv2.findContours(edged.copy(), cv2.RETR_LIST, cv2.CHAIN_APPROX_SIMPLE)
cnts = imutils.grab_contours(cnts)
cnts = sorted(cnts, key = cv2.contourArea, reverse = True)[:5]
# 循环处理
for c in cnts:
# 大致轮廓
peri = cv2.arcLength(c, True)
approx = cv2.approxPolyDP(c, 0.02 * peri, True)
# 如果查找的大致轮廓有四个角点，即假设为我们需要查找的
if len(approx) == 4:
screenCnt = approx
break
# 显示文档的轮廓
print("STEP 2: Find contours of paper")
cv2.drawContours(image, [screenCnt], -1, (0, 255, 0), 2)
cv2.imshow("Outline", image)
cv2.waitKey(0)
cv2.destroyAllWindows()
运行一下代码测试效果：shell中输入
python scan.py --image images/receipt.jpg
图2：按照图1的边缘查找不行，换这张背景比较单纯的图测试
正如您所看到的，我们已经成功地利用边缘检测图像找到了文档的轮廓(outline)，我的收据周围的绿色矩形显示了轮廓(outline)。最后，让我们进入步骤3，这将是用到four_point_transform函数。
第三步：转换图像：构建移动文档扫描器的最后一步是取代表文档大纲的四个点，并应用透视图转换来获得自顶向下的图像“鸟瞰图”。
# 应用四点转换生成鸟瞰图
warped = four_point_transform(orig, screenCnt.reshape(4, 2) * ratio)
# 把变形的图像转化成灰度
warped = cv2.cvtColor(warped, cv2.COLOR_BGR2GRAY)
T = threshold_local(warped, 11, offset = 10, method = "gaussian")
warped = (warped > T).astype("uint8") * 255
# 显示转换前后的图像
print("STEP 3: Apply perspective transform")
cv2.imshow("Original", imutils.resize(orig, height = 650))
cv2.imshow("Scanned", imutils.resize(warped, height = 650))
cv2.waitKey(0)
我们将把两个参数传递给four_point_transform:第一个参数是我们从磁盘加载的原始图像(不是调整大小的图像)，第二个参数是表示文档的轮廓线，乘以调整大小的比例。
你可能会想，为什么要乘以调整后的比例? 我们乘以调整后的比例，因为我们进行了边缘检测，在调整后的高度=500像素的图像上发现了轮廓。但是，我们希望对原始图像进行扫描，而不是对调整大小的图像进行扫描，因此我们将轮廓点乘以调整大小的比例。
为了获得图像的黑白感觉，我们将扭曲后的图像转换为灰度图像，并应用自适应阈值。
好的，我们来运行一下效果：
shell
python scan.py --image images/receipt.jpg
图3：提取转换后的文档，看起来不错
好了，到目前为止，扫描图像到文档提取鸟瞰图的过程实现完成了。遗留问题：
实际上这个程序还有不少地方需要你的改进，比如要求转换的文档本身是规则的四边形，拍摄时尽量放在对比度明显的桌面背景，这样做的目的是为了避免边缘查找时出现多于四边的情况，多于四边的边缘后续轮廓查找会出现问题。也就是找不到合适的四边轮廓来匹配。
解决方案：可以采用人工标注四个角点的方式来提取轮廓更为可靠。因为在实际应用场景往往是不规则的文档。下一节我们来探讨这个方案实现过程。
文章来源: https://www.toutiao.com/group/6700078825851585028/