Android OpenCV（三十九）：模板匹配

2020-10-24 13:44:52 53 收藏
分类专栏： Android OpenCV 文章标签： 1024程序员节 opencv android 计算机视觉
最后发布:2020-10-24 13:44:52首次发布:2020-10-24 13:44:52
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/poorkick/article/details/109258402
版权

什么是模板匹配？

模板匹配是一种用于在较大图像中搜索和查找模板图像位置的方法。OpenCV提供matchTemplate()方法来实现模板匹配功能。模板匹配结果返回的是灰度图像，其中每个像素表示该像素的邻域与模板匹配程度。假设输入图像的大小（W * H），模板图像的大小为（w * h），则输出图像的大小将为（W - w + 1，H - h + 1）。获得结果后，可以使用minMaxLoc()方法查找最大/最小值位置，并将其作为矩形的左上角，以（w，h）作为矩形的宽度和高度来确定模板匹配到的区域。

模板匹配原理

在要检测的图像上，从左到右，从上到下遍历这一幅图像，从上到下计算模板与重叠子图像的像素匹配度，如果匹配的程度越大，这说明相同的可能性越大。只是这个匹配度的计算有讲究。

模板匹配原理

API

public static void matchTemplate(Mat image, Mat templ, Mat result, int method, Mat mask)

  • 参数一：image，待匹配图像。必须是8位或者32位浮点图像。

  • 参数二：templ，模板图像，类型与输入图像一致，并且大小不能大于源图像。

  • 参数三：result，输出结果，必须是单通道32位浮点数，假设源图像W*H,模板图像w*h, 则结果必须为（W-w+1）*（H-h+1）的大小。

  • 参数四：method，匹配方式标志位。若为TM_SQDIFF或者TM_SQDIFF_NORMED，计算值越小，匹配度越高，剩下的几个标志位，计算值越大，匹配度越高。

    // C++: enum TemplateMatchModes
public static final int
        TM_SQDIFF = 0,
        TM_SQDIFF_NORMED = 1,
        TM_CCORR = 2,
        TM_CCORR_NORMED = 3,
        TM_CCOEFF = 4,
        TM_CCOEFF_NORMED = 5;

  • 参数五：mask，可选掩码。必须和templ参数大小相同，要么和templ通道数相同，要么单通道。如果数据类型为＃CV_8U，则将掩码解释为二进制掩码，表示仅使用掩码为非零的元素，并且权重与实际掩码值无关（一直等于1）。若数据类型为＃CV_32F，掩码值将作为权重参与计算。

标记位

设
R ( x , y ) 为 结 果 矩 阵 ， T ( x ， , y , ) 为 模 板 矩 阵 ， I ( x , y ) 为 源 图 像 矩 阵 R(x,y)为结果矩阵， T(x^，,y^, )为模板矩阵， I(x,y)为源图像矩阵 R(x,y)为结果矩阵，T(x，,y,)为模板矩阵，I(x,y)为源图像矩阵

TM_SQDIFF

R ( x , y ) = ∑ x ′ , y ′ ( T ( x ′ , y ′ ) − I ( x + x ′ , y + y ′ ) ) 2 R(x,y)= \sum _{x',y'} (T(x',y')-I(x+x',y+y'))^2 R(x,y)=x′,y′∑​(T(x′,y′)−I(x+x′,y+y′))2

with mask:
R ( x , y ) = ∑ x ′ , y ′ ( ( T ( x ′ , y ′ ) − I ( x + x ′ , y + y ′ ) ) ⋅ M ( x ′ , y ′ ) ) 2 R(x,y)= \sum _{x',y'} \left( (T(x',y')-I(x+x',y+y')) \cdot M(x',y') \right)^2 R(x,y)=x′,y′∑​((T(x′,y′)−I(x+x′,y+y′))⋅M(x′,y′))2

TM_SQDIFF_NORMED

R ( x , y ) = ∑ x ′ , y ′ ( T ( x ′ , y ′ ) − I ( x + x ′ , y + y ′ ) ) 2 ∑ x ′ , y ′ T ( x ′ , y ′ ) 2 ⋅ ∑ x ′ , y ′ I ( x + x ′ , y + y ′ ) 2 R(x,y)= \frac{\sum_{x',y'} (T(x',y')-I(x+x',y+y'))^2}{\sqrt{\sum_{ x',y'}T(x',y')^2 \cdot \sum_{x',y'} I(x+x',y+y')^2}} R(x,y)=∑x′,y′​T(x′,y′)2⋅∑x′,y′​I(x+x′,y+y′)2 ​∑x′,y′​(T(x′,y′)−I(x+x′,y+y′))2​

with mask:
R ( x , y ) = ∑ x ′ , y ′ ( ( T ( x ′ , y ′ ) − I ( x + x ′ , y + y ′ ) ) ⋅ M ( x ′ , y ′ ) ) 2 ∑ x ′ , y ′ ( T ( x ′ , y ′ ) ⋅ M ( x ′ , y ′ ) ) 2 ⋅ ∑ x ′ , y ′ ( I ( x + x ′ , y + y ′ ) ⋅ M ( x ′ , y ′ ) ) 2 R(x,y)= \frac{\sum _{x',y'} \left( (T(x',y')-I(x+x',y+y')) \cdot M(x',y') \right)^2}{\sqrt{\sum_{x',y'} \left( T(x',y') \cdot M(x',y') \right)^2 \cdot \sum_{x',y'} \left( I(x+x',y+y') \cdot M(x',y') \right)^2}} R(x,y)=∑x′,y′​(T(x′,y′)⋅M(x′,y′))2⋅∑x′,y′​(I(x+x′,y+y′)⋅M(x′,y′))2 ​∑x′,y′​((T(x′,y′)−I(x+x′,y+y′))⋅M(x′,y′))2​

TM_CCORR

R ( x , y ) = ∑ x ′ , y ′ ( T ( x ′ , y ′ ) ⋅ I ( x + x ′ , y + y ′ ) ) R(x,y)= \sum _{x',y'} (T(x',y') \cdot I(x+x',y+y')) R(x,y)=x′,y′∑​(T(x′,y′)⋅I(x+x′,y+y′))

with mask:
R ( x , y ) = ∑ x ′ , y ′ ( T ( x ′ , y ′ ) ⋅ I ( x + x ′ , y + y ′ ) ⋅ M ( x ′ , y ′ ) 2 ) R(x,y)= \sum _{x',y'} (T(x',y') \cdot I(x+x',y+y') \cdot M(x',y') ^2) R(x,y)=x′,y′∑​(T(x′,y′)⋅I(x+x′,y+y′)⋅M(x′,y′)2)

TM_CCORR_NORMED

R ( x , y ) = ∑ x ′ , y ′ ( T ( x ′ , y ′ ) ⋅ I ( x + x ′ , y + y ′ ) ) ∑ x ′ , y ′ T ( x ′ , y ′ ) 2 ⋅ ∑ x ′ , y ′ I ( x + x ′ , y + y ′ ) 2 R(x,y)= \frac{\sum_{x',y'} (T(x',y') \cdot I(x+x',y+y'))}{\sqrt{ \sum_{x',y'}T(x',y')^2 \cdot \sum_{x',y'} I(x+x',y+y')^2}} R(x,y)=∑x′,y′​T(x′,y′)2⋅∑x′,y′​I(x+x′,y+y′)2 ​∑x′,y′​(T(x′,y′)⋅I(x+x′,y+y′))​

with mask:
R ( x , y ) = ∑ x ′ , y ′ ( T ( x ′ , y ′ ) ⋅ I ( x + x ′ , y + y ′ ) ⋅ M ( x ′ , y ′ ) 2 ) ∑ x ′ , y ′ ( T ( x ′ , y ′ ) ⋅ M ( x ′ , y ′ ) ) 2 ⋅ ∑ x ′ , y ′ ( I ( x + x ′ , y + y ′ ) ⋅ M ( x ′ , y ′ ) ) 2 R(x,y)= \frac{\sum_{x',y'} (T(x',y') \cdot I(x+x',y+y') \cdot M(x',y')^2)}{\sqrt{\sum_{x',y'} \left( T(x',y') \cdot M(x',y') \right)^2 \cdot \sum_{x',y'} \left( I(x+x',y+y') \cdot M(x',y') \right)^2}} R(x,y)=∑x′,y′​(T(x′,y′)⋅M(x′,y′))2⋅∑x′,y′​(I(x+x′,y+y′)⋅M(x′,y′))2 ​∑x′,y′​(T(x′,y′)⋅I(x+x′,y+y′)⋅M(x′,y′)2)​

TM_CCOEFF

R ( x , y ) = ∑ x ′ , y ′ ( T ′ ( x ′ , y ′ ) ⋅ I ′ ( x + x ′ , y + y ′ ) ) R(x,y)= \sum _{x',y'} (T'(x',y') \cdot I'(x+x',y+y')) R(x,y)=x′,y′∑​(T′(x′,y′)⋅I′(x+x′,y+y′))

where
T ′ ( x ′ , y ′ ) = T ( x ′ , y ′ ) − 1 / ( w ⋅ h ) ⋅ ∑ x ′ ′ , y ′ ′ T ( x ′ ′ , y ′ ′ ) I ′ ( x + x ′ , y + y ′ ) = I ( x + x ′ , y + y ′ ) − 1 / ( w ⋅ h ) ⋅ ∑ x ′ ′ , y ′ ′ I ( x + x ′ ′ , y + y ′ ′ ) \begin{array}{l} T'(x',y')=T(x',y') - 1/(w \cdot h) \cdot \sum _{ x'',y''} T(x'',y'') \\ I'(x+x',y+y')=I(x+x',y+y') - 1/(w \cdot h) \cdot \sum _{x'',y''} I(x+x'',y+y'') \end{array} T′(x′,y′)=T(x′,y′)−1/(w⋅h)⋅∑x′′,y′′​T(x′′,y′′)I′(x+x′,y+y′)=I(x+x′,y+y′)−1/(w⋅h)⋅∑x′′,y′′​I(x+x′′,y+y′′)​
with mask:
T ′ ( x ′ , y ′ ) = M ( x ′ , y ′ ) ⋅ ( T ( x ′ , y ′ ) − 1 ∑ x ′ ′ , y ′ ′ M ( x ′ ′ , y ′ ′ ) ⋅ ∑ x ′ ′ , y ′ ′ ( T ( x ′ ′ , y ′ ′ ) ⋅ M ( x ′ ′ , y ′ ′ ) ) ) I ′ ( x + x ′ , y + y ′ ) = M ( x ′ , y ′ ) ⋅ ( I ( x + x ′ , y + y ′ ) − 1 ∑ x ′ ′ , y ′ ′ M ( x ′ ′ , y ′ ′ ) ⋅ ∑ x ′ ′ , y ′ ′ ( I ( x + x ′ ′ , y + y ′ ′ ) ⋅ M ( x ′ ′ , y ′ ′ ) ) ) \begin{array}{l} T'(x',y')=M(x',y') \cdot \left( T(x',y') - \frac{1}{\sum _{x'',y''} M(x'',y'')} \cdot \sum _{x'',y''} (T(x'',y'') \cdot M(x'',y'')) \right) \\ I'(x+x',y+y')=M(x',y') \cdot \left( I(x+x',y+y') - \frac{1}{\sum _{x'',y''} M(x'',y'')} \cdot \sum _{x'',y''} (I(x+x'',y+y'') \cdot M(x'',y'')) \right) \end{array} T′(x′,y′)=M(x′,y′)⋅(T(x′,y′)−∑x′′,y′′​M(x′′,y′′)1​⋅∑x′′,y′′​(T(x′′,y′′)⋅M(x′′,y′′)))I′(x+x′,y+y′)=M(x′,y′)⋅(I(x+x′,y+y′)−∑x′′,y′′​M(x′′,y′′)1​⋅∑x′′,y′′​(I(x+x′′,y+y′′)⋅M(x′′,y′′)))​

TM_CCOEFF_NORMED

R ( x , y ) = ∑ x ′ , y ′ ( T ′ ( x ′ , y ′ ) ⋅ I ′ ( x + x ′ , y + y ′ ) ) ∑ x ′ , y ′ T ′ ( x ′ , y ′ ) 2 ⋅ ∑ x ′ , y ′ I ′ ( x + x ′ , y + y ′ ) 2 R(x,y)= \frac{ \sum_{x',y'} (T'(x',y') \cdot I'(x+x',y+y')) }{ \sqrt{\sum_{x',y'}T'(x',y')^2 \cdot \sum_{x',y'} I'(x+x',y+y')^2} } R(x,y)=∑x′,y′​T′(x′,y′)2⋅∑x′,y′​I′(x+x′,y+y′)2 ​∑x′,y′​(T′(x′,y′)⋅I′(x+x′,y+y′))​

操作

/**
 * 模板匹配
 * author: yidong
 * 2020/10/23
 */
class MatchTemplateActivity : AppCompatActivity() {

    private lateinit var mBinding: ActivityMatchTemplateBinding
    private lateinit var mRgb: Mat
    private lateinit var mTemplate: Mat
    private var method = Imgproc.TM_SQDIFF
        set(value) {
            field = value
            doMatch(field)
        }

    override fun onCreate(savedInstanceState: Bundle?) {
        super.onCreate(savedInstanceState)
        mBinding = DataBindingUtil.setContentView(this, R.layout.activity_match_template)
        title = "TM_SQDIFF"
        val bgr = Utils.loadResource(this, R.drawable.kobe)
        mRgb = Mat()
        mTemplate = Mat()
        Imgproc.cvtColor(bgr, mRgb, Imgproc.COLOR_BGR2RGB)
        val templateBgr = Utils.loadResource(this, R.drawable.kobe_template)
        Imgproc.cvtColor(templateBgr, mTemplate, Imgproc.COLOR_BGR2RGB)
        mBinding.ivLena.showMat(mTemplate)
        doMatch(Imgproc.TM_CCOEFF)
    }

    private fun doMatch(method: Int) {
        val tmp = mRgb.clone()
        val result = Mat()
        Imgproc.matchTemplate(mRgb, mTemplate, result, method)
        val minMaxLoc = Core.minMaxLoc(result)
        val topLeft = if (method == Imgproc.TM_SQDIFF || method == Imgproc.TM_SQDIFF_NORMED) {
            minMaxLoc.minLoc;
        } else {
            minMaxLoc.maxLoc;
        }
        val rect = Rect(topLeft, Size(mTemplate.cols().toDouble(), mTemplate.rows().toDouble()))
        Imgproc.rectangle(tmp, rect, Scalar(255.0, 0.0, 0.0), 4, Imgproc.LINE_8)
        mBinding.ivResult.showMat(mRgb)
        tmp.release()
    }

    override fun onCreateOptionsMenu(menu: Menu?): Boolean {
        menuInflater.inflate(R.menu.menu_match_template, menu)
        return true
    }

    override fun onOptionsItemSelected(item: MenuItem): Boolean {
        when (item.itemId) {
            R.id.match_tm_sqdiff -> {
                method = Imgproc.TM_SQDIFF
                title = "TM_SQDIFF"
            }
            R.id.match_tm_sqdiff_normed -> {
                method = Imgproc.TM_SQDIFF_NORMED
                title = "TM_SQDIFF_NORMED"
            }
            R.id.match_tm_ccoeff -> {
                method = Imgproc.TM_CCOEFF
                title = "TM_CCOEFF"
            }

            R.id.match_tm_ccoeff_normed -> {
                method = Imgproc.TM_CCOEFF_NORMED
                title = "TM_CCOEFF_NORMED"
            }
            R.id.match_tm_ccorr -> {
                method = Imgproc.TM_CCORR
                title = "TM_CCORR"
            }
            R.id.match_tm_ccorr_normed -> {
                method = Imgproc.TM_CCORR_NORMED
                title = "TM_CCORR_NORMED"
            }
        }
        return true
    }

    override fun onDestroy() {
        mTemplate.release()
        mRgb.release()
        super.onDestroy()
    }
}

结果

模板匹配结果

源码

https://github.com/onlyloveyd/LearningAndroidOpenCV

onlyloveyd CSDN认证博客专家 Android Kotlin OpenCV
个人公众号【OpenCV or Android】，热爱Android、Kotlin、Flutter和OpenCV。毕业于华中科技大学计算机专业，曾就职于华为武汉研究所。目前在三线小城市生活，专注技术与研发。
Android-ImageRecognition图片识别比较两张图片的匹配度
08-12
ImageRecognition：图片识别，比较两张图片的匹配度
Android studio+opencv-4.1.0 开发环境搭建（一）
weixin_43815930的博客
05-24 1万+
最近在做一图像处理APP的时候需要用到opencv，发现从配置个方面都十分蛋疼，好在经过一番折腾，算是大概i弄出来了，在这里大概说说，我用的是android studio开发环境，具体安装配置不再多说，直接从opencv开始。 opencv下载 opencv官网 先去官网下载，我在这里选择了目前的最新版4.1版，选择下载android版本的 下载好后，直接解压，不需要安装之类的步骤，进入解压后的...
还能输入1000个字符 “速评一下”
OpenCV之特征点模板匹配
OpenCV 图像辨识的博客
05-08 4775
OpenCV之特征点模板匹配 介绍一下OpenCV中对于模板匹配特征点的一些应用实例 一、使用xfeatures2d模块进行特征点的匹配 OpenCv提供有几个特征点算子匹配，其中最初了解到SIFT和SUFT算子的特征匹配 而SIFT算子匹配的性能没有SURF性能好，故下面介绍的程序使用SURF进行实现，其他的具体关于特征点匹配的问题可以自行网上google 输入的图像源 需要通过特征点进行...
OpenCV模板匹配的方法识别手势
08-13
OpenCV模板匹配的方法识别手势
AndroidOpenCV（一）：读取和写入图片
易
01-07 2482
Android OpenCV OpenCV，即 Open Source Computer Vision Library。不赘述，可自行跳转查阅相关内容。 OpenCV Android SDK OpenCV Android SDK，下载OpenCV Android SDK即可开始OpenCV Android客户端的学习与使用。 读取 Utils.loadResource：从资源文件中加载为Mat...
android opencv实现人脸检测 以及 年龄和性别识别
Jack______的博客
07-24 2926
支持技术分享，转载或复制，请指出文章来源此博客作者为Jack__0023 1、背景 因为面对的场景不同，所以我上次使用 android 提供的人脸检测 已经不能满足我的使用，因为长时间开启，他会出现各种小状况，而且接下来要做识别(不在这篇博客讲，等我整理好资料后写出来测试没问题再发博客)，所以投向opencv的怀抱。 bak:人脸检测 不是 人脸识别，检测的意思是 是不是人， 识别的意思是 你是谁...
OpenCV常用图像拼接方法（二）：基于模板匹配拼接
stq054188的博客
08-09 206
OpenCV常用图像拼接方法将分为四个部分与大家共享，这里是第二种方法，欢迎关注后续，此处子系统与素材链接位于文章末尾。 OpenCV常用图像拼接方法（二）：基于模板匹配的图像拼接。基于模板的图像拼接特征和适用范围：图像有重合区域，且待分割图像之间无明显尺度变化和畸变。常用实例：两个相邻相机水平拍摄图像拼接。优点：简单，快速（相比于SIFT特征匹配拼接）。 这里没有找到更好的实例图片，所以仍使用上一篇文章中的图片，截取如下两部分ROI作为待拆分图像。 待拼接图①： ...
OpenCV：模板匹配
zhusongziye的博客
06-23 2089
小程序「跳一跳」的自动化。 主要涉及到了OpenCV的模板匹配和边缘检测技术，以及Android开发调试工具ADB。 如果放在一起说，感觉内容有些多。 所以，分三期来讲，也能多了解一些东西。 首先介绍模板匹配，然后边缘检测，最后结合ADB实现「跳一跳」自动化。 游戏虽然过时了，但是拿来练练手还是不错的。 编程就该是快乐的，哈哈。 / 0...
【OpenCV3】模板匹配——cv::matchTemplate()详解
guduruyu的专栏
04-05 5万+
模板匹配通常被用于目标检测、相似度分析中，opencv2和opencv3中提供了一个专门用于模板匹配的函数——cv::matchTemplate()。
（1）搭建opencv-android环境
hery186的专栏
01-19 3034
前言： 本文目的是指导在windows平台搭建一个opencv for android 的开发环境，作者参考了很多网上的教程，本文所使用的各种软件、插件都是截止到写这篇文章的最新版本，作者在实际搭建环境过程中遇到了很多问题，所以会列出遇到的一些常见问题，但是具体机器可能遇到的问题又不一样，还需要读者自己多去实践和摸索，如果遇到什么问题欢迎和作者交流！ 准备工具： eclipse： ...
©️2020 CSDN 皮肤主题: 数字20 设计师:CSDN官方博客 返回首页