ルーチン説明-09-template_matching テンプレートマッチング

ビデオ チュートリアル 8 - NCC テンプレート マッチング: https://singtown.com/learn/49598/

このルーチンは 09-Feathre_detection-template_matching です\ このルーチンの目的は、NCC (正規化製品相関アルゴリズム) を使用してテンプレート マッチングを実装することです。

# NCC模板匹配示例-Normalized Cross Correlation (NCC)
#
# 这个例子展示了如何使用OpenMV的NCC功能将小部分图像与图像的各个部分
# 进行匹配...期望获得极其可控的环境 NCC并不总是有用的。
#
# 警告：NCC支持需要重做！到目前为止，这个功能需要做大量的工作才能有用。
# 这个脚本将重新表明功能的存在，但在目前的状态是不足的。

import time, sensor, image
from image import SEARCH_EX, SEARCH_DS
#从imgae模块引入SEARCH_EX和SEARCH_DS。使用from import仅仅引入SEARCH_EX, 
#SEARCH_DS两个需要的部分，而不把image模块全部引入。

# 重置传感器
sensor.reset()

# 设置传感器
sensor.set_contrast(1)
sensor.set_gainceiling(16)
# Max resolution for template matching with SEARCH_EX is QQVGA
# 模板与SEARCH_EX匹配的最大分辨率是QQVGA
sensor.set_framesize(sensor.QQVGA)
# 你可以设置windowing窗口来减少搜索图片。
#sensor.set_windowing(((640-80)//2, (480-60)//2, 80, 60))
sensor.set_pixformat(sensor.GRAYSCALE)

# 加载模板。
# 模板应该是一个小的(例如。32x32像素)灰度图像。
template = image.Image("/template.pgm")

clock = time.clock()

#运行模板匹配
while (True):
    clock.tick()
    img = sensor.snapshot()

    # find_template(template, threshold, [roi, step, search])
    # ROI: 感兴趣区域元组 (x, y, w, h).
    # Step:使用的循环步长(y+= Step, x+= Step) 使用更大的步长使其更快。
    # search 为image.SEARCH_EX进行详尽搜索，或者为image.SEARCH_DS进行菱形搜索
    #
    # Note1: ROI必须比图像小，比模板大。
    # Note2:在菱形diamond搜索中，step和ROI都被忽略。
    r = img.find_template(template, 0.70, step=4, search=SEARCH_EX) #, roi=(10, 0, 60, 60))
    # find_template(template, threshold, [roi, step, search]),
    # threshold中的0.7是相似度阈值,roi是进行匹配的区域（左上顶点为（10，0），长80宽60的矩形），
    # 注意roi的大小要比模板图片大，比frambuffer小。
    # 把匹配到的图像标记出来
    if r:
        img.draw_rectangle(r)

    print(clock.fps())

テンプレート イメージのサイズが openmv の内蔵フラッシュを超えているため、SD カードを挿入して次の手順を実行する必要があることに注意してください。 (必ずSDカードを挿入してから電源を入れてください)

また、このテンプレート マッチングはファームウェア バージョン 1.6 以降でのみ使用できます。それ以外の場合は、実行時に「SEARCH_EX が見つかりません」というメッセージが表示されます。

まず、テンプレートを作成またはインポートする必要があります。このテンプレートは pgm 形式である必要があり、サイズは制限されており、openmv のピクセル サイズを超えることはできないことに注意してください。 openmv から直接テンプレート イメージをインターセプトできます。まず helloworld.py ルーチンを実行し、フレームバッファーにイメージを表示させてから、それをインターセプトします。

画像選択を PC に保存を選択します。openmv から直接保存された画像は pgm 形式に変換する必要があることに注意してください。オンライン変換は、この Web サイト [https://convertio.co/zh/bmp-pgm/] で実行できます。(https://convertio.co/zh/bmp-pgm/)

次に、変換した pgm テンプレートを SD カードに保存します (この SD カードには 8 つのテンプレートがあり、上の図のテンプレートは ball0.pgm として保存されます)。

次に、テンプレート マッチング ルーチンを開きます。

ここで、28 行目のテンプレート ファイル名 template.pgm を ball0.pgm に変更します。

あとは実行するだけです！

これは、テンプレート マッチング関数 find_template の使用法です。

r = img.find_template(template, 0,7, roi=(10,0,80,60), step=4, search=SEARCH_EX) 閾値 0.7 は類似性閾値 roi です。マッチング対象の領域です（左上の頂点が(10,0)、長さ80、幅60の長方形） なお、roiのサイズはテンプレート画像より大きく、フレームバッファより小さいです。

このテンプレート マッチングでは、テンプレートと同じサイズの領域のみをマッチングできる ncc アルゴリズムが使用されることに注意してください。異なるサイズの画像をマッチングしたい場合は、異なるサイズの複数のテンプレートを保存する必要があります。

プログラムの実行後に次の問題が発生した場合:

  1. テンプレート画像が大きすぎます。テンプレート画像は 80*60 未満にすることをお勧めします。

  1. OpenMV2 には十分なメモリがないため、QQVGA を QQCIF に変更する必要があります。

Singtown Technology OpenMV 公式中国語ドキュメント機能説明:

テンプレートマッチングと特徴点検出の比較：

  • テンプレート マッチング (find_temolate) は、基本的にテンプレート画像と同じサイズと角度のパターンのみをマッチングできる ncc アルゴリズムを使用します。制限は比較的大きく、視野内のターゲット パターンがテンプレート画像よりわずかに大きいか小さい場合、マッチングが成功しない可能性があります。

  • テンプレートマッチングは、カメラと対象物体の距離が決まっており、動的な動きが必要ない場合に適しています。たとえば、組み立てライン上の特定のオブジェクトの検出には適していますが、移動するバレーボールを車で追跡するのには適していません（移動するバレーボールとカメラの間の距離は動的であるため、カメラから見えるバレーボールのサイズは変化します）。カメラは変更されるため、テンプレート画像とまったく同じにはなりません）。

  • マルチアングルおよびマルチサイズのマッチングの場合は、複数のテンプレートを保存し、複数のテンプレート マッチング を使用してみてください。

  • 特徴点検出 (find_keypoint): プログラムの実行を開始したばかりの場合、ルーチンは最初の画像をターゲット オブジェクトの特徴として抽出し、kpts1 はターゲット オブジェクトの特徴を保存します。デフォルトでは、ターゲット フィーチャを保存するときにサイズと角度だけでなく、ターゲット フィーチャの複数の比率、サイズ、角度が一致します。テンプレート マッチングよりも柔軟で、マルチ テンプレート マッチングのように複数のテンプレート イメージを保存する必要はありません。

  • 特徴点検出では、ターゲットの特徴を事前に保存することもできます。これは、周囲光の干渉などにより、プログラムを実行するたびに異なる照明の特徴が変化し、一致度が低下する可能性があるため、これまでは推奨されませんでした。ただし、最新バージョンのファームウェアでは、露出、ホワイトバランス、自動ゲイン値の調整が追加され、露出値とホワイトバランス値を人為的に定義できるようになり、光の干渉が相対的に弱まります。 。事前に対象のフィーチャを保存してみることもできます。

results matching ""

    No results matching ""