Modèle correspondant à NCC
Tutoriel vidéo 8 - Correspondance de modèles NCC : https://singtown.com/learn/49598/
Algorithme NCC :
# Template Matching Example - Normalized Cross Correlation (NCC)
#
# This example shows off how to use the NCC feature of your OpenMV Cam to match
# image patches to parts of an image... expect for extremely controlled enviorments
# NCC is not all to useful.
#
# WARNING: NCC supports needs to be reworked! As of right now this feature needs
# a lot of work to be made into somethin useful. This script will reamin to show
# that the functionality exists, but, in its current state is inadequate.
import time, sensor, image
from image import SEARCH_EX, SEARCH_DS
#从imgae模块引入SEARCH_EX和SEARCH_DS。使用from import仅仅引入SEARCH_EX,
#SEARCH_DS两个需要的部分，而不把image模块全部引入。
# Reset sensor
sensor.reset()
# Set sensor settings
sensor.set_contrast(1)
sensor.set_gainceiling(16)
# Max resolution for template matching with SEARCH_EX is QQVGA
sensor.set_framesize(sensor.QQVGA)
# You can set windowing to reduce the search image.
#sensor.set_windowing(((640-80)//2, (480-60)//2, 80, 60))
sensor.set_pixformat(sensor.GRAYSCALE)
# Load template.
# Template should be a small (eg. 32x32 pixels) grayscale image.
template = image.Image("/template.pgm")
#加载模板图片
clock = time.clock()
# Run template matching
while (True):
clock.tick()
img = sensor.snapshot()
# find_template(template, threshold, [roi, step, search])
# ROI: The region of interest tuple (x, y, w, h).
# Step: The loop step used (y+=step, x+=step) use a bigger step to make it faster.
# Search is either image.SEARCH_EX for exhaustive search or image.SEARCH_DS for diamond search
#
# Note1: ROI has to be smaller than the image and bigger than the template.
# Note2: In diamond search, step and ROI are both ignored.
r = img.find_template(template, 0.70, step=4, search=SEARCH_EX) #, roi=(10, 0, 60, 60))
#find_template(template, threshold, [roi, step, search]),threshold中
#的0.7是相似度阈值,roi是进行匹配的区域（左上顶点为（10，0），长80宽60的矩形），
#注意roi的大小要比模板图片大，比frambuffer小。
#把匹配到的图像标记出来
if r:
img.draw_rectangle(r)
print(clock.fps())
Notez que puisque la taille de notre image modèle dépasse le flash intégré d'openmv, nous devons insérer la carte SD et effectuer les étapes suivantes. (Veillez à insérer d'abord la carte SD, puis à mettre sous tension.) Et cette correspondance de modèle ne peut être utilisée que pour la version 1.6 et supérieure du micrologiciel, sinon elle affichera le message "can not find SEARCH_EX" lors de l'exécution
Tout d'abord, nous devons créer ou importer un modèle. Notez que ce modèle doit être au format pgm et que sa taille est limitée et ne peut pas dépasser la taille en pixels d'openmv. Nous pouvons intercepter une image modèle directement depuis openmv. Nous pouvons d'abord exécuter la routine helloworld.py, laisser le frambuffer afficher l'image, puis l'intercepter.
Sélectionnez Enregistrer la sélection d'image sur PC. Notez que l'image enregistrée directement depuis openmv est au format bmp. Nous devons la convertir au format pgm. La conversion en ligne peut être effectuée sur ce site Web https://convertio.co/zh/bmp-pgm/
Ensuite, nous enregistrons le modèle pgm converti sur la carte SD (il y a 8 modèles dans cette carte SD, et le modèle dans l'image ci-dessus est enregistré sous ball0.pgm)
Ensuite, nous ouvrons la routine de correspondance de modèles
Remplacez le nom du fichier modèle template.pgm à la ligne 28 par ball0.pgm tout à l'heure
Alors exécutez-le !
Il s'agit de l'utilisation de la fonction de correspondance de modèle find_template :
r = img.find_template(template, 0,7, roi=(10,0,80,60), step=4, search=SEARCH_EX) Le seuil de 0,7 po est le seuil de similarité, roi C'est la zone de correspondance (le sommet supérieur gauche est (10, 0), un rectangle d'une longueur de 80 et d'une largeur de 60. Notez que la taille du roi est plus grande que l'image du modèle et plus petite que le frambuffer). .
Notez que cette correspondance de modèle utilise l'algorithme ncc, qui ne peut faire correspondre que des zones de taille similaire au modèle. Si vous souhaitez faire correspondre des images de tailles différentes, vous devez enregistrer plusieurs modèles de tailles différentes.
Si les problèmes suivants surviennent après l'exécution du programme :
- L'image du modèle est trop grande. Il est recommandé qu'elle soit inférieure à 80*60
2.OpenMV2 n'a pas assez de mémoire, vous devez donc changer QQVGA en QQCIF
Comparaison de la correspondance de modèles et de la détection des points caractéristiques :
Correspondance de modèle (find_temolate) utilise l'algorithme ncc, qui ne peut faire correspondre que des motifs qui ont fondamentalement la même taille et le même angle que l'image du modèle. Les limitations sont relativement importantes. Si le motif cible dans le champ de vision est légèrement plus grand ou plus petit que l'image modèle, la correspondance peut ne pas réussir.
La correspondance de modèles convient aux situations dans lesquelles la distance entre la caméra et l'objet cible est déterminée et où aucun mouvement dynamique n'est requis. Par exemple, il convient à la détection d'objets spécifiques sur la chaîne de montage, mais ne convient pas à la voiture pour suivre un volley-ball en mouvement (car la distance entre le volley-ball en mouvement et la caméra est dynamique, la taille du volley-ball vu par le la caméra changera et ne sera pas exactement la même que l'image du modèle).
Pour une correspondance multi-angles et multi-tailles, vous pouvez essayer d'enregistrer plusieurs modèles et d'utiliser Correspondance de modèles multiples.
Détection de point caractéristique (find_keypoint) : si vous venez de commencer à exécuter le programme, la routine extrait la première image en tant que caractéristique de l'objet cible et kpts1 enregistre la caractéristique de l'objet cible. Par défaut, il correspondra à plusieurs proportions, tailles et angles de l'entité cible, pas seulement à la taille et à l'angle lors de l'enregistrement de l'entité cible. Il est plus flexible que la correspondance de modèles et ne nécessite pas l'enregistrement de plusieurs images de modèle comme la correspondance multi-modèles.
Pour la détection des points caractéristiques, vous pouvez également enregistrer les caractéristiques cibles à l'avance. Cela n'était pas recommandé auparavant, car les interférences de la lumière ambiante et d'autres raisons peuvent provoquer des caractéristiques différentes de différentes lumières à chaque fois que vous exécutez le programme, et le degré de correspondance sera réduit. Cependant, dans la dernière version du micrologiciel, des ajustements des valeurs d'exposition, de balance des blancs et de gain automatique ont été ajoutés. Les valeurs d'exposition et les valeurs de balance des blancs peuvent être définies artificiellement, ce qui affaiblira relativement les interférences de la lumière. . Vous pouvez également essayer d'enregistrer les entités cibles à l'avance.