关于python：OpenCV功能匹配多个图像


OpenCV feature matching for multiple images

如何使用FLANN优化许多图片的SIFT功能匹配？

我有一个从Python OpenCV文档中获取的工作示例。然而，这是将一个图像与另一个图像进行比较而且速度很慢。我需要它来搜索一系列图像(几千个)中匹配的特征，我需要它更快。

我目前的想法：

  • 浏览所有图像并保存功能。怎么样？
  • 将相机的图像与上面的基础进行比较，找到正确的图像。怎么样？
  • 给我结果，匹配图像或其他东西。

    • http://docs.opencv.org/trunk/doc/py_tutorials/py_feature2d/py_feature_homography/py_feature_homography.html

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    26
    27
    28
    29
    30
    31
    32
    33
    34
    35
    36
    37
    38
    39
    40
    41
    42
    43
    44
    45
    46
    47
    48
    49
    50
    51
    52
    53
    import sys # For debugging only
    import numpy as np
    import cv2
    from matplotlib import pyplot as plt

    MIN_MATCH_COUNT = 10

    img1 = cv2.imread('image.jpg',0) # queryImage
    img2 = cv2.imread('target.jpg',0) # trainImage

    # Initiate SIFT detector
    sift = cv2.SIFT()

    # find the keypoints and descriptors with SIFT
    kp1, des1 = sift.detectAndCompute(img1,None)
    kp2, des2 = sift.detectAndCompute(img2,None)

    FLANN_INDEX_KDTREE = 0
    index_params = dict(algorithm = FLANN_INDEX_KDTREE, trees = 5)
    search_params = dict(checks = 50)

    flann = cv2.FlannBasedMatcher(index_params, search_params)

    matches = flann.knnMatch(des1,des2,k=2)

    # store all the good matches as per Lowe's ratio test.
    good = []
    for m,n in matches:
        if m.distance MIN_MATCH_COUNT:
        src_pts = np.float32([ kp1[m.queryIdx].pt for m in good ]).reshape(-1,1,2)
        dst_pts = np.float32([ kp2[m.trainIdx].pt for m in good ]).reshape(-1,1,2)

        M, mask = cv2.findHomography(src_pts, dst_pts, cv2.RANSAC,5.0)
        matchesMask = mask.ravel().tolist()

        h,w = img1.shape
        pts = np.float32([ [0,0],[0,h-1],[w-1,h-1],[w-1,0] ]).reshape(-1,1,2)
        dst = cv2.perspectiveTransform(pts,M)

        img2 = cv2.polylines(img2,[np.int32(dst)],True,255,3, cv2.LINE_AA)

    else:
        print"Not enough matches are found - %d/%d" % (len(good),MIN_MATCH_COUNT)
        matchesMask = None

    draw_params = dict(matchColor = (0,255,0), # draw matches in green color
                       singlePointColor = None,
                       matchesMask = matchesMask, # draw only inliers
                       flags = 2)

    img3 = cv2.drawMatches(img1,kp1,img2,kp2,good,None,**draw_params)

    plt.imshow(img3, 'gray'),plt.show()

    UPDATE

    在尝试了很多东西后，我现在可能已经接近解决方案了。我希望有可能构建索引，然后在其中搜索如下：

    1
    2
    3
    flann_params = dict(algorithm=1, trees=4)
    flann = cv2.flann_Index(npArray, flann_params)
    idx, dist = flann.knnSearch(queryDes, 1, params={})

    但是我仍然没有设法为flann_Index参数构建一个接受的npArray。

    1
    2
    3
    loop through all images as image:
      npArray.append(sift.detectAndCompute(image, None))
    npArray = np.array(npArray)

    我从来没有在Python中解决这个问题，但是我将环境转换为C ++，你可以获得更多的OpenCV示例，而不必使用包含较少文档的包装器。

    关于我在多个文件中匹配的问题的示例可以在这里找到：https：//github.com/Itseez/opencv/blob/2.4/samples/cpp/matching_to_many_images.cpp

    相关讨论

    随着@ stanleyxu2005的回复，我想添加一些关于如何进行整个匹配的提示，因为我目前正在处理这样的事情。

  • 我强烈建议创建一些包装cv :: Mat的自定义类，但也存储各种其他必要的数据。在我的情况下，我有一个ImageContainer存储原始图像(我将用于最终拼接)，处理过的(灰度，未失真等)，它的关键点和那些描述符。通过这样做，您可以在组织良好的井中访问所有匹配相关的信息。您可以在其中实现关键点提取和描述符生成，也可以在类外执行，只将结果存储在该容器中。
  • 将所有图像容器存储在某种结构中(矢量通常是一个不错的选择)，以便于访问。
  • 我还创建了一个名为ImageMultiMatchContainer的类，它存储指向给定查询图像的指针(所有图像都是查询图像)，一个带有指向所有火车图像的指针(对于图像集的单个查询图像，所有其他图像都是火车图像)与它匹配，并且还匹配每个匹配的匹配向量的向量。在这里我偶然发现了存储问题 - 首先你必须跳过图像与自身的匹配，因为它没有意义，其次你有两次比较两个图像的问题，因此如果你有很多图像就会产生相当大的开销。第二个问题是由于我们遍历所有图像(查询图像)并将它们与集合中的其余图像(火车图像)进行比较。在某些时候，我们有图像X(查询)与图像Y(火车)匹配，但后来我们也有图像Y(现在查询)与图像X(现在火车)匹配。正如你所看到的，这也是毫无意义的，因为它基本上匹配了同一对图像两次。这可以通过创建一个类(MatchContainer)来解决(目前正在进行此操作)，该类存储指向匹配对中的两个图像中的每一个的指针以及匹配向量。您将其存储在一个中心位置(在我的情况下，这是我的匹配器类)，并将每个图像存储为查询图像，您可以检查列车图像的匹配图像列表。如果它为空，则创建一个新的MatchContainer并将其添加到MatchContainers的其余部分。如果不是那么你查看它并查看当前查询图像是否不存在(比较指针是一个快速操作)。如果是，那么你只需将指针传递给MatchContainer的矢量项，该矢量项存储这两个图像的匹配项。如果不是这样的话，你就好像它是空的并创建一个新的MatchContainer等.MatchingContainers应该存储在一个访问时间很短的数据结构中，因为你会看到它们很多，并且从头到尾迭代费用也是如此很多时间。我正在考虑使用地图，但也许某种树也可以提供一些优势。
  • 单应性估计是一个非常棘手的部分。在这里，我建议您查看捆绑块调整。我看到OpenCV中的stitcher类有一个BundleBase类，但还没有测试它看看它里面有什么。

    • 一般建议是在OpenCV中查看拼接过程并阅读源代码。拼接管道是一组直接的过程，您只需要了解如何实现单个步骤。

    以下是我的一些建议：

  • 您应该使用适当的技术减少点数据的数量。
  • 反复计算参考图像是一种浪费。你应该坚持所有计算参考。
  • 不要将计算放在移动设备上。您最好将计算出的捕获图像的参考上传到功能强大的服务器并在那里进行搜索。

    • 这是一个非常有趣的话题。我的耳朵也开了。

    相关讨论