在Matlab中实现最佳运输翘曲


11

我正在实施“ 注册和翘曲的最佳大众运输 ”一文,我的目标是将其联机,因为我只是在网上找不到任何欧拉大众运输代码,这至少对于图像处理领域的研究界很有意义。

论文可以总结如下:
- 使用沿x和y坐标的一维直方图匹配找到初始图 求解,其中u ^ \ perp代表逆时针旋转90度,\ triangle ^ {-1}表示具有Dirichlet边界条件(= 0)的泊松方程的解,和是雅可比矩阵的行列式。 -保证了时间步长dt <\ min | \ frac {1} {\ mu_0} \ nabla ^ \ perp \ triangle ^ {-1} div(u ^ \ perp)|的稳定性。u
ut=1μ0Du1div(u)u1Du
dt<min|1μ01div(u)|

对于数值模拟(在常规网格上执行),他们表示使用matlab的poicalc求解泊松方程,他们使用空间有限导数的中心有限差分,但使用逆风方案计算的Du除外Du

使用我的代码,映射的能量函数和卷曲适当减小了几次迭代(取决于时间步长,从几十到几千)。但是在那之后,模拟爆炸:能量增加,只需很少的迭代即可达到NAN。我尝试了几个阶数的微分和积分(可以在这里找到cumptrapz的高阶替换项)以及不同的插值方案,但是我总是遇到相同的问题(即使在非常平滑的图像上,各处也不为零等)。
有人会对我所面对的代码和/或理论问题感兴趣吗?代码很短。

请在最后用gradient()替换gradient2()。这是一个高阶梯度,但也不能解决问题。

我现在只对本文的最佳运输部分感兴趣,而不对附加的正则化术语感兴趣。

谢谢 !

Answers:


5

我的好朋友帕斯卡(Pascal)几年前就做到了(几乎在Matlab中):

#! /usr/bin/env python

#from scipy.interpolate import interpolate
from pylab import *
from numpy import *


def GaussianFilter(sigma,f):
    """Apply Gaussian filter to an image"""
    if sigma > 0:
        n = ceil(4*sigma)
        g = exp(-arange(-n,n+1)**2/(2*sigma**2))
        g = g/g.sum()

        fg = zeros(f.shape)

        for i in range(f.shape[0]):
            fg[i,:] = convolve(f[i,:],g,'same')
        for i in range(f.shape[1]):
            fg[:,i] = convolve(fg[:,i],g,'same')
    else:
        fg = f

    return fg


def clamp(x,xmin,xmax):
    """Clamp values between xmin and xmax"""
    return minimum(maximum(x,xmin),xmax)


def myinterp(f,xi,yi):
    """My bilinear interpolator (scipy's has a segfault)"""
    M,N = f.shape
    ix0 = clamp(floor(xi),0,N-2).astype(int)
    iy0 = clamp(floor(yi),0,M-2).astype(int)
    wx = xi - ix0
    wy = yi - iy0
    return ( (1-wy)*((1-wx)*f[iy0,ix0] + wx*f[iy0,ix0+1]) +
        wy*((1-wx)*f[iy0+1,ix0] + wx*f[iy0+1,ix0+1]) )


def mkwarp(f1,f2,sigma,phi,showplot=0):
    """Image warping by solving the Monge-Kantorovich problem"""
    M,N = f1.shape[:2]

    alpha = 1
    f1 = GaussianFilter(sigma,f1)
    f2 = GaussianFilter(sigma,f2)

    # Shift indices for going from vertices to cell centers
    iUv = arange(M)             # Up
    iDv = arange(1,M+1)         # Down
    iLv = arange(N)             # Left
    iRv = arange(1,N+1)         # Right
    # Shift indices for cell centers (to cell centers)
    iUc = r_[0,arange(M-1)]
    iDc = r_[arange(1,M),M-1]
    iLc = r_[0,arange(N-1)]
    iRc = r_[arange(1,N),N-1]
    # Shifts for going from centers to vertices
    iUi = r_[0,arange(M)]
    iDi = r_[arange(M),M-1]
    iLi = r_[0,arange(N)]
    iRi = r_[arange(N),N-1]


    ### The main gradient descent loop ###      
    for iter in range(0,30):
        ### Approximate derivatives ###
        # Compute gradient phix and phiy at pixel centers.  Array phi has values
        # at the pixel vertices.
        phix = (phi[iUv,:][:,iRv] - phi[iUv,:][:,iLv] + 
            phi[iDv,:][:,iRv] - phi[iDv,:][:,iLv])/2
        phiy = (phi[iDv,:][:,iLv] - phi[iUv,:][:,iLv] + 
            phi[iDv,:][:,iRv] - phi[iUv,:][:,iRv])/2
        # Compute second derivatives at pixel centers using central differences.
        phixx = (phix[:,iRc] - phix[:,iLc])/2
        phixy = (phix[iDc,:] - phix[iUc,:])/2
        phiyy = (phiy[iDc,:] - phiy[iUc,:])/2
        # Hessian determinant
        detD2 = phixx*phiyy - phixy*phixy

        # Interpolate f2 at (phix,phiy) with bilinear interpolation
        f2gphi = myinterp(f2,phix,phiy)

        ### Update phi ###
        # Compute M'(phi) at pixel centers
        dM = alpha*(f1 - f2gphi*detD2)
        # Interpolate to pixel vertices
        phi = phi - (dM[iUi,:][:,iLi] + 
            dM[iDi,:][:,iLi] + 
            dM[iUi,:][:,iRi] + 
            dM[iDi,:][:,iRi])/4


    ### Plot stuff ###      
    if showplot:
        pad = 2
        x,y = meshgrid(arange(N),arange(M))
        x = x[pad:-pad,:][:,pad:-pad]
        y = y[pad:-pad,:][:,pad:-pad]
        phix = phix[pad:-pad,:][:,pad:-pad]
        phiy = phiy[pad:-pad,:][:,pad:-pad]

        # Vector plot of the mapping
        subplot(1,2,1)
        quiver(x,y,flipud(phix-x),-flipud(phiy-y))
        axis('image')
        axis('off')
        title('Mapping')

        # Grayscale plot of mapping divergence
        subplot(1,2,2)  
        divs = phixx + phiyy # Divergence of mapping s(x)
        imshow(divs[pad:-pad,pad:-pad],cmap=cm.gray)
        axis('off')
        title('Divergence of Mapping')
        show()

    return phi


if __name__ == "__main__":  # Demo
    from pylab import *
    from numpy import * 

    f1 = imread('brain-tumor.png')
    f2 = imread('brain-healthy.png')
    f1 = f1[:,:,1]
    f2 = f2[:,:,1]

    # Initialize phi as the identity map
    M,N = f1.shape
    n,m = meshgrid(arange(N+1),arange(M+1))
    phi = ((m-0.5)**2 + (n-0.5)**2)/2

    sigma = 3
    phi = mkwarp(f1,f2,sigma,phi)
    phi = mkwarp(f1,f2,sigma/2,phi,1)
#   phi = mkwarp(f1,f2,sigma/4,phi,1)

试运行,大约需要2秒钟。

此处介绍了梯度下降方法:people.clarkson.edu/~ebollt/Papers/quadcost.pdf


很好..非常感谢!我将尝试该代码,并与我的代码进行比较以检查我的错误。实际上,这种方法似乎是Haker等人的论文的本地版本。我提到的-即,没有解决拉普拉斯式的问题。再次感谢 !
WhitAngl 2012年

我终于在这段代码中遇到了两个问题...:如果我计算我就离(用粗麻布)还很远-即使删除高斯模糊。另外,如果我仅将迭代次数增加到数千次,代码就会爆炸并给出NaN值(并崩溃)。任何的想法 ?谢谢 !f2(ϕ)detHϕf1H
WhitAngl 2012年

更多的模糊处理有助于解决NaN问题吗?
dranxo 2012年

是的,确实,经过更多测试后,它确实有助于提高模糊度-谢谢!我现在尝试从140像素标准偏差开始模糊直到1像素stdev(仍在计算)的8个步骤。我的最后一个结果仍然有大量原始图像(带有64px模糊)。我还将检查是否有任何残留的卷曲。ϕ
WhitAngl 2012年

哦,很好。我认为。由于图像自然不连续(边缘),因此存在模糊,并且渐变会成问题。希望您仍能得到很好的答案,而又不会太模糊。
dranxo 2012年
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.