二维InSAR图像的FPGA配准方法及配准结构
admin
2022-11-26 13:07:40
0次
该技术已申请专利。仅供学习研究,如用于商业用途,请联系技术所有人。 二维InSAR图像的FPGA配准方法及配准结构
interconnect转换模块,将筛选数据由axi-master转换为axi-stream并送入ram阵列;次级筛选模块,根据距离向偏移量筛选出距离向数据以供计算;相干系数和干涉相位的计算模块,接收配准完毕的数据并计算相干系数和干涉相位。
7.本发明简化了方位向距离向一起选择数据带来的复杂地址映射公式。从实时性、简洁性、升级性与可维护性来说都有优势,保证了insar数据处理的高速高效。
附图说明
8.为了使本技术实施例中的技术方案及优点更加清楚明白,以下结合附图对本技术的示例性实施例进行进一步详细的说明,显而易见地,下面描述中的附图仅仅是本说明书披露的多个实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
9.图1是insar图像的二维配准的算法实现示意图;
10.图2是二维insar图像的fpga配准方法的偏移量计算流程示意图;
11.图3是结合本说明书的实施例说明insar图像二维配准的fpga逐级筛选结构示意图;
12.图4(a)是本说明书中的一个实施例,说明当方位向偏移量为正时,二维insar图像的初级筛选与筛选后ddr与ram间的数据流转;
13.图4(b)是本说明书中的一个实施例,说明当方位向偏移量为负时,二维insar图像的初级筛选与筛选后ddr与ram间的数据流转;
14.图5次级筛选阶段方位向偏移量在ram阵列缓冲实现数据对齐的过程示意图;
15.图6是在数据筛选阶段的fpga配准结构偏移量数据调度的流水线示意图;
16.图7是根据说明书的一个实施例示意insar图像的fpga二维配准方法的执行过程;
17.图8是根据本说明书的二维insar图像的fpga配准的一个结构示意图。
具体实施方式
18.下面结合附图,对本说明书实施例提供的方案进行描述。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。所描述的实施例仅仅是本说明书一部分实施例,而不是全部的实施例。基于本说明书中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本技术保护的范围。
19.如图1所示,两张512
×
512点图像为同一地区成像两次后生成的sar图像,将其中的一幅图像作为基准图像用a表示即为主图像,另一幅图像b作为辅图像,首先在图像a上以选取一个控制点,再以该点为中心设置目标区间,然后以该目标区间为基准再在图像b相应的位置选取搜索区间,通过在搜索区间内分别找到方位向、距离向的偏移矢量,然后按照偏移矢量整体平移,使a图像和b图像中的同一像素点与对应的地面样点重合。将这一位置的偏移矢量分别以x_axis(距离向偏移)、y_axis(方位向偏移)表示,又根据图像偏移的方向不同定义正负x_axis、y_axis,将不同方向的偏移分为四种情况,如果偏移量y_axis、x_axis都在ddr中取数据,用伪算法作进一步的说明如下所示:
[0020][0021]
由于偏移坐标y_axis、x_axis分别作用在两个循环之中,算法的复杂性为o(n2)。更重要的是,由于选择数据的地址与偏移坐标x_axis有关,ddr地址空间不连续,影响存储效率。当只有偏移量y_axis在ddr中取数据,将x_axis的影响从ddr转移到后端ram,那么同样用伪算法说明:
[0022][0023]
这样,ddr读取数据的复杂性就降为了o(n),我们只需按照y_axis去筛选,将数据送入ram中,也避免因为地址空间不连续而导致的效率损失。
[0024]
基于此,本发明公开了二维insar图像的fpga配准方法,利用最大函数相关法在fpga中计算主辅图像偏移量,并将结果存入ddr中,又通过对方位向、距离向偏移量逐级筛选,最后生成干涉相位和相干系数。
[0025]
具体地,图2示出了所述二维insar图像的fpga配准方法的计算流程:
[0026]
与dsp、gpu以及cpu等进行的图像处理运算不同。dsp、gpu以及cpu对图像的处理基本是以帧为单位,insar图像数据存在内存中,然后gpu会读取内存中的insar图像进行处理,以帧率30帧为例,如果dsp或是gpu能够在1/30秒内完成一帧图像的处理,那基本上就能
算是实时处理,而fpga对图像进行实时流水线计算是以行为单位。
[0027]
首先,将insar图像由时域图转换为频域图通过fft快速计算,在两幅16k
×
4k的insar图像上截取同样大小的主辅图像块,本实施例选取图像块的大小为512
×
512点,以行为单位并逐点进行距离向fft(快速傅里叶变换)运算得到每个像素点的频率;
[0028]
其次,fpga将主、辅图像的距离向fft计算结果保存,主、辅图像转置分别存入ddr1、ddr2中;
[0029]
再次,主、辅图像分别进行方位向数据的fft运算,共轭相乘算出最值,得出干涉条纹的频谱图,其中得到的最值即为频谱中灰度值最高的条纹所对应的频率值;
[0030]
从次,fpga筛选出方位向数据进行ifft(逆傅里叶变换),再将计算结果保存,主、辅图像数据转置分别存入ddr1、ddr2;
[0031]
最后,fpga从ddr1、ddr2中取出主、辅图像距离向数据同样进行傅里叶逆变换完成距离向计算,得到两幅图像的互相关结果,其中最大值的位置可计算出配准时的偏移坐标(x_axis,y_axis)并将insar图像由频域图恢复为时域图,进入生成干涉图流程。
[0032]
在得到偏移坐标后,两张图根据二维偏移坐标对齐,共轭相乘后计算干涉相位,并根据干涉相位得到相干系数。
[0033]
另外,在卫星上insar图像二维矩阵运算的数据转置产生了大量的过程数据,庞大的数据量无法直接存在fpga内部的块存储器中,而必须存放在外挂的ddr中。但是ddr跳行读写的速率极低,因此本发明采用了逐级筛选的配准结构如图3所示。
[0034]
fpga分别对方位向、距离向数据进行筛选,避免了ddr访问不连续,极大提升了数据处理流程速率。
[0035]
图4(a)、(b)是本发明的一个实施例分别说明了初级筛选阶段方位向偏移量为正负时,insar图像的数据处理以及ddr和ram间的数据流转,insar主、辅图像分别存在fpga外挂的ddr1、ddr2中。
[0036]
首先,fpga根据方位向偏移量y_axis获得主、辅图像在ddr中的地址,其中y_axis符号的不同,则决定了主、辅图像不同的筛选方式。
[0037]
如图4(a)所示,当y_axis》0分别为1、2、3时,fpga确定从ddr1中相对应的第2、3、4开始读出数据,图示实施例为y_axis=1时,fpga在ddr1中跳过第1行,从第2行到第4k行开始取共4k-1行的主图像数据,在ddr2中则从1行开始读取4k行辅图像的数据;
[0038]
如图4(b)所示,当y_axis《0分别为-1、-2、-3时,fpga确定从ddr2中相对应的第2、3、4开始读出数据,图示实施例为y_axis=-2时,fpga在ddr1中从1行开始读取4k行主图像的数据,在ddr2中跳过则跳过第1行、第2行,从第3行开始取到第4k行共4k-2行的辅图像数据。
[0039]
借助xilinx自带的ip核axi interconnect,fpga从ddr1、ddr2中取得数据完成与片内ram的数据传输,传输采用axi4协议,将图像数据由axi_master转换为axi_stream,该ip核采用valid/ready握手机制,当fpga从ddr取得初次筛选数据后需要置高valid信号表示已经将图像数据准备就绪,并保持于消息总线上,一旦ram置高ready信号则表示已经做好了数据接收的准备,开启数据接收将数据送入ram中。
[0040]
如图4(a)、(b)所示y_axis分别等于1、-2时的主、辅图像数据经过axi interconnect被转换成了两条axi_stream分别送到ram相对应的阵列s1_pre、s2_pre中,其
中每两列图像数据进行一次传输,每列数据包括16k个点,充分利用了fpga的并行数据处理的能力,而且从图中也可以看出,fpga对ddr1、ddr2的访问的顺序是由第1至第4k行顺序访问,地址连续不跳变。
[0041]
次级数据筛选的过程如图5所示,s1_pre与s2_pre是自编的ip核,同时接收主、辅图像距离向数据,如前所述,fpga在ram中根据距离向偏移量x_axis筛选出主、辅图像的距离向数据,而根据x_axis符号的不同,也有不同的筛选方式。
[0042]
当x_axis》0在主图像上偏移选取数据,当x_axis《0则在辅图像上偏移选取数据,fpga对这两组数据划分为三部分:
[0043]
a段数据数据为选取图像块外的数据,舍弃;
[0044]
c段用于计算相干系数与相位;
[0045]
b段数据归零处理,补足数据长度,以实现距离向数据长度不变,使系统具备兼容性与可升级得能力。
[0046]
在本发明公开的二维insar图像的fpga配准结构中,相干系数和干涉相位的计算在自编的ip核cordic中完成,在得到x_axis与y_axis偏移坐标后,生成干涉图流程,具体过程如公式(1)、(2)、(3)所示:
[0047][0048]
其中r(u,v)为相干系数,m
(i,j)
、m
(i+u,j+v)
分别为主辅图的像素点。
[0049][0050]
s1(m,n)表示对s2(m,n)取共轭。
[0051][0052]
γ表示相干系数。
[0053]
当选用两幅16384
×
4096图像作为同一地区成像两次后生成的sar图像时,通过上述公式计算出相干系数与干涉相位,用时164.7ms。计算图像的数据点数:
[0054]
b=d/t
[0055]
其中d为图像数据点数,t为用时,b为图像数据吞吐量。得出本方案的数据吞吐量:
[0056]
b=407.46
×
106[0057]
因为采用了fpga的配准结构,偏移量计算、数据转置、数据筛选以及相干系数和干涉相位的计算都可以通过流水线实现,下面主要对数据筛选阶段的fpga配准结构的流水线做以说明,如图6所示。
[0058]
首先,fpga计算得到二维insar图像的偏移量;
[0059]
然后,根据y_axis获得主、辅图像在ddr中的地址并筛选方位向数据;
[0060]
其次,在数据送入fpga内部ram阵列中的同时,fpga再筛选方位向数据指定下一次要从ddr中要读取的数据。
[0061]
而且这一阶段的数据筛选只作用于y_axis,连续地从ddr取出数据传输到ram中,地址不发生跳变。
[0062]
数据一边流过一边在ram中筛选距离位偏移,最后根据距离向、方位向偏移量计算相干系数与干涉相位,不需要筛选得到偏移量(x_axis,y_axis),然后送入ddr,再取出去计算相干系数与干涉相位,以实现insar图像的实时处理。
[0063]
如图7所述,本发明实施例提供了一种二维insar图像的fpga配准方法,所述方法包括以下步骤:
[0064]
步骤s701:在fpga中计算insar图像的二维偏移量,首先主辅图像分别进行二维fft运算得到每个像素点的频率值,根据得到的频率值做共轭相乘得到其中的谱峰然后再做ifft运算得到主辅图像的互相关结果并计算得到偏移量(x_axis,y_axis)。
[0065]
步骤s702:fpga根据y_axis指定读取数据地址在ddr中对方位向数据进行筛选,fpga从ddr中取得每一幅图像数据通过y_axis逐行读取,地址连续不间断。
[0066]
步骤s703:fpga借助axi interconnect将筛选后的主、辅图像数据由axi-master分别转换为两条axi-stream并送入ram阵列s1_pre、s2_pre中。
[0067]
步骤s704:根据x_axis筛选出距离向数据以供计算。针对x_axis正负的不同,筛选距离向数据只根据偏移量修改s1_pre与s2_pre的长度,对数据进行删除补齐的操作,保证距离向数据长度不变,筛选出距离向数据。
[0068]
步骤s705:计算出干涉相位与相干系数。根据筛选后的方位向、距离向数据计算相干系数和干涉相位。
[0069]
如图8所述,本发明提供了一种二维insar图像的fpga配准结构,所述fpga配准结构采用xilinx的xc7vx690tffg1761的fpga,处理时钟主频为100mhz;型号为mt41k512m16ha-125的ddr,工作时钟为200mhz。fpga配准结构包括:偏移量计算模块、初级筛选模块、axi-stream转换模块、次级筛选模块以及相干系数和干涉相位的计算模块。
[0070]
所述偏移量计算模块801主要由fpga完成图像二维fft运算,然后经共轭相乘得到最值,再进行二维逆fft运算后得到距离向、方位向的偏移坐标,并将结构存储到ddr中。
[0071]
所述初级筛选模块802主要完成方位向数据筛选的工作。存储根据距离向偏移指定读取数据的地址,先对方位向数据进行筛选。根据y_axis确定从原始数据存储空间某一行开始读出,阶段的筛选工作在ddr中完成。
[0072]
所述axi-stream转换模块803,包括一个axi interconnect的ip核,它主要完成将初筛的存储在ddr中的偏移数据由axi-master转换为axi-stream的工作。
[0073]
所述次级筛选模块804,包括一个自编的ip核,主要完成距离向数据的筛选工作。数据在axi-stream转换模块中被转换为axi-stream并进入ram阵列s1_pre与s2_pre中,s1_pre与s2_pre同时接收主、辅图像的x_axis信息进行距离向数据的筛选,阶段的筛选工作在ram中完成。
[0074]
所述相干系数和干涉相位的计算模块805,包括一个fpga自带的ip核,主要通过逐级筛选后的计算得出图像的相干系数和干涉相位。
[0075]
本发明公开的fpga逐级配准结构避免计算距离向有效点数步骤,降低了计算的复杂性,所述结构也简化了后端数据存储与读出的复杂性,采用fpga逐级配准结构也有利于系统升级与维护。

相关内容

热门资讯

自荐信要怎么写 自荐信要怎么写  1、语气自然 语言和句子要简单明了。不要听上去象别人的话,特别是用一些你从未用过的...
描写古代女子美貌的句子 导语:窈窕淑女,君子好逑,以下是小编精心为大家搜集整理的描写古代女子美貌的句子,供大家参考。描写古代...
过年回家句子 过年回家句子(精选95句)  在平平淡淡的日常中,大家都收藏过自己喜欢的句子吧,根据用途和语气,句子...
抖音点赞最火最高句子 抖音点赞最火最高句子  在平日的学习、工作和生活里,许多人对一些广为流传的句子都不陌生吧,根据用途和...
世界上最悲伤的句子   1、年少青春在还没有经受起挥霍时就已经不复长存,青梅竹马也只是儿时无知岁月用来消遣光阴的无谓道具...
生活积极的句子 关于生活积极的句子  也许一个人,要走过很多的路,经历过生命中无数突如其来的繁华和苍凉后,才会变的成...
激励上进的正能量句子 激励上进的正能量句子  在我们平凡的日常里,大家总少不了接触一些耳熟能详的句子吧,在不同类型的文章里...
纪念烈士缅怀先烈的句子 2022纪念烈士缅怀先烈的句子(精选65句)  在现实生活或工作学习中,大家都接触过比较经典的句子吧...
回归家乡的句子 回归家乡的句子  句子是语言运用的基本单位,它由词、词组(短语)构成,能表达一个完整的意思,如告诉别...
描写小兔子的段落 描写小兔子的段落大全  1、兔子浑身长满了毛茸茸的白毛,远远看去像一团棉花。它的一双红眼睛被白毛包住...