该技术已申请专利。仅供学习研究,如用于商业用途,请联系技术所有人。

基于海洋模式roms的并行通讯方法及系统
技术领域
1.本发明涉及海洋科学并行计算应用技术领域,具体涉及基于海洋模式roms的并行通讯方法及系统。
背景技术:2.本部分的陈述仅仅是提供了与本发明相关的背景技术信息,不必然构成在先技术。
3.roms是目前使用最广泛的区域海洋模式,它是在垂向静力近似和boussinesq假定下,按照有限差分近似求解自由表面reynolds平均的原始navier-stokes方程的通用数值模式。roms的原始方程数值解的质量在很大程度上依赖于质量守恒方法的精确度,基于boussinesq近似在连续方程中忽略密度的个别变化,假定海洋是不可压缩的,此时,就可以用体积守恒代替质量守恒。区域海洋模式roms在自由表面模式下的源汇是通过开边界确定的,没有体积守恒的约束,在积分过程中容易产生累积误差。在正压求解过程中,每一个时间步,都需要控制基于开边界的体积守恒,在区域的边界做体积的修正,保证计算的稳定性。在求解过程中,体积守恒计算需要对流体面元进行积分,并保证通过所研究区域组成的闭合积分区域的面积分结果为零。
4.数值模拟精细程度的提升需要增加模式的时空分辨率来支撑,其对计算资源的需求呈指数级增长,而相比计算开销,并行规模的增加带来的进程之间的数据通讯开销所占比重也越来越大,甚至无法正常运行,海洋模式roms的体积守恒部分调用次数高,引发了大量的通讯,成为系统整体性能提升的瓶颈。
技术实现要素:5.本发明为了解决上述问题,提出了基于海洋模式的并行通讯方法及系统,解决海洋模式roms无法进行万核心以上规模的并行计算问题,有效解决因全局通讯带来的通讯压力。
6.根据一些实施例,本发明采用如下技术方案:基于海洋模式roms的并行通讯方法,包括:获取海洋模式roms的配置文件roms.in中的lm和mm值;根据配置文件roms.in中的lm和mm值获取水平经纬度方向的网格数,建立仅含边界的通讯区域;获取边界通讯区域的进程号,形成边界通讯域;将全局通讯域修改为只有边界的通讯域,计算边界通讯域各进程的偏移量,进行速度矫正。
7.进一步的,边界通讯区域为计算区域四周侧边界区域。
8.进一步的,根据进程号规律自动获取进程号,通过mpi_tile算法,获取边界通讯区域的进程号。
9.进一步的,若计算区域纬向进程数为ntile_x,经向进程数为ntile_y,总进程数为ntile_x*ntile_y,自0进程进行s型编号。
10.进一步的,下边界区域通信进程号为连续进程号,下边界区域通讯域为0至ntile_x-2。
11.进一步的,左边界区域通信进程号为等差数列进程号,自ntile_x至(ntile_y-1)*ntile_x,每隔ntile_x取一个进程号。
12.进一步的,上边界区域通信进程号为连续进程号,上边界区域通信域为(ntile_y-1)*ntile_x+1至ntile_x*ntile_y-1。
13.进一步的,右边界区域通信进程号为等差数列进程号,自ntile_x-1至(ntile_y-1)*ntile_x-1,每隔ntile_x取一个进程号。
14.根据一些实施例,本发明采用如下技术方案:基于海洋模式roms的并行通讯系统,包括:数据处理模块,用于获取海洋模式roms的配置文件roms.in中的lm和mm值,根据配置文件中的lm和mm值获取水平经纬度方向的网格数,建立仅含边界的通讯区域;数据计算模块,用于获取边界通讯区域的进程号,形成边界通讯域;将全局通讯域修改为只有边界的通讯域,计算边界通讯域各进程的偏移量,进行速度矫正。
15.与现有技术相比,本发明的有益效果为:本发明在海洋模式roms迭代计算过程中,每一迭代时间步都要遵循体积守恒,可以保持模型稳定性,在每个迭代时间步过程要进行两次体积守恒约束,本发明通过约束边界进程很大程度减少了通讯的时间,增加了模式可扩展和运行并行度,减少了运行系统的网络压力,提升模式模拟速度且加速效果明显。
16.本发明在大规模计算下对体积守恒部分算法的修改可显著提高程序的通讯效率,为实现业务化运行提供了有利的保障。
附图说明
17.构成本发明的一部分的说明书附图用来提供对本发明的进一步理解,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。
18.图1为本发明实施例中提供的海洋模式roms体积守恒模型算法流程图。
19.图2为本发明实施例中的现有海洋模式roms的体积守恒模型算法a;图3为本发明实施例中提供的海洋模式roms体积守恒模型算法b;图4为本发明实施例中提供的边界通讯域获取算法示意图。
具体实施方式
20.下面结合附图与实施例对本发明作进一步说明。
21.应该指出,以下详细说明都是例示性的,旨在对本发明提供进一步的说明。除非另有指明,本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
22.需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本发明的示例性实施方式。如在这里所使用的,除非上下文另外明确指出,否则单数形式
也意图包括复数形式,此外,还应当理解的是,当在本说明书中使用术语“包含”和/或“包括”时,其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
23.实施例1本发明的一种实施例中提供了一种基于海洋模式的并行通讯方法,如图1所示,包括:步骤1:获取海洋模式roms的配置文件roms.in中的lm和mm值;步骤2:根据配置文件roms.in中的lm和mm值获取水平经纬度方向的网格数,建立仅含边界的通讯区域;步骤3:获取边界通讯区域的进程号,形成边界通讯域;步骤4:将全局通讯域修改为只有边界的通讯域,计算边界通讯域各进程的偏移量,进行速度矫正。
24.作为一种实施例,海洋模式并行通讯的具体实施过程为:s1:首先根据海洋模式的配置文件roms.in中的lm和mm值得到水平经纬度方向的网格数,其中lm的数值为纬向网格数,mm的数值为经向网格数,建立仅含边界的通讯区域。如图2所示,进程p0至p19区域为计算区域,如图3所示为边界区域,边界通讯区域为计算区域四周侧边界区域。
25.s2:根据进程号规律自动获取进程号,通过mpi_tile算法,获取步骤s1中的边界通讯区域的进程号;mpi_tile算法具体为:计算区域纬向进程数为ntile_x,经向进程数为ntile_y,总进程数为ntile_x*ntile_y,自左下角为0进程进行s型编号。
26.所述s型编号的方式为从第一行第一个元素开始向后顺序编号,第一行最后一个元素之后转至第二行最后一个元素向前逆序编号,至第二行第一个元素转至第三行第一个元素,重复上述过程。
27.如图4所示,下边界区域通信进程号为连续进程号,下边界区域通信域为0至ntile_x-2。左边界区域通信进程号为等差数列进程号。
28.所述等差数列进程号为:左边界区域其实进程号为ntile_x,第二项为2*ntile_x,之后每一项与前一项差为ntile_x,最大项为(ntile_y-1)*ntile_x,即自ntile_x至(ntile_y-1)*ntile_x,每隔ntile_x取一个进程号。上边界区域通信进程号为连续进程号,上边界区域通信域为(ntile_y-1)*ntile_x+1至ntile_x*ntile_y-1。右边界区域通信进程号为等差数列进程号,自ntile_x-1至(ntile_y-1)*ntile_x-1,每隔ntile_x取一个进程号。
29.s3:形成边界通讯域new_comm。
30.具体的,将获取的边界边界通讯区域的进程号进行集中起来,形成一个集合,这个集合就是作为边界通讯域new_comm。
31.s4:将全局通信域ocn_comm_world修改为只有边界的通信域new_comm。通过mpi_allreduce实现边界通信区域new_comm进程中,边界通量 bc_flux和边界面积bc_area的收集、求和,由mpi进行规约后广播给通讯域内的边界通讯域,new_comm各进程得到边界通量的和sum(bc_flux)和边界面积的和sum(bc_area)。
32.s5:边界通讯域new_comm各进程通过获得的sum(bc_flux)、sum(bc_area)利用总
边界通量除以总边界面积,得到边界区域单位面积通量的变化,即平均偏移量ubar_xs=sum(bc_flux)/sum(bc_area),进行矫正速度差异。
33.求得偏移量ubar_xs=sum(bc_flux)/sum(bc_area),进行矫正速度差异。
34.如图1所示,以网格为i*j*k的规模为例,i、j为水平方向的网格数,k为垂向网格数,本发明的数据通讯量由算i*j*k减少为(2(i+j)-4)*k,随着网格数规模越大,通讯量的减少越明显。根据上述边界进程算法,如图3所示,ntile_x=5,ntile_y=4,边界通信域中下边界区域通信进程号为0至3,左边界为5、10、15,上边界为16至19,右边界为4、9、14。边界通信域为new_comm(0,1,2,3,4,5,9,10,14,15,16,17,18,19)。
35.现有的海洋模式roms的体积守恒模型算法中,如图2所示,其现有的算法的执行方式为:获取计算区域的全部通信进程,通过mpi_allgather函数收集所有进程bc_flux和bc_area,将利用到的通信进程进行计算,将没有利用的通信进程的边界通量以及边界面积置为0,即将本实施例通信进程号中的p6、p7、p8、p11、p12以及p13的边界通量以及边界面积置为0,然后将利用的所有的进程求和bc_flux和bc_area,sum(bc_flux)、sum(bc_area)求得偏移量ubar_xs=sum(bc_flux)/sum(bc_area)。
36.使用roms以网格规模数4492*3142*40为例进行测试,其中4492、3142为水平方向的网格数,40为垂向网格数。图2所示的现有海洋模式roms的体积守恒模型算法a的通讯量为4492*3142*40,图3所示的本发明实施例中提供的海洋模式roms体积守恒模型算法b的通讯量为(2(4492+3142)-4)*40。在测试规模10000核心下测试时长3个模式天,现有海洋模式roms的体积守恒模型算法a通讯用时360s,本发明实施例中提供的海洋模式roms体积守恒模型算法b通讯用时288s,加速25%。同时,在roms模式中使用新的通讯算法后进行了不同核心数的测试,测试规模6000、12000到15000核心,总模拟用时从7800s减少到4400s,测试结果表明加速比接近线性加速的理论值。
37.在海洋模式roms模拟过程中自起始时刻至结束时刻,每一个时间步长δt进行一次迭代计算,时间从t到t+δt的每一步迭代过程中需要遵循模拟区域内总体海水体积守恒,即界面流出的海水与流入的海水体积要相等,以保持模式稳定性,在每个迭代时间步过程要进行两次体积守恒约束,保持模拟区域内总海水体积不变。
38.实施例2本发明的一种实施例中提供了一种基于海洋模式roms的并行通讯系统,包括:数据处理模块,用于获取海洋模式roms的配置文件roms.in中的lm和mm值,根据配置文件中的lm和mm值获取水平经纬度方向的网格数,建立仅含边界的通讯区域;数据计算模块,用于获取边界通讯区域的进程号,形成边界通讯域;将全局通讯域修改为只有边界的通讯域,计算边界通讯域各进程的偏移量,进行速度矫正。
39.具体的,所述系统执行一种海洋模式roms并行通讯方法,包括:步骤1:获取海洋模式roms的配置文件roms.in中的lm和mm值;步骤2:根据配置文件roms.in中的lm和mm值获取水平经纬度方向的网格数,建立仅含边界的通讯区域;步骤3:获取边界通讯区域的进程号,形成边界通讯域;步骤4:将全局通讯域修改为只有边界的通讯域,计算边界通讯域各进程的偏移量,进行速度矫正。
40.作为一种实施例,海洋模式并行通讯的具体实施过程为:s1:首先根据海洋模式的配置文件roms.in中的lm和mm值得到水平经纬度方向的网格数,建立仅含边界的通讯区域。如图2所示,进程p0至p19区域为计算区域,如图3所示为边界区域,边界通讯区域为计算区域四周侧边界区域。
41.s2:根据进程号规律自动获取进程号,通过mpi_tile算法,获取步骤s1中的边界通讯区域的进程号,假设计算区域纬向进程数为ntile_x,经向进程数为ntile_y,总进程数为ntile_x*ntile_y,自左下角为0进程进行s型编号。如图3所示,下边界区域通信进程号为连续进程号,下边界区域通信域为0至ntile_x-2。左边界区域通信进程号为等差数列进程号,自ntile_x至(ntile_y-1)*ntile_x,每隔ntile_x取一个进程号。上边界区域通信进程号为连续进程号,上边界区域通信域为(ntile_y-1)*ntile_x+1至ntile_x*ntile_y-1。右边界区域通信进程号为等差数列进程号,自ntile_x-1至(ntile_y-1)*ntile_x-1,每隔ntile_x取一个进程号。
42.s3:形成边界通讯域new_comm。
43.具体的,将获取的边界边界通讯区域的进程号进行集中起来,形成一个集合,这个集合就是作为边界通讯域new_comm。
44.s4:将全局通信域ocn_comm_world修改为只有边界的通信域new_comm。通过mpi_allreduce实现边界通信区域new_comm进程中, bc_flux和bc_area的收集、求和,由mpi进行规约后广播给通讯域内的边界通讯域,new_comm各进程得到sum(bc_flux)和sum(bc_area)。
45.s5:边界通讯域new_comm各进程通过获得的sum(bc_flux)、sum(bc_area)求得偏移量ubar_xs=sum(bc_flux)/sum(bc_area),进行矫正速度差异。
46.本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
47.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
48.上述虽然结合附图对本发明的具体实施方式进行了描述,但并非对本发明保护范围的限制,所属领域技术人员应该明白,在本发明的技术方案的基础上,本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。