该技术已申请专利。仅供学习研究，如用于商业用途，请联系技术所有人。

1.本发明涉及起重机位置决定装置、移动式起重机及起重机位置决定方法。


背景技术：

2.在起重机作业中，难以将移动式起重机设置在恰当的位置。因此，有的移动式起重机具备向作业者警告不适于起重机作业的区域的控制装置。
3.例如，在专利文献1中公开了一种移动式起重机，具备：定位装置，接收定位卫星的信号并计测当前位置；以及控制装置，利用无线手段取得定位装置所计测的当前位置的地基信息，在根据取得的地基信息判定为作业区域是警报区域的情况下发出警告。
4.在先技术文献
5.专利文献
6.专利文献1：日本特开2018-95372号公报


技术实现要素：

7.发明所要解决的课题
8.在起重机作业中，为了提高作业效率，期望将移动式起重机设置在对于起升载荷恰当的位置。
9.但是，在专利文献1所记载的移动式起重机中，仅能够将移动式起重机设置在基于地基信息的恰当的位置。因此，在该移动式起重机中，难以将移动式起重机设置在起重机作业的效率高的位置。结果，不得不依赖于作业者的技能及经验。
10.本发明为了解决上述的课题而作出，其目的在于，提供能够将移动式起重机设置在起重机作业的效率高的位置的起重机位置决定装置、移动式起重机及起重机位置决定方法。
11.用于解决课题的手段
12.本发明所涉及的起重机位置决定装置的一个方式为：
13.一种起重机位置决定装置，被搭载于移动式起重机，具备：
14.输入部，受理起重机作业的作业条件的输入；
15.决定部，具有学习模型，基于学习模型的输出来决定移动式起重机的设置位置；以及
16.报知部，报知移动式起重机的设置位置，
17.学习模型是基于包括与起重机作业相关的至少一个评价函数的奖励函数，以输出与针对作业条件的最佳的移动式起重机的设置位置相关的信息的方式进行了学习的模型。
18.本发明所涉及的起重机的一个方式具备上述的起重机位置决定装置。
19.本发明所涉及的起重机位置决定方法的一个方式为：
20.一种起重机位置决定方法，由被搭载于移动式起重机的计算机执行，包括如下步骤：
21.受理起重机作业的作业条件的输入；
22.基于学习模型的输出来决定移动式起重机的设置位置，该学习模型是基于包括与起重机作业相关的至少一个评价函数的奖励函数，以输出与针对作业条件的最佳的移动式起重机的设置位置相关的信息的方式进行了学习的模型；以及
23.报知移动式起重机的设置位置。
24.发明效果
25.根据本发明的结构，能够将移动式起重机设置在起重机作业的效率高的位置。
附图说明
26.图1是装备有本发明的实施方式所涉及的位置决定装置的复杂地形起重机的俯视图。
27.图2是本发明的实施方式所涉及的位置决定装置的功能框图。
28.图3是向本发明的实施方式所涉及的位置决定装置所具备的输入部输入的数据集的概略图。
29.图4是向本发明的实施方式所涉及的位置决定装置所具备的输入部输入的作业区域的概念图。
30.图5是本发明的实施方式所涉及的位置决定装置所具备的决定部和学习部的硬件结构图。
31.图6是本发明的实施方式所涉及的位置决定装置所具备的神经网络部的概念图。
32.图7是本发明的实施方式所涉及的位置决定装置所具备的学习用数据库的数据集的概略图。
33.图8是本发明的实施方式所涉及的位置决定装置所实施的位置决定处理的流程图。
34.图9是本发明的实施方式所涉及的位置决定装置所实施的学习处理的流程图。
35.图10是本发明的其他实施方式所涉及的位置决定装置的功能框图。
具体实施方式
36.以下，参照附图详细说明本发明的实施方式所涉及的起重机位置决定装置、移动式起重机、起重机位置决定方法及程序。此外，在图中，对于相同或者等同的部分赋予相同的标记。
37.实施方式所涉及的移动式起重机的位置决定装置，是在开始对起升载荷进行搬运的作业即起重机作业时决定移动式起重机的行驶体的设置位置(停车位置)和外伸支腿的设置位置(伸出位置)的装置。
38.在该位置决定装置中，在决定行驶体的停车位置时使用由神经网络构筑的学习完成模型。另外，使用学习完成模型决定外伸支腿的伸出位置，根据该伸出位置计算外伸支腿的伸出宽度。
39.首先，参照图1，说明装备有位置决定装置的移动式起重机的结构。接下来，参照图2-图7，结合学习完成模型说明位置决定装置的结构。接下来，参照图8及图9，说明位置决定装置所实施的位置决定处理。
40.图1是装备有实施方式所涉及的位置决定装置1的复杂地形起重机100的俯视图。此外，在图1中，为了易于理解，复杂地形起重机100使外伸支腿130伸出，且使臂120伸长。进而，在未图示的钩上安装有起升载荷200。
41.如图1所示，复杂地形起重机100具备行驶体110、用于进行起重机作业的臂120、以及在起重机作业时使行驶体110稳定的外伸支腿130。
42.虽未图示，行驶体110具有被原动机旋转驱动的轮。另外，在行驶体110上搭载有图1所示的臂120。通过原动机对轮进行旋转驱动，行驶体110向期望的位置移动。然后，行驶体110在该期望的位置，能够使用臂120进行起重机作业。
43.另一方面，臂120由伸缩(telescopic)式臂、即能够伸缩的筒状的臂构成。其末端由被设置在行驶体110且通过回转马达而回转的回转体111支承。另外，臂120以能够通过回转体111上设置的起伏油缸而起伏的方式被支承。由此，臂120能够相对于行驶体110回转，并且在回转到的位置起伏。
44.另外，在臂120的前端设置有臂头121。虽未图示，在臂头121处，前端与钩连结的绳索从滑轮垂下。另外，在回转体111上，设置有使该绳索提升及下降的卷扬机112。由此，臂120能够吊起及吊下起升载荷200。
45.外伸支腿130在行驶体110的前后左右设置有合计4个。另外，外伸支腿130分别具有能够在左右方向上伸出的梁131、以能够在上下方向上伸缩的方式设置的千斤顶132、以及在千斤顶132的下端设置的浮动垫133。由此，外伸支腿130分别能够使梁131伸出并使千斤顶132伸长，来使浮动垫133触地。另外，4个外伸支腿130通过使浮动垫133触地，使行驶体110稳定来防止复杂地形起重机100翻倒。
46.在复杂地形起重机100中，如下进行起重机作业。首先，在开始作业时，使行驶体110在起升载荷200附近停车。然后，使外伸支腿130的梁131伸出，而且使千斤顶132伸长来使浮动垫133触地。
47.接下来，进行臂120的抬起、伸长、回转体111的回转的各动作，来使臂头121移动到起升载荷200之上。其后，在钩上安装起升载荷200，并使卷扬机112提升，从而吊起起升载荷200。
48.接下来，通过回转体111的回转、臂120的伸缩及起伏，将起升载荷200搬运到期望的位置，并吊下起升载荷200。
49.在这样的起重机作业中，回转体111的回转量及臂120的伸长量等根据行驶体110与吊起对象的起升载荷200的距离而变化。另外，吊起荷重及最大作业半径根据外伸支腿130的梁131的伸出宽度(以下简称为外伸支腿130的伸出宽度)而变化。因此，为了提高起重机作业的效率，复杂地形起重机100的操作员需要使行驶体110在恰当的位置停车，并使外伸支腿130伸出恰当的伸出宽度。
50.但是，操作员难以将行驶体110设置到恰当的设置位置，并将外伸支腿130设置到恰当的设置位置。
51.于是，在复杂地形起重机100中，为了提高起重机作业的效率，装备有决定行驶体110的停车位置和外伸支腿130的设置位置(伸出宽度)的位置决定装置1。接下来，参照图2-图7，说明位置决定装置1的结构。
52.图2是实施方式所涉及的位置决定装置1的功能框图。图3是向位置决定装置1所具
备的输入部10输入的数据集11的概略图。图4是向输入部10输入的作业区域m的概念图。图5是位置决定装置1所具备的决定部20和学习部40的硬件结构图。图6是位置决定装置1所具备的神经网络部21的概念图。图7是位置决定装置1所具备的学习用数据库45的数据集11的概略图。
53.如图2所示，位置决定装置1具有：输入起重机作业的信息的输入部10、具有对被输入至输入部10的信息进行处理的神经网络部21且决定行驶体110的停车位置(设置位置)及外伸支腿130的伸出位置(设置位置)的决定部20、输出决定部20所决定的停车位置及伸出位置的输出部30、以及使神经网络部21学习的学习部40。
54.输入部10具有小键盘。在输入部10中，用户使用小键盘，受理图3所示的数据集11的输入。此外，输入部不限定于小键盘。输入部例如也可以构成为受理存储部(未图示)中存储的数据作为输入信息。
55.详细而言，输入部10受理由复杂地形起重机100实施的起重机作业(搬运作业)的作业条件的输入。具体而言，作业条件包括：预定的起重机作业的如图4所示的开始地点ps、结束地点pe的坐标、起升载荷200的荷重mr、进行起重机作业的现场的作业区域m、以及复杂地形起重机100的动作效率(第一动作效率)。另外，复杂地形起重机100的动作效率包括回转体111的回转效率pr、臂120的起伏效率p
l
和/或卷扬机效率pw。另外，作业条件也可以包括作业区域m的气温t、风速w及风向v
xyz
。
56.在此，开始地点ps对应于与搬运源的位置相关的信息的一例，是通过吊起起升载荷200而开始搬运的地点。另外，结束地点pe对应于与搬运目的地的位置相关的信息的一例，是在搬运起升载荷200后结束该搬运的地点。一般而言，地点的坐标在经度纬度坐标系、平面直角坐标系等中表现，而开始地点ps及结束地点pe由平面直角坐标系的x值、y值、z值表现。地点的坐标既可以是全局坐标，也可以是本地坐标。
57.另外，起升载荷200的荷重mr对应于与起升载荷的荷重相关的信息的一例，意味着预定通过起重机作业来搬运的起升载荷200的荷重加上复杂地形起重机100的钩、带钩滑轮等吊具的荷重而得到的总荷重。
58.作业区域m对应于与作业区域相关的信息的一例，如图4所示，是包括开始地点ps、结束地点pe的预定进行起重机作业的现场的能够进行作业的区域。换言之，作业区域m是现场内的复杂地形起重机100能够停车、而且能够使外伸支腿130伸出的区域。作业区域m由处于其外周上的多个地点的平面直角坐标系的x值、y值表现。
59.回转效率pr、起伏效率p
l
及卷扬机效率pw对应于与移动式起重机的动作效率相关的信息的一例，是相对于向回转体111、臂120及卷扬机112的动力源供给的能量而言的、回转体111、臂120及卷扬机112各自的动作所得到的工作量。
60.气温t是进行预定的起重机作业的日期时间的作业区域m内的气温。气温t由在作业现场测定的平均气温、或者从天气预报得到的作业区域m的平均气温表现。
61.风速w是由矢量表现风的强度及方向时的标量值。风向v
xyz
是该矢量的单位矢量。上述风速w及风向v
xyz
由在作业现场测定的或者从天气预报得到的10分钟的平均风速及平均风向表现。此外，风向v
xyz
由上述平面直角坐标系的x值及y值表现。
62.输入部10如果被输入了这样的数据集11，则将该数据集11向图2所示的决定部20发送。
63.决定部20具有学习模型，基于学习模型的输出来决定移动式起重机的设置位置。其具有：神经网络部21，基于从输入部10接受的数据集11，求出用于决定行驶体110的停车位置及外伸支腿130的伸出位置的信息；以及运算部22，根据神经网络部21所求出的信息，决定行驶体110的停车位置和外伸支腿130的伸出位置。
64.位置决定装置1具备包括图5所示的存储器310、辅助存储器330及cpu(中央处理单元(central processing unit))320的计算机。神经网络部21通过由cpu320执行存储器310中存放的神经网络程序311而实现。
65.神经网络部21对应于学习模型的一例，如图6所示，具有被称为神经元的多个节点211。这些节点211形成了输入层212、隐藏层213及输出层214。另外，节点211与节点211相连接。学习模型是基于包括与起重机作业相关的至少一个评价函数的奖励函数，以输出与针对作业条件的最佳的移动式起重机的设置位置相关的信息的方式进行学习的模型。
66.此外，在图6中，为了易于理解而表示了具有2个节点211的输出层214，但输出层214的节点211设置有如下数量，该数量是使行驶体110停车的停车位置po的候选的数量与使4个外伸支腿130分别伸出的伸出位置ro的候选的数量相加而得到的数量。
67.对节点211间的连接强度赋予了权重θ。该权重θ通过由上述的神经网络程序311读出图5所示的辅助存储器330中存放的参数数据库25而赋予。由此，图6所示的神经网络部21构筑了对用于决定行驶体110的停车位置po和外伸支腿130的伸出位置ro的法则进行了学习的学习完成模型。
68.输入层212被输入从输入部10接受的数据集11。
69.关于输入层212、隐藏层213及输出层214，如果输入层212被输入了数据集11，则上述的学习完成模型进行用于决定行驶体110的停车位置po和外伸支腿130的伸出位置ro的信息处理。输入层212、隐藏层213及输出层214如后所述，近似了强化学习的动作价值函数q。因此，在输出层214输出动作价值函数q的动作价值。
70.详细而言，输出层214输出将行驶体110的停车位置po设为特定的位置时的动作价值。另外，输出将外伸支腿130的伸出位置ro设为特定的位置时的动作价值。
71.在此，行驶体110的设置位置(停车位置po)是图1所示的回转体111所具有的回转中心的位置。
72.另外，外伸支腿130的设置位置(伸出位置ro)是图4所示的使4个外伸支腿130伸出时的外伸支腿130各自的浮动垫133的俯视中心的位置r1、r2、r3、r4。伸出位置r0既可以是绝对坐标，也可以是以行驶体110的停车位置po为基准的相对坐标。
73.例如在将作业区域m划分为方格状的小区域的情况下，输出层214输出将这些小区域分别设为行驶体110的停车位置po时的动作价值。另外，输出层214输出使外伸支腿130在这些小区域分别伸出时的动作价值。输出层214的输出被发送至运算部22。作为输出层214的输出的动作价值对应于与移动式起重机的设置位置相关的信息的一例。另外，作为输出层214的输出的动作价值对应于与外伸支腿的设置位置相关的信息的一例。另外，输出层214的输出之中的与移动式起重机的设置位置相关的价值最高的动作价值，对应于与移动式起重机的最佳的设置位置相关的信息的一例。另外，输出层214的输出之中的与外伸支腿的设置位置相关的价值最高的动作价值，对应于与外伸支腿的最佳的设置位置相关的信息的一例。
74.返回图2，运算部22通过由cpu320执行图5所示的存储器310中存放的位置决定程序313而实现。
75.运算部22根据从输出层214接收的与停车位置po及伸出位置ro相关的动作价值的数据，选择价值最高的停车位置po及伸出位置ro。然后，运算部22将选择的停车位置po及伸出位置ro，设为行驶体110的停车位置po及外伸支腿130的伸出位置ro。由此，运算部22决定行驶体110的停车位置po及外伸支腿130的伸出位置ro。
76.进而，运算部22为了使操作员易于操作复杂地形起重机100，根据决定的外伸支腿130的伸出位置ro，计算行驶体110相对于决定的停车位置po的方向以及外伸支腿130的伸出宽度。运算部22将决定的行驶体110的停车位置po、计算出的行驶体110的方向以及外伸支腿130的伸出宽度的数据向输出部30发送。
77.输出部30对应于报知部的一例，具备液晶显示器。输出部30如果从运算部22接收到行驶体110的停车位置po、行驶体110的方向及外伸支腿130的伸出宽度，则在液晶显示器上显示所接收到的行驶体110的停车位置po、行驶体110的方向、外伸支腿130的伸出位置及外伸支腿130的伸出宽度。由此，输出部30向复杂地形起重机100的操作员报知优选的行驶体110的停车位置po、行驶体110的方向、外伸支腿130的伸出位置及外伸支腿130的伸出宽度。结果，通过位置决定装置1，操作员能够使行驶体110在恰当的位置停车，并使外伸支腿130伸出恰当的伸出宽度。
78.如上所述，决定部20的神经网络部21通过由神经网络程序311读出参数数据库25中存放的权重θ，构筑了对用于决定行驶体110的停车位置po及外伸支腿130的伸出位置ro的法则进行了学习的学习完成模型。为了制作该学习完成模型，或者为了提高学习完成模型决定停车位置po及伸出位置ro的精度，位置决定装置1具备学习部40。
79.学习部40通过位置决定装置1所具备的图5所示的cpu320执行存储器310中存放的学习程序312而实现。
80.学习部40使图2所示的神经网络部21进行深度强化学习，生成对用于决定行驶体110的停车位置po及外伸支腿130的伸出位置ro的法则进行了学习的学习完成模型。
81.在此，深度强化学习是将被称为q学习的强化学习与深度学习组合的学习。在此，强化学习为：在时刻t的状态s
t
下，选择可能采取的动作a
t
，在将成为状态s
t+1
时的奖励定义为奖励函数r(s
t
，a
t
，s
t+1
)，且将该动作的价值定义为动作价值函数q(s
t
，a
t
)的情况下，对动作价值函数q(s
t
，a
t
)进行优化以使奖励的累积值最大。另一方面，深度强化学习是针对上述的强化学习的动作价值函数q(s
t
，a
t
)，通过利用深度学习来由神经网络表现并且通过逆向传播即误差逆向传播法进行优化的学习方法。此外，动作价值函数q(s
t
，a
t
)以下简称为动作价值函数q。
82.详细说明学习部40，学习部40读出学习用数据库45。在图5所示的辅助存储器330中存放有学习用数据库45。在该学习用数据库45中，存储有多组图7所示的数据集46，该数据集46根据bim(建筑信息模型(building information modeling))数据、复杂地形起重机100的设计数据及气象数据等制作，且与数据集11同样由开始地点ps、结束地点pe的坐标、起升载荷200的荷重mr、作业区域m、复杂地形起重机100的动作效率(例如回转效率pr、起伏效率p
l
及卷扬机效率pw)、气温t、风速w及风向v
xyz
的数据构成。学习部40读出学习用数据库45，从学习用数据库45中对多组数据集46进行采样。
83.学习部40作为上述的状态s
t
，将采样的多组数据集46分别向图6所示的神经网络部21的输入层212输入。
84.相对于此，输入层212、隐藏层213及输出层214如上所述，作为动作价值函数q，将用于决定行驶体110的停车位置po及外伸支腿130的伸出位置ro的动作的动作价值函数以神经网络的连接形式表现。结果，输出层214针对被输入至输入层212的各个数据集46，输出将行驶体110的停车位置po设为特定的位置时的动作价值、以及将外伸支腿130的伸出位置ro设为特定的位置时的动作价值。
85.学习部40将被输入至输入层212的数据集46的各数据、以及从输出层214输出的上述的动作价值的数据，代入以下示出的数式1-6所示的奖励函数j(
·
)来计算奖励值。该奖励值的计算针对被输入至输入层212的各个数据集46进行。
86.在此，奖励函数j(
·
)是将动作效率评价函数设为j(work)、将路径评价函数设为j(path)、将区域评价函数设为j(pos)、且将稳定评价函数设为j(or)时的由以下的数式1表现的函数。动作效率评价函数j(work)、路径评价函数j(path)、区域评价函数j(pos)及稳定评价函数j(or)分别对应于与起重机作业相关的评价函数的一例。奖励函数j(
·
)包含动作效率评价函数j(work)、路径评价函数j(path)、区域评价函数j(pos)及稳定评价函数j(or)之中的至少一个评价函数即可。
87.[数1]
[0088][0089]
动作效率评价函数j(work)是用于对移动式起重机的动作效率进行评价的函数。在将回转效率设为pr，将起伏效率设为p
l
，将卷扬机效率设为pw，将风和气温对回转效率pr、起伏效率p
l
及卷扬机效率pw造成的影响设为环境系数kr、k
l
、kw的情况下，动作效率评价函数j(work)是由以下的数式2表现的评价函数。此外，在本说明书中，将动作效率评价函数j(work)也称为起重机动作效率函数。
[0090]
[数2]
[0091]
j(work)＝kr·
pr+k
l
·
p
l
+kw·
pw…
数式2
[0092]
此外，环境系数kr、k
l
、kw与风速w、风向v
xyz
、气温t的倒数成比例。例如，在风为大致无风状态时，风对回转及起伏等造成的影响小，因此环境系数kr、k
l
、kw为数值1。
[0093]
路径评价函数j(path)是用于对货物的搬运路径进行评价的函数。路径评价函数j(path)是以作业半径的变化率对进行从开始地点ps向结束地点pe搬运起升载荷200的起重机作业时的搬运路径进行评价的函数。详细而言，在将行驶体110的停车位置po设为中心点，而且将经过开始地点ps或者结束地点pe的圆弧的图4所示的弦长设为a、b(其中a≥b)的情况下，路径评价函数j(path)由以下的数式3表现。此外，在本说明书中，由于路径评价函数j(path)表示臂120的伸缩的效率，因此也将其称为臂伸缩效率函数。另外，将路径评价函数j(path)与动作效率评价函数j(work)一并也称为起重机的动作效率函数。
[0094]
[数3]
[0095][0096]
区域评价函数j(pos)是用于对移动式起重机的设置位置对于作业区域的适当性
进行评价的函数。区域评价函数j(pos)是表示行驶体110的停车位置po对于作业区域m是否适当的由数式4表现的评价函数。
[0097]
[数4]
[0098][0099]
稳定评价函数j(or)是用于对考虑了外伸支腿的伸出状态的移动式起重机的设置位置的适当性进行评价的函数。在将外伸支腿130处于伸出位置ro时的最大作业半径设为rw，而且将起重机作业时的姿态下能够吊挂的额定总荷重设为m时，稳定评价函数j(or)是由以下的数式5表现的评价函数。此外，在本说明书中，也称为表现停车位置po对于伸出位置ro时的最大作业半径rw是否适当的函数。
[0100]
[数5]
[0101][0102]
学习部40使用从奖励函数j(
·
)求出的奖励值，针对各个数据集46，计算应该从输出层214输出的目标值。例如，如果在动作价值函数q的例中进行说明，则学习部40使用以下的数式6计算目标值。然后，学习部40根据关于各个数据集46的目标值与输出层214的输出之间的误差，对节点211间的连接强度的权重θ进行更新。此时，学习部40基于数式7，对输出层214的权重θ进行更新。进而，利用误差逆向传播法，对隐藏层213、输入层212的权重进行更新。由此，学习部40使神经网络部21进行深度强化学习。
[0103]
[数6]
[0104]
t＝j(
·
)+γmaxq(s
t
，a
t
；θ)
ꢀꢀꢀ…
数式6
[0105]
[数7]
[0106][0107]
在此，数式6的t是目标值，γ是折扣率。数式7的α是学习率。j(
·
)是数式1的奖励函数。
[0108]
学习部40反复进行一系列处理，直到从学习用数据库45对全部数据集46的采样结束为止。即，反复进行由从学习用数据库45中对数据集46的采样、采样的数据集46向输入层212的输入、奖励值及目标值的计算、以及基于误差对节点211间的连接强度的权重θ的更新构成的一系列动作。
[0109]
如果全部数据集46的采样结束，则学习部40使深度强化学习停止。由此，生成上述的对用于决定行驶体110的停车位置po和外伸支腿130的伸出位置ro的法则进行了学习的学习完成模型。学习部40如果生成了学习完成模型，则将节点211间的连接强度的权重θ存放至参数数据库25。
[0110]
在位置决定装置1中，通过由神经网络程序311读出学习部40所存放的权重θ，在神经网络部21中，构筑对用于决定行驶体110的停车位置po及外伸支腿130的伸出位置ro的法则进行了学习的学习完成模型。该学习完成模型(学习模型)具有输出与针对作业条件的最佳的移动式起重机的设置位置相关的信息的功能。结果，决定部20使用该学习完成模型，能够根据被输入至输入部10的数据集11决定行驶体110的停车位置po及外伸支腿130的伸出
位置ro。
[0111]
接下来，参照图8及图9，说明位置决定装置1所实施的位置决定处理。在以下的说明中，设为在位置决定装置1设置有未图示的电源按钮，通过该电源按钮的开关，从电源向位置决定装置1供给电力。另外，设为复杂地形起重机100的操作员在使用位置决定装置1前，向辅助存储器330存放学习用数据库45或者存放参数数据库25。
[0112]
图8是实施方式所涉及的位置决定装置1所实施的位置决定处理的流程图。图9是位置决定装置1所实施的学习处理的流程图。
[0113]
首先，复杂地形起重机100的操作员按压位置决定装置1的电源按钮，使位置决定装置1自身启动。由此，由cpu320执行位置决定程序313。结果，位置决定处理的流程开始。
[0114]
如果位置决定处理的流程开始，则决定部20首先如图8所示，判定在辅助存储器330中是否存放有参数数据库25(步骤s1)。
[0115]
决定部20在判定为未存放参数数据库25的情况下(步骤s1：否)，启动学习程序312，实施学习处理(步骤s2)。
[0116]
如果学习处理的流程开始，则决定部20首先如图9所示，判定在辅助存储器330中是否存放有学习用数据库45(步骤s21)。
[0117]
在判定为未存放学习用数据库45的情况下(步骤s21：否)，决定部20使学习处理结束，使输出部30所具备的液晶显示器显示表示不存在学习用数据库45的错误。
[0118]
另一方面，在判定为存放有学习用数据库45的情况下(步骤s21：是)，决定部20从学习用数据库45中对多个数据集46进行采样(步骤s22)。
[0119]
接下来，决定部20将采样的数据集46向神经网络部21的输入层212输入(步骤s23)。接下来，决定部20使用奖励函数j(
·
)计算目标值(步骤s24)。
[0120]
决定部20根据计算出的目标值计算与输出层214的误差，对节点211间的连接强度的权重θ进行更新(步骤s25)。
[0121]
接下来，决定部20判定是否从学习用数据库45中对全部数据集46进行了采样(步骤s26)。
[0122]
决定部20在判定为尚未对全部数据集46进行采样的情况下(步骤s26：否)，返回步骤s22，继续进行神经网络部21的深度强化学习。
[0123]
另一方面，决定部20在判定为已对全部数据集46进行了采样的情况下(步骤s26：是)，使参数数据库25存储节点211间的连接强度的权重θ(步骤s27)。接下来，使学习处理结束，并返回位置决定处理的流程。然后，向位置决定处理的步骤s3前进。
[0124]
返回图8所示的位置决定处理的流程，在步骤s1中，决定部20在不实施学习处理的情况下，即在判定为存放有参数数据库25的情况下(步骤s1：是)，使输出部30所具备的液晶显示器显示用于输入数据集11的输入画面的图像(步骤s3)。由此，促使复杂地形起重机100的操作员输入数据集11。
[0125]
此时，为了易于输入，可以预先在辅助存储器330中存放地图数据，并在输出部30的液晶显示器上显示基于该地图数据的地图图像。另外，可以设为能够通过输入部10所具备的小键盘输入数据集11的作业区域m。
[0126]
复杂地形起重机100的操作员使用输入部10的触摸面板，输入数据集11的各数据。
[0127]
决定部20在使输出部30的液晶显示器显示输入画面的图像之后，判定输入部10是
否被输入了数据集11(步骤s4)。
[0128]
决定部20在判定为输入部10被输入了数据集11的情况下(步骤s4：是)，启动神经网络程序311，实施神经网络处理(步骤s5)。此时，决定部20从参数数据库25读出节点211间的连接强度的权重θ，构筑对用于决定行驶体110的停车位置po和外伸支腿130的伸出位置ro的法则进行了学习的学习完成模型。
[0129]
另一方面，在判定为输入部10未被输入数据集11的情况下(步骤s4：否)，返回步骤s4，等待直到输入部10被输入数据集11。
[0130]
如果实施了神经网络处理(步骤s5)，则决定部20向神经网络部21的输入层212输入数据集11的各数据。结果，从神经网络部21的输出层214，输出将行驶体110的停车位置po设为特定的位置时的动作价值、以及将外伸支腿130的伸出位置ro设为特定的位置时的动作价值。然后，使该输出发送给决定部20所具备的运算部22。
[0131]
运算部22如果被发送了神经网络部21的输出，则基于该神经网络部21的输出，决定行驶体110的停车位置po和外伸支腿130的伸出位置ro(步骤s6)。详细而言，运算部22选择示出神经网络部21的输出层214所输出的动作价值之中的最高的动作价值的行驶体110的停车位置po和外伸支腿130的伸出位置ro。由此，运算部22决定行驶体110的停车位置po和外伸支腿130的伸出位置ro。
[0132]
此外，在本说明书中，将步骤s5及s6也称为决定步骤。
[0133]
接下来，运算部22根据决定的外伸支腿130的伸出位置ro，计算行驶体110相对于决定的停车位置po的方向、以及外伸支腿130的伸出宽度(步骤s7)。
[0134]
接下来，运算部22使输出部30的液晶显示器显示所决定的行驶体110的停车位置po、以及计算出的行驶体110的方向及外伸支腿130的伸出宽度(步骤s8)。由此，复杂地形起重机100的操作员能够知晓优选使行驶体110停车的停车位置po及其方向。另外，能够在该停车位置po处，使外伸支腿130伸出优选的伸出宽度。结果，操作员能够使复杂地形起重机100在起重机作业的效率高的位置停车，并且使外伸支腿130伸出起重机作业的效率高的伸出宽度。
[0135]
此外，在本说明书中，将步骤s8也称为输出步骤。
[0136]
如上，在本实施方式所涉及的在位置决定装置1中，决定部20使用学习完成模型决定行驶体110的停车位置po和外伸支腿130的伸出位置ro，学习完成模型是通过基于奖励值对针对数据集46的行驶体的停车位置po和外伸支腿130的伸出位置ro进行深度强化学习而生成的，其中，该奖励值是根据在以停车位置po、伸出位置ro进行了使起升载荷200从开始地点ps移动到结束地点pe的起重机作业时的复杂地形起重机100的动作效率、以及停车位置po对于开始地点ps、结束地点pe及作业区域m而言是否适当而计算出的。
[0137]
因此，决定部20能够决定起重机作业的效率高的行驶体110的停车位置po。另外，能够求出起重机作业的效率高的外伸支腿的伸出位置ro。结果，能够将复杂地形起重机100设置到起重机作业的效率高的位置。
[0138]
以上说明了本发明的实施方式，但本发明不限定于上述的实施方式。例如，在上述的实施方式中，位置决定装置1具备学习部40。但是，本发明不限定于此。在位置决定装置1中，决定部20能够使用在实施方式中说明的学习完成模型决定行驶体110的停车位置po及外伸支腿130的伸出位置ro即可。
[0139]
图10是其他实施方式所涉及的位置决定装置2的功能框图。
[0140]
如图10所示，位置决定装置2具备实施方式中说明的输入部10、决定部20及输出部30，不具备学习部40。虽未图示，决定部20具有无线通信模组。
[0141]
另一方面，学习部40被设置在与决定部20的无线通信模组经由网络50连接的服务器3中。另外，学习部40能够经由无线通信模组，使决定部20的神经网络部21进行深度强化学习，来生成实施方式中说明的学习完成模型。另外，学习部40在生成学习完成模型后，能够经由无线通信模组，将节点211间的连接强度的权重θ存放至参数数据库25。
[0142]
像这样，位置决定装置1、2也可以不具备学习部40。另外，在位置决定装置1、2不具备学习部40的情况下，在参数数据库25中存放有权重θ即可。
[0143]
在上述的实施方式中，决定部20具有神经网络部21。但是，本发明不限定于此。决定部20使用如下学习完成模型决定停车位置po及伸出位置ro即可，该学习完成模型是通过对针对开始地点ps、结束地点pe、起升载荷200的荷重mr、作业区域m及动作效率的数据的行驶体110的停车位置po及外伸支腿130的伸出位置ro进行强化学习而生成的学习完成模型。学习完成模型通过进行强化学习而生成即可，因此决定部20不必具有神经网络部21。学习完成模型除了深度强化学习以外，也可以利用q学习、萨尔萨(sarsa)、蒙特卡洛法进行强化学习。
[0144]
在上述的实施方式中，输入部10被输入作业区域m的气温t、风速w、风向v
xyz
，进而，学习部40将上述气温t、风速w、风向v
xyz
向神经网络部21的输入层212输入来进行深度强化学习。但是，本发明不限定于此。在位置决定装置1、2中，有无气温t、风速w、风向v
xyz
的数据是任意的。例如，在气温t为常温，风速w作为大致无风的结果而小于0.3m/秒的情况下，对起重机作业中的回转体111的回转效率pr、臂120的起伏效率p
l
、卷扬机112的卷扬机效率pw几乎没有影响。因此，也可以以常温且无风作为前提，使学习部40生成学习完成模型，决定部20使用该学习完成模型决定停车位置po和伸出位置ro。在该情况下，将数式2的环境系数kr、k
l
、kw固定为数值1，求出动作效率评价函数j(work)即可。
[0145]
此外，在本说明书中，将数式2的环境系数kr、k
l
、kw设为大小为1的常数时的动作效率评价函数j(work)也称为第一动作效率的函数，将数式2的环境系数kr、k
l
、kw为变量时的动作效率评价函数j(work)也称为第二动作效率的函数。
[0146]
在上述的实施方式中，位置决定装置1、2被装备在复杂地形起重机100中，但位置决定装置1、2能够应用于具备行驶体110和外伸支腿130的全部移动式起重机。例如，位置决定装置1、2也能够应用于全地形起重机、汽车起重机。
[0147]
2020年7月27日提交的日本特愿2020-126487的日本技术所包含的说明书、附图及说明书摘要的公开内容全部被引用至本技术中。
[0148]
工业实用性
[0149]
本发明所涉及的吊离地面控制装置不限于应用于复杂地形起重机，能够应用于各种移动式起重机。
[0150]
附图标记说明
[0151]
1、2 位置决定装置
[0152]
3 服务器
[0153]
10 输入部
[0154]
11 数据集
[0155]
20 决定部
[0156]
21 神经网络部
[0157]
22 运算部
[0158]
25 参数数据库
[0159]
30 输出部
[0160]
40 学习部
[0161]
45 学习用数据库
[0162]
46 数据集
[0163]
50 网络
[0164]
100 复杂地形起重机
[0165]
110 行驶体
[0166]
111 回转体
[0167]
112 卷扬机
[0168]
120 臂
[0169]
121 臂头
[0170]
130 外伸支腿
[0171]
131 梁
[0172]
132 千斤顶
[0173]
133 浮动垫
[0174]
200 起升载荷
[0175]
211 节点
[0176]
212 输入层
[0177]
213 隐藏层
[0178]
214 输出层
[0179]
310 存储器
[0180]
311 神经网络程序
[0181]
312 学习程序
[0182]
313 位置决定程序
[0183]
320 cpu
[0184]
330 辅助存储器
[0185]
a、b 弦长
[0186]
m 作业区域
[0187]
t 气温
[0188]
w 风速
[0189]vxyz 风向
[0190]r1-r
4 位置
[0191]
p
s 开始地点
[0192]
p
e 结束地点
[0193]
p
o 停车位置
[0194]ro 伸出位置