PA视讯股份责任有限公司 - 工业AR远程指导与质检解决方案

新闻中心

News Center

当前位置: 首页 > 新闻中心 > 行业新闻

远程操作系统及远程操作服务器pdf

更新时间:2026-09-17点击次数:

  

远程操作系统及远程操作服务器pdf(图1)

  本发明提供一种系统等,在实现用于环境信息输出的数据通信负荷降低的同时,能以从根据多个操作员各自的远程操作技能等而由该多个操作员各自适当掌握作业机械的环境的观点出发适当的方式来避免环境信息的信息量的过度降低。根据远程操作系统或构成该系统的远程操作服务器(20),通过根据操作员的技能等执行“通信资源分配处理”,对多个远程操作装置(10)分配通信资源。通过执行“环境信息控制处理”,以一个或多个低环境信息因子的信息降低量比一个或多个高环境信息因子的信息降低量(表示该环境信息因子的变化引起的环境信息的信息

  (19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 113994052 A (43)申请公布日 2022.01.28 (21)申请号 0.4 (74)专利代理机构 上海立群专利代理事务所 (普通合伙) 31291 (22)申请日 2020.04.09 代理人 杨楷毛立群 (30)优先权数据 (51)Int.Cl. 2019.06.10 JP E02F 9/20 (2006.01) (85)PCT国际申请进入国家阶段日 E02F 9/26 (2006.01) 2021.12.06 H04N 7/18 (2006.01) (86)PCT国际申请的申请数据 PCT/JP2020/016056 2020.04.09 (87)PCT国际申请的公布数据 WO2020/250558 JA 2020.12.17 (71)申请人 神钢建机株式会社 地址 日本国广岛县 (72)发明人 船原佑介佐佐木均山崎洋一郎 权利要求书2页 说明书12页 附图8页 (54)发明名称 远程操作系统及远程操作服务器 (57)摘要 本发明提供一种系统等,在实现用于环境信 息输出的数据通信负荷降低的同时,能以从根据 多个操作员各自的远程操作技能等而由该多个 操作员各自适当掌握作业机械的环境的观点出 发适当的方式来避免环境信息的信息量的过度 降低。根据远程操作系统或构成该系统的远程操 作服务器(20),通过根据操作员的技能等执行 “通信资源分配处理”,对多个远程操作装置(10) 分配通信资源。通过执行“环境信息控制处理”, 以一个或多个低环境信息因子的信息降低量比 一个或多个高环境信息因子的信息降低量(表示 该环境信息因子的变化引起的环境信息的信息 A 降低量)更大的方式降低环境数据的数据量。根 2 据分配资源的差异以不同的方案执行该环境信 5 0 4 息控制处理。 9 9 3 1 1 N C CN 113994052 A 权利要求书 1/2页 1.一种远程操作服务器,具有与多个作业机械以及用于对该多个作业机械中成为远程 操作对象的一个作业机械进行远程操作的多个远程操作装置各自相互通信的功能,其特征 在于,具备: 状态识别元件,对表示所述多个远程操作装置各自的操作员的远程操作技能的高低以 及通过所述一个作业机械的作业内容的难易度的高低中的至少一方的指标值进行识别; 通信资源分配处理元件,基于由所述状态识别元件识别出的所述指标值,执行用于对 所述多个远程操作装置各自分配用于与所述一个作业机械相互通信的通信资源的通信资 源分配处理; 环境信息控制处理元件,执行环境信息控制处理,该环境信息控制处理用于根据由所 述通信资源分配处理元件分配的通信资源的差异而以不同的方案分别调节确定与环境数 据对应的环境信息的信息量的多个环境信息因子,从而降低该环境数据的数据量,所述环 境数据是在构成所述远程操作装置的信息输出装置中输出的、由所述作业机械具有的环境 识别装置获取到的表示所述作业机械的环境的数据。 2.如权利要求1所述的远程操作服务器,其特征在于, 所述状态识别元件识别操作员对所述远程操作装置的操作状态或所述作业机械的动 作状态, 具备环境信息控制处理元件,以根据由所述状态识别元件识别出的所述远程操作装置 的操作状态或所述作业机械的动作状态的差异而以不同的方案分别调节所述多个环境信 息因子的方式,执行所述环境信息控制处理。 3.如权利要求2所述的远程操作服务器,其特征在于, 所述环境信息控制处理元件通过如下方式执行所述环境信息控制处理:即,以不同的 方案划分所述多个环境信息因子中、根据由所述状态识别元件识别出的所述远程操作装置 的操作状态或所述作业机械的动作状态的差异而确定的高环境信息因子及低环境信息因 子,使得与该低环境信息因子对应的所述环境信息的信息量的降低比与该高环境信息因子 对应的所述环境信息的信息量的降低更大。 4.如权利要求3所述的远程操作服务器,其特征在于, 所述环境信息控制处理元件以不同的方案划分使一个所述低环境信息因子成为相对 于其他的所述低环境信息因子为所述高环境信息因子这样的所述高环境信息因子及所述 低环境信息因子,来执行所述环境信息控制处理。 5.如权利要求1~4的任一项所述的远程操作服务器,其特征在于, 所述环境信息控制处理元件以所述远程操作装置及所述作业机械中的至少一方的通 信速度低于基准值作为必要条件,执行所述环境信息控制处理。 6.如权利要求1~5的任一项所述的远程操作服务器,其特征在于, 所述通信资源分配处理元件使由所述状态识别元件识别出的所述指标值输出至指定 输出装置,对相对于通过指定输入装置被输入的所述多个远程操作装置分别分配用于与所 述一个作业机械相互通信的通信资源的方案进行识别,从而执行所述通信资源分配处理。 7.一种远程操作系统,其特征在于, 由多个作业机械、用于对该多个作业机械中成为远程操作对象的一个作业机械进行远 程操作的多个远程操作装置、具有与所述多个作业机械及所述多个远程操作装置各自相互 2 2 CN 113994052 A 权利要求书 2/2页 通信的功能的远程操作服务器构成, 所述远程操作服务器具备: 状态识别元件,对表示所述多个远程操作装置各自的操作员的远程操作技能的高低以 及通过所述一个作业机械的作业内容的难易度的高低中的至少一方的指标值进行识别; 通信资源分配处理元件,基于由所述状态识别元件识别出的所述指标值,执行用于对 所述多个远程操作装置各自分配用于与所述一个作业机械相互通信的通信资源的通信资 源分配处理; 环境信息控制处理元件,执行环境信息控制处理,该环境信息控制处理用于根据由所 述通信资源分配处理元件分配的通信资源的差异而以不同的方案分别调节确定与所述环 境数据对应的环境信息的信息量的多个环境信息因子,从而降低该环境数据的数据量,所 述环境数据是在构成所述远程操作装置的信息输出装置中输出的、由所述作业机械具有的 环境识别装置获取到的表示所述作业机械的环境的数据。 3 3 CN 113994052 A 说明书 1/12页 远程操作系统及远程操作服务器 技术领域 [0001] 本发明涉及用于远程操作作业机械等的系统。 背景技术 [0002] 在工程机械等作业机械的远程操作时,为了时作业机械事顺畅地作业,必须使通 信不中断。已提出有一种方法,在推测到操作员没有对作业机械进行远程操作的意愿的状 态(例如,乘降阻断杆上升的状态)下,限制对该操作员提供的影像的信息量,或者仅选择性 地提供以作业机械为基准的多个不同方位的影像中与作业机械的上部回转体的回转方向 对应的方位的影像(例如,参照专利文献1)。 [0003] 现有技术文献 [0004] 专利文献 [0005] 专利文献1:日本特开2017‑092908号公报 发明内容 [0006] 发明要解决的技术问题 [0007] 但是,在上述那样的状态下,如果限制影像的信息量或者仅选择性地输出特定方 位的影像,则有可能导致操作员变得难以掌握作业机械的环境。 [0008] 于是,本发明的目的在于提供一种系统等,在实现用于环境信息输出的数据通信 负荷降低的同时,能够从根据多个操作员各自的远程操作技能等而由该多个操作员各自适 当地掌握作业机械的环境的观点出发,以适当的方式来避免环境信息的信息量的过度降 低。 [0009] 用于解决上述技术问题的方案 [0010] 本发明的远程操作服务器具有与多个作业机械以及用于对该多个作业机械中成 为远程操作对象的一个作业机械进行远程操作的多个远程操作装置各自相互通信的功能, 其特征在于,具备:状态识别元件,对表示所述多个远程操作装置各自的操作员的远程操作 技能的高低以及通过所述一个作业机械的作业内容的难易度的高低中的至少一方的指标 值进行识别;通信资源分配处理元件,基于由所述状态识别元件识别出的所述指标值,执行 用于对所述多个远程操作装置各自分配用于与所述一个作业机械相互通信的通信资源的 通信资源分配处理;环境信息控制处理元件,执行环境信息控制处理,该环境信息控制处理 用于根据由所述通信资源分配处理元件分配的通信资源的差异而以不同的方案分别调节 确定与环境数据对应的环境信息的信息量的多个环境信息因子,从而降低该环境数据的数 据量,所述环境数据是在构成所述远程操作装置的信息输出装置中输出的、由所述作业机 械具有的环境识别装置获取到的表示所述作业机械的环境的数据。 [0011] 本发明的远程操作系统的特征在于,由多个作业机械、用于对该多个作业机械中 成为远程操作对象的一个作业机械进行远程操作的多个远程操作装置、以及所述远程操作 服务器构成。 4 4 CN 113994052 A 说明书 2/12页 附图说明 [0012] 图1是关于作为本发明的一实施方式的远程操作系统的构成的说明图。 [0013] 图2是关于作业机械的构成的说明图。 [0014] 图3是关于远程操作装置的构成的说明图。 [0015] 图4是关于作为本发明的一实施方式的远程操作系统的功能的说明图。 [0016] 图5是关于对各远程操作装置的通信资源的分配方案的说明图。 [0017] 图6是关于对各远程操作装置的通信资源的分配方案的说明图。 [0018] 图7A是关于通常状态中的环境信息因子的控制方案的说明图。 [0019] 图7B是关于与环境信息控制处理对应的环境信息因子的第1控制方案的说明图。 [0020] 图7C是关于与环境信息控制处理对应的环境信息因子的第2控制方案的说明图。 [0021] 图7D是关于与环境信息控制处理对应的环境信息因子的第3控制方案的说明图。 [0022] 图8A是关于通常状态中的环境信息的说明图。 [0023] 图8B是关于环境信息控制处理时的环境信息的说明图。 [0024] 图9是关于作业机械的作业现场中的通信速度的时间序列的说明图。 具体实施方式 [0025] (构成) [0026] 作为图1所示的本发明的一实施方式的远程操作系统具备多个远程操作装置10、 远程操作服务器20、多个作业机械40。 [0027] (作业机械的构成) [0028] 多个作业机械40各自具备从控制装置400、环境识别装置401、无线由运算处理装置(单核处理器或多核处理器或者构成该处理 器的处理器内核)构成,从存储器等存储装置读取必要的数据及软件,以该数据为对象执行 根据该软件的运算处理。 [0029] 作业机械40例如是履带式挖掘机(工程机械),如图2所示,具备履带式的下部行驶 体410、和经由回转机构430可回转地搭载于下部行驶体410的上部回转体420。在上部回转 体420的前方左侧部设有驾驶室(司机室)422。在上部回转体220的前方中央部设有作业附 件440。多个作业机械40中也可以包含履带式挖掘机及履带式起重机等多个种类的作业机 械。 [0030] 作为工作机构的作业附件440具备:动臂441,可起落地安装于上部回转体420;斗 杆443,可转动地连结于动臂441的前端;铲斗445,可转动地连结于斗杆443的前端。在作业 附件440安装有由可伸缩的液压油缸构成的动臂油缸442、斗杆油缸444及铲斗油缸446。 [0031] 动臂油缸442介于该动臂441与上部回转体420之间,使得其通过接PA视讯官方网站受工作油的供 给而伸缩,从而使动臂441在起落方向转动。斗杆油缸444介于该斗杆443与该动臂441之间, 使得其通过接受工作油的供给而伸缩,从而使斗杆443相对于动臂441绕水平轴转动。铲斗 油缸446介于该铲斗445与该斗杆443之间,使得其通过接受工作油的供给而伸缩,从而使铲 斗445相对于斗杆443绕水平轴转动。 [0032] 环境识别装置401由拍摄装置构成,该拍摄装置例如设置在驾驶室422的内部,透 过驾驶室422的前窗对包含至少一部分工作机构440的环境进行拍摄。环境识别装置401也 5 5 CN 113994052 A 说明书 3/12页 可以具备由麦克风等构成的声音输入装置。 [0033] 在驾驶室422设有:实机侧操作杆,与构成远程操作装置10的操作杆(后述)相对 应;驱动机构或机器人,从远程操作室接收与各操作杆的操作方案对应的信号,并基于该接 收信号使实机操作杆动作。 [0034] (远程操作装置的构成) [0035] 多个远程操作装置10各自具备主控制装置100、输入接口110、输出接口120。远程 操作装置10的至少一部分也可以由智能手机、平板终端或笔记本电脑等移动终端装置构 成。主控制装置100由运算处理装置(单核处理器或多核处理器或者构成该处理器的处理器 内核)构成,从存储器等存储装置读取必要的数据及软件,以该数据为对象执行根据该软件 的运算处理。 [0036] 输入接口110具备操作机构111、操作状态检测器112。输出接口120具备信息输出 装置121、无线包含有行驶用操作装置、回转用操作装置、动臂用操作装置、斗杆用 操作装置、铲斗用操作装置、阻断操作装置。各操作装置具有接受转动操作的操作杆。为了 使下部行驶体410动作而操作行驶用操作装置的操作杆(行驶杆)。行驶杆也可以兼作行驶 踏板。例如,也可以设置有固定于行驶杆的基部或者下端部的行驶踏板。为了使构成回转机 构430的液压式的回转电机动作而操作回转用操作装置的操作杆(回转杆)。为了使动臂油 缸442动作而操作动臂用操作装置的操作杆(动臂杆)。为了使斗杆油缸444动作而操作斗杆 用操作装置的操作杆(斗杆杆(arm  lever))。为了使铲斗油缸446动作而操作铲斗用操作装 置的操作杆(铲斗杆)。 [0038] 阻断操作装置的操作杆(阻断杆)以即使对所述行驶杆等各操作杆进行操作,作业 机械40也不会动作的方式进行锁定,另一方面,可操作阻断杆以解除该锁定。 [0039] 构成操作机构111的各操作杆例如如图3所示,配置在用于供操作员就座的座椅 1100的周围。座椅1100是带扶手的高背椅那样的形式,也可以是没有头枕的低背椅那样的 形式、或者是没有靠背的椅子那样的形式等操作员能够就座的任意的形式。 [0040] 在座椅1100的前方左右并排地配置有与左右的履带对应的左右一对的行驶杆 1110。一个操作杆可以兼作多种操作杆。例如,在对图3所示的设置于座椅1100的右侧框体 的前方的右侧操作杆1111沿前后方向操作的情况下作为动臂杆发挥功能,并且在沿左右方 向操作的情况下作为铲斗杆发挥功能。同样地,在对图3所示的设置于座椅1100的左侧框体 的前方的左侧操作杆1112沿前后方向操作的情况下作为斗杆杆发挥功能,并且在沿左右方 向操作的情况下作为回转杆发挥功能。可以根据操作员的操作指示任意地变更杆模式。 [0041] 在座椅1100的左侧框体的前方,设置在左侧操作杆1112的下方的阻断杆1113在上 升的情况下以即使对各操作杆1110、1111、1112进行操作,作业机械40也不会动作的方式进 行锁定,另一方面,在下降的情况下,作为用于解除该锁定的操作杆发挥功能。 [0042] 例如,如图3所示,信息输出装置121由分别配置在座椅1100的右斜前方、前方及左 斜前方的右斜前方图像输出装置1211、前方图像输出装置1212及左斜前方图像输出装置 1213构成。该信息输出装置121可以进一步具备配置于座椅1100的内部或周围的扬声器(语 音输出装置)。 [0043] 操作状态检测器112检测操作员对用于使作业机械200动作的操作装置400的操作 6 6 CN 113994052 A 说明书 4/12页 状态。例如,操作状态检测器112由传感器与运算处理装置构成,所述传感器输出与由弹簧 或弹性部件构成的弹压机构的变形量或位移量对应的信号,所述弹簧或弹性部件以使操作 杆复原至与操作量为0相对应的原位置及姿势的方式起作用;所述运算处理装置基于该传 感器的输出信号,对为了使上部回转体220从上方观察沿逆时针以某个速度回转而操作了 回转杆的情况等进行推定。 [0044] 可以是,在构成操作机构111的至少一个操作杆设有压力传感器或接触传感器,操 作状态检测器112由该传感器与对该至少一个操作杆被操作员握住的情况进行推定的运算 处理装置构成。也可以是,在座椅1100设有压力传感器或接触传感器,操作状态检测器112 由该传感器与对操作员就座于该座椅1100的情况进行推定的运算处理装置构成。 [0045] 操作状态检测器112也可以由先导压力传感器与运算处理装置构成,所述先导压 力传感器输出与先导压力对应的信号,该先导压力与设置于作业机械40的实机侧操作杆的 操作量对应;所述运算处理装置基于该先导压力传感器的输出信号,对为了使上部回转体 420从上方观察沿逆时针以某个速度回转而操作了回转杆的情况等进行推定。 [0046] (远程操作服务器的构成) [0047] 远程操作服务器20具备状态识别元件21、通信资源分配处理元件22、环境信息控 制处理元件23。状态识别元件21可与远程操作装置10、作业机械40通信。此外,也可以与远 程操作服务器20独立地或一体地设置数据库服务器,构成为使该数据库服务器与远程操作 服务器20可通信。 [0048] 状态识别元件21基于与远程操作装置10、作业机械40及数据库服务器中的至少一 个的通信,对表示多个远程操作装置10各自的操作员的远程操作技能的高低以及通过作为 远程操作对象的一个作业机械的作业内容的难易度的高低中的至少一方的指标值进行识 别。状态识别元件21基于与远程操作装置10及作业机械40中的任一方的通信,对操作员对 远程操作装置10(或者构成它的操作机构111)的操作状态及作业机械40的动作状态中的至 少一方进行识别。 [0049] 通信资源分配处理元件22基于由状态识别元件21识别出的指标值,执行通信资源 分配处理。“通信资源分配处理”是用于对多个远程操作装置10各自分配通信资源的运算处 理,该通信资源用于与一个作业机械40相互通信。 [0050] 环境信息控制处理元件23执行用于根据由通信资源分配处理元件22对多个远程 操作装置10各自分配的通信资源的差异而以不同的方案进行调节的环境信息控制处理。环 境信息控制处理元件23根据由状态识别元件21识别出的远程操作装置10的操作状态或作 业机械40的动作状态的差异而以不同的方案执行环境信息控制处理。“环境信息控制处理” 是用于对确定在远程操作装置10的信息输出装置121中输出的环境信息的信息量的多个环 境信息因子各自进行调节从而降低该环境数据的数据量的运算处理。 [0051] (功能) [0052] 通过状态识别元件21,基于与远程操作装置10、作业机械40及数据库服务器中的 至少一个的通信,对表示多个远程操作装置10各自的操作员的远程操作技能的高低以及通 过作为远程操作对象的一个作业机械的作业内容的难易度的高低的指标值进行识别(图4/ 步骤202)。通过与一个远程操作装置10的相互通信,能够通过状态识别元件21识别操作该 一个远程操作装置10的操作员。通过与数据库服务器的通信,能够通过在该数据库中进行 7 7 CN 113994052 A 说明书 5/12页 查询从而通过状态识别元件21识别对该操作员分配的作业内容。 [0053] 表示各操作员Pi(i=1,2,‥,N)的远程操作技能的高低的指标值xi及表示各作业 Tj(j=1,2,‥,M)的难易度的高低的指标值yj被存储保存于数据库服务器、或者构成远程 操作装置10(主控制装置100)或作业机械40(从控制装置400)的存储装置。指标值xi是基于 对多个不同的作业各自的完成次数(完成次数越多,技能越高)、对多个不同的作业各自的 平均完成时间(平均完成时间越短,技能越高)、以及操作失误的次数(失误越少,技能越高) 等要素进行评分来评价的。指标值yi是基于各作业的平均完成时间(平均完成时间越长,难 易度越高)以及各操作员对操作机构111的操作频次(频次越高,难易度越高)等要素进行评 分来评价的。 [0054] 表1中示出了具有技能xi的操作员Pi(i=1~4)各自在时间段t0~t3中完成的作 业内容及其难易度。第1操作员P1在时间段t0~t1中完成作业Q1(难易度y1),接着在时间段 t1~t1中完成作业Q2(难易度y2)。第2操作员P2在时间段t0~t1中完成作业Q2(难易度y2), 接着在时间段t1~t3中完成作业Q1(难易度y1)。第3操作员P3在时间段t0~t3中始终完成 作业Q1(难易度y1)。第4操作员P4仅在时间段t2~t3中完成作业Q2(难易度y2)。 [0055] 指标值zi是以技能xi为主变量的减函数(技能xi越高,指标值zi变得越小),另一 方面,是以作业难易度yi为主变量的增函数(作业难易度yi越高,指标值zi变得越大)。指标 值zi例如按照关系式(1)评价。 [0056] zi=yi/xi‥   (1)。 [0057] [表1] [0058] [0059] 通信资源分配处理元件22基于由状态识别元件21识别出的指标值,执行通信资源 分配处理。“通信资源分配处理”是用于对多个远程操作装置10各自分配通信资源的运算处 理,该通信资源用于与一个作业机械40相互通信。 [0060] 以对各远程操作装置10分配的通信资源Bi的合计ΣBi达到通信资源的最大值 Bmax以下的方式执行通信资源分配处理(图4/步骤204)。例如,对由操作员Pi操作的远程操 作装置10分配的通信资源Bi基于指标值zi、在相同时间点或相同期间成为通信资源的分配 对象的各操作员的指标值zi的合计Σzi及通信资源的最大值Bmax,按照关系式(2)进行设 定。 [0061] Bi=Bmax·zi/(Σzi+δ)‥   (2)。 [0062] 关系式δ为调整系数,例如,在作业难易度yi的合计值Σyi为基准值以上的情况下 设定为“0”,在作业难易度yi的合计值Σyi低于基准值的情况下,设定为该差值越大,则越 阶段性或连续性变大的正值。 [0063] 在图5示出了对如表1所示那样由4个操作员Pi各自通过独立的远程操作装置10通 过独立的作业机械40完成作业的情况下的、各期间[t0,t1]、[t1,t2]及[t2,t3]中的各远程 操作装置10的通信资源Bi的分配方案。图6中,通信资源B1的时间变化方案以一点划线的时间变化方案以两点划线的时间变化方案以实线的时间变化方案以虚线示出。通信资源Bi例如是通信速度(每单位时间的通信 容量)。 [0064] 在期间[t0,t1]中,存在B1<B3<B2的大小关系。这是因为虽然第1操作员P1及第3 操作员P3各自完成共通的第1作业Q1,但是第1操作员P1的技能x1比第3操作员P3的技能x3 更高。此外,是因为第2操作员P2的技能x2比第3操作员P3的技能x3稍高,但另一方面,第1作 业Q1的难易度y1比第2作业Q2的难易度y2更高。ΣBi=B1+B2+B3低于通信资源的最大值 Bmax,这是因为作业难易度yi的合计值Σyi=2y1+y2低于基准值(关系式(2)中δ>0)。 [0065] 在期间[t1,t2]中,存在B2<B3<B1的大小关系。这是因为虽然第2操作员P2及第3 操作员P3各自完成共通的第1作业Q1,但是第2操作员P2的技能x2比第3操作员P3的技能x3 更高。此外,是因为第1操作员P1的技能x2比第3操作员P3的技能x3更高,但另一方面,第1作 业Q1的难易度y1比第2作业Q2的难易度y2更高。ΣBi=B1+B2+B3低于通信资源的最大值 Bmax,这是因为作业难易度yi的合计值Σyi=y1+2y2低于基准值(关系式(2)中δ>0)。通信 资源B3在期间[t0,t1]及[t1,t2]中维持恒定。 [0066] 在期间[t2,t3]中,存在B2<B3<B1<B4的大小关系。这是因为,除了关于期间 [t1,t2]的上述理由外,还因为虽然第1操作员P1及第3操作员P3各自完成共通的第1作业 Q1,但是第1操作员P1的技能x1比第4操作员P4的技能x4更高。ΣBi=B1+B2+B3+B4与通信资 源的最大值Bmax相等,这是因为作业难易度yi的合计值Σyi=2y1+2y2为基准值以上(关系 式(2)中δ=0)。比起期间[t1,t2],通信资源B1、B2及B3各自在期间[t2,t3]中降低,这是因 为对第4操作员P4操作的远程操作装置10也分配了一部分通信资源。 [0067] 在远程操作装置10中,由操作员对操作机构111进行操作(图4/步骤102),与此对 应地,由主控制装置100通过无线发送与该操作方案对应 的操作指令(图4/步骤104)。 [0068] 在远程操作服务器20中,由状态识别元件21从远程操作装置10接收动作指令,并 且对作业机械40发送该动作指令(图4/步骤206)。 [0069] 在作业机械40中,由从控制装置400通过无线)。与此对应地,由从控制装置400控制作业附件440等的动作(图4/步骤404)。例如,执 行由铲斗445将作业机械40前方的土铲起、在使上部回转体410回转后从铲斗445将土倒落 的作业。 [0070] 在作业机械40中,由环境识别装置401获取拍摄图像作为环境信息(图4/步骤 406)。此时,也可以获取语音信息作为环境信息。可以将由主控制装置100通过无线发送了操作开始指令的情况 设为开始获取环境信息的触发器(trigger)。操作开始指令例如根据在远程操作装置10中 以规定方案对构成输入接口110或操作机构111的按钮或操作杆进行了操作的情况而输出。 由环境识别装置401获取到的环境信息从作业机械40发送,被远程操作服务器20接收。 [0071] 在远程操作服务器20中,由环境信息控制处理元件23执行环境信息控制处理(图 4/步骤210)。“环境信息控制处理”是用于对确定在远程操作装置10的信息输出装置121中 输出的环境信息的信息量的多个环境信息因子各自进行调节从而降低该环境数据的数据 量的运算处理。具体而言,是用于以不同的方案调节多个环境信息因子,使得多个环境信息 因子中比起“高环境信息因子”,与“低环境信息因子”对应的该信息量的降低更大的运算处 9 9 CN 113994052 A 说明书 7/12页 理。 [0072] 环境信息控制处理可设为,判定是否需要该执行处理,仅在该判定结果为肯定的 情况下,由环境信息控制处理元件23执行环境信息控制处理。例如,可以判定与动作指令对 应的操作机构111的操作状态是否是作为环境信息控制处理的对象的指定操作状态。也可 以通过远程操作服务器20与作业机械40的通信来识别该作业机械40的与动作指令对应的 动作状态,判定作业机械40的动作状态是否是作为环境信息控制处理的对象的指定动作状 态。也可以由环境信息控制处理元件23在识别出远程操作服务器20与远程操作装置10或作 业机械40的通信速度之后,判定该通信速度是否低于基准值。 [0073] 根据对远程操作装置10分配的通信资源的差异而以不同的方案执行环境信息控 制处理。以不同的方案划分高环境信息因子及低环境信息因子来执行环境信息控制处理, 使得例如对远程操作装置10分配的通信资源越多,被划分为高环境信息因子的环境信息因 子的数量变得越少,另一方面,例如对远程操作装置10分配的通信资源越少,被划分为高环 境信息因子的环境信息因子的数量变得越多。 [0074] 进一步地,根据来自远程操作装置10的动作指令及与该动作指令对应的作业机械 40的动作状态中的至少一方的操作状态的差异,以不同的方案划分高环境信息因子及低环 境信息因子来执行环境信息控制处理。 [0075] 在图7A中,示出了在通常状态、即在未执行环境信息控制处理的状态下,确定环境 信息的信息量的4个环境信息因子X1~X4各自的值为将下限制Q1作为基准进行归一化时的 基准值Q2的情况。在环境信息为图像的情况下,4个环境信息因子X1~X4例如为分辨率、帧 率、像素值的维数及输出图像范围的宽度。在环境信息中包含语音的情况下,例如,多个环 境信息因子中包含采样频率、量化比特数及声音的频带中的至少一个。在图7B~图7D各自 示出了操作状态分别为第1~第3指定操作状态的情况下的、4个环境信息因子X1~X4各自 的目标值或指令值。 [0076] 在第1指定操作状态中,环境信息因子X1及X2降低为比基准值Q2低,环境信息因子 X3及X4维持为基准值Q2(参照图7B)。该情况下,环境信息因子X3及X4相当于“高环境信息因 子”,环境信息因子X1及X2相当于以环境信息的信息量的降低比该高环境信息因子更大的 方式被调节的“低环境信息因子”。 [0077] 在第2指定操作状态中,环境信息因子X3及X4降低为比基准值Q2低,环境信息因子 X3的该降低量比环境信息因子X4更大,环境信息因子X1及X2维持为基准值Q2(参照图7C)。 该情况下,环境信息因子X1及X2相当于“高环境信息因子”,环境信息因子X3及X4相当于以 环境信息的信息量的降低比该高环境信息因子更大的方式被调节的“低环境信息因子”。进 一步地,环境信息因子X4相当于“高环境信息因子(或者1次低环境信息因子)”,环境信息因 子X3相当于以环境信息的信息量的降低比该高环境信息因子更大的方式被调节的“低环境 信息因子(或者2次低环境信息因子)”。 [0078] 在第3指定操作状态中,环境信息因子X2降低为比基准值Q2低,环境信息因子X3增 大为比基准值Q2大,环境信息因子X1及X4维持为基准值Q2(参照图7D)。该情况下,环境信息 因子X3相当于“高环境信息因子”,环境信息因子X1、X2及X4相当于以环境信息的信息量的 降低比该高环境信息因子更大的方式被调节的“低环境信息因子”。进一步地,环境信息因 子X1及X4相当于“高环境信息因子(或者1次低环境信息因子)”,环境信息因子X2相当于以 10 10 CN 113994052 A 说明书 8/12页 环境信息的信息量的降低比该高环境信息因子更大的方式被调节的“低环境信息因子(或 者2次低环境信息因子)”。 [0079] 例如,也可以根据作业机械40的远程操作状态的区别,如表2所示那样分别调节多 个环境信息因子。 [0080] [表2] [0081] [0082] 在表2中,阻断杆上升(状态A)是操作员没有对作业机械40的操作意愿的状态,使 环境信息因子降低。为了保持视野,也可以对图像范围进行维持。 [0083] 阻断杆上升+握住杆(状态B)虽然与状态A同样是操作员没有对作业机械40的操作 意愿的状态,但其为通过由操作员握住操作杆而将环境信息因子的降低减缓的状态。例如, 是对将搬运沙土用的卡车移动至规定位置的情况进行确认时调整的环境信息因子的状态。 由于不进行挖掘等作业,因此能够降低帧率。 [0084] 在进行上部回转体的回转操作(状态C)时,降低了分辨率。这是为了降低因画面以 高速移动而引起的画面的难以辨认和不适感。另一方面,对于图像范围通过设为可增大,能 够确保回转方向的可见性。 [0085] 在进行下部行驶体的平移操作(状态D)时,主要对移动方向需要高精度的信息,期 望不降低环境信息因子。在通信负荷被迫降低的情况下,通过优先维持图像范围从而能够 确保行驶方向的可见性。 [0086] 粗挖掘操作(状态E)是到与挖掘的计划面分离的面期间重视作业速度进行挖掘的 状态。虽然维持帧率,但即使降低其他环境信息因子在作业上也不会成为问题。在进行伴随 回转等移动的作业时,期望不降低图像范围。 [0087] 精挖掘操作(状态F)例如是对经过粗挖掘而距离挖掘的计划面的残留的沙土区域 重视精度进行挖掘的状态。在该状态下期待不降低环境信息因子。在通信负荷被迫降低的 情况下,通过在铲斗等运转时,降低图像范围的同时维持帧率,从而在不对作业性造成影响 的情况下使环境信息因子降低。此外例如操作员确认作业面时等、在铲斗等的运转迟缓时, 在降低帧率的同时维持图像范围。 [0088] 此外,也假设有整地作业操作(状态D及状态E的组合)作为上述的状态的组合。期 望在仅由铲斗进行整平作业时降低图像范围,在还进行行驶操作的情况下不降低图像范 围。 [0089] 接着,在远程操作服务器20中,由环境信息控制处理元件23对作业机械40发送环 境信息控制指令(图4/步骤212)。在环境信息控制指令中,除了通常状态或指定操作状态的 区别(有无执行环境信息控制处理的区别)以外,还包含用于确定多个因子的调节方案的数 据。 [0090] 在作业机械40中,由从控制装置400通过无线接收环境信息控制指令 11 11 CN 113994052 A 说明书 9/12页 (图4/步骤408)。由从控制装置400将表示拍摄图像的环境数据的数据量按照环境信息控制 指令进行调节的前提下,对远程操作服务器30发送该环境数据的数据量(图4/步骤410)。 [0091] 在远程操作服务器20中,由环境信息控制处理元件23从作业机械40接收环境数 据,并且对远程操作装置10发送该环境数据(图4/步骤214)。 [0092] 在远程操作装置10中,由主控制装置100通过无线将与环境数据对应的环境信息(拍摄图像本身的全部或一部 分或者基于此生成的模拟环境信息)输出至信息输出装置121(图4/步骤108)。 [0093] 由此,在通常状态下,例如如图8A所示,将包含有作为工作机构的作业附件440的 一部分即动臂441、斗杆443、铲斗445及斗杆油缸444的环境信息分别输出至高信息输出装 置121及低信息输出装置221。在环境信息因子X1为“与通常状态相同的输出图像范围”、环 境信息因子X2为“分辨率”的情况下,在第1指定操作状态(参照图7B)中,将环境信息的一部 分(例如,中央的矩形状区域)具有与通常状态相同的分辨率、其他部分(例如,将该一部分 的区域以矩形框状包围的区域)的分辨率具有比通常状态更低的分辨率的环境信息输出至 信息输出装置121。此外,在环境信息因子X1为“输出图像范围”、环境信息因子X2为“分辨 率”的情况下,在第1指定操作状态中,仅将环境信息的一部分以比通常状态降低了分辨率 的状态输出至信息输出装置121(参照图8B)。 [0094] 可以通过作为环境信息因子的“输出图像范围(或者与通常状态相同的输出图像 范围)”来指定信息输出装置121中的单个图像区域,也可以指定多个图像区域。可以根据作 为环境信息因子的“输出图像范围”来指定信息输出装置121中的扩展方式(由形状、尺寸及 重心位置等来确定)在时间序列上恒定的图像区域,也可以指定包含铲斗445的图像区域 等、信息输出装置121中的扩展方式在时间序列上变化的图像区域。 [0095] 在环境信息因子X3为“像素值的维数”、环境信息因子X4为“帧率”的情况下,在第2 指定操作状态(参照图5C)中,例如将环境信息的帧率降低(24~30FPS→2~10FPS等)、并且 使通常状态下的包含色相及亮度值的二维(色相以RGB值等三维向量来表现的情况下为四 维)的像素值仅具有包含亮度值(灰度)的一维的像素值的环境信息输出至信息输出装置 121。 [0096] 在本次的环境信息的信息量比上次的环境信息的信息量降低的情况下,除了本次 的环境信息以外,也可以从信息输出装置121输出上次以前的规定次数的环境信息。例如, 在作为环境信息的本次的环境图像的分辨率比上次的环境图像的分辨率降低的情况下,除 了本次的环境图像以外,也可以将上次或者上次以前的多次的环境图像输出显示于信息输 出装置。 [0097] (效果) [0098] 根据该构成的远程操作系统或者构成该远程操作系统的远程操作服务器20,可根 据指标值执行通信资源分配处理(参照图4/步骤204、图5及图6)。“指标值”是表示多个远程 操作装置10各自的操作员的远程操作技能的高低以及通过成为远程控制对象的一个作业 机械的作业内容的难易度的高低中的至少一方的值(参照关系式(1))。因此,鉴于各操作员 的远程操作技能的高低以及通过作业机械40的作业内容的难易度的高低中的一方或双方, 以适当的方式对各远程操作装置分配通信资源。 [0099] 此外,通过执行“环境信息控制处理”,对确定环境信息的信息量的多个环境信息 12 12 CN 113994052 A 说明书 10/12页 因子各自进行调节。具体而言,以一个或多个低环境信息因子的信息降低量比一个或多个 高环境信息因子的信息降低量(表示该环境信息因子的变化引起的环境信息的信息降低 量)更大的方式降低环境数据的数据量(参照图4/步骤210、图7A~图7D)。以低环境信息因 子的信息降低量 ·BR相比于高环境信息因子的信息降低量相对变大的方式调节数据量, 相应地实现该数据量的降低,进而实现环境数据的通信负荷的降低。另一方面,以高环境信 息因子的信息降低量相比于低环境信息因子的信息降低量相对变小的方式调节数据量,相 应地可以避免该数据量的过度降低,进而可以避免环境信息的信息量的过度降低。 [0100] 由此,在实现用于环境信息输出的数据通信负荷降低的同时,鉴于操作员的远程 操作技能以及作业内容的难易度,可以为了由该操作员适当地掌握作业机械的环境而以适 当的方式来避免环境信息的信息量的过度降低。 [0101] 在以不同方案划分使一个低环境信息因子成为相对于其他的低环境信息因子为 高环境信息因子这样的高环境信息因子以及低环境信息因子来执行环境信息控制处理的 情况下,由于根据操作状态的差异,多个环境信息因子的调节方案的范围被扩张,因此,在 实现用于环境信息输出的数据通信负荷降低的同时,根据操作员对作业机械的操作状态, 以从由该操作员适当地掌握作业机械的环境的观点出发更细致且适当的方式来避免环境 信息的信息量的过度降低。 [0102] 该环境信息控制处理根据对各远程操作装置的通信资源的分配方案的差异而以 不同的方案对多个环境信息因子各自进行调节。进一步地,该环境信息控制处理根据操作 状态(与操作员对操作机构111的操作状态对应的动作指令以及与该动作指令对应的作业 机械40的动作状态中的至少一方的状态)的差异而以不同的方案对多个环境信息因子各自 进行调节。具体而言,根据该差异,以不同的方案划分高环境信息因子及低环境信息因子并 执行(参照图7A~图7D)。由此,可在实现用于环境信息输出的数据通信负荷降低的同时,根 据操作员对作业机械40的远程操作状态,以从由该操作员适当地掌握作业机械40的环境的 观点出发较为适当的方式来避免环境信息的信息量的过度降低(参照图8A~图8B)。 [0103] (本发明的其他的实施方式) [0104] 在上述实施方式中,设为识别每个时间段的作业内容(作业难易度)(图4/步骤 202)并执行通信资源分配处理(图4/步骤204),但作为另一实施方式,也可以设为对作业内 容(作业难易度)添加作业现场的每个时间段的通信速度。例如,如图9所示,记录有作业机 械40与远程操作服务器20的每个时间段的过去30天的通信速度的平均值A。也可以是,若鉴 于当前的通信速度B与通信速度的平均值A而判定为进行作业的时间段的通信速度有余量, 则判定为没有通信速度引起的难易度变化,另一方面,若判定为通信速度没有余量,则判定 为因通信速度的降低而需要针对作业难易度要求大量必要的技能。 [0105] 在其他的实施方式中,也可以通过构成远程操作服务器20的环境信息控制处理元 件23,在与通常状态同样地从作业机械40接收到环境数据之后,执行环境信息控制处理,由 此来增减调节对远程操作装置10发送的环境数据的数据量。 [0106] 在其他的实施方式中,也可以由主控制装置100构成远程操作服务器20或环境信 息控制处理元件23,远程操作装置10及作业机械40直接或经由无线通信基站进行相互通 信。在该情况下,也可以通过由具有与环境信息控制处理元件23相同的功能的主控制装置 100执行环境信息控制处理,增减调节从作业机械40对远程操作装置10发送的环境数据的 13 13 CN 113994052 A 说明书 11/12页 数据量。主控制装置100及远程操作服务器20能够通过共通的处理器中的通信电路或者将 独立的处理器连接的通信电路相互进行通信。 [0107] 在其他的实施方式中,也可以由从控制装置400构成远程操作服务器20或环境信 息控制处理元件23,远程操作装置10及作业机械40直接或经由无线通信基站进行相互通 信。在该情况下,也可以通过由具有与环境信息控制处理元件23相同的功能的从控制装置 400执行环境信息控制处理,增减调节从作业机械40对远程操作装置10发送的环境数据的 数据量。从控制装置400及远程操作服务器20能够通过共通的处理器中的通信电路或者将 独立的处理器连接的通信电路相互进行通信。 [0108] 在上述实施方式中,多个环境信息因子被划分为高环境信息因子及低环境信息因 子来调节,但作为另一实施方式,多个环境信息因子也可以根据远程操作装置10的至少一 个指定操作状态或者作业机械40的至少一个指定动作状态同样地进行调节,而不是被划分 为高环境信息因子及低环境信息因子。即,也可以控制为使得多个环境信息因子从基准值 Q2的降低量全部相同。 [0109] 在上述实施方式中,从远程操作装置10经由远程操作服务器20对作业机械40发送 动作指令(参照图4/步骤104→步骤204→步骤402),但作为另一实施方式,也可以从远程操 作装置10经由无线发送动作指令。在该情况下,也可以基于远程操 作服务器20与远程操作装置10的通信结果,通过环境信息控制处理元件23对动作指令或者 与之对应的远程操作装置10的操作状态进行识别。或者,也可以基于远程操作服务器20与 作业机械40的通信结果,通过环境信息控制处理元件23对与动作指令对应的作业机械40的 动作状态进行识别。 [0110] 在上述实施方式中,从作业机械40经由远程操作服务器20对远程操作装置10发送 环境数据(参照图4/步骤410→步骤214→步骤106),但作为另一实施方式,也可以从作业机 械40经由无线通信基站对远程操作装置10发送环境数据。 [0111] 在上述实施方式中,也可以在将执行了环境信息控制处理的情况下的环境信息的 信息量的降低方案输出至信息输出装置121之后,以通过输入接口110允许该环境信息控制 处理的执行作为必要条件,执行该环境信息控制处理。 [0112] 也可以通过由通信资源分配处理元件22识别将由状态识别元件21识别出的指标 值zi(或者xi及yi)输出至指定输出装置,对通过指定输入装置被输入的多个远程操作装置 10各自分配通信资源的方案,从而执行所述通信资源分配处理。指定输出装置及指定输入 装置也可以构成智能手机、平板终端或者笔记本电脑等管理员(manager)所管理的终端装 置。根据输出至指定输出装置的指标值,能够辅助与对多个远程操作装置10各自的通信资 源的分配相关的管理员(manager)所进行的研究及考察。此外,通过指定输入装置,可使该 管理员进行与该研究结果对应的对各远程操作装置10的适当的通信资源的分配。 [0113] 在环境数据中,除了表示作业机械40的外部环境的“外部环境数据”之外,还可以 包含表示作业机械40的动作状态的“内部环境数据”。在该情况下,通过设置于作业附件440 且对表示动臂及斗杆的姿势的角度进行检测的角度传感器等,获取表示该角度的数据作为 环境数据。例如,在作为作业机械40的履带式起重机进行悬吊作业的情况下,通过将表示动 臂及斗杆的角度的数据从环境数据中省略,能够实现该环境数据的数据量的降低。 [0114] 附图标记说明 14 14 CN 113994052 A 说明书 12/12页 [0115] 10 远程操作装置 [0116] 20 远程操作服务器 [0117] 21 状态识别元件 [0118] 22 通信资源分配处理元件 [0119] 23 环境信息控制处理元件 [0120] 40 作业机械 [0121] 100 主控制装置 [0122] 110 输入接口 [0123] 111 操作机构 [0124] 112 操作状态检测器 [0125] 120 输出接口 [0126] 121 信息输出装置 [0127] 122 无线 环境识别装置 [0130] 402 无线 作业附件(工作机构)。 15 15 CN 113994052 A 说明书附图 1/8页 图1 16 16 CN 113994052 A 说明书附图 2/8页 图2 图3 17 17 CN 113994052 A 说明书附图 3/8页 图4 18 18 CN 113994052 A 说明书附图 4/8页 图5 19 19 CN 113994052 A 说明书附图 5/8页 图6 20 20 CN 113994052 A 说明书附图 6/8页 图7A 图7B 图7C 21 21 CN 113994052 A 说明书附图 7/8页 图7D 图8A 图8B 22 22 CN 113994052 A 说明书附图 8/8页 图9 23 23

  2、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问加。

  3、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。

  4、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档

  对包括ALGAINP-LED的半导体晶圆进行激光处理以提高其光产生效率的方法.pdf

  提供农业、铸造、给排水、测量、发电等专利信息的免费检索和下载;后续我们还将提供提供专利申请、专利复审、专利交易、专利年费缴纳、专利权恢复等更多专利服务。并持续更新最新专利内容,完善相关专利服务,助您在专利查询、专利应用、专利学习查找、专利申请等方面用得开心、用得满意!

  原创力文档创建于2008年,本站为文档C2C交易模式,即用户上传的文档直接分享给其他用户(可下载、阅读),本站只是中间服务平台,本站所有文档下载所得的收益归上传人所有。原创力文档是网络服务平台方,若您的权利被侵害,请发链接和相关诉求至 电线) ,上传者

  • 电子邮箱: pashixun@shaosudp.com

  • 热线电话: 13585779255

  • 公司地址: 上海市金山区廊下镇景乐路228号7幢M647室

Copyright © 2025 PA视讯股份责任有限公司 版权所有
备案号:沪ICP备2024092840号-1

SiteMap

网站二维码
关注

联系

13585779255

顶部