作业车辆多相机视觉系统的制作方法

专利2024-07-28  53


相关申请的交叉引用

不适用。

联邦政府资助的研究或开发声明

不适用。

本公开涉及作业车辆多相机视觉系统,其使得作业车辆的操作员能够在提供作业车辆的周围环境的不同视图的多个相机馈送之间进行监控和直观导航。



背景技术:

在建筑、农业、林业、采矿和其它工业内利用的作业车辆通常在挑战性的作业环境中操作。通常需要操作员仔细地驾驶这样的作业车辆,同时执行各种任务并且避开周围结构、邻近的作业车辆和其它障碍物。给定的作业车辆可能是相当大并且复杂的机器,从而需要相对高水平的操作员技能来控制作业车辆的各种功能,在许多例项中包括大臂安装的工具或其它末端执行器的移动。同时地,从作业车辆的操作员站或驾驶室的可见性可能受到作业车辆的底盘、铲斗或其它末端执行器相对于驾驶室的定位或其它视觉障碍的限制。出于这个原因,某些作业车辆现在配备有为操作员提供作业车辆的周围环境的相对无障碍的视图的相机系统或“视觉系统”。作为特定示例,作业车辆可以配备有视觉系统,所述视觉系统为操作员提供通常在作业车辆的后部的环境的视图,如在作业车辆驾驶室内的显示屏幕上呈现的并且由在最佳有利点位置处安装到作业车辆的相机捕获的。这不仅通过提供作业车辆的周围环境的无障碍后方视图来改进操作员效率和情境感知,而且还可以通过使得操作员能够保持坐在面向前方的位置中同时观看显示屏幕并且反向地操作作业车辆来改进操作员舒适度。



技术实现要素:

公开了结合作业车辆利用的多相机视觉系统。在实施例中,所述多相机视觉系统包括显示装置和车辆相机,所述车辆相机提供如从不同有利点捕获的作业车辆的周围环境的车辆相机馈送。控制器可操作地联接到所述车辆相机和所述显示装置。所述控制器被配置成:(i)在所述显示装置上生成包括取景图标(framingicons)、在取景图标内的图库显示区域(gallerydisplayarea)和主显示区域的多相机显示;(ii)从所述多个车辆相机馈送识别当前选择的车辆相机馈送和一个或多个未选择的车辆相机馈送;以及(iii)在所述多相机显示的主显示区域中呈现所述当前选择的车辆相机馈送,而在相应数量的图库显示区域中同时呈现所述一个或多个未选择的车辆相机馈送。

在其它实施例中,所述多相机视觉系统包括:显示装置,所述显示装置被利用在所述作业车辆的操作员站内;第一车辆相机,所述第一车辆相机提供如从第一有利点捕获的作业车辆的周围环境的第一车辆相机馈送;和第二车辆相机,所述第二车辆相机提供如从与所述第一有利点不同的第二有利点捕获的作业车辆的周围环境的第二车辆相机馈送。控制器可操作地联接到所述第一车辆相机、所述第二车辆相机和所述显示装置。所述控制器被配置成:(i)在所述显示装置上生成包括主显示区域、第一图库显示区域和第二图库显示区域的多相机显示;(ii)确定操作员何时选择新的相机馈送以用于所述主显示区域上的呈现;(iii)当所述第一视频相机馈送被选择用于主要呈现时,将所述第一视频相机馈送的呈现从所述第一图库显示区域切换到所述主显示区域;以及(iv)当所述第二视频相机馈送被选择用于主要呈现时,将所述第二视频相机馈送的呈现从所述第二图库显示区域切换到所述主显示区域。

在又一些实施方案中,所述多相机视觉系统包括:显示装置,所述显示装置被利用在所述作业车辆的操作员站内;第一和第二后方车辆相机,所述第一和第二后方车辆相机提供如从不同有利点捕获的通常位于所述作业车辆后方的区域的第一和第二后方车辆相机馈送;和控制器,所述控制器联接到所述第一后方车辆相机、所述第二后方车辆相机和所述显示装置。所述控制器被配置成:(i)在所述显示装置上生成包括第一车辆后视镜组件图标、第二车辆后视镜组件图标和主显示区域的多相机显示;(ii)识别当前选择的相机馈送以用于在所述多相机显示的主显示区域中呈现;(iii)在所述第二后方车辆相机馈送被识别为所述当前选择的相机馈送时,在所述第一车辆后视镜组件图标的镜部分中呈现所述第一后方车辆相机馈送,而在所述主显示区域中同时呈现所述第二后方车辆相机馈送;以及(iv)在所述第一后方车辆相机馈送被识别为所述当前选择的相机馈送时,在所述第二车辆后视镜组件图标的镜部分中呈现所述第二后方车辆相机馈送,而在所述主显示区域中同时呈现所述第一后方车辆相机馈送。

在附图和下文说明书中陈述了一个或多个实施例的细节。根据说明书、附图和权利要求书,其它特征和优点将变得显而易见。

附图说明

下文中将结合以下附图描述本公开的至少一个示例:

图1是配备有多相机视觉系统的示例性实施例的作业车辆(这里,轮式装载机)的俯视图;

图2是在图1中所示的作业车辆上车载部署的示例性多相机视觉系统的示意图;

图3到图5是由图1到2中所示的多相机视觉系统生成的示例性多相机显示的截屏,其图示了当中央后方相机馈送是当前选择的相机馈送时(图3)、当左后方相机馈送是当前选择的相机馈送时(图4)以及当右后方相机馈送是当前选择的相机馈送时(图5)的多相机显示;

图6是图3到图5中所示的示例性多相机显示的截屏,其图示了操作员可以与图形用户界面(gui)元素(这里,中央取景图标和/或其中的图库显示区域)交互以控制对应车辆相机的功能性的一种方式;并且

图7是图3到图6中所示的示例性多相机显示的截屏,其图示了当当前没有被选择用于在多相机显示的主显示区域上的主要呈现时可以在多相机显示上生成视觉警报以将操作员的注意力引向特定相机馈送的一种方式。

在各个附图中,类似的附图标记指示类似的元件。为了图示的简单和清楚,可以省略众所周知的特征和技术的描述和细节,以避免不必要地模糊在随后的具体实施方式中描述的本发明的示例和非限制性实施例。应当进一步理解,除非另有说明,否则附图中出现的特征或元件不一定按比例绘制。

具体实施方式

在上文简要描述的图式的附图中示出了本公开的实施例。如所附权利要求书所述,在不脱离本发明的范围的情况下,本领域技术人员可以预期对示例性实施例的各种修改。如本文中出现的,术语“周围环境”在广义上用来指位于作业车辆外部的工作环境或区域,无论通常位于作业车辆的前方、侧方或后方或者它们的任意组合。此外,术语“显示”指的是在显示装置的屏幕上生成的合成图像或“图片”,而术语“显示装置”指的是其上呈现显示(例如,下文描述的多相机显示)的图像生成装置。

概述

如先前所述,特定作业车辆配备有包括提供作业车辆的周围环境的相机(实况视频)馈送的车辆相机的视觉系统和在其上呈现相机馈送以供操作员观看的显示装置。在某些情况下,单个作业车辆可以配备有视觉系统,所述视觉系统包括多个车辆相机(在本文中,“多相机视觉系统”),以用于为操作员提供如从位于作业车辆周围的多个不同有利点看到的作业车辆的周围环境的多个相机馈送。这样的多相机视觉系统在作业车辆的环境中是有用的,具体地,考虑到许多作业车辆相对大的尺寸、操作能够执行多个同时作业功能的作业车辆所涉及的复杂性以及作业车辆通常在其内操作的动态环境。另外,给定车辆相机的视场(fov)可能被附接到作业车辆的大臂组件或末端执行器部分地遮挡;或者被作业车辆主体本身的结构特征(例如,作业车辆驾驶室或发动机舱的壁或拐角)部分地遮挡。因此,在这样的例项中,可以采用多个相机为操作员提供作业车辆的周围环境的不同视图,其中每个特定视图缺少在其它视图中出现的视觉妨碍或障碍。

当智能地设计和实施时,多相机视觉系统可以提高操作员在驾驶作业车辆的同时执行各种作业任务时的情境感知和效率。尽管如此,设计一种同时为操作员提供多个相机馈送同时进一步准许操作员以快速和直观的方式在相机馈送之间切换的多相机视觉系统可能是非常困难的。因此,如果没有正确地设计,多相机视觉系统可能潜在地加重操作员的脑力工作负荷,并且增加低头时间,特别是当操作员与视觉系统交互以导航到所期望的相机馈送或视图时。当然,有可能在显示装置上呈现单个相机馈送以用于操作观看,同时进一步使得操作员能够选择和重新选择在给定时刻在显示装置上期望呈现(多个可用相机馈送中的)哪个相机馈送。然而,考虑到其倾向于在操作作业车辆时防止或至少阻止操作员维持对在所有可用相机馈送中含有的内容的感知,这样的方法是不利的。

克服上文所述缺点中的许多缺点(如果不是所有缺点),以下提供了使得操作员能够以快速和高度直观的方式在作业车辆的周围环境的多个相机馈送之间监控和导航的作业车辆多相机视觉系统。在实施例中,多相机视觉系统包括安装在给定作业车辆周围的不同位置处的多个相机,以从各种不同的有利点、视点或视角捕获作业车辆的周围环境的相机(实况视频)馈送。车辆安装的相机(或更简单地说,“车辆相机”)可以各自捕获作业车辆的周围环境的任何所期望部分或区域,无论通常位于作业车辆的前方、侧方还是后方。

多相机视觉系统的实施例进一步包括控制器和至少一个显示装置,所述至少一个显示装置在作业车辆的驾驶室或其它操作员站内起作用。在多相机视觉系统的操作期间,控制器向显示装置提供适当的信号(视频输出信号),以在显示装置的屏幕上生成多相机显示。在实施例中,多相机显示被生成为包括取景图标、在取景图标内或附近的图库显示区域以及主显示区域。如本文中出现的,术语“取景图标”指的是与图库显示区域的周边的至少一部分(如果不是全部)接界的图形。给定的取景图标可以被生成为举例来说框架、取景或围绕镜部分(下文所描述)的车辆镜组件或者另一物体的相对简单的视觉表示。比较地,术语“图库显示区域”指的是至少当相机馈送没有被选择用于在多相机显示的主显示区域中观看时多相机显示的被保留用于特定相机馈送的呈现的指定区域或区位。

当特定的相机馈送替代地被选择用于主要呈现(即,被选择以用于在多相机显示的主显示区域中观看)时,对应于当前选择的相机馈送的图库显示区域和/或取景图标的外观可以以预定方式来修改。举例来说,在实施例中,当前选择的相机馈送在其指定的图库显示区域中的呈现可以停止(或者,可能以某种方式在视觉上被遮挡),同时当前选择的相机馈送被呈现在多相机显示的主显示区域中。这在视觉上加强了当前选择了可用相机馈送中的哪个在主显示区域中用于观看,以进一步促进操作员在观看多相机显示时的快速理解。

取决于作业车辆的尺寸、类型和其它因素,多相机视觉系统的实施例可以包括至少一个(如果不是多个)后方车辆相机。如本文中出现的,术语“后方车辆相机”指的是至少部分面向作业车辆的后方并且因此具有捕获至少部分地位于作业车辆后面的区域或区位的fov的相机,而不管相机在其处安装在作业车辆上的具体位置。在其中多相机视觉系统包括至少一个后方车辆相机的实施例中,从后方车辆相机捕获的相机馈送(在本文中,“后方相机馈送”)可以以模拟或模仿真实世界车辆镜组件的方式呈现在多相机显示上。因此,在这样的实施例中,可以应用以下条件中的任一个或两个:(i)控制器可以在具有车辆后视镜组件的外观的取景图标的图库显示区域内呈现后方相机馈送,以及(ii)控制器可以在视觉上修改后方相机馈送,以更密切地对应于通过车辆后视镜看到的真实世界视图。特别地,关于情况(ii),特定来说,控制器可以将镜子(反转)图像效应施加到后方相机馈送,以更准确地模拟通过镜子观看的真实世界视图。另外,控制器可以缩放和调整后方相机馈送的尺寸以适配到取景图标的图库显示区域(例如,镜组件图形的镜部分)中,同时保持视频馈送的纵横比并且根据需要施加其它视觉效果。

为了提供更具体但非限制性的示例,作业车辆多相机视觉系统的实施例可以包括右、中央、左后方车辆相机;术语“右方”、“中央”和“左方”相对于操作员当坐在作业车辆的操作员站(例如,驾驶室)中处于面向前的位置中时的定向来定义。由右、中央和左后方相机捕获的相机(实况视频)馈送呈现在取景图形或图标的指定图库显示区域中,所述指定图库显示区域可以在视觉上分别被描绘为右方车辆外部后视镜组件图标、中央车辆内部后视镜组件图标和左方车辆外部后视镜组件图标。后视镜组件图标可以在实施例中概括;即,以普遍地使人联想到客运车辆镜组件的一般性方式描绘。可替选地,镜组件图标或图形可以被赋予为多相机视觉系统被集成到其中的特定类型的作业车辆定制的更具体的外观。同样,当在后视镜组件图标的图库显示区域(镜部分)中呈现时,镜(反转图像)效应可以施加于相机馈送。此外,在某些实施例中,镜组件图标和/或图库显示区域可以对应于图形用户界面(gui)的交互性元素,其中操作员能够通过利用光标装置或触摸输入选择这样的gui元素来选择特定的相机馈送(并且可能执行其它功能)。

以上文所描述的方式,因此创建了高度直观的多相机显示,从而使得作业车辆的操作员能够容易地了解多个(例如,后方)相机馈送的可用性,同时监控每个相机馈送的内容,直观地确定哪个相机馈送当前呈现在主显示区域上,并且通过举例来说与取景图标(例如,后视镜组件图标)或其中含有的图库显示区域交互来快速地切换呈现在主显示区域上的相机馈送。作为又一益处,在多相机视觉系统的一些实施方案中,当相机馈送没有被选择用于在多相机显示的主显示区域内呈现时,控制器可以在多相机显示装置上生成视觉警报(例如,经由对特定取景图标和/或其对应的图库显示区域的外观的修改),从而将操作员的注意力引导到特定的相机馈送。下文结合图7提供了这方面的附加描述。

现在将结合图1到图7讨论作业车辆多相机视觉系统的示例性实施例。出于解释的目的,以下示例集中在配备有三个后方相机的特定类型的作业车辆(轮式装载机),所述三个后方相机的实况视频馈送呈现在示例性多相机显示上。尽管有以下描述,但是要强调的是,多相机视觉系统的实施例可以与各种不同类型的作业车辆结合使用;并且此外,车辆相机可以捕获作业车辆周围或附近的环境的任何部分或区域的视图。此外,对多相机显示和相关联gui在所图示的示例中出现的方式的描述纯粹是借助于非限制性图示来提供的;注意,gui和多相机显示的“外观和感觉”将不可避免地在实施例中变化,并且可以根据客户或操作员的偏好定制。

示例性作业车辆多相机视觉系统

结合参考图1和图2,呈现了多相机视觉系统10的示例性实施例。示例性多相机视觉系统10被图示为集成到特定类型的作业车辆(这里,轮式装载机12)中,以提供可以更好地理解本公开的实施例的非限制性上下文。轮式装载机12包括由四个地面接合车轮16支撑的底盘14,并且操作员站或驾驶室18位于底盘14上。示例性轮式装载机12进一步包括前铲斗20,前铲斗20通过大臂组件22机械地连结到底盘14的向前部分。进一步示出了包括发动机舱和周围的基础设施24以及四个车轮挡泥板26的轮式装载机12的各种其它特征。

示例性多相机视觉系统10包括布置成阵列的三个后方车辆相机28、30、32,其定位在图1中总体由相机图标指示(为了视觉清晰而放大)。如一般所图示,车辆相机28可以安装到轮式装载机12的最左边部分,例如在装载机12的左后车轮16的车轮挡泥板26上或附近;车辆相机30可以安装到轮式装载机12的中央部分,例如,在发动机舱24上方;并且车辆相机32可以安装到轮式装载机12的最右边部分,例如,在右后车轮16的车轮挡泥板26上或附近。如上文所述,术语“左方”、“中央”和“右方”是相对于操作员当坐在驾驶室18中并且面向前方时的定向来定义的。给定后方车辆相机28、30、32的相对定位,安装到轮式装载机12的最左边部分的相机28在下文被称为“左后方车辆相机28”。更居中地安装到轮式装载机12上的相机28被称为“中央后方车辆相机30”。最后,安装到轮式装载机12的最右边部分的相机32被称为“右后方车辆相机32”。后方车辆相机28、30、32通常分别具有在区域40中重叠或重合的大致锥形的fov34、36、38。

如图1的示意图中所指示,左后方车辆相机28和右后方车辆相机32可以远离轮式装载机12的车身向外成角度,以向相机阵列28、30、32提供更宽广(更宽角度)的fov。车辆相机28、30、32和fov34、36、38的所图示定位和角度定向仅借助于示例提供。在其它实施例中,车辆相机28、30、32可以以其它方式定位,可以具有其它(例如,更宽广角度)的个别fov,或者可以存在不同数量的相机,只要多相机视觉系统10的实施例中包括至少两个车辆相机。此外,虽然下文主要描述为捕获落入电磁波谱的可见波段内的图像的视频相机,但是在替代实施方案中,其它类型的成像装置(例如,红外相机)也可以集成到多相机视觉系统10中,其中由这样的装置捕获的图像相应地呈现在下文描述的多相机显示上。

后方车辆相机28、30、32可操作地联接到(即,与)控制器42(信号通信),控制器42进一步包括在多相机视觉系统10(图2)中。后方车辆相机28、30、32和控制器42之间的连接由信号通信线路44表示,信号通信线路44可以表示无线或有线数据连接。此外,如通信线路44的两个端部以箭头终止的方式所指示,在特定实施例中,控制器42不仅可以从后方车辆相机28、30、32接收含有视频的信号或馈送,而且控制器42还可以向后方车辆相机28、30、32提供命令信号,如下文进一步描述的。

多相机显示系统10进一步包括联接到控制器42的操作员接口46。如在图2中一般图示的,操作员接口46可以是由操作员利用来将数据输入到多相机视觉系统10中或以其它方式控制多相机视觉系统10的任何装置或装置组。在各种实施方案中,操作员接口46可以集成到下文所描述的显示装置48中或者以其它方式与下文所描述的显示装置48相关联。在这点上,操作员接口46可以包括位于显示装置48上或附近的物理输入(例如,按钮、开关、拨号盘等)、集成到显示装置48中的触摸屏模块、或用于定位光标的光标输入装置(例如,操纵杆、轨迹球或鼠标),所述光标被利用来与显示装置48上生成的gui元素交互,如下文进一步描述的。应当理解,操作员接口46然后可以包括用于接收操作员输入命令的任何数量和类型的操作员输入装置,包括用于与gui交互、用于接收口头输入或语音命令和/或用于辨识操作员手势命令的装置,这里仅列举几个示例。

多相机视觉系统10的控制器42可以采取适合于执行贯穿本文件描述的功能的任何形式。此外,在非限制性意义上利用如本文中出现的术语“控制器”来通常指代多相机视觉系统10的处理架构。控制器42可以囊括或可以与任何实际数量的处理器(中央和图形处理单元)、控制计算机、导航设备件、计算机可读存储器、电源、存储装置、接口卡和其它标准化部件相关联。控制器42还可以包括或与被设计成实施本文中描述的各种过程任务、计算和控制/显示功能的任何数量的固件和软件程序或计算机可读指令协作。这样的计算机可读指令可以存储在与控制器42相关联的存储器50的非易失性扇区内。虽然在图2中一般图示为单个块,但是存储器50可以囊括适合于存储计算机可读代码或指令以及被利用来支持多相机视觉系统10的操作的其它数据的任何数量和类型的存储介质。在实施例中,存储器50可以被集成到控制器42中,作为举例来说系统级封装、系统级芯片或另一类型的微电子封装或模块。

继续参考图2,控制器42的输出联接到显示装置48的输入。在多相机视觉系统10的操作期间,控制器42向显示装置48提供视频输出信号,以在显示装置48的屏幕54上生成多相机显示52。在所图示的示意图中,并且如下文详细讨论的,控制器42生成多相机显示52,以包括主显示区域56、多个取景图标(这里,三个取景图标58、60、62);和相应数量的图库显示区域(这里,三个图库显示区域64、66、68)。如所指示,取景图标58、60、62和图库显示区域64、66、68可以沿着多相机显示52的上部条带或区域间隔开。举例来说,在实施例中,取景图标58、60、62和图库显示区域64、66、68可以叠加在主显示区域56的上部部分上。可替选地,取景图标58、60、62和图库显示区域64、66、68可以显示在主显示区域56附近(例如,正上方);或者,替代地,取景图标58、60、62和图库显示区域64、66、68可以显示在第一窗口中,而主显示区域56显示在第二窗口中。在各种其它实施例中,取景图标58、60、62和图库显示区域64、66、68的替代设置可以被利用,并且可能可以根据操作员或客户偏好来定制。通常,主显示区域56将占据显示装置48的显示屏幕54的至少大部分(如果不是基本上全部),而图库显示区域64、66、68(累积起来)占据与主显示区域56相比占据主显示区域56的较小部分。取景图标58、60、62在外观和所显示尺寸上可以基本上相同;或者,替代地,可以在外观和尺寸上变化,如下文更全面描述的。

在实施例中,显示装置48可以固定到操作员驾驶室18的静态结构,并且以下视显示器(hdd)配置实现。在其它实施例中,显示装置48可以采取便携式电子显示装置(例如,平板计算机或膝上型计算机)的形式,所述便携式电子显示装置由操作员携带到操作员站(例如,轮式装载机12的驾驶室18),并且通过物理连接或无线连接与作业车辆多相机视觉系统10的各种其它部件通信以执行下文描述的显示功能性。控制器42还可以取决于实施方案而接收如在多相机显示52的生成中利用的各种其它传感器数据。举例来说,如图2中进一步示意性地示出的,多相机视觉系统10可以包括其它作业车辆传感器70,包括用于检测后方车辆相机28、30、32的fov中的障碍物的距离测量设备(dme)或传感器阵列(例如,激光、毫米波长雷达或声纳(超声波)传感器阵列)。

现在参考图3到图5,借助于示例性实施方案呈现多相机显示52的截屏,其中在适当的情况下附图标记从图2延续。这里,可以看出,取景图标58、60、62被生成为车辆后视镜组件的图标或简化图形表示。更具体地,取景图标58被图形化地产生或描绘为左方车辆外部后视镜组件(可替选地,被称为左“侧视”、“门”或“后视”镜组件),并且因此被称为“左后视镜组件图标58”。类似地,取景图标62被图形化地产生为右方车辆外部后视镜组件(可替选地,被称为右“侧视”、“门”或“后视”镜组件),并且因此被称为“右后视镜组件图标62”。最后,取景图标60被图形化地产生或描绘为中央车辆内部后视镜组件,并且因此被称为“中央后视镜组件图标60”。镜组件图标或图形58、60、62在所图示的示例中被概括(即,以使人联想到客运车辆镜组件的一般性方式描绘),以用于快速视觉理解和通用性。在其它实施例中,镜组件图标58、60、62可以被赋予更具体地为轮式装载机12的外观定制的外观;例如,如果轮式装载机12包括镜组件,则镜组件图标58、60、62可以被赋予匹配轮式装载机12的镜组件的外观。

镜组件图标58、60、62可以间隔开或布置成行,如图所示,其叠加在主显示区域56的顶部区域上。镜组件图标58、60、62的这样的空间分布通常对应于真实世界的车辆后视镜组件的位置,并且因此,进一步有助于操作员当仅仅在多相机显示52处扫视时的快速视觉理解。尽管这有利于快速理解,但是镜组件图标58、60、62的空间定位在实施例当中可以变化;例如,在替代实施方案中,镜组件图标58、60、62可以在多相机显示52的底部处出现的行中间隔开,或者可能按在显示52的左部分或右部分处出现的列中间隔开。

至少当由左后方车辆相机28捕获的相机馈送(这里,“左后方相机馈送”)没有被选择以用于在主显示区域56内呈现时,该相机馈送被呈现在左方镜组件图标58中含有的显示图库区域64中。类似地,由右后方车辆相机32捕获的相机馈送(本文中,“右后方相机馈送”)呈现在右方镜组件图标62中含有的显示图库区域68中(同样,至少当该相机馈送未被选择时)。最后,至少当由中央后方车辆相机30捕获的相机馈送(本文中,“中央后方相机馈送”)没有被选择以用于在主显示区域56内呈现时,该相机馈送被呈现在中央镜组件图标60中含有的显示图库区域66中。控制器42可以修改后方相机馈送(例如,通过缩放、裁剪、遮蔽等),以将内容相机馈送适配到在镜组件图标58、60、62内出现的图库显示区域64、66、68中。此外,为了更准确地模拟或模仿通过真实世界的车辆镜组件的视图,当在图库显示区域64、66、68内再现相机馈送时,控制器42还将镜效应(反转图像效应)施加于后方相机馈送。

现在具体参考图3,在该示例性场景中,由中央后方车辆相机30捕获的中央后方相机馈送当前被选择,并且因此在多相机显示52的主显示区域56中呈现(显示或生成)。这由多相机显示52通过以预定方式报警或修改图库显示区66的外观和/或中央车辆后视镜组件图标60的外观来在视觉上指示。举例来说,如所图示,可以以某种方式暂时暂停或抑制(停止)、抑制或在视觉上阻碍由中央后方车辆相机30捕获的中央后方相机馈送在图库显示区域66中的显示。在这点上,另一个不透明或半透明的图形或填充效应可以在显示区域66内的相机馈送上产生。此外,如果需要,图形或效应颜色被编码为预定义的信息颜色(例如,绿色或蓝色),如图3中由第一交叉影线图案所指示。同时,由后方车辆相机28、32提供的左方和右方相机馈送被呈现在镜组件图标58、62内它们对应的图库显示区域64、68中。以这种方式,操作员只需要扫视多相机显示52以确定当前在主显示区域56内呈现哪个相机馈送以用于主要或首要显示。此外,为了视觉清晰,所选择的相机馈送被呈现在相对大的显示区域中,而其它相机馈送(在该示例中,由左后方车辆相机28和右后方车辆相机32捕获的相机馈送)在同时呈现的多相机显示52上保持可见,以维持操作员对可用相机馈送的内容的感知。

操作员可以利用操作员接口46以任何所期望的方式与多相机视觉系统10交互。举例来说,在某些实施例中,gui可以集成到多相机显示52中,其中各种交互式视觉元素或窗口小部件呈现在显示装置48的屏幕上,并且集成到显示52中(其可以由操作员通过触摸输入或利用光标装置来操纵)。为了提供更具体的示例,操作员可以与集成到多相机显示52中的gui元素(例如,图库显示区域64或左方镜组件图标58)交互,以选择由左后方车辆相机28捕获的相机馈送,以用于在主显示区域56内呈现。响应于接收到这样的操作员输入,控制器42然后将由左后方车辆相机28捕获的相机馈送切换到在多相机显示52的主显示区域56中呈现。这样的场景由从图3到图4的转换来指示。在由左后方车辆相机28捕获的馈送现在呈现在主显示区域56中的情况下,图库显示区域64然后如上文所描述的在视觉上被修改(例如,被显现不透明或半透明并且被颜色编码)。另外,由中央后方车辆相机30捕获的中央后方相机馈送返回以在出现在中央镜组件图标60内的图库显示区域66(镜组件图形的镜部分)内显示。

以类似的方式,并且现在参考图5,如果操作员选择图库显示区域68和/或右方镜组件图标60,则由右后方车辆相机32提供的相机馈送由控制器42设计为新选择的相机馈送;即,被选择用于在主显示区域56中主要呈现的相机馈送。对应地,由后方车辆相机28、30捕获的其它相机馈送在这个时刻变成未选择的相机馈送。现在被选择用于主要呈现,从右后方车辆相机32接收的右后方相机馈送在尺寸上被放大并且适配到主显示区域56中。此外,对应于或指定用于呈现右后方相机馈送的图库显示区域(即,图库显示区域68)在外观上被更改(例如,如上文所描述,被显现不透明或半透明,并且可能被颜色编码),同时从左后方车辆相机28和中央后方车辆相机30接收的相机馈送被同时呈现在镜组件图标58、60内的图库显示区域64、66中。同样,可以经由触摸输入(如果显示装置48设置有触摸能力)、通过gui光标选择、通过使用手动输入或以任何其它合适的方式来接收操作员选择数据。

以上文所描述的方式,示例性多相机视觉系统10在多相机显示52的主或主要显示区域中呈现当前选择的相机馈送,而在显示52的图库显示区域64、66、68中同时呈现(多个)未选择的相机馈送。这使得操作员能够选择特定相机(实况视频)馈送以用于在主显示区域56内的首要观看,同时维持对由其它未选择的相机馈送同时捕获的内容的视觉感知。此外,在多相机视觉系统10更改对应于当前选择的相机馈送的图库显示区域(或取景图标)的视觉外观的实施例中,操作员可以扫视时快速地确定哪个相机馈送当前被选择(并且因此,以放大的格式呈现在主显示区域56内)。作为另一优点,通过提供经由合适的接口键入的操作员输入,并且在特定情况下,当用作交互式gui元素时,通过与车辆后视镜组件图标58、60、62和/或图库显示区域64、66、68的屏幕上交互,多相机视觉系统10的实施例使得操作员能够在可用的相机馈送之间快速并且直观地导航(即,切换当前选择并且呈现在主显示区域56中的相机馈送)。在启动多相机视觉系统10时,控制器42可以被编程以呈现最后选择的相机馈送,以用于在主显示区域56中的初始呈现;或者替代地,可以在多相机显示52的主显示区域56内初始呈现默认相机馈送(例如,由中央后方车辆相机30捕获的中央后方相机馈送)。

在多相机视觉系统10的其它实施例中可以提供附加功能性。举例来说,在某些实施例中,操作员可能能够与多相机显示52的gui显示元件交互,以修改后方车辆相机28、30、32的操作状况。在这样的实施例中,控制器42可以被配置成监控经由操作员接口46的操作员输入的接收,操作员接口46修改后方车辆相机28、30、32中的任何所选择一个的操作状况。修改后的操作状况可以是,举例来说,可由操作员或用户控制的对后方车辆相机28、30、32的任何操作性质的更改;如果可通过致动器移动,则是对相机28、30、32的定向的调整;或者可以远程实施到后方车辆相机28、30、32的任何其它调整。此外,在各种实施例中,当取景图标(这里,车辆镜组件图标58、60、62)、图库显示区域(这里,图标58、60、62的镜部分64、66、68)或其组合用作交互式图形元素时,可以经由与出现在多相机显示52上的gui元素的屏幕交互来键入这样的操作员输入。作为更具体的示例,至少车辆相机中的第一个可以在多种模式(例如,白天(默认)模式、夜晚(弱光)模式以及可能的其它(例如,红外)模式)下可操作。在这样的实施例中,操作员输入可以指定第一车辆相机可期望操作多个模式中的哪一个,如以下段落中所描述的。

在图6中进一步图示了上文所提到的可能性,其中手图标72表示选择中央车辆后视镜组件图标60或可能其中含有的图库显示区域66的触摸输入或光标输入。这样的输入召唤含有虚拟复选框或其它交互式元素的gui窗口74,所述虚拟复选框或其它交互式元素准许在将对应的车辆相机(这里,中央后方车辆相机30)置于其中的至少两种操作模式(这里,白天模式或夜晚(弱光)模式)之间的操作员选择。在该示例中,中央后方车辆相机30当前在白天模式下操作(如复选标记图形76所指示的),但是可以经由选择下部的选项而被置于夜晚(弱光)模式下;例如,通过触摸或使用光标输入来选择窗口74的下半部分。该操作员输入(第二种类型的操作员输入)与被利用来选择中央后方相机馈送以用于在主显示区域56中呈现的操作员输入(第一种类型的操作员输入)区分开。举例来说,在光标输入的情况下,gui窗口74可以通过右击输入装置或者将光标悬停在图标60或区域66上方达大约1到2秒的预定时间段来召唤。类似地,在触摸输入的情况下,窗口74可以通过双击来召唤;或者,可能通过触摸并且然后维持与图标60或区域66的接触达预定时间段来召唤。当以这种方式接收到操作员输入以切换相机(例如,中央后方车辆相机30)的操作模式时,控制器42向适当的相机传输对应的命令信号以命令相机切换到新选择的模态中的操作。

在又一些实施例中,多相机视觉系统10,并且尤其是控制器42,可以确定何时操作员的注意力被可期望地引导到未选择的车辆相机馈送;并且,当这样确定时,执行特定动作。举例来说,当确定操作员的注意力被可期望地引导到未选择的车辆相机馈送时,控制器42可以在多相机显示52上生成视觉警报或建议,从而识别未选择的车辆相机馈送并且指示未选择的车辆相机馈送保证操作员的注意力。当举例来说满足了以下条件时,控制器42可以确定特定的未选择的相机馈送保证注意力:(i)由障碍物检测传感器(包括在传感器70中)在距轮式装载机12的预定距离(例如,几英尺或几米的距离)内检测到障碍物,和(ii)控制器42进一步确定未选择的相机馈送提供了比在主显示区域56中呈现的当前选择的车辆相机馈送更优的所检测到的障碍物的视图(例如,更接近地居中)。视觉警报可以采取许多种形式,包括举例来说在主显示区域56上生成的文本告示。在一种有用的方法中,这样的视觉警报是通过更改其中所检测到的障碍物被最佳地观察到的未选择的车辆相机馈送(如在其指定的图库显示区域64、66、68中显示的)的外观、围绕该车辆相机馈送的取景图标或其组合来生成的。

继续前面段落的描述,考虑图7中所示的示例性场景。在这种情况下,控制器42已经至少部分地基于从传感器70接收的数据而确定通常在轮式装载机12的后方检测到障碍物(例如,灯柱78);但是在实施例中,如果实用并且充分响应,则也可以出于障碍物检测的目的而利用由相机28、30、32提供的相机馈送的图像辨识。所检测到的障碍物(灯柱78)位于相对靠近轮式装载机12的后方,并且因此位于预先建立的警告区域内。此外,所检测到的障碍物(灯柱78)位于轮式装载机12后方的对应于右后方车辆相机馈送的区带或区域中。同样确证,控制器42进一步建立右后方车辆相机馈送不是当前选择的相机馈送,并且因此,当前不被呈现在主显示区域56中。因此,在所图示的示例中,控制器42断定在多相机显示52上正确地生成了视觉警报或警告,并且控制器42相应地生成这样的警报。

为了优化显示清晰度和直观性,可以至少部分地通过以预定的方式更改右方车辆后视镜组件图标62的外观来产生视觉警报。举例来说,并且如图7中第二交叉影线图案所指示,镜组件图标62可以根据预先建立的颜色编码方案以警告或警示颜色(例如,红色或黄色)显现。另外或可替选地,动画效应可以被施加于镜组件图标62,例如由线80指示的闪烁(在图7中仅标记了其中的一些)。在其它实施例中,镜组件图标62和呈现在显示区域68中的右后方车辆相机馈送可以被放大或以其它方式显现得在视觉上更加醒目;或者可以在多相机显示52上生成各种其它类型的视觉警报。在实施例中,这样的警报可以分级,其中随着在所检测到的障碍物和轮式装载机12之间的距离减小,警报的紧急程度增加。此外,如果需要(例如,当生成更高等级的警报时),可以结合在多相机显示52上生成的视觉警报来生成听觉或触觉警报。

作业车辆多相机视觉系统的列举示例

为了便于参考,进一步提供了作业车辆多相机视觉系统的以下示例,并对其进行了编号。

1、公开了一种在具有操作员站的作业车辆上车载利用的多相机视觉系统。在实施例中,所述多相机视觉系统包括:显示装置,所述显示装置被利用在所述作业车辆的操作员站内;车辆相机,所述车辆相机提供如从不同有利点捕获的作业车辆的周围环境的车辆相机馈送;和控制器,所述控制器可操作地联接到所述车辆相机和所述显示装置。所述控制器被配置成:(i)在所述显示装置上生成包括取景图标、在取景图标内的图库显示区域和主显示区域的多相机显示;(ii)从所述多个车辆相机馈送识别当前选择的车辆相机馈送和一个或多个未选择的车辆相机馈送;以及(iii)在所述多相机显示的主显示区域中呈现所述当前选择的车辆相机馈送,而在相应数量的图库显示区域中同时呈现所述一个或多个未选择的车辆相机馈送。

2、根据示例1所述的多相机视觉系统,其中,所述控制器进一步被配置成生成所述取景图标作为具有镜部分的车辆镜组件图标。此外,所述车辆镜组件图标的镜部分用作所述图库显示区域,使得所述控制器在与所述一个或多个未选择的车辆相机馈送对应的镜部分中生成所述一个或多个未选择的车辆相机馈送。

3、根据示例2所述的多相机视觉系统,其中,所述控制器进一步被配置成当在所述镜部分中生成所述一个或多个未选择的车辆相机馈送时施加反转图像效应。

4、根据示例2所述的多相机视觉系统,其中,所述控制器进一步被配置成:(i)确定所述取景图标中的哪个对应于所述当前选择的作业车辆相机馈送;以及(ii)当如此确定时,更改对应于所述当前选择的作业车辆相机馈送的取景图标的外观。

5、根据示例4所述的多相机视觉系统,其中,当更改对应于所述当前选择的作业车辆相机馈送的取景图标的外观时,所述控制器抑制所述当前选择的作业车辆相机馈送在与所述当前选择的作业车辆相机馈送对应的所述车辆镜组件图标的镜部分内的显示。

6、根据示例1所述的多相机视觉系统中,按累积起来算,与所述图库显示区域占据的相比,所述主显示区域占据了所述多相机显示的更大的部分。

7、根据示例1所述的多相机视觉系统,其中,所述取景图标被布置成行并且跨越所述多相机显示的上部部分间隔开。

8、根据示例1所述的多相机视觉系统,其中,所述车辆相机包括:左后方车辆相机,所述左后方车辆相机向所述控制器提供左后方车辆相机馈送;右后方车辆相机,所述右后方车辆相机向所述控制器提供右后方车辆相机馈送;以及中央后方车辆相机,所述中央后方车辆相机向所述控制器提供中央后方车辆相机馈送。

9、根据示例8所述的多相机视觉系统,其中,所述取景图标包括:左方车辆外部后视镜图标,当所述左后方车辆相机馈送未被选择用于在所述主显示区域中呈现时,在所述左方车辆外部后视镜图标中产生所述左后方车辆相机馈送;右方车辆外部后视镜图标,当所述右后方车辆相机馈送未被选择用于在所述主显示区域中呈现时,在所述右方车辆外部后视镜图标中产生所述右后方车辆相机馈送;和中央车辆内部后视镜图标,当所述中央后方车辆相机馈送未被选择用于在所述主显示区域中呈现时,在所述中央车辆内部后视镜图标中产生所述中央后方车辆相机馈送。

10、根据示例1所述的多相机视觉系统,其中,所述控制器进一步被配置成至少部分地基于操作员与图形用户界面的交互而识别所述当前选择的车辆相机馈送,在所述图形用户界面中,所述取景图标、所述图库显示区域或者其组合是交互式图形元素。

11、根据示例1所述的多相机视觉系统,其中,所述控制器进一步被配置成:监控对修改包括在所述车辆相机中的第一车辆相机的操作状况的操作员输入的接收,所述操作员输入经由图形用户界面接收,在所述图形用户界面中,所述取景图标、所述图库显示区域或其组合是交互式图形元素;以及(ii)当在所述控制器处接收到所述操作员输入时,根据所述操作员输入来修改所述第一车辆相机的操作状况。

12、根据示例11所述的多相机视觉系统,其中,所述第一车辆相机可在多个模式中操作。另外,所述操作员输入指定将所述第一车辆相机置于其中的操作模式。

13、根据示例1所述的多相机视觉系统,其中,所述控制器进一步被配置成:(i)确定何时操作员注意力被可期望地引导到第一未选择的车辆相机馈送,所述第一未选择的车辆相机馈送被包括在所述一个或多个未选择的车辆相机馈送中并且出现在包括在所述取景图标中的第一取景图标内;以及(ii)当如此确定操作员注意力被可期望地引导到所述第一未选择的车辆相机馈送时,更改所述第一未选择的车辆相机馈送、所述第一取景图标或其组合的外观。

14、根据示例13所述的多相机视觉系统,进一步包括联接到所述控制器的障碍物检测传感器。此外,所述控制器在以下情况时确定何时操作员注意力被期望地引导到所述第一未选择的车辆相机馈送:(i)在由障碍物检测传感器在距所述作业车辆预定距离内检测到障碍物时,和(ii)在与所述当前选择的车辆相机馈送相比,所述第一未选择的相机馈送提供所检测到的障碍物的更好的视图时。

15、在其它实施例中,所述多相机视觉系统包括:显示装置,所述显示装置被利用在所述作业车辆的操作员站内;第一车辆相机,所述第一车辆相机提供如从第一有利点捕获的作业车辆的周围环境的第一车辆相机馈送;第二车辆相机,所述第二车辆相机提供如从与所述第一有利点不同的第二有利点捕获的作业车辆的周围环境的第二车辆相机馈送;和控制器,所述控制器联接到所述第一车辆相机、所述第二车辆相机和所述显示装置。所述控制器被配置成:(i)在所述显示装置上生成包括主显示区域、第一图库显示区域和第二图库显示区域的多相机显示;(ii)确定操作员何时选择新的相机馈送以用于所述主显示区域上的主要呈现;(iii)当所述第一视频相机馈送被选择用于主要呈现时,将所述第一视频相机馈送的呈现从所述第一图库显示区域切换到所述主显示区域;以及(iv)当所述第二视频相机馈送被选择用于主要呈现时,将所述第二视频相机馈送的呈现从所述第二图库显示区域切换到所述主显示区域。

结论

因此,前面已经公开了作业车辆多相机视觉系统的实施例。在各种实施例中,多相机视觉系统在多相机显示的主显示区域中呈现当前选择的相机馈送,同时在所述显示的图库显示区域中呈现(多个)未选择的相机馈送。这使得操作员能够选择特定的视图用于首要观看,同时维持对在其它相机馈送中同时捕获的内容的视觉感知。此外,在多相机视觉系统更改对应于当前选择的相机馈送的图库显示区域(或取景图标)的视觉外观的实施例中,操作员可以在扫视时快速地确定哪个相机馈送当前被选择,并且因此,以放大的格式呈现在主显示区域内。作为另一优点,通过提供经由合适的接口键入的操作员输入,视觉系统的实施例使得操作员能够在相机馈送之间快速并且直观地导航(即,切换当前选择并且因此呈现在主显示区域中的相机馈送)。这样的接口可以是物理接口(例如,位于显示装置上或附近的按钮或类似的手动控制件)、gui,在gui中,操作员通过触摸输入或光标输入或者以某种其它方式选择图库显示区域中的馈送或其取景图标而在可用的相机馈送之间切换。此外,在某些实施例中,如上文所详细讨论的,通过多相机显示的图形动作,可以控制附加的相机功能性和/或可以提供警报。

除非上下文另有明确指示,否则如本文中所使用的,单数形式的“一(a)”、“一个(an)”和“所述”意在包括复数含义。将进一步理解,术语“包括(comprises)”和/或“包含(comprising)”在本说明书中使用时指定了所陈述的特征、整体、步骤、操作、元件和/或部件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元件、部件和/或其组的存在或添加。

对本公开的描述已经出于图示和描述的目的而呈现,但是并不意在为穷举性的或限制于所公开形式的公开。在不脱离本公开的范围和精神的情况下,许多修改和变化对于本领域普通技术人员来说将是显而易见的。选择并且描述了本文中明确引用的实施例,以便最好地解释本公开的原理及其实际应用,并且使本领域的其它普通技术人员能够理解本公开并且辨识到对所描述的(多个)示例的许多替换、修改和变化。因此,除了明确描述的那些之外的各种实施例和实施方案在所附权利要求书的范围内。


技术特征:

1.一种在具有操作员站的作业车辆上进行车载使用的多相机视觉系统,所述多相机视觉系统包括:

显示装置,所述显示装置在所述作业车辆的操作员站内使用;

车辆相机,所述车辆相机提供从不同有利点捕获的作业车辆的周围环境的车辆相机馈送;

控制器,所述控制器以可操作方式联接到所述车辆相机和所述显示装置,所述控制器被配置成:

在所述显示装置上生成多相机显示,所述多相机显示包括取景图标、在所述取景图标内的图库显示区域和主显示区域;

从所述多个车辆相机馈送识别当前选择的车辆相机馈送和一个或多个未选择的车辆相机馈送;以及

在所述多相机显示的主显示区域中呈现所述当前选择的车辆相机馈送,而在相应数量的图库显示区域中同时地呈现所述一个或多个未选择的车辆相机馈送。

2.根据权利要求1所述的多相机视觉系统,其中,所述控制器进一步被配置成生成所述取景图标作为具有镜部分的车辆镜组件图标;并且

其中,所述镜部分用作所述图库显示区域,使得所述控制器在与所述一个或多个未选择的车辆相机馈送对应的镜部分中生成所述一个或多个未选择的车辆相机馈送。

3.根据权利要求2所述的多相机视觉系统,其中,所述控制器进一步被配置成,当在所述镜部分中生成所述一个或多个未选择的车辆相机馈送时施加反转图像效应。

4.根据权利要求2所述的多相机视觉系统,其中,所述控制器进一步被配置成:

确定所述取景图标中的哪个取景图标对应于所述当前选择的作业车辆相机馈送;并且

当如此确定时,更改与所述当前选择的作业车辆相机馈送对应的取景图标的外观。

5.根据权利要求4所述的多相机视觉系统,其中,当更改与所述当前选择的作业车辆相机馈送对应的取景图标的外观时,所述控制器抑制所述当前选择的作业车辆相机馈送在与所述当前选择的作业车辆相机馈送对应的车辆镜组件图标的镜部分内的显示。

6.根据权利要求1所述的多相机视觉系统,按累计算,与所述图库显示区域相比,所述主显示区域占据所述多相机显示的更大部分。

7.根据权利要求1所述的多相机视觉系统,其中,所述取景图标被布置成行并且在所述多相机显示的上部部分的范围内间隔开。

8.根据权利要求1所述的多相机视觉系统,其中,所述车辆相机包括:

左后方车辆相机,所述左后方车辆相机向所述控制器提供左后方车辆相机馈送;

右后方车辆相机,所述右后方车辆相机向所述控制器提供右后方车辆相机馈送;以及

中央后方车辆相机,所述中央后方车辆相机向所述控制器提供中央后方车辆相机馈送。

9.根据权利要求8所述的多相机视觉系统,其中,所述取景图标包括:

左方车辆外部后视镜图标,所述左后方车辆相机馈送在未被选择用于在所述主显示区域中呈现时在所述左方车辆外部后视镜图标中被产生;

右方车辆外部后视镜图标,所述右后方车辆相机馈送在未被选择用于在所述主显示区域中呈现时在所述右方车辆外部后视镜图标中被产生;和

中央车辆内部后视镜图标,所述中央后方车辆相机馈送在未被选择用于在所述主显示区域中呈现时在所述中央车辆内部后视镜图标中被产生。

10.根据权利要求1所述的多相机视觉系统,其中,所述控制器进一步被配置成至少部分地基于操作员与图形用户界面的交互而识别所述当前选择的车辆相机馈送,在所述图形用户界面中,所述取景图标、所述图库显示区域或者其组合是交互式图形元素。

11.根据权利要求1所述的多相机视觉系统,其中,所述控制器进一步被配置成:

监控对修改包括在所述车辆相机中的第一车辆相机的操作状况的操作员输入的接收,所述操作员输入是经由图形用户界面被接收的,在所述图形用户界面中,所述取景图标、所述图库显示区域或其组合是交互式图形元素;以及

当在所述控制器处接收到所述操作员输入时,根据所述操作员输入来修改所述第一车辆相机的操作状况。

12.根据权利要求11所述的多相机视觉系统,其中,所述第一车辆相机能够在多个模式中操作;并且

其中,所述操作员输入指定将所述第一车辆相机置于其中的操作模式。

13.根据权利要求1所述的多相机视觉系统,其中,所述控制器进一步被配置成:

确定操作员注意力何时被期望地引导到第一未选择的车辆相机馈送,所述第一未选择的车辆相机馈送被包括在所述一个或多个未选择的车辆相机馈送中并且出现在包括在所述取景图标中的第一取景图标内;以及

当如此确定操作员注意力被期望地引导到所述第一未选择的车辆相机馈送时,更改所述第一未选择的车辆相机馈送、所述第一取景图标或其组合的外观。

14.根据权利要求13所述的多相机视觉系统,进一步包括联接到所述控制器的障碍物检测传感器;并且

其中,所述控制器在以下情况时确定操作员注意力何时被期望地引导到所述第一未选择的车辆相机馈送:(i)在由障碍物检测传感器在距所述作业车辆预定距离内检测到障碍物时,和(ii)在与所述当前选择的车辆相机馈送相比,所述第一未选择的相机馈送提供所检测到的障碍物的更好的视图时。

15.一种在具有操作员站的作业车辆上进行车载使用的多相机视觉系统,所述多相机视觉系统包括:

显示装置,所述显示装置被在所述作业车辆的操作员站内使用;

第一车辆相机,所述第一车辆相机提供从第一有利点捕获的作业车辆的周围环境的第一车辆相机馈送;

第二车辆相机,所述第二车辆相机提供从与所述第一有利点不同的第二有利点捕获的作业车辆的周围环境的第二车辆相机馈送;

控制器,所述控制器联接到所述第一车辆相机、所述第二车辆相机和所述显示装置,所述控制器被配置成:

在所述显示装置上生成包括主显示区域、第一图库显示区域和第二图库显示区域的多相机显示;

确定操作员何时选择用于在所述主显示区域上进行主要呈现的新的相机馈送;

当所述第一车辆相机馈送被选择用于主要呈现时,将所述第一车辆相机馈送的呈现从所述第一图库显示区域切换到所述主显示区域;以及

当所述第二车辆相机馈送被选择用于主要呈现时,将所述第二车辆相机馈送的呈现从所述第二图库显示区域切换到所述主显示区域。

16.根据权利要求15所述的多相机视觉系统,其中,所述控制器进一步被配置成:

当所述第一车辆相机馈送被选择用于主要呈现时,在所述第二图库显示区域中呈现所述第二车辆相机馈送,而在所述主显示区域中同时呈现所述第一车辆相机馈送;以及

当所述第二车辆相机馈送被选择用于主要呈现时,在所述第一图库显示区域中呈现所述第一车辆相机馈送,而在所述主显示区域中同时呈现所述第二车辆相机馈送。

17.根据权利要求15所述的多相机视觉系统,其中,所述第一车辆相机馈送是后方车辆相机馈送;并且

其中,所述控制器被配置成,当在所述第一图库显示区域中呈现所述第一车辆相机馈送时施加反转图像效应。

18.根据权利要求17所述的多相机视觉系统,其中,所述控制器进一步被配置成在所述第一图库显示区域附近生成表示车辆镜组件的图形。

19.根据权利要求18所述的多相机视觉系统,其中,所述图形包括具有镜部分的车辆镜组件图标,当所述第二车辆相机馈送被选择用于主要呈现时,在所述镜部分中呈现所述第一车辆相机馈送。

20.一种在具有操作员站的作业车辆上进行车载使用的多相机视觉系统,所述多相机视觉系统包括:

显示装置,所述显示装置被在所述作业车辆的操作员站内使用;

第一后方车辆相机和第二后方车辆相机,所述第一后方车辆相机和所述第二后方车辆相机提供从不同有利点捕获的、大体位于所述作业车辆的后方的环境的第一后方车辆相机馈送和第二后方车辆相机馈送;

控制器,所述控制器联接到所述第一后方车辆相机、所述第二后方车辆相机和所述显示装置,所述控制器被配置成:

在所述显示装置上生成包括第一车辆后视镜组件图标、第二车辆后视镜组件图标和主显示区域的多相机显示;

识别用于在所述多相机显示的主显示区域中呈现的当前选择的相机馈送;

当所述第二后方车辆相机馈送被识别为所述当前选择的相机馈送时,在所述第一车辆后视镜组件图标的镜部分中呈现所述第一后方车辆相机馈送,而在所述主显示区域中同时呈现所述第二后方车辆相机馈送;以及

当所述第一后方车辆相机馈送被识别为所述当前选择的相机馈送时,在所述第二车辆后视镜组件图标的镜部分中呈现所述第二后方车辆相机馈送,而在所述主显示区域中同时呈现所述第一后方车辆相机馈送。

技术总结
一种在作业车辆上车载利用的多相机视觉系统,除了其它部件之外,还包括车辆相机和在所述作业车辆的操作员站内利用的显示装置。所述车辆相机提供如从不同有利点捕获的作业车辆的周围环境的车辆相机馈送。联接到所述车辆相机和所述显示装置的控制器被配置成:(i)在所述显示装置上生成包括取景图标、在取景图标内的图库显示区域和主显示区域的多相机显示;(ii)从所述多个车辆相机馈送识别当前选择的车辆相机馈送和一个或多个未选择的车辆相机馈送;以及(iii)在所述多相机显示的主显示区域中呈现所述当前选择的车辆相机馈送,而在相应数量的图库显示区域中同时呈现所述一个或多个未选择的车辆相机馈送。

技术研发人员:纳撒尼尔·M·克扎尼克
受保护的技术使用者:迪尔公司
技术研发日:2020.09.02
技术公布日:2021.04.06

转载请注明原文地址:https://xbbs.6miu.com/read-20724.html