基于头戴式增强现实设备的全息台球辅助学习系统
背景技术：
：：1、台球是一项入门难度较高的运动。据调查，一般玩家要在专业教练的指导下训练3个月以上才能达到入门水平。2、台球运动涉及瞄准和母球控制两个关键技术。瞄准关注的是如何进球。母球控制关注的是如何使用合适的击打点位和力度使得进球后母球位置仍然支持继续击球。3、传统的台球教学模式一般包括三个阶段。第一阶段：在专业教练指导下学习正确的击球姿势和流程，以确保瞄准方向与击打方向一致，进而训练大脑对击球角度的正确感知。第二阶段：学习不同击打点对母球碰撞后分离轨迹的影响，通过重复练习建立大脑对分离轨迹的正确感知。第三阶段：学习如何在进球的同时控制母球轨迹使得母球位置仍然支持继续击球。4、台球练习，是修正大脑对瞄准方向、击打点和力度感知的过程。在传统的教学方法中，除教练对击球动作的指导外，玩家无法获得其他有效的指导。玩家无从得知击球的误差究竟来自击球还是瞄准动作的错误，因此无法根据结果对击球环节有效地进行修正。5、人们对此问题提出了一些解决方案。其中，投影式增强现实台球辅助学习系统，就是一个很有前景的实现策略，如葡萄牙forge it公司研发的pool live aid、国内璟点高科研发的光影智能台球机器人等。这类产品在标准环境下利用摄像设备追踪球的位置，计算出进球轨迹和母球分离轨迹，再由投影设备将其投射到桌面上提供视觉引导，能够为玩家提供简单的修正感知错误的手段，实施过程也能保持良好的稳定性。但其存在不足：对场地要求高，需要专门铺设有关设备；模式单一，仅能在简单场景下提供指示，如单目标球练习；仅能提供二维的视觉引导，而非更容易感知的三维视觉引导。因此，发明基于头戴式增强现实设备的全息台球辅助学习系统。技术实现思路1、鉴于上述和/或现有基于头戴式增强现实设备的全息台球辅助学习系统中存在的问题，提出了本发明。2、因此，本发明的目的是提供基于头戴式增强现实设备的全息台球辅助学习系统，能够解决上述提出现有的问题。3、为解决上述技术问题，根据本发明的一个方面，本发明提供了如下技术方案：4、基于头戴式增强现实设备的全息台球辅助学习系统，其包括：5、增强现实框架；6、增强现实设备，用于对台球进行拍摄，并进行显示；7、空间建模模块，用于根据增强现实设备所拍摄的图像对台球位置进行定位；8、技战术分析模块，用于根据空间建模模块的数据获得击球指示；9、所述增强现实框架上设有增强现实框架、增强现实设备、空间建模模块和技战术分析模块，所述增强现实设备与所述空间建模模块相连接，所述空间建模模块与所述技战术分析模块相连接，所述技战术分析模块与所述增强现实设备相连接。10、作为本发明所述的基于头戴式增强现实设备的全息台球辅助学习系统的一种优选方案，其中：所述增强现实设备包括：11、可定位相机，用于对台球进行拍摄；12、显示器，用于对技战术分析模块所获得击球指示进行显示；13、所述可定位相机与所述空间建模模块相连接，所述显示器与所述技战术分析模块相连接。14、作为本发明所述的基于头戴式增强现实设备的全息台球辅助学习系统的一种优选方案，其中：所述空间建模模块包括：15、图像处理模块，用于对可定位相机所拍摄的图像进行处理；16、物体定位模块，用于根据图像处理模块所处理的数据实现物体定位，以获得球定位信息；17、所述图像处理模块与所述可定位相机相连接，所述图像处理模块与所述物体定位模块相连接，所述物体定位模块与所述技战术分析模块相连接。18、作为本发明所述的基于头戴式增强现实设备的全息台球辅助学习系统的一种优选方案，其中：所述图像处理模块是由深度学习检测模型和视觉信息筛选算法组成。19、作为本发明所述的基于头戴式增强现实设备的全息台球辅助学习系统的一种优选方案，其中：所述物体定位模块是由空间先验信息和空间解析算法组成。20、作为本发明所述的基于头戴式增强现实设备的全息台球辅助学习系统的一种优选方案，其中：所述技战术分析模块包括：21、机器学习模型，用于根据球定位信息进行学习；22、物理模拟模块，用于根据机器学习模型所学习的数据进行模拟；23、所述物体定位模块与所述机器学习模型相连接，所述机器学习模型与所述物理模拟模块相连接，所述机器学习模型与所述显示器相连接，且机器学习模型中设有可学习参数。24、作为本发明所述的基于头戴式增强现实设备的全息台球辅助学习系统的一种优选方案，其中：还包括一种系统流程，具体步骤如下：25、s1：玩家佩戴头戴式增强现实设备绕台观察，在这过程中，则会实时计算出相机位置vi＝(xi，yi，zi)，i＝1，...，n；相机姿态pi＝(αi，βi，γi)，i＝1，...，n，表示绕坐标系o’x’y’z’的x’、y’、z’轴的旋转角度；视线方向di＝(xi，yi，zi)，i＝1，...，n；与此同时，还会调用头戴式增强现实设备的可定位相机功能，根据相机位置和相机姿态自动选取时机拍摄图像；其选取机制如下：当前时刻已选取i个图像，有相机位置v’，相机姿态p’，视线方向d’，图像i’；当前时刻的评分26、27、其中a为直线v’+d’t1和平面y＝htable的交点，t2，t3∈[-0.5，0.5]，若ε＝1，ii+1＝i’，vi+1＝v’，pi+1＝p’，di+1＝d’，ζ＝1时拍摄结束；28、29、根据以上数据，求解桌面上所有球的坐标vk和类别ck；30、o＝{(vk,ck)|k＝1,...,q}31、其中，q是当前桌面上的球的总数；32、s2：i＝1，2，…，n，循环执行以下操作：33、s21：取ii，pi，使ii绕(w/2，h/2)处旋转γi’，得ii’；34、s22：使用预训练的物体检测模型检测ii’中可见的台球，得到球投影集；35、p＝{((xj,yj),cj)|j＝1,...,m}36、其中(xj，yj)为球在图像中的位置，cj为类别；37、s23：j＝1，…，m，循环执行以下操作：38、s231：由透视关系和相机参数计算拍摄时球心方向相机视线的水平夹角ωh的正切值和竖直夹角ωv的正切值；39、tanωh＝xjtan(fovh/2)/(w/2)40、tanωv＝yjtan(fovv/2)/(h/2)41、s232：由vi、di、ωh、ωv可解得点向式直线参数方程lj，其中lj的各分量为x＝x0+x1t，y＝y0+y1t，z＝z0+z1t，由lj与平面y＝htable+r可解得直线方程参数t，代入lj可得球心(x’，y’，z’)，得到球oj；42、s24：按s23执行得到球o1，...，oj，合并为球集oi；43、s3：按s2执行得到球集o1，...，on，需要求解o1，...，on的并集，即s1中的o；如果球离相机较近、没有受到遮挡、处于视野中心，则会估计具有更高的置信度，此时会从不同方向对同一个球成像，为每个球挑选置信度最高的估计结果，构造置信度得分函数：44、s＝as1+bs2+cs345、其中a，b，c为可调节权重，满足约束条件a+b+c＝1，预设为a＝0.2，b＝0.3，c＝0.5；46、47、其中v为拍摄位置，v为估算的球心；48、49、其中(x，y)为球的投影圆心；50、51、其中p1，p2，…，pm为当前图像中的所有球投影，rp为被估计的投影p的半径，函数f用于计算两球投影的重叠面积；52、s4：求解o，对于每个被估算出的球对象o53、54、至此获得这一时刻台面上球的分布；55、o＝{(vk,ck)|k＝1,...,q}56、s5：设o为目标球，θh∈[0，2π)为球杆在xz平面上的投影与x轴的夹角；θv∈(0，2π)为球杆与水平面形成的夹角；(ρ，θ)为击球点极坐标，ρ<r，θ∈[0，2π)，其中r为有效击球区半径，r＝0.75r；τ为杆速；θh由弹性碰撞现象推导，当一个直线运动的球撞击到另一个静止的质量等大的球发生弹性碰撞时，运动的球碰撞方向上的分速度会传递到原本静止的球上；57、58、其中vo为目标球坐标，vh为袋口坐标，vc为母球坐标；使用全连接神经网络g计算此时刻的θv、ρ、θ、τ；g的输入形状为16×2，表示16个球，每个球有一个二维坐标；输出形状为4，分别表示θv，ρ，θ，τ，中间包含展平层、全连接层1、全连接层2、全连接层3以及输出层；展平层将16×2的输入展平成32×1；全连接层1、2、3分别包含128、64、32个神经元，均使用relu激活函数；输出层包含4个神经元，使用线性激活函数；59、g在模拟台球程序环境下进行自监督学习，其程序可以模拟球体滑行、滚动、旋转和碰撞；指导g训练的损失函数为：60、l＝δ1e1+δ2e2+δ3e3+δ4e1e4+δ5(1-e1)e561、其中，δ1，δ2，δ3，δ4，δ5满足约束条件；62、δ1+δ2+δ3+δ4＝1,δ2+δ3+δ5＝c63、默认δ1＝0.3，δ2＝0.3，δ3＝0.3，δ4＝0.3，δ5＝0.3，c＝0.7，c为防守限度系数；e1表示某一杆球是否落袋，若落袋e1＝1，否则为0；e2用于抑制选择异常速度：64、65、其中s为[1，6]；e3用于抑制选择异常击球区；66、67、e4表示连续击球的可行性；68、e4＝1-e569、球o的难度为：70、71、其φ1＝0.4，φ2＝0.2，φ3＝0.4；获得己方分色e个球的难度，从低到高排序得：72、(d1,...,de)73、e5表示进球难度；74、75、其中σ∈(0，1)为衰减系数，作用是使损失函数更关注最容易击打的球，值越小，越关注难度最低的球，默认0.33；76、s6：定位全息影像；计算目标球落袋的母球碰撞位置；77、78、在vt处渲染一个等大的全息球以及一个理想的击球方向l，即可为玩家提供击球指引，直线l表示为：79、vt+(tcosθh,ttanθv,tsinθh)+(cosθh,0,sinθh)+ρcosθ(-sinθh,0,cosθh)+ρsinθ(0,1,0)80、其中t为直线方程参数；81、将直线l显示到虚拟空间中，使得用户对出杆方向有直观的感知，另外将击球点示意图与杆速以二维用户界面的方式显示到视野当中，确保所有的关键信息都可以用户捕获；82、s7：用户根据指示信息击球，至此完成一次击球过程，等待下一次击球。83、与现有技术相比：84、1.本发明相比投影式增强现实辅助学习系统，本发明采用头戴式ar设备，克服对场地的高依赖、处理模式单一的问题，提供更容易感知的三维视觉引导，使玩家获得更好的训练效果。85、2.本发明可以使玩家通过2个月的无监督训练掌握瞄准能力。对于受过基本出杆训练的玩家，可以在1周内形成稳健的瞄准能力。对于已经达到入门水平的玩家，本发明能够使他们在1个月内掌握基本的母球控制技巧，3个月内能够获得简单球形的清台能力。当前第1页12当前第1页12
文档序号 :
【 40200230 】
技术研发人员：战荫伟,严锦涛
技术所有人：广东工业大学
备 注：该技术已申请专利，仅供学习研究，如用于商业用途，请联系技术所有人。
声 明 ：此信息收集于网络，如果你是此专利的发明人不想本网站收录此信息请联系我们，我们会在第一时间删除
技术研发人员：战荫伟,严锦涛
技术所有人：广东工业大学
备 注：该技术已申请专利，仅供学习研究，如用于商业用途，请联系技术所有人。
声 明 ：此信息收集于网络，如果你是此专利的发明人不想本网站收录此信息请联系我们，我们会在第一时间删除