一种基于XR技术组合场景体验生成系统及装置的制作方法
技术特征:
1.一种基于xr技术组合场景体验生成系统,其特征在于:包括用户交互模块、建模模块、场景数据管理模块、设备适配支持模块、音效模拟模块、网络通信模块、内容更新模块;
2.根据权利要求1所述一种基于xr技术组合场景体验生成系统,其特征在于:所述建模模块还包括3d渲染引擎模块,所述3d渲染引擎模块用于根据用户的位置和视角,实时计算虚拟空间中物体的位置、光线、材质属性,基于模拟光线信息实时计算出每个像素的颜色和亮度,生成高质量的图像。
3.根据权利要求2所述一种基于xr技术组合场景体验生成系统,其特征在于:所述3d渲染引擎模块中模拟光线信息通过对所述模拟光线虚拟物体进行阴影区域识别,得到阴影区域;对所述阴影区域进行模糊边缘数据构建,得到模拟边缘数据,同时,通过光线衰减数据计算公式对所述阴影区域进行光线衰减数据计算,得到光线衰减数据,其中,所述光线衰减数据计算公式如:
4.根据权利要求1所述一种基于xr技术组合场景体验生成系统,其特征在于:所述用户交互模块手势识别通过深度感知或图像捕获的设备来捕获用户的手势数据,记录用户执行各种手势时的视频或图像数据,去除图像或视频中的噪声,提高数据质量,从背景中分割出手势区域,以便后续处理。
5.根据权利要求3所述一种基于xr技术组合场景体验生成系统,其特征在于:所述用户手势数据转换为统一的尺寸和格式,提取手势的轮廓、边界、角点等形状特征,分析手势的运动轨迹、速度、加速度等动态特征,使用学习模型对手势进行分类;使用标注好的手势数据集对模型进行训练,为每个手势定义一个或多个与之关联的指令或操作;当模型识别出用户的手势时,根据手势映射关系将手势转化为相应的指令;将生成的指令发送给xr系统或应用程序,以执行相应的操作。
6.根据权利要求1所述一种基于xr技术组合场景体验生成系统,其特征在于:所述建模模块对所述环境深度数据以及空间布局数据并进行数据清洗,通过深度图像超分辨率算法对所述空间布局数据进行清晰度校正,得到校正布局数据;对所述校正布局数据进行边缘平滑处理,得到平滑布局数据;对所述去除深度数据进行缺失数据填充,得到填充深度数据;将所述平滑布局数据以及所述填充深度数据输入点云转换算法进行空间数据转换,得到所述目标三维数据。
7.根据权利要求1所述一种基于xr技术组合场景体验生成系统,其特征在于:所述用户交互模块还包括双目立体校正模块,所述双目立体校正模块用于提高立体匹配的效率和准确性,消除图像畸变,所述双目立体校正模块矫正计算公式为:
8.根据权利要求1所述一种基于xr技术组合场景体验生成系统,其特征在于:所述适配器支持模块还包括陀螺仪单元、眼球追踪单元和显示单元,其中陀螺仪单元用于对用户头部的转动角度进行采集,所述眼球追踪单元用于对用户的眼球进行追踪,确定用户的目光所停留的位置,所述显示单元包括语音识别单元、语音转换单元、频率分析单元、语音区分单元和文字显示单元。
9.根据权利要求1所述一种基于xr技术组合场景体验生成系统,其特征在于:所述语音识别单元用于对用户的语音信号进行识别,所述频率分析单元用于对语音识别单元所识别的语音信号的频率进行分析,所述语音区分单元根据频率分析单元的分析结果判定该语音信号是否属于用户自身,所述语音转换单元用于将属于用户自身的语音信号转换为文字信息,所述文字显示单元用于将语音转换单元所转换的文字信息以字幕的形式显示在多人交互场景下他人的显示单元上。
10.根据权利要求1所述一种基于xr技术组合场景体验生成装置,其特征在于:包括xr头戴设备(1),所述xr头戴设备(1)用于实现用户人机交互,所述xr头戴设备(1)两侧与机架(2)连接,所述xr头戴设备(1)内部与耳机(4)电性连接,所述xr头戴设备(1)正面嵌装有显示器(5),所述xr头戴设备(1)顶部安装有扫描装置(3)。
技术总结
本发明公开了一种基于XR技术组合场景体验生成系统及装置,涉及拓展现实技术领域,包括用户交互模块、建模模块、场景数据管理模块、设备适配支持模块、音效模拟模块、网络通信模块、内容更新模块;通过设置有字幕显示模块,可以对用户的语音信号的频率进行识别,并将用户的语音信号转化为文字信息,使得可以通过字幕对他人说话的内容进行显示,使得在网络不加或者语言不通时,也可以进行多人交互,使得多人交互系统的适用性更广,适应性更强,将光线接收数据、模拟边缘数据以及光线衰减数据输入蒙特卡洛光线追踪算法进行模拟光线信息生成,得到模拟XR场景中模拟光线信息,从而使虚拟场景中的光感更真实。
技术研发人员:刘方勇,叶康健,江水瑶,廖鹏,程建辉,姚俊光
受保护的技术使用者:深圳市天擎数字有限责任公司
技术研发日:
技术公布日:2024/11/26
技术研发人员:刘方勇,叶康健,江水瑶,廖鹏,程建辉,姚俊光
技术所有人:深圳市天擎数字有限责任公司
备 注:该技术已申请专利,仅供学习研究,如用于商业用途,请联系技术所有人。
声 明 :此信息收集于网络,如果你是此专利的发明人不想本网站收录此信息请联系我们,我们会在第一时间删除
