<p>注：*为必填项。</p> <p>【请在报名阶段填写 ↓】 <em>  简要介绍作品： 虚拟现实（Virtual Reality，VR）技术开创了一种全新的视频观看方式与环境感知概念，让使用者如同身历其境一般，可以没有限制地观察三度空间内的事物，也可以利用双眼视觉差构造3D视角。但是目前VR技术仍然具有一定局限性，其中最主要的为受视频采集端的限制，3D视觉与体感交互难以融合；此外远程VR技术受无法体感交互与网络传输延迟大的限制目前鲜有发展。 本作品“基于4G/5G的远程VR视界交互系统”同时解决了如上两个问题。利用根据人体头骨结构设计的拟人化云台带动双目摄像机，将双目视频信号通过4G/5G传送给VR头显；另一边VR头显上的陀螺仪采集头部运动姿态将角度信号通过4G/5G传送给拟人云台，令拟人云台实时跟随头部运动。前端VR头显与后端拟人云台同步运动，营造出身临其境的实时远程交互。本文随后介绍了“基于4G/5G的远程VR视界交互系统”的软硬件技术方案，后端拟人云台采用双直流无刷电机构成双轴系统，电机内部含有基于PI控制器的速度内环；前端VR陀螺仪与后端云台陀螺仪共同构成云台运动的位置外环。本作品的远程通讯建立在4G基础上进行开发，利用租赁的网络云端服务器作为中间媒介。本作品在展望5G技术普及后所带来的革命性变化之余，已经为不久后的5G升级改造铺了路。 【请在竞赛阶段填写 ↓】 </em>  一、作品详情；   设计融合3D视觉与体感交互的VR平台：利用双目摄像头实现3D视觉，并利用高精度的拟人结构云台实现双目摄像头与人眼的同步运动。搭建4G网络下的远程VR通讯系统：包括实时视频传输与体感仪的数据发送。在此基础上做好5G网络普及后的准备，包括通讯硬件的更换与网络服务器的选择。定性以及定量分析本作品的实用性，并通过实际体验来分析本作品的体验感；展望5G网络普及后对作品体验感的提升以及应用本作品的应用场合分析。   VR人与环境交互平台分为前端VR系统与后端云台双目摄像机系统，前端VR头显上设置超低延迟陀电子陀螺仪，将人体头部运动姿态信息通过4G/5G传送至网络云服务器，然后送给后端云台系统；云台系统同样含有电子陀螺仪，作为云台系统的姿态反馈，并结合前端姿态信号作为给定，形成拟人云台x、y轴双电机的闭环控制；双目摄像机将采集到的视频/声音信号通过4G/5G发送回前端VR头显，实现跟踪人体头部运动的3D视界交互流程。其中，为了实现真正的拟人“沉浸感”，后端云台双目摄像机系统采用拟人化设计。其中拟人云台采用与成年人头骨运动系统相同的结构，保证头部转动跟踪对应视觉采集的过程更符合实际，这种设计的优势在观测近景时尤为明显。其次，双目摄像头采用大广角镜头，接近人眼视野；双目摄像机含有左右双麦克风，实现声音的临场交互感；双目摄像机采用硬件同步技术，保证双摄像头视频画面的绝对同步。最后，云台陀螺仪的位置与VR陀螺仪的相对位置相同，保证头部姿态跟踪与拟人云台运动轨迹完全相同。由于4G/5G网络与中央云服务器的应用，VR视界交互系统可以实现任意距离之间的应用，如相隔数百公里的远程手术指导，又如相隔数千公里的亲友、情侣会面，距离对基于云服务器的网络传输延迟可以忽略不计。 *  二、描述作品所面临的挑战及所解决的问题；   5G的设计非常灵活，它可以识别数据的传输类型，对于特殊的设备将转换成低功耗模式，而对于高分辨率的视频，网络将自动切换成高大功率模式，提供高达10Gbps的峰值数据下载速度。4K视频流所需最低下载速度为25Mbps，而5G将能提供100Mbps的最低下载速度，而4G则只会低于10Mbps。4G的网络延迟约50ms，而5G网络延迟仅为1ms。相较之下，在使用VR看流媒体视频时，当延迟超过20毫秒，用户就会出现不适，最好的情况时延迟时间也为7毫秒。因此目前的4G技术无法为VR流媒体提供一个十分理想的硬件环境，不过5G技术可以同步视频和音频，提供更好的使用体验，使AR和VR的应用更加真实化。5G技术将大大促进VR市场发展，助力VR通过虚拟物品、虚拟人物、增强情景信息等方式给人们带来连接媒体的全新方式。   目前本作品已基本达到设计功能，但在实际软件设计与实物开发的过程中，发现在一些方面仍有改进空间。以下部分将列出该设计的未来研究方向。（1）新增：由于佩戴VR头显之后只能看到拟人云台所在位置的场景，而不能看到自身周围的场景，这为使用者带来了一些困难，如无法手写字记笔记等。未来将在VR头显中同样安装双目摄像头，利用前端VR头显中对二者视频信号进行融合处理，形成类似于增强现实（AR）的功能。使得VR头显自动分辨远处景物与用户手部接触范围内的实际交互物体，实现自动融合二者图像。（2）改善：目前拟人云台的控制算法虽然能实现基本功能，但跟踪精度可以进一步提高，这需要更复杂的人工神经网络控制器，对人体头部运动的过程与轨迹做出提前预判，进一步提高跟踪效果。其次，针对于“歪头”所用的z轴目前暂未考虑，以后为了营造更真实的临场感，还应加入z轴。（3）产品化设计：依托于商业化的云服务器租赁平台，实现在线的视频信号压缩减量处理，降低用户的5G流量消耗。与目前VR一体机公司进行合作，降低已有VR的用户的二次消耗。   在VR产业发展初期，由于用户体验不佳、内容生态不完善，产业一度陷入低谷。如今，随着高质量内容的涌现，VR产业已步入复苏期。更为关键的是，5G逐步走向商用，VR技术从本地走向了云端，创造了一种全新的商业模式—智终端、宽管道、云应用。VR技术业在5G助力下，将从“虚拟”走向“现实”，其沉浸式体验将在多个行业中得到更广泛的发展，有望代替目前的远程视频交互方式，实现人与人、人与物、人与景真正“零距离”接触。（1）设备的远程操作指导与维护。可以将后端拟人云台装置在遥控载具上，实现诸如远程管道巡检、远程电缆巡检、远程工厂维护与指导等功能。（2）远程驾驶。目前的远程驾驶主要依赖于视频方式，但是视频方式本身为2D图像，不利于司机辨认前方车距。并且即使最昂贵的全景相机也无法做到无畸变无死角的全景视频采集。所以本作品可以完全替代目前的远程驾驶系统，并不改变司机的原有操作习惯。（3）远程手术与门诊。目前国外已经有VR手术指导的案例，但是广角镜头与无畸变镜头相矛盾，而在手术与门诊中，灵活的无畸变的视角尤为重要。（4）亲友远程见面。目前亲友远程见面主要是视频方式，这种方式与VR远程视界交互系统不可同日而语。如目前越来越常见的异地恋情侣之间，一种身临其境的见面方式毫不意外会成为一种刚需。若前端VR和后端拟人云台都以电池驱动，成为便携式，或成为亲友之间远程相伴的一种理想解决方案。可能在不远的将来，基于5G的VR应用还会扩展到更高级的形态，具备更深层的沉浸感，实现“万物互联”，我们指日可待。 *  三、描述作品硬件、软件部分涉及到的关键点；   VR陀螺仪作为姿态给定远程输出给拟人云台，云台陀螺仪作为云台的位置变送器反馈回控制器，通过PD控制输出给云台电机的速度给定值，云台电机内部含有速度内环，保证转速严格跟踪给定。电机继续带动双目摄像机和云台陀螺仪运动，云台陀螺仪再次检测角度值，反馈构成位置外环。值得注意的是，x、y轴的云台电机分别与陀螺仪的x、y轴角度信号构成图2-2所示的双闭环。无论是VR头显上的姿态跟踪还是拟人云台上的位置闭环，陀螺仪模块都扮演了至关重要的角色。作品采用的MPU6050六轴传感器芯片集成了3轴MEMS陀螺仪和3轴MEMS加速度计，每个轴对应有一个16位AD转换器，其高分辨率(3.9mg/LSB)能够测量不到1.0⁰的倾斜角度变化。芯片正常工作时，采集x轴、y轴和z轴的加速度值(电压信号)，经过AD转换，通过板上集成的姿态解算器，配合动态卡尔曼滤波算法，计算出三轴解耦后的角度值。为了得到当前姿态，本项目使用MEMS测量单元，通过融合陀螺仪，加速度计和磁力计数据计算出姿态角。   由于云台系统状态方程是一个非线性系统，单纯的线性卡尔曼滤波并不合适，因此本项目选用扩展卡尔曼滤波，将状态方程通过泰勒展开线性化，得到线性化的展开式，此时即可使用扩展卡尔曼滤波进行数据的互补融合与滤波。高速处理器STM32基于专为要求高性能、低成本、低功耗的嵌入式应用专门设计的ARM Cortex-M3内核，增强型系列时钟频率达到72MHz，是同类产品中性能最高的产品；内置32K到128K的<a href="http://baike.baidu.com/item/%E9%97%AA%E5%AD%98" target="_blank">闪存</a>，不同的是<a href="http://baike.baidu.com/item/SRAM/7705927" target="_blank">SRAM</a>的最大容量和外设接口的组合。时钟频率72MHz时，从闪存执行代码。其可以很容易的输出多路互补的PWM，拥有8个定时器，其功能十分强大，具有低功耗、高性能、运算速度快的优点。在远程VR视界交互系统的整体控制方案设计中，无论控制算法的设计还是硬件电路的选取，都以低延迟高精度为准则，其根本目标就是实现拟人云台对头部运动跟踪的试试准确性，营造身临其境的交互感。   为了保证人体头部运动对眼睛视角的影响与拟人云台运动对双目摄像机采集视角的影响完全相同，应结合人体头部结构设计云台的结构。如图2-4所示为成年人抬头喝水时的头部运动分析，x轴约在脖颈中部A点处，指向屏幕并与y轴相交。x轴是抬头低头动作的主轴，y轴是左右摇头动作的主轴；而相较于低头抬头与摇头动作来说，歪头的动作的环境并不多见，所以为了降低云台复杂度和降低整体惯性，不考虑z轴。云台电机按照正交的x、y两轴进行设计，而图2-2中可以看出，人眼睛所在位置为B点，并不在正交点A点。目前市面上的VR方案是按照软件方式跟踪头部运动来控制图像的变化，然而视频录制时全景相机只能建设于一点，也就相当于图2-4中的A点。这就意味着传统VR的体感交互功能不仅无法实现3D效果，更无法模拟真人眼睛的实际运动轨迹，在观看近景时，这种差异尤其明显。为此，云台在A点设计x、y两轴的同时，应考虑到A点到B点的距离。A点到C点为云台的可调高度支撑架，其高度为用户坐姿脖颈中部离桌面的距离（云台固定在桌面）。图2-4中D点为位置闭环所用陀螺仪的固定位置，其与前端VR上部所固定的姿态跟踪陀螺仪是相同位置。无刷电机在各项性能上都非常适合做拟人云台，固采用了两台大疆公司的GM6020云台专用直流无刷电机，如图2-4所示，电机采用空心轴设计，扭矩密度大、控制精度高、交互方式灵活，适用于低转速、大扭矩直接驱动的应用场景，是拟人云台电机方案的不二之选。此外，电机内置驱动器和角度传感器，可以方便地构建速度内环。   为实现前端VR头显系统与后端拟人云台系统的远程通讯，需要借助互联网来跨越距离的鸿沟，目前设备连接互联网的方式常见有三种：网线、Wifi和移动通讯网络。在远程VR视界交互系统的常规应用场合下，前端VR头显系统需要脱离主机独立运行，这就意味着网线并不可取，此外，网线和Wifi都依赖网络路由器的支持，许多应用场合受到限制。随着4G网络技术的全面普及以及5G网络技术的逐步发展，移动网络技术的传输速度及延迟甚至赶超网线的并网方式，真正做到了随时随地、超低延迟和高清实时传输。5G的出现不仅意味着更快的传输速率和更大的网络容载能力，而且在传输中呈现出低时延、高可靠、低功耗的特点，其特点如图2-10，是一个真正意义上的融合网络。本作品目前以4G网络技术为基础进行研发，其应用在VR陀螺仪的姿态角度信号发送与拟人云台的角度信号接收；双目摄像机的视频信号发送与VR头显视频信号的接收。发送与接收通过租赁第三方公司的云服务器作为中介媒介。如果本作品得以进一步发展或者有望商品化，云服务器或将采用购买的方式。若5G技术普及，本作品只需要替换4G通讯模块为5G通讯模块，其他无任何变化。 <em>  四、作品材料清单； 云台电机 双目摄像机 中央处理器 4G通讯模块 陀螺仪 VR头显 云服务器租赁 机械材料与电路耗材 </em>  五、作品图片上传；（PCB上须有大赛logo标识并拍照上传，若无视为放弃参赛） *  六、演示您的作品并录制成视频上传；（视频内容须包含：作品介绍；功能演示；性能测试；PCB上大赛logo标识特写镜头，若无视为放弃参赛）    七、开源文档。</p>