<p>注：*为必填项。</p> <p>【请在报名阶段填写 ↓】 *  简要介绍作品：      在这个数字化、可视化、智能化不断提高、不断创新的时代里，人们的生活起居与机械和通信的关系紧密地结合了起来，我们针对广大热爱生活、享受生活的消费者，设计出了智能家居系统。采用stm32单片机结合树莓派+云端服务器，制作出远程操控家电开关、随时查看室内温湿度、语音控制、情感陪护、家庭成员安全监护等功能，并独具AR智能家居模式给予生活便捷、满足家庭安全感、提高人民生活品质以及带给消费者更多幸福感。</p> <p>【请在竞赛阶段填写 ↓】 *  一、作品详情；         本智能家居系统主要分为基础控制、情感陪护和家庭成员安全监护三大主要功能。控制方面，分为智能自动控制以及远程人为操控。系统通过外围模块检测光强、气体烟雾、温湿度、车辆的泊入驶出的信息传入单片机，再由服务器分析并通过Wifi模块输送对家庭内部家电的使用情况做出相应指令，单片机和继电器执行所有控制开关，完成控制系统的基本工作。情感陪护主要通过语音识别和深度学习分析，为用户提供流畅类似真实的聊天对话，带来更好的用户体验。家庭成员监护主要针对家中的老人孩子，为平时忙于工作无暇照顾家人的工作人群提供方便清晰的监护平台，若有危险（如判断摔倒和火灾），系统将通过服务器发送预警消息至用户APP端，同时控制系统也会做出相应的解决措施。同时具备了独特的AR家居模式，用户可通过AR视角来布置与装饰自己的房间，享受未来科技般的家居生活！</p> <h5></h5> <h5>整体框架：</h5> <p>                      <strong>核心控制板：</strong>stm32c8t6和树莓派3b+                       <strong>传感器部分：</strong>MQ-2烟雾传感器，DHT11温湿度传感器，光强传感器，火焰传感器，雨水传感器（用来采集屋内与室外的环境参数，来反馈给单片机进行处理）                       <strong>控制模块部分：</strong>外接控制两个42步进电机，一个负责控制窗帘的开关（采用丝杆结构），另一个负责车库的开关（采用滑轨结构），通过继电器控制模块控制小排风扇的启动与灯光系统的启动。                       <strong>音视频采集部分：</strong>通过摄像头与麦克风模块来直接采集。                       服务器后台部分：服务器是基于阿里云ECS云服务器搭建。服务器和客户机采用HTTP协议进行通信。服务器为C++语言编写，监听端口的请求信息，通过select系统调用，实现通过处理多个用户请求。服务器解析控制端的请求数据，并将其转为响应的控制指令，下发至合泰中控，单片机解析控制指令，完成响应的相应动作。中控每隔10秒对传感器的数据进行一次采集，完成数据的更新，将数据打包为json格式，并通过ESP8266模块上传至服务器，服务器获取到单片机发送的数据后保存在本地，在有用户连接请求时，将最新保存的数据发送给用户。                     <strong>  APP特色服务部分：</strong>此作品具有功能较为完善，运行流畅的终端服务应用软件。该软件能够为用户提供远程操控家电开关，随时随地查看家庭室内的温湿度，更重要的是接收来自服务器传送的家庭烟火灾、老人孩子摔倒等生活预警。同时独特开发出AR家居APP，只需要扫描到特定的标志点，便可以智能识别并供用户进行多种家居模型选择，任意调整大小与位置，使得用户获得真实体验。                      <strong>情感语音交互部分：</strong>本系统含有智能语音情感陪护功能，通过学习研究并运用Turing智能机器人的资料，完成系统的聊天流畅自然，使用领先的增强学习模型，情感交互 23类情绪识别及多维情感表达，让人机聊天对话具有真实可信性，更拟人化；通过深度记忆与用户之间的互动，使得系统具有记忆功能让家居系统完美融入家庭氛围。其语义理解开放域聊天准确率81.64%，垂域技能准确率96.34%。</p> <h5> 算法设计原理：</h5> <p>                  <strong>语音唤醒：</strong>snowboyKITT.AI开发的人工智能软件工具包。通过Snowboy软件，开发人员可以在一些硬件设备上添加 “语音热词探测” 功能。snowboy采用先进的深度神经网络技术，可以学习并识别不同的声音模板；与此同时，它还拥有复杂的音频处理技术，也可以在没有网络连接的情况下进行工作。我们采用snowboy来做语音唤醒，给定唤醒词“贾维斯”，并在snowboy官网上训练下载训练好的模型文件，可以做到本地化识别。                   <strong>语音识别：</strong>百度语音识别pythonSDK语音识别通过场景识别优化，为车载导航，智能家居和社交聊天等行业提供语音解决方案，准确率达到90%以上。我们通过下载百度语音识别的pythonSDK开发包，将snowboy的语音唤醒与百度的在线语音识别相结合，达到唤醒à识别à系统做出应答（控制家居或者聊天对话）。                   <strong>摔倒检测</strong>：opencv-python通过opencv识别人，有人出现在视野里，对每一帖中人体的宽高比、有效面积比和屮心变化率进行连续计算，不断地检査这些参数。即使当这三个特征都符合摔倒的条件，也不能当即宣布是摔倒的状态，只有在某一特定的时间段，这三个条件都连续满足吋才判断人是摔倒的。这样，系统就能够抵制特征值中出现的一些小的错误。一旦在某个特定吋问段内这三个条件都满足，就可以定义为是摔倒事件。也可以用同样的原理来判断摔倒的人是否重新站立，这对决定摔倒事件是否严重（导致意识丢失）或只是一个小的滑倒很有帮助。                  <strong>防摔倒检测</strong>：（1）人体宽高比：人体的最小外接矩形框定义为包围人体面积最小的矩形框。人体宽高比WH-Ratio定义为图像中人体最小外接矩形框的宽度和高度的比值。当人站立时，高度将比宽度大很多，所以宽高比就远小于1。如果人是摔倒的，宽度将比高度大很多，宽高比就远大于。多数情况下，这个特征能判断出人是站立的还是摔倒的。但在一些特殊情况下，如做一些健身运动、突然下縛或是摔倒后起身，仅用宽高比來判断就会产生误判。                                          （2）有效面积比：有效面积比定义为最小外接矩形框中人体面积与整个矩形框面积的比值，EA-Ratio为有效面积比，Sp是二值化图像矩形框中像素值为1的像素个数，SR是整个矩形框中像素值为1和0的像素总数。当人体占据矩形框的大部分面积时，有效面积大；反之，有效面积则小。当人做某些健身运动时，宽高比远大于，仅用宽高比进行判断，就会产生误判。在这种情况下，最小外接矩形框会变大，人体的有效面积相应变小。利用这个特点，结合宽高比和有效面积比来判断，可以有效排除类似误判。                  <strong>人脸识别门禁系统：</strong>采集自己需要的人脸照片，录入系统，将获取的M张人脸图像的集合S。将每张图像可以转换成一个N维的向量然后把这M个向量放到一个集合S里，提取人脸的50个主元，然后用自相关神经网络将它映射到5维空间中，再用一个普通的多层感知器进行判别。</p> <p>*  二、描述作品所面临的挑战及所解决的问题；         本产品目前面临的挑战是在想做到真正的市场推广，会有一定的困难，虽然目前产品已在实验室完成但是需要用户对家中重新布线，并使用我们自制的核心控制板，家庭安装会占用一定时间。不过我们将AR家居模式与人体安全行为分析两大功能集合在一起，更好的保证了家人的安全，是在目前家居市场的一个突破。</p> <p>*  三、描述作品硬件、软件部分涉及到的关键点； 硬件方面：本产品硬件方面涉及由单片机直接控制的继电器核心控制板块与AC-DC整流升降压电路的设计‘。 软件方面：主要涉及人体动作分析模型，人脸识别算法，AR模式下的3Dzmax建模与unity3D的APP制作，服务器的建立与设置。</p> <p>*  四、作品材料清单； <img src="//image.lceda.cn/pullimage/vo0HR87yN0XXwWe6miFb1EO8YTXPAJyRZNbrnsFm.png" alt="image.png"></p> <p>*  五、作品图片上传；（PCB上须有大赛logo标识并拍照上传，若无视为放弃参赛） <img src="//image.lceda.cn/pullimage/vRMx75AJfg3V0anpfbwzGEYnXuboXX3t9jAII3x4.png" alt="image.png"> <img src="//image.lceda.cn/pullimage/UEOjTrF6YnbbYsXj2lzWUQyjK55sApXIY3cH0sNM.jpeg" alt="3.jpg"> <img src="//image.lceda.cn/pullimage/8zYDK0rJ40YvmOVnIJoXxSyZTXNFWf0Sds6UvN1P.png" alt="物联网智能云管家.png"> <img src="//image.lceda.cn/pullimage/g6l0en44dlg8oyIV7ItNLvLPBp1e7Oz4ZAO2032H.jpeg" alt="图片1.jpg"></p> <p><img src="//image.lceda.cn/pullimage/uveCNxdVWMNResLURl6RdfOHeDgQzo6RVMr0lHss.png" alt="继电器原理_爱奇艺.png"> <img src="//image.lceda.cn/pullimage/WNrffeAUCyKAp92ldb46dfSQGGXz4YD3F2O5m85w.png" alt="继电器_爱奇艺.png"></p> <p><img src="//image.lceda.cn/pullimage/ex7VyAhcgXOrVI1BHK5KusvD1EA28DauU1obpNMK.png" alt="核心板原理图_爱奇艺.png"></p> <p><img src="//image.lceda.cn/pullimage/scfWzyZwOSVfRliZOgdtxpyaI7tGn5ptff9YRQj0.png" alt="PCB_爱奇艺.png"></p> <p><img src="//image.lceda.cn/pullimage/tnxIhg8NDfZ0vanEY9PHhqZjNjBQobDp8zb21zYc.png" alt="8.png"></p> <p>*  六、演示您的作品并录制成视频上传；（视频内容须包含：作品介绍；功能演示；性能测试；PCB上大赛logo标识特写镜头，若无视为放弃参赛） <a href="https://v.youku.com/v_show/id_XNDM1MjkyMjQ2MA==.html?spm=a2h3j.8428770.3416059.1" target="_blank">https://v.youku.com/v_show/id_XNDM1MjkyMjQ2MA==.html?spm=a2h3j.8428770.3416059.1</a></p> <p>七、开源文档。</p>