<p style="line-height:1.8;"> </p> <h3 style="line-height:1.8;">* 1、项目功能介绍</h3> <hr> <p><img src="//image.lceda.cn/pullimage/MhlJ1tWcaV9q33ylIzwGUttsdHVG6DopZgnNdxBp.png" alt="" width="919" height="534"></p> <p>本项目面向桌面办公、居家陪伴与智能看护场景，设计了一款集基础照明、AI 人脸识别、AI 日常对话、声控触控、双向对讲和快速充电于一体的智能桌面伴侣。</p> <p>系统采用乐鑫双 ESP32 S3 协同控制架构。板 1 负责摄像头图像采集与 JPEG 传输、双麦克风声源定位、语音采集和双向对讲，并与云端服务协同完成日常对话及人脸识别；板 2 负责步进电机、编码器、双色 LED 照明、投影灯、触控输入和屏幕显示。通过编码器反馈，系统可实现设备归零、指定角度控制、到位停止和主动跟踪。</p> <p>项目采用沁恒 CH224A 快充协议芯片，与外部快充适配器完成协议协商，为设备提供稳定供电和快速充电能力。同时接入 Python 后端、微信小程序和无线 OTA，支持远程照明调节、人脸管理、声源方向控制、机械角度控制、双向对讲、设备状态查看及固件升级。</p> <p style="line-height:1.8;"><strong>下图为 实拍图</strong></p> <p style="line-height:1.8;"><img src="//image.lceda.cn/pullimage/5rrRXAExP0796zyOP0JALOl1rNuoa2fLmLRU3Kwo.png" alt="" width="276" height="398"></p> <p style="line-height:1.8;"><img src="//image.lceda.cn/pullimage/3eAzwyFJytWeYEXKzyQI1ReI2yLVSy2ndK9zDT1x.png" alt="" width="279" height="425"></p> <p style="line-height:1.8;"> </p> <h3 style="line-height:1.8;">*2、项目属性</h3> <hr> <p style="line-height:1.8;"><span style="color:#000000;background-color:#ffffff;"><span style="color:#000000;"><strong>项目已获2026</strong></span><span style="background-color:#c2e0f4;"><span style="color:#000000;"><strong><span style="background-color:#ffffff;">嵌入式芯片与系统设计竞赛</span>乐鑫赛道</strong></span></span><span style="color:#000000;"><strong>赛区二等奖，首次开源</strong></span></span></p> <p style="line-height:1.8;"> </p> <h3 style="line-height:1.8;">* 3、开源协议</h3> <hr> <p style="line-height:1.8;"><span style="color:#000000;">GPL3.0</span></p> <p style="line-height:1.8;"> </p> <h3 style="line-height:1.8;">*4、硬件部分</h3> <hr> <h3><img src="//image.lceda.cn/pullimage/2uZQ3mXHI5xBvJ96Eeq48d66eFEtXtNet0mIx3IP.png" alt="" width="805" height="421"></h3> <p><span style="background-color:#c2e0f4;"><strong>系统硬件框架图如上</strong></span></p> <p><span style="background-color:#c2e0f4;"><strong>下面详解</strong></span></p> <p> </p> <h3>快充供电模块</h3> <p>系统采用 USB-C 接口输入电源，使用沁恒 CH224A 与快充适配器进行协议协商，再通过MP2672AGD-0000-Z芯片充放管理电路/LDO电路转换为主控、摄像头、麦克风和电机所需电压，实现稳定、高功率供电。充放电芯片原理是USB供电和电池供电能智能切换</p> <h3>AI 感知、小智对话与对讲模块</h3> <p>感知部分由摄像头和麦克风阵列组成。摄像头负责采集桌面环境和人脸图像，双麦克风阵列负责采集多通道声音，为后续人脸识别和声源方向定位提供原始数据。不仅能实现与小智AI的对话同时也能实现小程序跟台灯本体的远端双向对讲通信</p> <h3>双主控模块</h3> <p>系统采用双 ESP32 S3WROOM N16R8分工设计。板1主要负责摄像头和麦克风数据采集，板2主要负责指令接收、电机控制和编码器读取。两块主控之间通过有线通信传递角度及控制信息，减少图像采集和电机控制相互干扰。</p> <h3>运动执行模块</h3> <p>运动部分由ZDT42步进电机控制。板2根据目标角度驱动电机旋转，并通过编码器获取实际位置，到达目标角度后停止，从而实现桌面伴侣的主动转向。</p> <h3>基础照明模块</h3> <p>系统集成了基础的双色灯照明和静态图案投影灯功能，均可以由小程序、触摸控制开关，调节亮度，下图为投影灯实拍图</p> <p><img src="//image.lceda.cn/pullimage/2A3cvflAiaS4Xm4CswFM05pkyOAAetxmBdPxcxBD.png" alt="" width="802" height="390"></p> <h3><span style="background-color:#c2e0f4;">注意与测试</span></h3> <p>电机与数字电路应分路供电并共地，电源入口和电机驱动器附近需要配置滤波电容。调试时先使用 PD 测试仪确认 CH224A 协商电压，再分别测试摄像头、麦克风、电机和编码器，最后进行整机联调。重点检查电机启动时是否引起电压跌落、ESP32 复位或图像传输中断。图像有问题率先检测FPC座子焊接情况，麦克风无数据率先检查麦克风电源和SD引脚电压;电机转不起来除了检查接线还需要检查共地是否正确。以及电机参数设置比如地址，波特率，校验码等是否对齐代码</p> <p style="line-height:1.8;">这边建议麦克风和功放分开供电，摄像头单独供电。</p> <p style="line-height:1.8;">灯板有条件的可以打铝基板的利于散热</p> <p style="line-height:1.8;"><span style="background-color:#3598db;">麦克风建议通过飞线焊接安装在斜面尽量直面声源否则干扰会很大尽量不安装在侧面或者直接插在板子上</span></p> <p style="line-height:1.8;">而触摸模块可以采用FPC软触摸PCB也可以直接使用铜皮飞线连接对应引脚都可以实现功能。<span style="background-color:#3598db;"><strong>（嘉立创也能免费打FPC）</strong></span></p> <p style="line-height:1.8;"><img src="//image.lceda.cn/pullimage/3dBNn9bPe0WJQRtvDWjOV3dmNW818fIH6uGqrxYN.png" alt="" width="280" height="280"></p> <h3 style="line-height:1.8;">*5、软件部分</h3> <hr> <p style="line-height:1.8;"><span style="color:#95a5a6;"><a href="https://blog.csdn.net/vodka/article/details/155746416" target="_blank">ESP32-S3 开发环境搭建全流程（含驱动、SDK、烧录）-CSDN博客    </a></span></p> <p style="line-height:1.8;"><span style="color:#000000;">ESP-IDF环境搭建教程可参考该链接</span></p> <p style="line-height:1.8;"><span style="color:#95a5a6;"><a href="https://blog.csdn.net/h050210/article/details/146120433" target="_blank">ESP32 小智 AI 机器人入门教程从原理到实现（自己云端部署）_ai小智-CSDN博客</a></span></p> <p style="line-height:1.8;"><span style="color:#000000;">小智云端部署操作可以参考上述链接，人脸识别是采用本地人脸检测模型外加云端的比对模型（可使用官方内置WHO框架也可以使用谷歌的TFLite框架）</span></p> <p style="line-height:1.8;"><span style="color:#000000;"><a href="https://developer.espressif.com/blog/2026/05/esp-who-get-started/" target="_blank">ESP-WHO: Get started · Developer Portal</a></span></p> <p style="line-height:1.8;"><span style="color:#000000;"><span style="color:#000000;">https://components.espressif.com/components/espressif/esp-dl/versions/3.3.8/examples/human_face_recognition</span></span></p> <p style="line-height:1.8;"><span style="color:#000000;"><a href="https://blog.csdn.net/weixin_42527589/article/details/159031729" target="_blank">第16章 实战ESP32-S3人脸检测：基于ESP-WHO与esp-dl库的AI图像识别实现-CSDN博客</a></span></p> <p style="line-height:1.8;"><span style="color:#000000;">立创也有关于DL库的教程</span><a href="https://wiki.lckfb.com/zh-hans/" target="_blank">立创开发板技术文档中心</a></p> <p style="line-height:1.8;"><span style="color:#000000;">云端需要自己租服务器可看下面链接</span></p> <p style="line-height:1.8;"><span style="color:#95a5a6;"><a href="https://blog.csdn.net/tencentcloud_/article/details/134270331" target="_blank">阿里云服务器新手入门：从购买、配置到搭建网站全教程_购买阿里云 自己搭建-CSDN博客</a></span></p> <p style="line-height:1.8;"><span style="color:#95a5a6;"><a href="https://blog.csdn.net/caizikid/article/details/155601726" target="_blank">新手必看！从零开始简单开发微信小程序（附完整流程与避坑指南）_小程序开发-CSDN博客</a></span></p> <p style="line-height:1.8;"><span style="color:#000000;background-color:#c2e0f4;">下图为系统软件流程图</span></p> <p style="line-height:1.8;"><img src="//image.lceda.cn/pullimage/yyhoOxA0HtIidMxeXEXVBsyIPv8BK3G3J25PpeH1.png" alt="软件流程图" width="888" height="533"></p> <ul> <li> <p><strong>板 1 固件</strong></p> <p>完成 Wi-Fi 连接、摄像头初始化、JPEG 图像采集与传输、双麦克风 PCM 采集、GCC-PHAT 声源方向估计、人脸检测、小智对话、云端识别和双向对讲。检测到人脸或声源方向后，将目标角度和设备状态发送至后端，并接收控制结果。</p> <p><strong>板 2 固件</strong></p> <p>完成电机控制、编码器位置读取、归零校准、角度到位停止、双色 LED 冷暖光切换、亮度调节、投影灯控制、触控事件处理和 ST7789 屏幕显示。触控操作可直接改变灯光或设备状态，小程序和后端命令也可远程控制。</p> <p><strong>Python 后端</strong></p> <p>后端负责设备注册、在线状态维护、HTTP 接口、命令队列、板间控制转发、JPEG 图像接收、人脸样本管理、识别结果保存、DOA 状态同步和对讲音频转发。当设备暂时离线时，命令进入队列，设备重新上线后继续执行。</p> <p><strong>微信小程序</strong></p> <p>小程序提供首页状态查看、设备控制、人脸管理、LED 照明、投影灯、机械角度、历史记录和双向对讲功能。页面通过 HTTP 接口读取设备状态并下发命令，控制结果和在线状态实时反馈。小程序名称为Trihuy</p> </li> <li> </li> </ul> <p><img src="//image.lceda.cn/pullimage/ekWyl4n2BsOk9Pu8cULPRch4YaUW0DVsNdFT0LrW.png" alt="智充守护者核心源码合集" width="904" height="663"></p> <h3 style="line-height:1.8;"><span style="background-color:#c2e0f4;">代码合集展示了 GCC-PHAT 定位、云端人脸识别、电机到位控制、基础照明、后端命令队列和小程序灯光控制等关键代码。代码默认使用双麦克风，也可拓展三麦克风算法，调试过程会更复杂些但是可以做到360声源检测，有兴趣可以试试</span></h3> <p><img src="//image.lceda.cn/pullimage/c37B1ItFaWkBNxyuzpezetCI6b88dz9ymiyxYAFz.jpeg" alt="横向微信小程序合集" width="906" height="483"></p> <p><span style="background-color:#c2e0f4;"><strong>小程序提供设备状态、小智聊天记录、双色 LED 亮度与冷暖光控制、投影灯控制、小程序与台灯本体双向对讲等界面。</strong></span></p> <p><strong>编译与烧录</strong></p> <p>烧录可以无线和有线烧录，有线的话两套固件均使用 ESP-IDF 5.4 及以上版本。在板1、板2工程目录分别执行：</p> <pre><code><span style="background-color:#bfedd2;">idf.py set-target esp32s3 idf.py build idf.py -p COM端口 flash monitor</span></code></pre> <p style="font-family:sans-serif;white-space:normal;">无线 OTA：浏览器上传固件后写入备用分区，校验成功后切换分区并重启。</p> <pre><code><strong><span style="background-color:#c2e0f4;">无线烧录需要根据每个板的实际IP登录网页并确保电脑跟板处于同一局域网下 <br></span></strong><span style="background-color:#c2e0f4;"><strong style="font-family:sans-serif;white-space:normal;">下图为OTA页面</strong></span><strong><span style="background-color:#c2e0f4;"><br></span></strong><br></code></pre> <h3 style="line-height:1.8;">*6、BOM清单</h3> <hr> <p style="line-height:1.8;"><span style="background-color:#c2e0f4;"><strong>除了官方给出的BOM之外主控建议购买N16R8以及上的内存型号防止内存不够跑不起来。</strong></span></p> <p style="line-height:1.8;">声音模块可以购买<strong>INMP411,MAX98357模块</strong>即可，<span style="background-color:#c2e0f4;"><strong>麦克风模块必须购买同一个型号最好统一厂家的不然实际采集的声音数据不一样会影响DOA算法。</strong></span></p> <p style="line-height:1.8;"><img src="//image.lceda.cn/pullimage/wBoB7viZsg9aceQxpvkBOXBvtrUIn7t2rQoNmtwQ.png" alt="" width="264" height="264"><img src="//image.lceda.cn/pullimage/vPJDqiDvdGXPBLKfZhiL7CfH8xFxZbzw0Ou8EZIj.png" alt="" width="249" height="249"></p> <p style="line-height:1.8;">摄像头为5640模块建议购买<strong>直插排针</strong>的</p> <p style="line-height:1.8;"><img src="//image.lceda.cn/pullimage/cslIK6GCGAPtslpAM7tdUYnRZ0LP0FW0qhxa1HaJ.png" alt="" width="267" height="267"></p> <p style="line-height:1.8;">屏幕为2.4寸TFT屏幕</p> <p style="line-height:1.8;"><img src="//image.lceda.cn/pullimage/5RSXqnfssMcniqGPXZolRHRCQSMNnYUJGm35fZFR.png" alt="" width="372" height="372"></p> <p style="line-height:1.8;">外壳见最下方压缩包可直接打印，下图为外壳爆炸图，建议打step不容易变形</p> <p style="line-height:1.8;"><img src="//image.lceda.cn/pullimage/YBzgIZ6hPbqVsSCT9T0fPh24loYongCExrGVndso.png" alt="" width="693" height="459"></p> <p style="line-height:1.8;">电机为ZDT42步进电机</p> <p style="line-height:1.8;"><img src="//image.lceda.cn/pullimage/93hXZWXL1AVQc31ZsNBdMQPnE8UrJGHW4lZyd11c.png" alt="" width="322" height="322"></p> <h3 style="line-height:1.8;">*7、大赛LOGO验证</h3> <hr> <p style="line-height:1.8;"><img src="//image.lceda.cn/pullimage/GCn6PDZoJkPq6LgpZEO9Z9WWUo1oCOhcx7NnMiDS.png" alt="" width="450" height="253"></p> <h3 style="line-height:1.8;">* 8、演示您的项目并录制成视频上传</h3> <hr> <p style="line-height:1.8;">下方分别为开机实拍视频</p> <p style="line-height:1.8;">以及两段作品演示视频</p>