Raspberry Pi 使用机械手将语音翻译为手语

11-09 游戏 投稿:颜湛蓝

我们已经看到Raspberry Pi用于桥接各种连接,但今天我们分享一个 Pi 项目,该项目可以桥接人类连接中的差距。制作者兼开发者 Prabhjot Singh 创建了他所谓的Deaf Link。它使用 Raspberry Pi 作为翻译中心,让您可以使用机器人手将手语转换为可听语音,并将语音转换为手语。

第一种模式称为手语转语音。为了捕捉手语,Pi 使用摄像头模块。使用 OpenCV 和 MediaPipe 以及 Google TensorFlow 和数百张手语图像来处理输入数据。一旦识别出标志,就会将其转换为音频并输出到扬声器。

第二种模式是语音到手语模式,这就是事情变得有点疯狂的地方。使用麦克风检测音频,然后通过 Google 的语音转文本 API 进行解析。该文本由 MQTT 代理处理,并将其传递给 Arduino。该 Arduino 驱动机器人手中的伺服系统,将文本重新创建为手语。

驱动该项目的主板是 Raspberry Pi 4 B 以及 Arduino Nano 33 IoT。Pi 连接到 Raspberry Pi 相机模块 3 和 Razer Seiren Mini 麦克风。Arduino 连接到假手内部使用的六个伺服电机。一切都安装在定制外壳内。

免责声明:本文由用户上传,如有侵权请联系删除!

声明:生活头条网所有作品(图文、音视频)均由用户自行上传分享,仅供网友学习交流。若您的权利被侵害,请联系admin@gdcyjd.com