社区首页 >专栏 >如何用低代码构建一个会说话的机器狗

如何用低代码构建一个会说话的机器狗

GPUS Lady

发布于 2022-10-08 05:12:47

94700

代码可运行

文章被收录于专栏：GPUS开发者GPUS开发者

运行总次数：0

代码可运行

在构建一个复杂的语音 AI 机器人系统时，从接受自然语言命令到安全地与环境和周围的人实时交互，开发人员很容易被其复杂性吓倒。但事实上，利用开发工具，今天的语音 AI 机器人系统可以将任务执行到以前机器无法实现的水平。

国外一个开发者，将Jetson AGX Orin开发套件装到一个机器狗上，让它摇身一变，变成一款支持语音 AI 的机器人，可以自行取饮料。为了轻松添加语音 AI 技能，例如自动语音识别(ASR) 或文本转语音 (TTS)，许多开发人员在构建复杂的机器人系统时会利用更简单的低代码构建块。

让我们一起来了解一下语音 AI 技术如何使智能机器人能够接受食品订单，将这些订单转发给餐厅员工，并最终在出现提示时导航回家吧！

项目背景和目标

复杂的系统由几个构建块组成。每个构建块本身都更容易理解。

当您了解每个组件的功能时，最终产品就会变得不那么令人生畏。如果您使用的是低代码构建块，您现在可以专注于需要更多努力的特定领域的自定义。

这个项目使用四足机器人“Spot”和通过以太网电缆连接到 Spot的NVIDIA Jetson Orin 。

该项目是使用 AI 构建块形成复杂的语音 AI 机器人系统的主要示例。

我们的目标是制造一个机器人，它可以自己从当地餐馆给我们拿零食，而我们的干预尽可能少。我们还着手使用开源库和工具中的内容尽可能少地编写代码。该项目中使用的几乎所有软件都是免费提供的。

为了实现这一目标，人工智能系统必须能够与人类进行语音交互，感知其环境（在我们的例子中，使用嵌入式摄像头），并安全地在周围环境中导航。下图显示了交互、平台和导航如何代表 Spot 机器人的三个基本操作组件，以及这些组件如何进一步细分为低代码构建块。

注意：这篇文章只关注来自 Riva SDK 的人机交互模块。

使用 Riva 添加语音识别和语音合成技能

我们每天与人们进行如此多的互动，以至于很容易忽视这些互动实际上是多么复杂。说话对人类来说很自然，但对于智能机器来说，理解和说话并不是那么简单。

Riva 是一个完全可定制的、GPU 加速的语音 AI SDK，可处理 ASR 和 TTS 技能，并可在本地、所有云、边缘和嵌入式设备上部署。它促进了人机语音交互。

Riva 完全在 Spot 机器人上本地运行。因此，处理是安全的，不需要互联网访问。它也可以通过一个简单的参数文件完全配置，因此不需要额外的编码。

每个语音 AI 任务的 Riva 代码示例

Riva 提供即用型 Python 脚本和命令行工具，用于将麦克风捕获的音频数据实时转换为文本（ASR、语音识别或语音到文本），并将文本转换为音频输出（ TTS，或语音合成）。

调整这些脚本以与 Open Robotics (ROS) 兼容只需要进行微小的更改。这有助于简化机器人系统开发过程。

ASR 自定义

Riva OOTB Python 客户端 ASR 脚本名为transcribe_mic.py。默认情况下，它将 ASR 输出打印到终端。通过修改它，ASR 输出被路由到一个 ROS 主题，并且可以被 ROS 网络中的任何东西读取。以下代码示例显示了脚本 main() 函数的关键添加：

 inter_pub = rospy.Publisher('intermediate', String, queue_size=10) final_pub = rospy.Publisher('final', String, queue_size=10) rospy.init_node('riva_asr', anonymous=True)

以下代码示例包括对 main 的更重要的添加：

   for response in responses:           if not response.results:               continue           partial_transcript = ""           for result in response.results:               if not result.alternatives:                   continue               transcript = result.alternatives[0].transcript               if result.is_final:                   for i, alternative in enumerate(result.alternatives):                       final_pub.publish(alternative.transcript)              else:                  partial_transcript += transcript           if partial_transcript:               inter_pub.publish(partial_transcript)

TTS 自定义

Riva 还为 TTS 提供了talk.py脚本。默认情况下，您在终端或 Python 解释器中输入文本，Riva 从中生成音频输出。为了让 Spot 说话，修改了输入文本 talk.py 脚本，以便文本来自 ROS 回调而不是人类的击键。OOTB 脚本的主要更改包括用于提取文本的此功能：

def callback(msg):   global TTS   TTS = msg.data

它们还包括对 main() 函数的这些添加：

  rospy.init_node('riva_tts', anonymous=True)  rospy.Subscriber("speak", String, callback)

main() 函数中这些更改的条件语句也是关键：

while not rospy.is_shutdown():           if TTS != None:               text = TTS

语音交互脚本

像voice_control.py这样的简单脚本主要由回调函数和 talker 函数组成。他们告诉 Spot 要听什么词以及如何回应。

def callback(msg):   global pub, order   rospy.loginfo(msg.data)   if "hey spot" in msg.data.lower() and "fetch me" in msg.data.lower():       order_start = msg.data.index("fetch me")       order = msg.data[order_start + 9:]       pub.publish("Fetching " + order)
def talker():   global pub   rospy.init_node("spot_voice_control", anonymous=True)   pub = rospy.Publisher("speak", String, queue_size=10)   rospy.Subscriber("final", String, callback)   rospy.spin()

换句话说，如果文本包含“Hey Spot，……来找我……” Spot 会将句子的其余部分保存为命令。在 ASR transcript指示句子完成后，Spot 激活 TTS 客户端并背诵“Fetching”一词以及订单内容。然后其他脚本会使用 ROS 操作服务器，指示 Spot 导航到餐厅，同时注意避开汽车和其他障碍物。

当 Spot 到达餐厅时，它会通过说“Hello Spot”等人来点餐。如果 ASR 分析脚本检测到此序列，Spot 会背诵该命令并以“please”结束。餐厅员工将订购的食物和任何零钱放在适当的容器中，放在 Spot 的背上。在 Riva ASR 发现餐厅工作人员说“回家吧，Spot”后，Spot 回家了。