Nvidia 正在为 AI 开发人员推出其新的 NeMo Guardrails 工具，它承诺让像ChatGPT这样的 AI 聊天机器人不那么疯狂。该开源软件现在可供开发人员使用，它专注于三个领域，使 AI 聊天机器人更有用，更少令人不安。
该工具位于用户和他们与之交互的大型语言模型 (LLM) 之间。这对聊天机器人来说是一种安全措施，可以在响应到达语言模型之前拦截响应，以阻止模型响应或向其提供有关如何响应的具体说明。
Nvidia 表示，NeMo Guardrails 专注于主题、安全和安全边界。主题焦点似乎是最有用的，因为它迫使 LLM 保持在特定的响应范围内。 Nvidia 通过展示在公司人力资源数据库上训练的聊天机器人来演示 Guardrails。当被问及有关 Nvidia 财务的问题时，它给出了一个用 NeMo Guardrails 编程的预设回答。
这一点很重要，因为我们已经从 AI 聊天机器人中看到了许多所谓的幻觉。例如， Microsoft 的 Bing Chat在我们的第一个演示中为我们提供了几个奇怪且实际上不正确的响应。当遇到LLM不理解的问题时，它通常会编造一个答案来满足查询。 NeMo Guardrails 旨在阻止那些虚构的响应。
安全和保障原则侧重于过滤掉来自 LLM 的不需要的响应，并防止它被用户玩弄。正如我们已经看到的，您可以越狱 ChatGPT和其他 AI 聊天机器人。 NeMo Guardrails 将接受这些查询并阻止它们到达 LLM。
尽管构建 NeMo Guardrails 是为了让聊天机器人切题且准确，但这并不是一个包罗万象的解决方案。 Nvidia 表示，它作为第二道防线效果最好，开发和部署聊天机器人的公司仍应在一系列保障措施上训练模型。
开发人员也需要定制工具以适合他们的应用程序。这允许 NeoMo Guardrails 位于 AI 模型已经使用的中间件之上，例如 LangChain，它已经为 AI 聊天机器人应该如何与用户交互提供了一个框架。
除了开源之外，Nvidia 还提供 NeMo Guardrails 作为其AI Foundations 服务的一部分。该软件包为没有时间或资源来训练和维护自己的模型的公司提供了多种预训练模型和框架。