共计 670 个字符，预计需要花费 2 分钟才能阅读完成。
随着 ChatGPT 等 AI 聊天机器人自去年底以来迅速“走红”，对于它们安全问题的相关警告也层出不穷。尽管背后的开发者也在竭尽全力地想办法解决这些问题，比如实施资讯过滤和人类纠正那些被标记的问题，但效果都不尽人意。
有鉴于此，英伟达公司 (Nvidia Corp.) 周二正式发布了一个名为“NeMo Guardrails”的开源工具包，可以禁止 AI 聊天机器人提供那些受限的信息，使人工智能驱动的应用程序更加“准确、适当、符合主题和安全”。
“每个人都意识到了大型生成语言模型的力量，”英伟达应用研究副总裁 Jonathan Cohen 说，“以一种安全可靠的方式部署它们非常重要。”
英伟达表示，“NeMo Guardrails”将作为终端用户和人工智能程序之间的一层“防护墙”。将其与传统软件混合，该系统将能够识别用户提出的事实问题，并检查机器人是否能够和应该回答这个问题。系统还将确定生成的答案是否基于事实，并控制聊天机器人给出回答的方式。
例如，假设一名员工询问人力资源聊天机器人，公司是否为想要领养孩子的员工提供支持。这将通过“NeMo Guardrails”并返回包含公司相关利益的文本。询问同一个机器人有多少员工利用了这一福利，可能会引发拒绝指令，因为这些数据是保密的。
Cohen 还表示，英伟达已经在 Guardrails 的底层系统上工作了 ” 多年 ”，但就在大约一年前意识到它很适合 GPT- 4 和 ChatGPT 这样的模型。
“ 从那时起，我们一直在朝着 NeMo Guardrails 的这个版本发展，” 他说，” 人工智能模型安全工具对于那些为企业用途部署的模型至关重要。”
