NeMo Guardrails 是一個(gè)軟件層，位于用戶和 AI 模型之間，可以在模型輸出不良內(nèi)容之前進(jìn)行攔截和修改。例如，如果開(kāi)發(fā)者想要?jiǎng)?chuàng)建一個(gè)客服聊天機(jī)器人，可以使用 NeMo Guardrails 來(lái)限制它只能談?wù)撓嚓P(guān)的產(chǎn)品，而不能談?wù)摳?jìng)爭(zhēng)對(duì)手的產(chǎn)品或其他不相關(guān)的話題。如果用戶提出這樣的問(wèn)題，機(jī)器人可以引導(dǎo)對(duì)話回到開(kāi)發(fā)者希望的話題上。

　　英偉達(dá)還提供了另一個(gè)例子，一個(gè)用于回答內(nèi)部企業(yè)人力資源問(wèn)題的聊天機(jī)器人。在這個(gè)例子中，英偉達(dá)能夠使用 NeMo Guardrails 來(lái)阻止基于 ChatGPT 的機(jī)器人回答關(guān)于公司財(cái)務(wù)狀況的問(wèn)題或訪問(wèn)其他員工的私人數(shù)據(jù)。

　　此外，該軟件還能夠利用一個(gè) AI 模型來(lái)檢測(cè)另一個(gè) AI 模型的“幻覺(jué)”，通過(guò)向第二個(gè) AI 模型提問(wèn)來(lái)核實(shí)第一個(gè) AI 模型的答案。如果兩個(gè)模型給出不一致的答案，那么軟件就會(huì)返回“我不知道”的回答。

　　英偉達(dá)還表示，這個(gè)“護(hù)欄”軟件還有助于提高安全性，可以強(qiáng)制 AI 模型只與白名單列表中的第三方軟件進(jìn)行交互。

　　NeMo Guardrails 是開(kāi)源的，并通過(guò)英偉達(dá)服務(wù)提供，可以用于商業(yè)應(yīng)用，開(kāi)發(fā)者將使用 Golang 編程語(yǔ)言來(lái)為 AI 模型編寫自定義規(guī)則。

　　據(jù)搜索了解，包括谷歌和微軟支持的 OpenAI 等其他 AI 公司，也使用了一種稱為強(qiáng)化學(xué)習(xí)的方法來(lái)防止 LLM 應(yīng)用產(chǎn)生有害的輸出。這種方法使用人類測(cè)試者來(lái)創(chuàng)建關(guān)于哪些答案是可接受或不可接受的數(shù)據(jù)，然后使用這些數(shù)據(jù)來(lái)訓(xùn)練 AI 模型。

　　英偉達(dá)正在將其注意力轉(zhuǎn)向 AI 領(lǐng)域，該公司目前占據(jù)了創(chuàng)建這項(xiàng)技術(shù)所需芯片的市場(chǎng)主導(dǎo)地位，其股價(jià)在 2023 年迄今為止上漲了 85%，成為標(biāo)準(zhǔn)普爾 500 指數(shù)中漲幅最大的股票。