Competir com vários filtros! Nvidia lança ferramenta de segurança para chatbots de IA que afirma serem "mais seguros"

Embora os serviços de chatbot baseados no modelo ChatGPT ou outros modelos de IA generativa sejam atualmente “mais do que populares”, eles são geralmente criticados por “precisão insuficiente”. Mesmo os melhores modelos atuais inevitavelmente gerarão conteúdo. Contém conteúdo tendencioso, prejudicial, tóxico e malicioso . Para resolver esse problema que existe desde o lançamento do ChatGPT, a Nvidia lançou um conjunto de ferramentas de código aberto chamado NeMo Guardrails em 25 de abril para tornar os futuros aplicativos de IA mais “precisos, apropriados, relevantes e seguros”.

Continua após a publicidade

Como vários modelos generativos de IA cometem erros com frequência, palavras enganosas, chocantes e prejudiciais e conteúdo falso aparecem de tempos em tempos e até causam alucinações e preconceitos, um certo modelo de IA também foi apelidado de “mentiroso que manipula emoções”. Por isso, as empresas por trás de muitos desses modelos implementaram filtros ou montaram equipes de arbitragem para corrigir os diversos problemas e erros mencionados acima. Mas até agora, nenhum resultado satisfatório de melhoria foi visto.

A Nvidia está bem ciente de que as ferramentas de segurança do modelo de IA são críticas para empresas que desejam implantar modelos de IA em casos de uso. Para buscar modelos de IA generativos orientados por texto “mais seguros”, a Nvidia tem pesquisado o sistema subjacente de Guardrails por muitos anos, especialmente Apresentando o conjunto NeMo Guardrails de ferramentas de código aberto. O kit inclui código, exemplos e documentação para adicionar segurança aos aplicativos de IA que geram texto e fala. Comparado com os filtros “proprietários” lançados por várias empresas, o conjunto de ferramentas pode funcionar com a maioria dos modelos de IA generativos, e os desenvolvedores precisam apenas escrever algumas linhas de código para criar regras.

Basicamente, o NeMo Guardrails pode impedir que o modelo de IA fique fora do tópico, impedir que a IA responda com informações imprecisas ou comentários tóxicos e ainda impedir que o modelo de IA se conecte a recursos externos inseguros. O serviço de automação de fluxo de trabalho Zapier já está usando o conjunto de ferramentas para adicionar uma camada de segurança aos seus modelos generativos.

Embora, em teoria, o NeMo Guardrails seja adequado para a maioria dos modelos atuais de IA generativa, na verdade faz parte da estrutura NeMo da empresa. O NeMo, parte da Nvidia AI Platform, é uma estrutura corporativa nativa da nuvem de ponta a ponta para a implantação de modelos generativos de IA contendo bilhões de parâmetros. A estrutura está disponível por meio do pacote corporativo de IA da Nvidia e do serviço de nuvem totalmente gerenciado da NeMo. Embora qualquer empresa possa adotar a versão de código aberto do NeMo Guardrails, a Nvidia claramente prefere que os clientes paguem por uma assinatura gerenciada.