Prompts de texto e imagens podem ser convertidos em gráficos 3D, OpenAI lançou um novo modelo de Shap-E

Generative AI (Generative AI) inflama o aumento da inteligência artificial. Além de prompts de texto para gerar mais conteúdo de texto e imagem, o novo modelo AI também pode produzir gráficos estereoscópicos 3D.

Continua após a publicidade

A maioria das pessoas não está familiarizada com prompts de texto de entrada para gerar conteúdo de texto e imagem, como ChatGPT, Midjourney / DALL E 2, etc. A OpenAI lançou recentemente um modelo Shap-E que pode converter texto e imagens em gráficos 3D. Os resultados podem ser encontrado no Microsoft Little Painter 3D (Paint 3D) e pode até ser convertido em um arquivo STL para saída de impressora 3D. Além disso, o Shap-E pode fornecer gráficos 3D melhores e uma saída mais rápida do que o Point-E lançado no ano passado .

O Point-E gera nuvens de pontos 3D com base em prompts de texto, enquanto o Shap-E constrói diretamente o contorno dos objetos e usa uma função chamada Neural Radiance Fields (NeRF) para superar a ambiguidade do modelo inicial. NeRF é a mesma tecnologia usada em VR e AR para tornar as cenas 3D mais realistas.

O Shap-E pode ser baixado do GitHub e pode ser instalado e executado em um computador pessoal. Mais importante, o Shap-E não requer uma chave de API OpenAI, portanto, pode ser usado gratuitamente no momento.

No entanto, a mídia estrangeira, como Tom’s Hardware, observou após testes que, como o OpenAI não fornecia instruções detalhadas para o Shap-E, ele apenas dizia a todos para usar o comando pip do Python para instalá-lo, portanto, a instalação real para a saída dos gráficos 3D levou vários Horas de tatear.

No momento, os resultados dos testes do Shap-E geralmente ainda são de baixa resolução e falta de detalhes, mas a tecnologia que pode converter texto e imagens em gráficos 3D é realmente cheia de potencial de desenvolvimento.

▲ O pinguim tridimensional 3D produzido pelo modelo Shap-E.

▲ Cadeira em forma de abacate.

▲ Aeronave em forma de banana.

Seja convertendo texto ou imagens em gráficos 3D, o Shap-E requer muitos recursos do sistema de computador. A Tom’s Hardware apontou que, por exemplo, rodar o Shap-E em um desktop equipado com uma placa gráfica RTX 3080 e um processador Ryzen 9 5900X leva cerca de 5 minutos para concluir o desenho, enquanto em um laptop gamer ROG equipado com uma placa gráfica RTX 4090 cartão e processador Intel Core i9-13980HX ativado, leva apenas 2 a 3 minutos. No entanto, ao tentar executar o Shap-E em um laptop antigo equipado com um processador Intel série U de 8ª geração combinado com uma placa gráfica integrada, ele consome apenas cerca de 3% em uma hora.

Como o Shap-E não oferece suporte a marcas de placas gráficas diferentes da Nvidia, se você planeja usar este modelo, primeiro deve garantir que possui uma placa gráfica Nvidia e as especificações de hardware precisam atingir um determinado nível, para não desperdiçar muito tempo de espera.

Desde inserir prompts de texto para gerar texto e imagens e, em seguida, atualizar para gráficos tridimensionais 3D, a gama de aplicativos de IA generativa está ficando cada vez mais ampla. Os gráficos estereoscópicos 3D podem ser aplicados em muitos cenários, e imaginamos que o metaverso deve realizar a vida virtual dos seres humanos no futuro, e o modelo Shap-E pode ajudar a gerar materiais para a construção do metaverso.