25 de November de 2023

A razão pela qual o ChatGPT é difícil de replicar não é apenas o consumo da placa gráfica, mas também as contas de água e eletricidade?

Quando acordei, o mundo mudou novamente. Depois que o ChatGPT se tornou público, a indústria AIGC explodiu, especialmente em março, todos os dias pareciam ser um dia “histórico”.

Continua após a publicidade

A IA generativa representada pelo ChatGPT parece ser avançada, mas nasce de uma forma bem “clássica”. Não possui ícones sofisticados ou design de interface do usuário perfeito, mas “choca” o mundo com a caixa de diálogo mais simples. É tão simples, mas se tornou o tópico mais popular na Internet e na realidade.Com certeza, “peles bonitas são as mesmas e almas interessantes são uma em um milhão”. Só que a gente só sente na página e nas perguntas e respostas, o que nos faz ignorar muitos problemas.

A “resposta” aparentemente descomplicada está por trás de uma das poucas conquistas de poder de computação no mundo. À medida que o ChatGPT se torna a norma, as sobrancelhas escondidas por trás do ChatGPT emergem gradualmente.

Queimar dinheiro e eletricidade, mas também como beber água

IA generativa consome placas gráficas muito semelhantes à “mineração”. Quanto mais parâmetros de treinamento de modelos de linguagem grandes (LLMs), melhor o desempenho. Em 2018, o LLM tinha cerca de 100 milhões de parâmetros e agora precisa de cerca de 200 bilhões de parâmetros. A execução de IA requer uma GPU com alto poder de computação. A Huida lançará a GPU de alto desempenho A100 em 2020, embalará oito A100s para formar um servidor DGXA100, um servidor de computação ou um grupo de placas gráficas e, finalmente, colocá-lo em um centro de computação em nuvem, como o serviço de nuvem do Microsoft Azure.

O treinamento de um modelo de linguagem grande não apenas exige muito poder de computação, mas toda vez que um usuário pergunta, o ChatGPT responde uma vez e algum poder de computação é usado. Tráfego é dinheiro, OpenAI, a Microsoft deve ter sentimentos inesquecíveis. Segundo dados da Similarweb, o ChatGPT atraiu 1,6 bilhão de visitas globais em março, quase o triplo de janeiro. Mesmo que a Microsoft esteja preparada para instalar mais de 10.000 A100s no ChatGPT, até o OpenAI não aguenta o tráfego, trava e fecha contas. suspensão da ativação da associação Plus foi executada.

Leia Mais:  IA 'pode ser tão transformadora quanto a Revolução Industrial

Algumas pessoas estimam que a Microsoft teria que comprar dezenas de milhares de placas gráficas A100 ou H100 para absorver totalmente o tráfego naquele momento, e o atual poder de computação do Azure está longe de ser suficiente. Mas comprar mais placas gráficas terá mais problemas além de queimar dinheiro. O servidor DGXA100 composto por oito A100s custa cerca de US$ 199.000 e tem uma potência máxima de 6,5 kW. Calculado em 10.000 peças, a Microsoft gastará 250 milhões de dólares somente em hardware, e 5,85 milhões de quilowatts-hora de eletricidade serão usados ​​para um mês de operação.

Além do preço da própria placa gráfica e da potência para manter o trabalho, deve haver um ambiente fresco com dispositivo de resfriamento evaporativo. O princípio é simples, que é usar a água evaporada para dissipar o calor, mas a operação requer muita água, e cerca de 1% a 2% da água vai evaporar e ser levada pelo vento durante o ciclo. Embora a quantidade de água mantenha aproximadamente um equilíbrio dinâmico, o microambiente da torre de resfriamento tem um consumo invisível.

Combinados com o centro de computação do AIGC, que requer enorme poder de computação, pesquisadores da Universidade do Colorado e da Universidade do Texas estimaram a quantidade de água consumida durante o processo de treinamento. Tomando o GPT-3 como exemplo, a água potável limpa durante o treinamento é igual à quantidade de água que enche a torre de resfriamento de um reator nuclear. Com certeza, a IA acabará sendo ligada à energia nuclear. Para ser mais específico, são cerca de 700.000 litros de água, e também se calcula que um usuário tenha de 25 a 50 perguntas e respostas com o ChatGPT, o que equivale aproximadamente a beber 500ml de água para o ChatGPT. Quando a torre de resfriamento evaporativo está funcionando, em média, um galão de água (3,78L) desaparece para cada quilowatt-hora de eletricidade consumida.

Não apenas a Microsoft, o Google consumiu mais de 2,3 bilhões de galões de água para seus três data centers em 2019. O Google tem 14 centros de dados nos Estados Unidos, fornecendo poder de computação para pesquisa e agora LaMDA e Bard, e treinar modelos de linguagem LaMDA consome mais água do que GPT-3.

Leia Mais:  O frango frito do McDonald's que você come foi criado pela IA! Lutando contra "merda de galinha" por meio ano, criando uma máquina de peso AI na fazenda de galinhas Pokpong Dacheng

A IA não apenas come placas gráficas, mas também vive em uma casa grande com temperatura constante, tem um apetite surpreendentemente bom, come eletricidade e bebe água.

Google

A divisão da IA ​​em todos os lugares

A caixa de diálogo de resposta simples e precisa da indústria de AIGC não apenas representa força técnica, mas também representa forte poder financeiro. Dr. Sasha Luccioni disse que apenas algumas empresas no mundo têm recursos para treinar grandes modelos de linguagem. Tomando o GPT-3 como exemplo, o custo de treinamento de 180 bilhões de parâmetros é de cerca de 4,6 milhões de dólares americanos, sem incluir operação de acompanhamento e manutenção de atualização. É claro que muitas empresas não podem arcar com esses custos tangíveis e intangíveis.

Portanto, sob a onda AIGC, uma lacuna AI é formada e dividida em dois tipos de empresas. Uma é uma grande empresa de tecnologia com dinheiro suficiente para treinar o modelo de linguagem mais complexo; a outra são organizações sem fins lucrativos e pequenas empresas que não podem pagar.

Muitos relatórios de pesquisa sobre a quantidade de recursos de energia que o AIGC consome são geralmente referidos como GPT-3 ou “estimados”, assim como a pesquisa sobre quanta água foi usada para treinar o GPT-3. A OpenAI não divulgou o tempo de treinamento do GPT-3 O pesquisador Só pode ser estimado a partir dos dados da torre de resfriamento do Microsoft Azure Computing Center. Outros dados, como emissões de carbono, são estimados principalmente a partir do modelo de treinamento Bert em 2019. Além de hard power, como fundos, GPUs, data centers e largura de banda de rede, o Google e a Microsoft também classificaram o treinamento, o processo, o tempo e os parâmetros de grandes modelos de linguagem como segredos.

Se quisermos usá-lo, podemos apenas usar a API ou solicitar ChatGPT e Bard, que praticamente se torna o “IA gap”.

O AIGC está se desenvolvendo rapidamente e suas capacidades estão se expandindo infinitamente.Muitas organizações nacionais estão considerando como ajudar o AIGC a estabelecer normas para que ele (gere autoconsciência, comece a despertar, etc.) não aja de forma imprudente. Mas, assim como os pesquisadores, o AIGC (como o GPT-4) quase não possui informações públicas, mais como uma caixa preta tecnológica. Para grandes empresas, o AIGC pode ser o início de uma nova era. Não há nada de errado em construir barreiras tecnológicas, mas o consumo de recursos, seja do Legislativo ou do público, deve permanecer transparente. É por isso que os pesquisadores continuam a pesquisar para encontrar a conveniência que a IA fornece Justificativa para quantos recursos.

Leia Mais:  À medida que as avaliações de startups cripto voltam à Terra, grandes investidores estão caçando pechinchas

Desenvolver IA é, na verdade, um pouso humano na lua

A pesquisa sobre consumo de energia de IA, emissões de carbono e consumo de água não condena ou se opõe ao desenvolvimento do AIGC, que usa recursos em troca de melhorias tecnológicas. Não é pedir ao Google e à Microsoft que alcancem imediatamente a neutralidade de carbono, paguem pelos recursos hídricos, eletricidade e questões ambientais indiretas e se transformem em Google Green ou greensoft.

O surto de AIGC não é um cluster, nem uma simples explosão de tecnologia, abrangendo muitas cadeias industriais, mais como um “sucesso”. O poder computacional do centro de computação em nuvem das grandes empresas aumentou, assim como a computação eficiente das GPUs e a complexidade dos grandes parâmetros do modelo de linguagem.Além disso, as empresas AIGC têm investido independentemente do custo.

O centro de computação de big data é apenas uma parte da indústria de AIGC

Antes do surgimento do GPT-3, os recursos de IA ainda eram imaturos e o público não sabia que a IA poderia mudar o mundo. No entanto, com o surgimento do GPT-4 e do Midjourey V5, o AIGC se tornou o queridinho do Vale do Silício. Neste momento, OpenAI, Microsoft, Google, etc. consomem muitos recursos, e o uso de grande poder de computação alcançou resultados preliminares.

O mesmo nó AIGC é semelhante ao momento em que os humanos pousaram na lua. O pouso na lua usou muitos recursos financeiros naquela época, mas a lua não encontrou os mesmos recursos utilizáveis ​​​​(temporariamente) recuperados, mas não se pode negar que o pouso na lua não tem sentido, assim como o desenvolvimento do AIGC agora. Ninguém pode dizer com certeza até onde o AIGC pode se desenvolver.