Fortalecendo Gêmeos 1.0!
Junto ao lançamento de seu AI Gemini 1.0, o Google também anunciou um novo hardware para dar vida a ele, seu Cloud TPU v5p. Infelizmente, o Google não fornece tantos detalhes quanto gostaríamos, mas sabemos que estamos analisando o hardware com melhor custo-benefício que o Google conseguiu criar para acelerar a IA. Para nos dar uma ideia, sua TPU (Cloud Tensor Processing Unit) ganha vida através da interconexão de nada menos que 8.960 chips. Cada chip possui uma interconexão com uma enorme largura de banda de 4.800 Gbps.
Este é um salto notável em relação aos 4.096 chips por pod oferecidos pelo Cloud TPU v4. A largura de banda também foi duplicada, passando de 2.400 Gbps para os atuais 4.800 Gbps. Se falarmos sobre o desempenho do Bf16, a TPU v5p oferece um desempenho de 459 TFLOPs em comparação com os 275 TFLOPs da TPU v4. Talvez o mais interessante é que passamos de nenhum desempenho Int8 (dados inteiros de 8 bits em programação), para um a desempenho de 918 TOPS. Por fim, cada TPU v5p é acompanhada por 95 GB de memória HBM em comparação com os 32 GB de seu antecessor.
Cloud TPU v5p foi usado para dar vida à IA do Google: Gemini 1.0
Quando se trata de treinamento de modelo, o Cloud TPU v5p mostra um salto geracional de velocidades de treinamento de 2,8x no modelo de linguagem LLM. O Google também criou espaço para obter mais poder de computação, já que a TPU v5p é “4x mais escalável que a TPU v4 em termos de total de FLOPs disponíveis por pod”.
Especificamente, estas são as vantagens do Cloud TPU v5p em comparação com seu antecessor (TPU v4):
-2 vezes mais Flops que TPU v4 (459 TFLOPs Bf16/918 TOPs INT8) -3 vezes mais capacidade de memória que TPU v4 (95 GB HBM) -Treinamento LLM 2,8x mais rápido -Treinamento 1,9x mais rápido de modelos de incorporação densos -2,25 vezes mais largura de banda do que TPU v4 (2.765 GB/s vs. 1.228 GB/s) -2x mais largura de banda de interconexão de chip do que TPU v4 (4.800 Gbps vs. 2.400 Gbps)
O desenvolvimento de modelos generativos de inteligência artificial registou avanços significativos e oferece um nível extraordinário de sofisticação e aplicações potenciais. Estas melhorias permitiram que empresas e profissionais de diversos setores enfrentassem desafios complexos e criassem novas perspectivas. Ao mesmo tempo, a rápida expansão dos modelos generativos de IA, com um aumento anual de até dez vezes o número de parâmetros nos últimos cinco anos, apresenta exigências mais rigorosas de formação, ajuste fino e processamento. Por exemplo, alguns dos maiores modelos atuais podem necessitar de vários meses de formação em infraestruturas de última geração.
Estamos entusiasmados em apresentar o Cloud TPU v5p, um acelerador de IA de última geração que oferece potência, escalabilidade e flexibilidade excepcionais. As TPUs desempenharam um papel fundamental na promoção da inovação em vários aplicativos baseados em IA, como YouTube, Gmail, Google Maps, Google Play e Android. Vale ressaltar que mesmo o modelo de IA mais avançado e versátil lançado recentemente pelo Google, conhecido como Gemini, conta com a tecnologia TPU para seu treinamento e operação.
Google também apresentou seu hipercomputador AI
Por outro lado, o Google Cloud anunciou seu AI Hypercomputer próximo a este Cloud TPU v5p. O Google a descreve como uma arquitetura inovadora de supercomputador que emprega um sistema integrado de hardware com desempenho otimizado, software aberto, estruturas de aprendizado de máquina e modelos de consumo flexíveis. Basicamente, seu próprio supercomputador baseado em seu hardware.
Para que as aplicações contemporâneas de Inteligência Artificial e Aprendizado de Máquina sejam efetivamente suportadas, é essencial que os componentes de hardware e software sejam perfeitamente integrados em uma infraestrutura de computação coesa, fácil de usar, segura e confiável. Através de extensos esforços de pesquisa e desenvolvimento que abrangem vários anos, o Google desenvolveu o AI Hypercomputer, que compreende uma série de tecnologias avançadas projetadas especificamente para facilitar a execução eficiente de tarefas modernas de IA.
*️⃣ Link da fonte: