A potência do transistor para IA!
Publicado em 14 de março de 2024 às 15h30. por cabeçalho do artigo
A empresa americana Brains especializou-se no desenvolvimento do conceito chip-on-wafer. Em vez de cortar um a um os chips produzidos nas pastilhas de silício, deixa-os montados e interligados, constituindo um processador gigante composto por milhares de núcleos.
Esta tecnologia específica tem um potencial significativo em termos do seu impacto nas infraestruturas e nas necessidades espaciais, especificamente no que diz respeito à facilitação de cargas de trabalho de inteligência artificial.
A nova solução anunciada pela Cerebras é o chip on wafer WSE-3 (Wafer Scale Engine), um grande quadrado dourado composto por alguns 900.000 núcleos otimizados para IA e gravados em 5 nm, ou seja, 4000 bilhões de transistores unidos dentro do mesmo sistema.
Chip Cerebras WSE-3 em Wafer
Na Nvidia, o acelerador de IA (GPU) Nvidia H100 que todas as empresas de IA estão buscando inclui 80 bilhões de transistores, mas se beneficia da gravação de 4 nm.
Um chip gigante com quase um milhão de núcleos para IA
Esta é uma grande diferença em relação ao WSE-2 que tem 850.000 núcleos mas gravados em 7 nm com um total de 2.600 bilhões de transistores. Cerebras evoca uma duplicação de desempenho para o mesmo consumo de energia e pelo mesmo preço com o novo chip WSE-3.
Ela está associada a 44 GB de memória SRAM no chip e pode desenvolver uma capacidade de processamento máxima de 125 petaflops. Ele foi projetado para gerenciar modelos de IA com até 24 trilhões de parâmetros e pode ser integrado a um sistema CS-3 (Cerebras System, que inclui o chip on wafer, a memória externa e os chips de comunicação) que, com um capacidade de memória de 1,2 petabytes, será capaz de treinar modelos de linguagem 10 vezes mais poderosos que GPT-4 (OpenAI) e Gemini (Google).
Com esta capacidade de processamento, a Cerebras afirma que um cluster de 2.048 sistemas CS-3 é capaz de fornecer poder de computação de IA de 256 exaflops e pode controlar um grande modelo Llama2-B70 em menos de um dia…em comparação cerca de um mês com um cluster de GPU clássico usado pelo Meta.
No coração do supercomputador CG-3 AI
Apesar de suas características distintas, a utilização do chip-on-wafer WSE-3 e do sistema CS-3 não apresenta nenhum desafio significativo em termos de operabilidade quando comparado às plataformas convencionais de treinamento de IA e, na verdade, requer menos comandos de programação do que uma configuração que incorpora uma unidade de processamento gráfico (GPU).
Ao mesmo tempo, a Cerebras continua sua iniciativa com a empresa G42 para criar um conjunto de seis supercomputadores de IA avançados e interconectados Condor Galaxy que fornecerão um poder de computação combinado de 36 exaflops no FP16.
Os chips wafer WSE-3 alimentarão o supercomputador CG-3 (Condor Galaxy-3) atualmente em construção e que deve acomodar 64 sistemas CS-3 para fornecer sozinhos 8 exaflops de processamento de IA poder. Com os outros dois sistemas CG-1 e CG-2 já instalados, um total de 16 exaflops estarão disponíveis para treinar grandes modelos de IA.
Jornalista deste site especializado em mobilidade/Ante-Geek das profundezas da Web e de outros lugares
*️⃣ Link da fonte: