O colossal chip AI dominando o planeta com impressionantes 900.000 núcleos!
Cerebras Systems está de volta ao noticiário com a terceira geração de seu chip do tamanho de um wafer , é hora de falar sobre WSE-3. Em plena febre pela Inteligência Artificial (IA), como não poderia deixar de ser, este gigantesco chip será orientado para esse mercado. Para isso nada menos do que oferecer 900.000 núcleos otimizados para lidar com cargas de trabalho relacionadas à IA. Estamos falando de um cérebro enorme para treinar até 24 bilhões de parâmetros.
O Wafer Scale Engine 3 (WSE-3), como o próprio nome sugere, É um chip de escala wafer. Ou seja, tradicionalmente, um wafer pode sair um grande número de chips funcionais. Ou seja, deixar um grande número de processadores ou chips GPU. Neste caso, o wafer inteiro forma apenas um chip. Especificamente, um grande cérebro orientado para IA.
O Cerebras WSE-3 promete oferecer desempenho máximo de IA de até 125 petaFLOPS
De acordo com a Cerebras Systems, seu WSE-3 possui nada menos que 4 bilhões de transistores. Todos eles estão dentro de um wafer de desenho retangular com tamanho de 46.225 mm2. Isto implica ser 57 vezes maior que o chip que dá vida ao NVIDIA H100, o maior GPU do mercado com 80.000 milhões de transistores. Embora o NVIDIA H100 tenha 16.896 núcleos CUDA e 528 núcleos Tensor, este WSE-3 oferece 52 vezes mais núcleos. Ou seja, 900.000 núcleos.
Esses núcleos são acompanhados por 44 GB de memória integrados ao próprio chip com uma largura de banda de 21 petabytes por segundo. O NVIDIA 100 integra 0,05 GB com largura de banda de 0,003 petabytes por segundo. Estamos falando do chip Cerebras que oferece 880 vezes mais memória on-chip e 7.000 vezes mais largura de banda. Tudo isso é reunido por meio da interconexão Fabric com largura de banda de 214 petabits por segundo, 3.715 vezes mais que a NVIDIA H100.
O Cerebras WSE-3 é fabricado pela TSMC em 5nm e oferece um desempenho máximo de IA de 125 petaFLOPS. Como referência, o NVIDIA H100 movimenta cerca de 4 petaFLOPS. Então estamos falando de ser 31,25 vezes mais poderoso. Além disso, o chip Brains também suporta memória externa ao chip. Específico, até 1,2 petabytes de armazenamento. Tudo isto permite treinar modelos de IA com até 24 mil milhões de parâmetros.
Utilidade real deste enorme chip
Para começar, o Cerebras WSE-3 dará vida ao cluster CS-3 AI. Ele é capaz de treinar modelos 10 vezes maiores que GPT-4 e Gemini graças à sua enorme reserva de memória. A solução CS-3 AI foi projetada para usuários empresariais e de TI. hiperescala e oferece eficiência de desempenho muito alta superior à das GPUs atuais.
A união de 64 clusters CS-3 será responsável por dar vida ao supercomputador Condor Galaxy 3. Isso resultará em 8 ExaFlops de desempenho de computação de IA , dobrando o desempenho do sistema com a mesma potência e o mesmo custo. A empresa não comunicou o preço ou a disponibilidade dos chips WSE-3, mas espera-se que sejam muito caros. Deve-se levar em conta que cada GPU NVIDIA H100 é capaz de custar cerca de US$ 30.000. Agora bem, com a escassez desta GPU, os chips Cerebras WSE-3 não vão se importar, haverá falta de pretendentes.
*️⃣ Link da fonte: