"Apresentando a maravilha em escala de wafer da Cerebras: a besta de 900.000 núcleos!
A Cerebras Systems revelou a mais recente iteração de seu processador de inteligência artificial com chip de silício do tamanho de um wafer, conhecido como Wafer Scale Engine 3 (WSE-3). Medindo 46.225 mm², esta tecnologia inovadora representa um avanço significativo no campo do processamento de IA.
O último lançamento da Cerebras, WSE-3, apresenta uma melhoria significativa no desempenho quando comparado ao seu antecessor WSE-2, mantendo níveis constantes de eficiência energética e custo. Conforme afirmado por Andrew Feldman, cofundador e CEO da Cerebras, “O WSE-3 se destaca como o processador de inteligência artificial mais rápido do mundo.
A empresa sediada nos EUA desenvolveu um processador projetado para acomodar os mais extensos modelos de inteligência artificial da indústria, com capacidade de até 24 trilhões de parâmetros. Este processador específico possui uma impressionante variedade de componentes, incluindo 900.000 núcleos, que supera as capacidades do WSE-2 em 50.000 unidades, resultando em um desempenho máximo de 125 petaflops ao utilizar a tecnologia altamente esparsa FP16. Além disso, este processador avançado contém um número substancial de transistores, medindo 4 trilhões, e aproveita o processo de fabricação de 5 nanômetros de última geração da TSMC. Além disso, inclui uma quantidade substancial de SRAM no chip
CS-3, o ambiente que hospeda o WSE-3, permite que os usuários cultivem “modelos de próxima geração dez vezes maiores em tamanho que o GPT-4 e o Gemini”. Com a inovadora interconectividade SwarmX, até 2.048 instâncias do CS-3 podem se conectar perfeitamente, utilizando impressionantes 1,2 petabytes de armazenamento MemoryX. De acordo com a Cerebras, esta extensa rede de 2.048 unidades CS-3 tem o potencial de fornecer surpreendentes 256 exaflops de poder de processamento de IA e realizar um treinamento completo do Llama2-70B do zero em um único dia.
Em comparação com o acelerador H100 da NVIDIA, o WSE-3 apresenta disparidades substanciais em ambas as dimensões e desempenho computacional, especificamente no que diz respeito às operações “FP16 esparsas”. Embora sua magnitude física seja aproximadamente 57 vezes maior que a do H100, o aprimoramento de desempenho associado ao processamento “esparso FP16” equivale a um aumento impressionante de 62 vezes. No entanto, dados os consideráveis requisitos de recursos e consumo de energia associados ao sistema Constellation-3 (CS-3), pode ser mais apropriado avaliar as suas capacidades comparando-o com dois sistemas DGX, cada um equipado com 8 NVIDIA H100s. Sob tal configuração, o CS-3 permanece aproximadamente 4 vezes mais rápido em termos de “esparsa
A Cerebras se destacou por suas excepcionais capacidades de largura de banda de memória, facilitadas pela inclusão de 44 GB de SRAM on-chip em sua oferta mais recente. Isso equivale a uma impressionante largura de banda de memória de 21 PB/s, superando o desempenho do acelerador NVIDIA H100 com memória HBM3, que atinge apenas 3,9 TB/s.
O recente anúncio da Cerebras afirma que sua nova tecnologia facilita o treinamento de um modelo de um trilhão de parâmetros na plataforma CS-3, comparável à facilidade de treinar um modelo de um bilhão de parâmetros utilizando GPUs tradicionais. Além disso, a empresa afirma que a implementação de um grande modelo de linguagem, como o GPT-3, requer apenas 565 linhas de código no seu sistema – estabelecendo uma nova referência na indústria. Ao fazer isso, afirmam que a arquitetura CS-3 reduz o código necessário em aproximadamente 97%.
A Cerebras relata que possui uma carteira de pedidos para seu produto CS-3, o que é indicativo de forte demanda. Especificamente, a organização dá ênfase à sua colaboração com a G42, uma empresa de inteligência artificial sediada nos Emirados Árabes Unidos.
Após a colaboração para desenvolver os supercomputadores Condor Galaxy 1 (CG-1) e Condor Galaxy 2 (CG-2), ambas as empresas divulgaram planos para construir o sistema Condor Galaxy 3 (CG-3), previsto para ser localizado em Dallas, Texas. Espera-se que o CG-3 possua uma capacidade impressionante de 8 exaflops, aproveitando os cálculos de inteligência artificial através dos seus 64 sistemas CS-3. Este ambicioso projeto está programado para iniciar operações durante o segundo trimestre de 2024.
A Cerebras divulgou recentemente sua colaboração com a Qualcomm para criar uma plataforma de inteligência artificial focada em treinamento e inferência de modelos. Esta parceria aproveitará as características distintivas da arquitetura CS-3, incluindo a dispersão não estruturada, para melhorar o desempenho dos aceleradores de inferência AI 100 Ultra da Qualcomm. Consequentemente, a Cerebras afirma que o rendimento para grandes modelos de linguagem durante processos de inferência pode alcançar melhorias notáveis de velocidade de até dez vezes em comparação com os métodos tradicionais.
*️⃣ Link da fonte: