**O Gaudi2 da Intel supera o H100 da NVIDIA em desempenho de IA com um impressionante aumento de 56%!**
Quando se trata de adquirir hardware para treinar modelos de IA, a NVIDIA é a principal escolha por seu poder. Gráficos como o A100 e H100 já estão com problemas de produção devido ao fato de haver mais demanda do que oferta e as empresas demorarem meses para esperar pelas novidades. Enquanto tudo isso acontece, agora temos benchmarks da Stability AI que nos mostram como Intel Gaudi2 é mais rápido que o NVIDIA H100 em Difusão Estável.
A IA generativa já existe há alguns anos, embora realmente não existisse até agora, quando tudo explodiu em termos de juros e investimentos de milhões de dólares. Antes do OpenAI entrar em cena com o ChatGPT, tínhamos tanto Midjourney quanto Stable Diffusion. Essas foram as duas principais ferramentas de IA generativa para criação de imagens que foram utilizadas e hoje poderíamos dizer que ainda são as mais empregadas. O que não se sabia naquela época é que eles iriam evoluir a um ponto em que a IA começaria a ficar complicada para distingui-la da realidade.
Intel Gaudi2 é 56% mais rápido que NVIDIA H100 em IA com Stable Diffusion 3
Como você pode imaginar, para criar uma boa imagem com IA é preciso saber escrever os prompts e fazer com que ela produza o que queremos com o melhor resultado possível com base em várias tentativas. Ao contrário do Midjourney que processa tudo no nível do servidor e é pago, com Stable Diffusion tudo fazemos isso com nosso próprio hardware. Esta IA é compatível com gráficos NVIDIA principalmente, embora eles também possam usar GPU AMD e até mesmo de Intel. Na verdade, a empresa que criou Stable Diffusion, Stability AI, testou o gráfico A NVIDIA mais desejada atualmente neste setor, o H100 80GB e o acelerador de IA Intel Gaudi2 com 96 GB.
Aqui podemos ver como o teste com 2 nós e 16 aceleradores usando um tamanho de lote de 16 por acelerador (descartamos o valor de 32 para fazer a comparação), a Intel supera bastante seu rival. Assim, temos um total de 927 imagens por segundo criadas em Stable Diffusion 3 , 56% a mais que as 595 imagens por segundo criadas pela NVIDIA H100.
É muito mais rápido que o NVIDIA A100, mas se o TensorRT for usado tudo muda
Se compararmos com o NVIDIA A100, as diferenças são ainda maiores, já que com 381 imagens por segundo em comparação, o acelerador Intel AI acaba sendo 2,43 vezes mais rápido. Agora que vimos como a Intel domina nesse primeiro teste, vamos ver como ela se sai quando dimensionada para 32 nós e 256 aceleradores, mantendo o tamanho do lote em 16. Aqui vemos que Intel Gaudi2 atinge nada menos que **12.654 imagens por segundo ** , o que significa 49,4 imagens por segundo para cada dispositivo.
Enquanto isso, a equipe composta pela NVIDIA A100 gera apenas 3.992 imagens por segundo, então falamos de 15,6 imagens por segundo por GPU. Intel Gaudi2 demonstra novamente sua liderança, sendo mais de 3 vezes mais rápido que NVIDIA A100. Estes resultados diferem daqueles publicados há pouco, onde Gaudi2 teve um desempenho inferior ao do H100, mas acabou por ser muito mais económico. Nos testes atuais onde vemos que a Intel supera tudo da NVIDIA, Stability AI indica que usaram PyTorch, causando uma enorme desvantagem para a NVIDIA.
Se tivessem usado o TensorRT, o A100 deveria ser 40% mais rápido. Embora a Intel seja capaz de gerar uma imagem de 1024 x 1024 pixels com 30 passagens em 3,2 segundos no PyTorch , o A100 consegue isso em 2,7 segundos com o TensorRT.
*️⃣ Link da fonte: