Superando NVIDIA H1000 a um custo menor
Os avanços na inteligência artificial provocaram uma mudança em nossas vidas, pois ao implementar essas ferramentas em nossas vidas podemos aumentar a produtividade e automatizar tarefas. Para criar modelos de IA tão bem-sucedidos quanto o GPT-4 no ChatGPT, as IAs precisam ser treinadas com milhões de pontos de dados. Para acelerar o processo, foram utilizadas GPUs NVIDIA porque são as mais rápidas, mas de acordo com um estudo, Intel Gaudi2 é superior ao NVIDIA H100 em IA **em termos de desempenho/preço* *.
A Intel é conhecida principalmente por seus processadores para PCs, laptops e servidores, mas também atua em outros setores. Há pouco mais de um ano, decidiu lançar uma linha de GPUs dedicadas da arquitetura Alchemist. Embora tivessem uma boa relação desempenho/preço/memória, eles nunca se destacaram. A Intel mal conseguia competir na gama média de GPUs com o melhor que tinha a oferecer. Por outro lado, também lançou outros dispositivos, como aceleradores Intel Gaudi AI.
Intel Gaudi2 iguala a latência do NVIDIA H100 na decodificação
Habana Labs, a divisão de data center da Intel Vision, anunciou o Gaudi3 há apenas algumas semanas, seu mais recente e avançado acelerador de IA. Criada em 5nm, a Intel afirmou que era mais rápida que a GPU NVIDIA H100, que era uma das mais populares para treinar modelos de IA. Além disso, também superou o AMD MI300X, a GPU mais poderosa da empresa para inteligência artificial. Com Gaudi3, a Intel prometeu uma melhoria de desempenho 1,5 vezes maior que Gaudi2 e a mesma proporção em largura de banda e memória.
Aparentemente não é necessário ir ao Gaudi3 para poder competir com a NVIDIA, pois segundo um estudo recente realizado pela Databricks, descobriram que o Intel Gaudi2 compete com o melhor da NVIDIA. A pesquisa determinou que o acelerador da Intel consegue corresponder à latência do H100 na decodificação e até exceder o A100.
Obtenha melhor desempenho/preço que o H100 e A100
Para demonstrar o potencial do acelerador de IA da Intel, a Databricks conduziu um teste usando MosaicML LLM. Nele ele observou como Gaudi2 consegue ser o segundo mais rápido logo depois do NVIDIA H100, com mais de 260 TFLOPs para cada chip. De acordo com o arquiteto-chefe de PNL da Databricks, o desempenho de Gaudi2 foi uma grande surpresa. Embora seja um estudo independente, os resultados obtidos se aproximam dos da Intel.
Quando a Intel anunciou o Gaudi2 e mostrou os testes de desempenho, este acelerador de IA ficou muito próximo do NVIDIA H100 no FP8. Na verdade, segundo a Intel, a GPU NVIDIA teve uma melhoria de desempenho. 9% no Servidor GPT-J , fazendo uma comparação com 8 aceleradores. Onde conseguiu a vitória foi contra o A100, já que o superou em até 2,4 vezes seu desempenho.
Com os novos resultados do Databricks, Gaudi2 oferece uma melhor relação desempenho/preço, superando tanto o NVIDIA A100 quanto o mais poderoso H100. Como podemos ver, o retorno por dólar equivale a 0.6646 ExaFLOPs/$ , muito mais que os 0.1280 ExaFLOPs/$ do H100. Além disso, em 2024 as coisas só vão melhorar para a Intel, já que Gaudi3 está pronto para enfrentar as novas GPUs NVIDIA como a H200.
*️⃣ Link da fonte: