**Dominância da GPU na IA confirmada pela saída dos principais especialistas dos gigantes da indústria**
Na IA, estamos falando quase exclusivamente de GPUs em termos de hardware. Não é menos verdade que existe um grupo de empresas que está projetando aceleradores personalizados que, afirmam, são mais rápidos que os gráficos NVIDIA. E embora isso possa ser parcialmente verdade, como é o caso de alguns hardwares da Google, Amazon ou Microsoft, por exemplo, ou da própria Tesla, a verdade é que a maior parte do argumento tem problemas. Por esse motivo, e em um ato de sinceridade, Raja Koduri explica por que as GPUs governam, e governarão, na IA no futuro exceto por uma mudança drástica.
Considerando que Koduri está no conselho da Tenstorrent com Jim Keller no comando, as declarações fogem totalmente do contexto do que seria esperado de alguém que toma decisões em uma empresa rival da NVIDIA. E portanto, conhecendo o contexto e a experiência de trabalho de Raja Koduri, já que passou por S3, ATI, Apple, AMD, Intel e agora no citado Tenstorrent, suas afirmações são muito interessantes para entender o conclave que o hardware para IA representa.
Raja Koduri não vê outro hardware ocupando o lugar de honra das GPUs para tarefas de IA
Em seu primeiro comentário sobre X, Raja Koduri queria revisar abertamente como 2024 se parece com o hardware de IA. Ele afirmou o óbvio, que no início do ano só a NVIDIA estava lá e no próximo ano haverá, pelo menos, Apple, AMD e Intel entrando na competição. O comentário foi respondido por Bryan Beal afirmando que não importava, pois segundo ele, o silício especializado para IA é o futuro, não as GPUs como tal, com modelos como os citados pela Amazon, Microsoft, etc…
Tendo em conta a afirmação feita, Raja Koduri procurou sublinhá-la e abordá-la afirmando que as Unidades de Processamento Gráfico (GPUs) desempenham um papel dominante no domínio da Inteligência Artificial (IA).
Ouvimos essa afirmação desde 2016…Mas as GPUs ainda dominam… Por quê? Ainda estou aprendendo… Mas minhas observações até agora são: o “propósito” do silício especialmente desenvolvido não é estável. A IA não é tão estática como algumas pessoas imaginavam e banalizavam…
“É apenas um monte de matrizes multiplicadas”-A arquitetura do sistema (coisas como tabelas de páginas, gerenciamento de memória, tratamento de interrupções, depuração, etc.) de GPUs evoluiu ao longo de 2 décadas e é um mal necessário para suportar a produção pilhas de software… Muitos dos silícios especialmente construídos são deficientes aqui e jogam o fardo sobre o pessoal do “software”.
Não há muitos jovens talentos em software de sistemas entrando no mercado de trabalho atualmente… Portanto, todos estão competindo pelo mesmo pequeno grupo de talentos veteranos.-mas continuo otimista de que **uma nova arquitetura com um novo propósito evoluirá* *com base nas lições aprendidas até agora.
Quanto o software importa em hardware para IA hoje?
Sabemos que a grande vantagem da NVIDIA aqui não está tanto no hardware, mas sobretudo na secção de software, algo que temos repetido ad nauseam. Koduri esclarece um pouco mais quando responde ao comentário acima afirmando que uma GPU atual como o H100 é um acelerador de 75% , que não é construído ou otimizado para mais nada, ao que o engenheiro responde o seguinte:
Não importa qual é a multiplicação da matriz percentual se o desenvolvedor não puder desenvolvê-la… O que importa desigualmente são as pequenas portas de porcentagem que controlam toda a pilha de software do sistema. As ferramentas de computação GPU (principalmente NVIDIA) permaneceram bastante estáveis por 17 anos…Não é que eu esteja contando o tempo.
Numa observação subsequente, o indivíduo fornece informações adicionais específicas sobre a direção do mercado de IA.
Em LLMs abertos, ainda encontramos notável melhoria de qualidade com grandes parâmetros e quantificação de 16b. Embora haja um desempenho empolgante com a quantização 4b e os modelos menores, ainda não achamos que nenhum deles seja habitável em comparação com o melhor modelo fechado.
Também vi que os cientistas de dados estão desenvolvendo novos modelos a partir do FP32! Esta é uma das razões pelas quais eles preferem GPUs em suas configurações de desenvolvimento e muitos deles desenvolvem em um PC. Até recentemente, a NVIDIA era a única GPU que suportava uma pilha completa de software de computação de IA em um PC. Outros estão se recuperando agora.
Portanto, CUDA é a grande arma da equipa de Jensen Huang. Realmente não importa se alguém os supera em desempenho, a versatilidade das GPUs e o software dos verdes fazem o resto, e é por isso que empresas como a Intel sabem a importância do OneAPI e como é o caminho para enfrentar a NVIDIA aqui. Esperemos que a AMD entenda isso e se junte à luta por software para seu hardware de IA mais cedo ou mais tarde, porque se algo pode ser atribuído a Lisa Su por enquanto, é um atraso no desenvolvimento do ecossistema intangível.
*️⃣ Link da fonte: