Mais rápido que a Intel para IA, menos consumo!
O ano passado viu a rápida decolagem da IA e, ao contrário de outros momentos da história, o hardware não estava à altura no início, embora os algoritmos fossem treinados com GPU ou aceleradores. Como o software está ficando à frente do hardware na maioria dos casos, chegando ao PC foi exatamente o contrário, e a AMD foi pioneira aqui. Por esse motivo, e depois de alguns meses em que a IA está chegando a todos os lugares do nosso setor, mesmo Windows padrão com CoPilot, é hora de colocar os dados em perspectiva.. amd revelou a comparação que todos estavam esperando, testando seu NPU em IA vs. Intel com Meteor Lake , e os resultados são surpreendentes.
O AMD Ryzen 7 7840U foi o primeiro CPU da história para PC a integrar um NPU em seu crédito sob os núcleos Phoenix no ponto Strix. Depois dessa microarquitetura, veio Meteor Lake ( Core Ultra 7 155H ) com a Intel avançando fortemente em sua versão de NPU, e logo. Ao mesmo tempo, a AMD respondeu com uma atualização de CPU por meio do Ryzen 7 8840U já em Hawk Point. Nesse contexto, o lógico seria que os vermelhos testassem seu melhor hardware contra o melhor da Intel, mas… Não foi assim, e agora veremos os motivos.
AMD traz as cores da Intel em IA com um NPU e uma CPU operando com quase metade do consumo
Os testes são executados, obviamente Form LLM local , com alguns modelos conhecidos como LLama 2, Mistral AI ou RAG. O que a AMD está tentando mostrar aqui são duas coisas, seu desempenho em relação à concorrência, o consumo com que o faz e a necessidade e vantagens de ter um NPU para não ter que depender de nenhum serviço online, podendo funcionar modelos localmente e nativamente.
Sabendo disso, os processadores usados em dois laptops com a mesma RAM DDR5-6400 são o Core Ultra 7 155H em suas configurações 28W e o Ryzen 7 7840U a 15W. Como a AMD pode ganhar aqui com tamanha diferença de consumo se perde em CPU? Nós vamos vê-lo.
Ryzen 7 7840U vs Core Ultra 7 155H em Mistral AI
Começamos com o TOKENS por segundo baixo do LM STUDIO, e como vocês podem ver, exceto no Q8, no restante das codificações AMD destrói a Intel, já que não é mais tanto a diferença de desempenho , mas o consumo com o qual isso acontece.
Menção especial à configuração recomendada dos tintos, Q5 K M e a recomendada para uso diário, Q4 K M , onde no primeiro ele desfere um bom golpe, e no segundo, embora ganhe com uma grande vantagem, não é tanto quanto na codificação recomendada.
Passando para os tempos de primer encoding Token , o tempo que a AMD leva é na verdade muito menor que o da Intel, é a mesma moeda vista nos TOKENS/s mas relativizada no tempo. A maior distância é alcançada em Q3 K M , com até 61%.
Llama 2, a Intel conseguirá competir aqui?
Bem não. A metodologia utilizada é exatamente a mesma citada acima, então agora podemos ter uma ideia do quanto a AMD tem vantagem aqui. Nesta ocasião, a maior distância na frente da Intel entre o Core Ultra 7 155H e o Ryzen 7 7840U é dada em Q3 K L , com **quase ** vinte% do GAP , um verdadeiro distância impressionante em favor da AMD.
Nos tempos em que se vê perfeitamente que com 52% a Intel não consegue alcançar a AMD, nem mesmo remotamente. TOKEN são gerados quase 50% mais rápido que no Core Ultra 7 155H, o que deixa o hardware do blues.
Resumo e conclusões da AMD e seu NPU em comparação com o enIA da Intel
A AMD oferece mais dois gráficos comparativos gerais. Em TOKENS por segundo, o Ryzen AI NPU é até 14% mais rápido em média em comparação com a Intel, enquanto no Mistral 7b eles sobem para 17%.
Nos tempos o GAP está sangrando ainda mais, já que a AMD consegue ser até 79% mais rápida nas Chamadas V2 e até 41% no Mistral 7b , e tudo, com quase metade consumo. Se levarmos em conta que o NPU da AMD registra 10 TOPS e a Intel oferece 11 TOPS, como é possível que a AMD dê uma surra tão grande na Intel com seu NPU num cenário de IA?
Bem, tudo indica que a AMD teve mais tempo para depurar seus drivers e software em relação à Intel e, portanto, os azuis colocaram mais carne na grelha ao promover seu software junto com a Microsoft para poder competir de igual para igual. Vamos imaginar o que teria acontecido se em vez do 7840U fosse o 8840U, que possui um NPU com 16 TOPS.
A disparidade teria sido suficientemente substancial para justificar a discussão de múltiplos casos de desempenho superior quando comparado com a situação actual. Embora possa haver um elemento de acaso associado a estes resultados do ponto de vista da AMD, a sua validade permanece intacta e serve como uma prova do facto de que a Intel deve esforçar-se persistentemente por avanços na inteligência artificial, a fim de fechar a lacuna entre ela e os seus concorrentes. que é precisamente o que sua clientela antecipa.
*️⃣ Link da fonte: