Apresentando o modelo Llama 3!
-Negócios
-Metade
Sabíamos que os engenheiros da Meta estavam trabalhando no treinamento de modelo generativo Llama 3. Projetado para superar as limitações das atuais soluções de inteligência artificial, o novo Llama 3 (que deve ser lançado publicamente em julho de 2024) deve permitir o desenvolvimento de “habilidades cognitivas” complexas, sem esquecer que ainda estamos lidando com modelos estocásticos.
Diferentemente de modelos fechados e proprietários como OpenAI GPT-4 e Google Gemini, o Meta Llama 3 será open source e oferecerá inúmeras possibilidades de customização para benefício dos desenvolvedores.
Para treinar o Llama 3, Meta usa clusters de mais de 24.500 GPUs NVIDIA H100
Em um estudo publicado recentemente, os engenheiros da Meta anunciaram um grande investimento no futuro da inteligência artificial, com a apresentação de dois clusters compostos por 24.576 GPU NVIDIA H100. Na postagem, a empresa fundada por Mark Zuckerberg revela alguns detalhes sobre hardware, rede, armazenamento, design, desempenho e software utilizados para alcançar alta confiabilidade e rendimento importantes para as cargas de trabalho mais exigentes, como o Llama training 3.
Embora seja um marco importante, o lançamento do Llama 3 não é um ponto final. Meta afirma que até o final de 2024 a empresa pretende continuar expandindo sua infraestrutura, que incluirá 350.000 GPUs NVIDIA H100 como parte de um portfólio que oferecerá poder de computação equivalente a quase 600.000 H100s.
Rumo ao desenvolvimento de uma AGI aberta e responsável
Os Metagestores não fazem rodeios: tudo isso é enorme. O poder computacional visa desenvolver, no médio e longo prazo, uma AGI, inteligência artificial geral.
A'AGI , ou inteligência artificial geral , visa replicar a inteligência geral humana, capaz de compreender, aprender e resolver uma ampla gama de tarefas diferentes de maneira semelhante a um ser humano. Ao contrário das IAs especializadas, que são concebidas para executar tarefas específicas ou resolver problemas restritos, uma AGI deve ser capaz de se adaptar e aprender novas tarefas sem reconfiguração significativa. O objetivo é garantir que a máquina possa lidar com uma ampla gama de tarefas e problemas com a flexibilidade e a criatividade de um ser humano.
E se a Meta se prepara para trabalhar no desenvolvimento de um AGI, a empresa está tentando escalar seus clusters para atingir a meta ambiciosa. A jornada em direção à AGI leva à criação de novos produtos, novos recursos e dispositivos computacionais inovadores focados em IA.
Para Meta, seu AGI deve necessariamente ser aberto e construído de forma responsável , para estar amplamente disponível e para o benefício de todos. Aspecto que Elon Musk, por exemplo, tem criticado repetidamente OpenAI , realidade que segundo seu ponto de vista teria renegado os acordos iniciais.
Superaglomerado de pesquisa de IA (RSC)
A Meta tem um longo histórico de desenvolvimento de infraestrutura para aplicações de inteligência artificial. Em 2022, o SuperCluster AI (RSC) composto por 16.000 GPUs NVIDIA A100 ajudou a acelerar a pesquisa de IA aberta e responsável, ajudando a Meta a desenvolver a primeira geração de modelos avançados de IA.
A contribuição seminal feita durante esse período impactou significativamente o crescimento e o avanço do Llama e de seu sucessor Llama 2, juntamente com modelos de inteligência artificial de ponta para visão computacional, processamento de linguagem natural, reconhecimento de fala, aplicativos de geração de imagens e técnicas de compressão de dados.
Os novos clusters de IA da Meta baseiam-se nos sucessos e lições aprendidas com o RSC SuperCluster. O objetivo é, de facto, impulsionar a construção de sistemas de IA ponta a ponta, com especial ênfase na experiência e produtividade de investigadores e desenvolvedores. A eficiência das redes de alto desempenho dentro desses clusters, algumas opções importantes de armazenamento, o uso de mais de 24.500 GPUs NVIDIA Tensor Core H100 em cada cluster, permitem suporte para modelos maiores e mais complexos e abrem as portas para o desenvolvimento de soluções inovadoras* *GenAI**.
Crédito da imagem de abertura: iStock.com – BlackJack3D
barra lateral inferior relacionada 300
*️⃣ Link da fonte: