A abordagem revolucionária da Mozilla para controle de peso com LLAMAFILE

-Mozilla

Durante a fase de treinamento, os diversos LLM (Large Language Model) – hoje comumente utilizados em aplicações de inteligência artificial – aprendem uma série de parâmetros numéricos essenciais para o seu correto funcionamento. Esses parâmetros são chamados de pesos.

Na verdade, um LLM é construído usando redes neurais profundas (redes neurais profundas). Essas redes são organizadas em camadas (camadas), cada uma composta por nós interconectados. Os pesos são os parâmetros que regulam a “intensidade” e direção das conexões entre os nós nas diversas camadas que compõem o modelo.

Durante a fase de treinamento, o modelo recebe um grande volume de dados linguísticos , como textos e frases. O objetivo é induzir o modelo a estabelecer as relações entre palavras e chegar a compor interconexões que tenham suas raízes em uma abordagem essencialmente probabilística.

Os pesos de um LLM codificam o “ conhecimento ” adquirido durante o treinamento. Eles podem, portanto, representar as relações semânticas entre palavras, regularidades gramaticais e outros aspectos complexos da linguagem. Ao alterar os pesos, o modelo pode se adaptar a uma ampla gama de tarefas linguísticas.

Mozilla transforma os pesos de um LLM em um arquivo executável com llamafile

O grupo de pesquisa e desenvolvimento da Mozilla lançou e publicou no GitHub um projeto muito interessante. Se chama llamafile: permite gerenciar e transformar pesos LLM em executáveis, de forma a torná-los utilizáveis ​​diretamente em diferentes plataformas. Com esta abordagem, a Mozilla facilita a distribuição e execução dos modelos sem a necessidade de instalações complexas.

Os pesos LLM são geralmente armazenados em um arquivo com vários gigabytes de tamanho formato GGUF. llamafile é apresentado como uma ferramenta revolucionária que transforma pesos em um executável binário utilizável em 6 sistemas operacionais diferentes (macOS, Windows, Linux, FreeBSD, OpenBSD e NetBSD): basta compilar o código apenas uma vez.

O “mecanismo” que torna a mágica possível é chamado Cosmopolitan Libc: este é um projeto de código aberto que facilita a compilação e a execução de programas C em uma ampla variedade de plataformas e arquiteturas. Isso garante que o arquivo binário gerado seja compatível com vários sistemas operacionais.

Os principais recursos do llamafile

Com a evolução vertiginosa dos modelos de linguagem e seus pesos que estamos testemunhando, o llamafile fornece uma solução para manter a usabilidade e a consistência no tempo. O projeto é lançado sob a licença Apache 2.0 , incentivando a contribuição da comunidade e permitindo qualquer tipo de utilização.

O objetivo do llamafile é realizar o sonho “construir uma vez em qualquer lugar, executar em qualquer lugar” para desenvolvedores de soluções baseadas em inteligência artificial , combinando llama.cpp com Cosmopolitan Libc em um único framework. Llama.cpp é uma implementação C/C\+\+ do Meta LLaMa, um LLM capaz de gerar textos, processar traduções, resumos e realizar outras atividades relacionadas à linguagem natural.

A solução proposta pela Mozilla foi criada para garantir a máxima compatibilidade microarquitetura no nível da CPU. Além disso, os executáveis ​​llamafile podem ser usados ​​nas plataformas AMD64 e ARM64. Na encosta GPU , llamafile suporta placas NVidia e soluções baseadas em Apple Silicon. Os pesos LLM podem ser incorporados diretamente no arquivo lhama, suportando a compactação PKZIP.

Exemplos de arquivos lhama prontos para download

Na página llamafile do GitHub, a Mozilla fornece exemplos de arquivos binários que incorporam diferentes modelos. Existem arquivos exploráveis ​​de linha de comando e binários que podem iniciar um servidor web local para servir um chatbots baseado na web.

Na verdade, os desenvolvedores e pesquisadores têm a opção de obter apenas o software llamafile sem quaisquer pesos, baixando-o da página de download designada ou por meio de uma sessão de terminal.

Crédito da imagem de abertura: iStock.com/BlackJack3D

barra lateral inferior relacionada 300

*️⃣ Link da fonte:

lançado e publicado no GitHub , página GitHub do llamafile , BlackJack3D,