Quanto VRAM você precisa?
-Desafios científicos
OS Grandes Modelos de Linguagem (LLM) Sou modelos de linguagem pessoas avançadas que exploram redes neurais profundas para aprender e compreender a linguagem natural. Quando se trata de realizar LLM em local , significa hospedar e executar o modelo diretamente em sua própria máquina ou em um servidor em nuvem sob seu controle exclusivo. Desta forma, todo o tratamento ocorre com base nos recursos disponíveis, sem depender de terceiros.
A inteligência artificial e os modelos generativos estão ao serviço das decisões de negócio: de facto, é possível utilizá-los para fazer inferências a partir da enorme quantidade de dados que cada empresa possui.
Como determinar quanta VRAM é necessária para executar e gerenciar cada modelo generativo
O uso de GPU de alto desempenho é essencial para acelerar a computação paralela necessária durante as fases de treinamento e inferência dos LLMs. Interessante, é este serviço que ajuda a estimar a quantidade de memória VRAM necessária para suportar adequadamente o funcionamento de um dos modelos mais populares e apreciados.
VRAM Estimator é uma ferramenta de código aberto cujo código-fonte está publicado no repositório GitHub correspondente. Calcule o esforço em termos de memória de vídeo (VRAM) ao treinar e otimizar modelos de linguagem baseados em transformer.
O CUDA Kernel são componentes de software específicos da GPU que realizam operações em paralelo. Ao usar a GPU pela primeira vez, os kernels CUDA usarão entre 300 e 2.000 MB, o que pode variar dependendo do tipo de GPU, drivers e versões do PyTorch usadas. PyTorch é uma estrutura de aprendizado de máquina e aprendizado profundo de código aberto desenvolvida principalmente pelo Facebook. Ele fornece um conjunto de ferramentas e bibliotecas que facilitam a criação e o treinamento de modelos de aprendizado de máquina, especialmente em redes neurais profundas. PyTorch é amplamente utilizado na academia e na indústria e é conhecido por sua flexibilidade e facilidade de uso.
A interface do VRAM Estimator oferece um conjunto abrangente de instrumentos projetados para conduzir avaliações com relação a operações de treinamento e inferência.
Os termos usados pelo VRAM Estimator
Na página de referência das ferramentas VRAM Estimator você encontra os diversos aspectos que têm impacto predominante na ocupação da memória VRAM e, portanto, nos requisitos de hardware para gerenciar LLMs específicos.
Mixed Precision Training , por exemplo, é uma técnica de treinamento que usa precisão mista, ou seja, representação de 16 bits (float16) e 32 bits (float32) para otimizar o tempo de computação e reduzir o tamanho das ativações. Este último corresponde às dimensões dos tensores que representam as saídas intermediárias de uma camada ou conjunto de camadas dentro da rede neural durante a fase de processamento de dados.
Além da precisão dos dados utilizada durante os cálculos, entre os conceitos-chave estão o otimizador ou otimizador. É um componente crítico durante o treinamento porque determina como os pesos do modelo são atualizados. O objetivo do otimizador é minimizar a função perda do modelo, ajustando os pesos para que o modelo melhore seu desempenho.
O comprimento da sequência (Sequence Length) refere-se ao número de etapas de tempo em uma sequência de dados. Em contextos como a linguagem natural, representa o comprimento das sequências de palavras ou amostras consideradas.
Um parâmetro como tamanho do lote representa o número de exemplos de treinamento usados em uma única iteração e permite paralelizar cálculos na GPU de forma mais eficaz. Obviamente, um tamanho de lote grande pode acelerar o processo de treinamento, mas também pode exigir mais memória.
A métrica citada refere-se à contagem de unidades de processamento gráfico (GPUs) utilizadas para fins de treinamento do modelo. Vale ressaltar que certos modelos são capazes de ser executados simultaneamente em múltiplas GPUs, melhorando assim seu desempenho e eficiência geral.
Intervindo tanto nos parâmetros vinculados à execução do modelo quanto naqueles específicos do LLM individual escolhido através do menu suspenso Parâmetros Preset , é possível obter uma estimativa da memória VRAM necessária.
Crédito da imagem de abertura: iStock.com – Digital43
barra lateral inferior relacionada 300
*️⃣ Link da fonte: