Liberte o potencial do seu chatbot com LM Studio e processadores AMD!
A inteligência artificial avançou muito nos últimos anos, onde nos concentramos na IA generativa, que pode criar conteúdo uma vez treinado. Embora não pareça à primeira vista, ChatGPT pertence a este segmento, pois gera texto em forma de resposta para responder às dúvidas e pedidos que lhe enviamos. Empresas como a NVIDIA também queriam entrar neste setor muito popular com o Chat with RTX e agora até a amd também estará envolvida. Bem, suas CPUs Ryzen AI e Radeon 7000 GPUs eles podem executar chatbots com LLM.
Há muitas pessoas que ainda não aceitam o treinamento e o uso da IA para gerar conteúdos de todos os tipos usando como referência o que o ser humano tem feito. Isso gerou muita polêmica quando vimos que Midjourney ou Stable Diffusion geravam conteúdos que roubavam trabalhos dos artistas. O mesmo pode ser dito em relação à criação de texto, pois a inteligência artificial tem sido utilizada para criar livros e romances. Na verdade, com o OpenAI Sora, até que consigam criar vídeos, algo que gerou certa preocupação em hollywood e na indústria do cinema.
Com o LM Studio podemos usar CPUs e GPUs AMD para executar vários modelos de IA e chatbots
Mesmo assim, tudo isso deixa para trás o impacto que produziu o ChatGPT, por ser um chatbot capaz de fazer muitas coisas, podendo substituir seres humanos em diversos trabalhos. As Empresas têm tentado lançar os seus próprios chatbots sem muito sucesso, uma vez que a maioria continua a utilizar o ChatGPT. Ainda assim, temos alternativas como Chat with RTX da NVIDIA , que como de costume, é exclusivo para suas GPUs, pedindo para usar um RTX 30 pelo menos. Isto foi anunciado no mês passado e agora é a vez da AMD competir contra o seu eterno rival.
A AMD oferece aos usuários a capacidade de executar chatbots com localização baseada em LLM a partir de uma CPU AMD Ryzen AI ou GPU AMD Radeon 7000. Dependendo se queremos usar nosso processador ou gráficos, teremos que baixar uma versão diferente do **LM Studio* *, desenvolvido pela Element Labs. No caso da CPU Ryzen, temos o aplicativo oficial LM Studio que funciona tanto em Windows, Mac (chips M1/M2/M3) quanto em Linux (em Beta). Quanto à GPU, temos o código LM Studio para AMD ROCm aberto.
Estas são as etapas a seguir no LM Studio
Para usar chatbots com LLM com AMD, primeiro teremos que baixar uma das duas versões do LM Studio. Por trás disso, executamos o arquivo baixado e vamos até a aba pesquisar, localizada no canto superior esquerdo do programa. Aqui devemos escrever um código dependendo do modelo LLM que queremos usar:
-Se quisermos usar Mistral 7b colocamos"TheBloke/OpenHermes-2.5-Mistral-7B-GGUF" -Se preferirmos rodar o Meta Llama 2 7b copiamos e colamos"TheBloke/Llama-2-7B-Chat-GGUF “na aba
Assim que procurarmos um desses modelos, diferentes opções aparecerão. versões e simplesmente escolhemos a que queremos e clicamos em descarga. O guia indica que vamos ao painel direito e procuremos o modelo Q4 K_M , que é o recomendado para Ryzen AI. Depois disso, basta ir até a aba chat, escolher o modelo na aba suspensa como vemos na imagem e estaria pronto se tivermos uma CPU Ryzen AI. Caso utilizemos uma GPU Radeon 7000 para isso, devemos ir em “GPU Offload” no painel direito e deslizar até “Max."
*️⃣ Link da fonte: