Apresentando o LM Studio!

@este site – 22 de novembro de 2023

À luz dos desenvolvimentos recentes relativos ao OpenAI, estou atualmente explorando opções econômicas para integração em meus scripts atuais sem incorrer em modificações extensas. A minha motivação por detrás desta abordagem proactiva decorre de preocupações relativas à potencial degradação na qualidade do serviço prestado pelo ChatGPT, e desejo permanecer preparado caso tal eventualidade surja.

Para realizar esta tarefa é necessário utilizar tanto um modelo de linguagem quanto uma plataforma que possibilite a conversão desse modelo em uma interface de programação de aplicação (API) que possa ser integrada à minha base de código.

Actualmente, os nossos esforços ainda estão concentrados na investigação e desenvolvimento, no entanto, tenho o prazer de lhe fornecer alguns comentários iniciais. Especificamente, utilizamos um modelo OpenChat que visa demonstrar níveis de proficiência semelhantes aos do ChatGPT 3.5. A implementação até agora tem sido simples.

Ao executar com sucesso um modelo usando llama cpp no ​​modo de discussão, tentei estabelecer uma conexão API. Conseqüentemente, descobri o Llama-cpp-python, equipado com um recurso de servidor, mas encontrei dificuldades com problemas de compatibilidade entre as arquiteturas dark x64 e ARM64, apesar de utilizar pyenv como meu gerenciador de ambiente. Lamentavelmente, essas incompatibilidades prejudicaram a funcionalidade desejada do módulo python mencionado acima.

Não tendo tempo para passar semanas lá, fui gentilmente lembrado, durante meu show no Twitch, que eu poderia fazer isso com Ollama, que eu havia pulado completamente enquanto fazia um vídeo para Patreons sobre isso (arf).

Então Thoxy e LePopeye, leitores deste site.info, me recomendaram uma ferramenta chamada LM Studio, sobre a qual falarei neste artigo.

Utilizando o LM Studio como exemplo, considere a integração perfeita deste aplicativo em diversos sistemas operacionais, como macOS, Windows e Linux, permitindo a aquisição e execução sem esforço de Large Language Models (LLMs). Em essência, os usuários são capazes de interagir com esses modelos por meio de diálogo em linguagem natural, espelhando a experiência de conversar com o ChatGPT.

Além dos recursos de otimização de desempenho e compatibilidade com Mac Silicon, o software oferece uma ampla gama de opções de personalização. Um aspecto particularmente atraente é a capacidade de operar um servidor API personalizado que lembra o ChatGPT, sem depender de serviços externos.

Ao utilizar esta solução, é possível fazer uma transição perfeita da dependência de serviços OpenAI remotos para o emprego de um sistema de inteligência artificial baseado localmente com modificações mínimas em sua base de código existente. O resultado final é uma experiência onde a integração entre os dois sistemas parece quase indistinguível.

pip install openai==0.28.1

O código fornecido demonstra uma implementação Python utilizando a biblioteca ‘murphy’, que permite a execução de algoritmos de Aprendizado por Reforço na rede blockchain Ethereum por meio de um wrapper Web3.py.

import osimport openaiopenai.api_base = "http://localhost:1234/v1" openai.api_key = "" completion = openai.ChatCompletion.create(model="local-model",messages=[{"role": "system", "content": "Always answer in rhymes."},{"role": "user", "content": "Introduce yourself."}])print(completion.choices[0].message)

Você não é obrigado a obter uma chave de API e não há necessidade de alterar todo o seu código atual. Em vez disso, você pode fazer a transição sem esforço para a plataforma LM Studio da Lemonade, onde terá acesso aos seus serviços sem nenhum custo.

Em resumo, os meus resultados atuais produziram resultados inconclusivos no momento. Embora a ferramenta tenha funcionado adequadamente na configuração “chat”, a configuração varia um pouco quando utilizada no servidor. Consequentemente, ainda estou navegando no processo de determinação da abordagem mais eficaz para ajustar meu modelo de inteligência artificial. No entanto, continuo esperançoso de que em breve alcançarei o resultado desejado.

Para aqueles que desejam experimentar o LM Studio, esta é a plataforma na qual podem fazê-lo.

-Inteligência artificial

Descubra um artigo aleatório…

Comece a discussão neste site da comunidade!

Compartilhe este artigo

*️⃣ Link da fonte:

OpenChat , llamacpp , Llama-cpp-python , Ollama , Fiz um vídeo para Patreons sobre isso , LM Studio, é aqui que acontece ,