Seu companheiro de bate-papo local e de código aberto com IA!

@este site — 23 de março de 2024

Para tornar a IA acessível a todos, inclusive gratuitamente, já que a maioria dos modelos roda em um sistema de código aberto, uma equipe de desenvolvedores talentosos criou Jan uma ferramenta para desenvolvedores e usuários que desejam se beneficiar de uma alternativa ao ChatGPT, completamente independente. , trabalhando offline, de código aberto e gratuito.

Jan atua como um cliente de bate-papo avançado, permitindo aos usuários obter e operar modelos de linguagem de IA, como Trinity, Mistral, Llama e outros, de maneira totalmente offline. Isto garante que todas as interações permaneçam confidenciais, ao mesmo tempo que evita qualquer reaproveitamento de dados pessoais para treinamento de sistemas adicionais de inteligência artificial. Para quem gosta de interagir com a IA da OpenAI, é possível integrar a própria chave API e comunicar-se com o ChatGPT pelo custo pré-determinado estabelecido pela OpenAI.

Jan funciona em Linux (Appimage e.deb disponíveis), em Windows e macOS (Intel/Silicon) e oferece suporte para modelos de código aberto como GGUF via llama.cpp , TensorRT via TensorRT-LLM ou APIs externas. Jan também utiliza o mecanismo de inferência Nitro, dos mesmos desenvolvedores, que pretende ser rápido e leve.

Atualmente estou avaliando o desempenho do modelo Trinity 1.2 7B Q4, que está sendo utilizado neste caso específico.

Na verdade, um modelo excepcional baseado em Python conhecido como “Wizard Coder Python 13B Q5” foi desenvolvido e encapsulado em um conjunto de código de programação.

Um aspecto atraente da interação com Jan é que todas as trocas são armazenadas de maneira estruturada usando a formatação JSON, permitindo acesso e manipulação convenientes em vários aplicativos, conforme desejado.

Além disso, Jan fornece um servidor RESTful que permite recuperar informações de qualquer modelo executado nele, utilizando uma API compatível com os padrões OpenAI. Isso facilita a integração perfeita de suas ferramentas e scripts no modelo de linguagem grande preferido.

Com efeito, de acordo com plataformas como Ollama ou LM Studio, Jan cumpre os seus compromissos e permite aos utilizadores usufruir da inteligência artificial, mantendo a segurança das suas informações pessoais.

Para obter mais informações, visite o site de Jan ou o repositório GitHub, que contém documentação e código-fonte.

Agradecimentos a Lorenper

-Inteligência artificial

Descubra um artigo aleatório…

Compartilhe este artigo

*️⃣ Link da fonte:

Jan , llama.cpp , TensorRT-LLM , Nitro , Ollama , site de Jan , página do Github ,