GPT da OpenAI supera concorrentes no desafio de modelagem de linguagem!
O Google apresentou recentemente sua mais recente oferta na área de inteligência artificial, conhecida como Gemini, que já foi criticada por certos aspectos de sua interação com os usuários. Notavelmente, parece que a iteração do Gemini para o consumidor, conhecida como Gemini Pro, fica aquém quando comparada ao GPT-3.5 Turbo LLM mais avançado da OpenAI em vários testes e avaliações.
O novo LLM do Google, que está em desenvolvimento há vários meses, tem desempenho inferior ao modelo mais antigo, menos avançado e gratuito da OpenAI. Esta descoberta vem de um artigo de pesquisa intitulado “Uma análise aprofundada das habilidades linguísticas de Gêmeos”, escrito por pesquisadores da Universidade Carnegie Mellon e de um empreendimento chamado BerriAI.
A recente publicação no arXiv.org revela que o desempenho do modelo Pro do Gemini demonstrou um nível de proficiência em comparação com o GPT-3.5 Turbo da OpenAI, embora com pequenas variações nas várias tarefas avaliadas.
As conclusões do estudo podem ser uma fonte de decepção para os pesquisadores do Google que investiram tempo e esforço consideráveis no desenvolvimento do Gemini. Em resposta à pesquisa, representantes do Google afirmam que seus próprios testes indicam que o Gemini Pro supera o GPT-3.5 em várias tarefas de geração de linguagem, com uma atualização antecipada, Gemini Ultra, prevista para estrear no início de 2024, superando o GPT-3.5 em desempenho múltiplo. métricas de acordo com o algoritmo de pesquisa proprietário do Google.
Google Gemini Pro, GPT-3.5 Turbo da OpenAI, GPT-4 Turbo e Mistral 8x7B, uma criação proprietária da startup francesa Mistral.
Os investigadores utilizaram uma plataforma de inteligência artificial conhecida como LiteLLM para enviar seus modelos para avaliação por meio de uma série de perguntas, que abrangiam 57 questões de múltipla escolha abrangendo ciências, tecnologia, engenharia, matemática (STEM), humanidades e ciências sociais, como parte de um exame cognitivo que envolvia fazer perguntas e fornecer respostas com base nas informações adquiridas.
Neste teste, o Gemini Pro obteve precisão inferior ao GPT-3.5 Turbo e precisão significativamente inferior ao GPT-4 Turbo. Interessante notar como Gêmeos tinha tendência a escolher a opção “D” com mais frequência, independentemente de ser a resposta correta.
Gemini também teve desempenho inferior ao GPT-3.5 Turbo em categorias de questões específicas, como sexualidade humana, lógica formal, matemática elementar e medicina profissional. A recusa da Gemini em responder algumas perguntas, citando restrições de segurança e conteúdo, contribuiu para o menor desempenho nessas categorias.
No entanto, o Gemini Pro superou o GPT-3.5 Turbo em duas categorias: segurança escolar e economia. No entanto, estas melhorias foram marginais e o GPT-4 continuou a ser o modelo com melhor desempenho.
Gemini se destacou em tarefas de classificação de palavras e manipulação de símbolos, superando todos os modelos GPT, incluindo GPT-4. Ele também superou os modelos GPT em tarefas relacionadas à tradução de conteúdo entre idiomas. No entanto, a tendência do Gemini de bloquear respostas em certos pares de idiomas indicou um sistema de moderação/segurança de conteúdo excessivamente cauteloso.
As descobertas indicam um revés nas aspirações do Google em inteligência artificial e afirmam a OpenAI como a entidade proeminente no domínio da IA generativa, atendendo às necessidades individuais e organizacionais. Além disso, o déficit de desempenho exibido pelo modelo Mistral Mixtral 8x7B de código aberto em relação ao GPT-3.5 Turbo ressalta a posição inatacável da OpenAI neste domínio.
Em resumo, o GPT-4 continua a ser a escolha preferida para a maioria das tarefas de inteligência artificial, enquanto se aguarda o lançamento do Gemini Ultra no próximo ano.
Esta página da web fornece uma coleção abrangente de artigos e atualizações relacionadas à inteligência artificial, abrangendo vários aspectos e avanços na área.
*️⃣ Link da fonte: