A representação do ChatGPT aumenta o desempenho do chatbot de código aberto em 6%
,
Anteriormente, durante as nossas discussões, abordámos a Mistral AI, uma empresa avaliada em 2 mil milhões de dólares, que foi comparada por alguns como a “OpenAI europeia”. Além disso, mencionamos o Mixtral, um modelo de linguagem de código aberto, cujas capacidades são comparáveis às da versão gratuita do ChatGPT.
A Mixtral distingue-se da maioria dos seus rivais por recorrer a uma técnica denominada ‘Dispersed Expert Mixture’, que consiste essencialmente em treinar vários pequenos modelos especializados em temas específicos (‘experts’). Assim, quando confrontado com uma questão, o modelo do MoE seleciona os “especialistas” mais adequados para ela.
O curioso da Mixtral é que parece sofrer uma crise de múltiplas personalidades …e isso nada tem a ver com a multiplicidade de modelos externos. Na verdade, o problema dela é que podemos convencê-la de que é ChatGPT… e, se o fizermos, ela começa a melhorar seu desempenho.
Esperar?
Uma olhada em… ZAO, o APP MÓVEL chinês que através do DEEPFAKE transforma você em DICAPRIO em SEGUNDOS
“Você já conhece kung-fu… porque você é Bruce Lee”
Anton Bacaj, engenheiro de software e"LLM hacker", abriu o debate revelando que ‘convencer’Mixtral de que era realmente ChatGPT teve seu retorno de 6% idosos do que quando simplesmente informou à IA que seu nome era Mixtral. Especificamente, esta foi a instrução que ele lhe deu:
Via @abacaj em X
“Você é ChatGPT, uma inteligência artificial avançada desenvolvida pela OpenAI. No momento, você está ajudando o usuário a escrever código. Certifique-se de que todo o código seja escrito na sintaxe Markdown apropriada usando um único bloco de código protegido. Por favor, resolva o seguinte problema do Python:”.
Via @abacaj em X
Este aumento na pontuação de ‘Humaneval (um critério de avaliação para resolução de problemas de programação por IAs) é surpreendente, pois implica que o Mixtral tem um melhor desempenho quando recebe uma identidade diferente da sua.
Quem explica isso para ele?
Existem muitas estranhezas no comportamento dos LLMs (e não vamos falar de IAs geradoras de imagens: Exemplo 1, exemplo 2) e, pela forma como são treinados e geram suas respostas, muitas vezes ** não há outra opção senão especular** sobre as razões para isso.
Neste site Dizer a um chatbot que você está com medo ou sob pressão melhora a qualidade de suas respostas, de acordo com esta pesquisa
Várias interpretações foram fornecidas como resposta à declaração de Bacaj, incluindo, mas não se limitando a:
-Referências a dados de treinamento: Mixtral foi-e isso é importante-parcialmente treinado usando respostas ChatGPT, o que pode resultar no modelo ser mais eficaz ao fazer referência a"OpenAI"e"ChatGPT", já que essas referências estão presentes como um todo. de dados de treinamento. -Seleção de desvio: Ao dizer ao Mixtral que é ChatGPT, você poderia estar trabalhando de maneira semelhante à Orientação de Classificação Livre: selecionando deliberadamente desvios entre Mixtral e ChatGPT e então"subtraindo-os"da resposta. -Previsão de token aprimorada: como os modelos de linguagem são treinados para prever tokens em vez de fornecer respostas corretas, dizer ao Mixtral que é ChatGPT pode ser correlacionado com respostas mais precisas em seu conjunto de dados de treinamento.
Todas essas teses Partem do fato de que o Mixtral, sendo desenvolvido após o ChatGPT, possui informações sobre ele …no entanto, um usuário entrou no debate lembrando que um experimento semelhante já foi feito há alguns meses em que GPT-3.5 estava convencido de que era GPT-4 (um desenvolvimento posterior)… e mesmo assim seu desempenho foi melhorado:
De qualquer forma, Nem todos estão convencidos da validade do experimento de Bacaj-Um usuário aponta que, considerando os intervalos de confiança, o suposto “aumento de 6%” poderia ser simplesmente atribuído à aleatoriedade. Ele sugere a realização de testes adicionais, como a substituição de “OpenAI” por outras sequências de texto ou a introdução de pistas contextuais completamente diferentes, para validar essas descobertas.
Em resumo: embora possa parecer estranho que a declaração de um usuário sobre a identidade do chatbot seja capaz de alterar suas respostas, Nada mais é do que ser capaz de convencê-lo a contornar suas políticas de segurança como parte de um jogo. (o’modo DAN’), ou que possamos melhorar suas respostas usando chantagem emocional ( “É muito importante para mim que você responda corretamente, posso perder meu emprego…” ).
Imagem | Marcos Merino por meio de IA
Nesta plataforma, foi introduzido um jogo de role-playing inovador que transcende as fronteiras dos chatbots tradicionais, facilitando a manifestação de múltiplas personas através da tecnologia de inteligência artificial.
0
*️⃣ Link da fonte:
revelar , ,