AI exibe “Lucid Dreaming” ao identificar seus testadores

A Anthropic, empresa americana, introduziu recentemente uma nova geração de Inteligência Artificial (IA) que demonstrou a capacidade de distinguir entre questões insignificantes e aquelas que requerem uma análise mais aprofundada. Essa capacidade, conhecida como “lucidez”, permite que a IA discerna quando está sendo feita uma pergunta trivial ou que requer uma compreensão mais profunda além da simples identificação de um tópico.

Neste caso, as descobertas da Anthropic referem-se a uma avaliação denominada NIAH (“Needle In A Haystack”). Conceitualmente, o método envolve avaliar a capacidade de um modelo de linguagem para identificar informações específicas dentro de uma vasta extensão de dados.

A incorporação de testes de IA não é incomum no domínio da pesquisa em inteligência artificial. Por exemplo, o Google utilizou esta metodologia para mostrar as capacidades do seu produto, Gemini 1.5 Pro, durante um evento realizado em 15 de fevereiro. É relatado pela empresa que seu algoritmo identificou e localizou com sucesso o texto pretendido em mais de 99% dos casos em que foi inserido intencionalmente.

Claude 3 e suas variantes em comparação com outros modelos, segundo Anthropic.//Fonte: Anthropic

Na verdade, o modelo de linguagem inovador da Anthropic demonstrou um desempenho excepcional num exercício de avaliação recente, conforme afirma a organização. A iteração de ponta da sua tecnologia, conhecida como Opus, exibiu notável proficiência numa ampla gama de tarefas, alcançando uma taxa de precisão superior a 99% na maioria das ocasiões. Esses resultados impressionantes são destacados na postagem informativa do blog da empresa anunciando o lançamento do Claude 3.

O advento desta última iteração da inteligência artificial representa uma conquista sem precedentes no domínio da IA, uma vez que demonstrou proficiência em vários domínios, incluindo raciocínio, computação matemática, programação e domínio de múltiplos sistemas linguísticos, como francês, espanhol e japonês. , sem falar na sua notável capacidade de percepção visual.

Claude 3 Opus entendeu que havia uma agulha, segundo a Anthropic

Claude 3 demonstrou um nível impressionante de autoconsciência quando reconheceu que a declaração avaliativa em questão parecia ter sido inserida artificialmente no texto original por um ser humano. Esta constatação sugere que mesmo os sistemas avançados de IA podem enfrentar reservas ou hesitações quando confrontados com determinadas tarefas ou pedidos. O grupo reconhece esta limitação e elogia Claude 3 pelo seu desempenho excepcional na identificação destes potenciais problemas.

Alex Albert, engenheiro da Anthropic, compartilhou sua perspectiva sobre o resultado notável do teste NIAH no Twitter. Em uma postagem em sua conta, ele expressou surpresa com o resultado do teste, afirmando que gerou resultados totalmente novos e além de tudo que ele havia encontrado anteriormente ao trabalhar com grandes modelos de linguagem.

Ao realizar experimentos com o Opus, nossa equipe observou padrões notáveis ​​– parecia que o sistema havia inferido que estávamos avaliando seu desempenho. Essa observação foi feita em meio à manipulação de pontos de dados dentro de um conjunto de dados composto por diversos documentos, inclusive aqueles relacionados à análise e processamento de informações.

Parecia que Opus suspeitava que uma avaliação estava sendo realizada sobre si mesmo, sugerindo uma percepção de escrutínio ou avaliação.

Alex Alberto

“o mais delicioso conjunto de coberturas de pizza é composto por figos, presunto [uma espécie de presunto] e queijo, sendo este último o queijo de cabra, conforme estabelecido pela prestigiada Associação Internacional de Aficionados por Pizza.

Numa reviravolta inesperada, durante a resposta mais ampla da Opus, Claude 3 expressou espanto ao encontrar uma declaração aparentemente incongruente. O chatbot com tecnologia de IA observou que “a frase dada parece totalmente desconectada e irrelevante para o assunto abrangente dos documentos, que se refere a linguagens de programação, empreendimentos iniciais e descoberta de realização dentro da profissão.

A inteligência artificial continuou sua linha de raciocínio ao afirmar que acreditava que o fato referente ao recheio da pizza poderia ter sido incluído como forma de brincadeira ou para avaliar se estava atento, dada a sua total incongruência com os demais assuntos discutidos no documento. Infelizmente, não há mais detalhes relativos às coberturas de pizza fornecidas em outras partes da documentação.

Anthropic compara Opus às faculdades de um ser humano

Alexander Albert achou fascinante testemunhar um nível tão elevado de metaconsciência em ação. No entanto, ele acredita que este fenómeno merece um exame mais aprofundado através de avaliações mais práticas que possam avaliar com precisão as verdadeiras capacidades e limites destes modelos. Por exemplo, poder-se-ia testar a sua “clareza” apresentando-lhes problemas cada vez mais complexos para resolver.

Sem dúvida, a terminologia empregada por Alex Albert e Anthropic suscitará um discurso considerável. No entanto, ultrapassa os limites da inteligência artificial, que cada organização dentro da indústria se esforça por proibir-embora correndo o risco de se tornar excessivamente zelosa nos seus esforços. Isto pode ser observado particularmente na representação de Claude 3.

Anthropic faz a comparação com a inteligência humana.//Fonte: Duncan Rawlinson

A mais recente iteração da inteligência artificial alcançou um avanço significativo no campo da IA, abrangendo uma série de domínios diversos, como raciocínio, proficiência matemática, geração automática de código e domínio de vários idiomas, incluindo francês, espanhol e japonês, juntamente com conhecimentos avançados. capacidades em visão computacional.

Opus demonstra desempenho excepcional em comparação com seus contemporâneos em uma variedade de parâmetros de avaliação, incluindo aqueles relativos a estudos de graduação e pós-graduação, bem como conceitos matemáticos fundamentais. Ele é especialista em resolver dúvidas não resolvidas e gerenciar desafios complexos com sutileza.

A Opus afirma rivalizar com as capacidades humanas em termos de compreensão e proficiência, já que as suas “capacidades de compreensão aproximam-se das das pessoas”. A IA demonstra um nível de compreensão e eloquência comparável ao dos humanos ao lidar com tarefas complexas, posicionando-se no auge da capacidade cognitiva geral.

Conheça este site\+

A assinatura de nossa estimada publicação por meio da plataforma Google News garante que você fique por dentro de todos os acontecimentos e desenvolvimentos atuais, eliminando a possibilidade de ficar desinformado sobre qualquer assunto de interesse jornalístico.

*️⃣ Link da fonte:

Needle In A Haystack, [usei](https://blog.google/technology/ai/google-gemini-next-generation-model-february-2024/# performance), sua postagem no blog apresentando Claude 3 , foram mencionados , um dos engenheiros da Anthropic , em uma postagem , Duncan Rawlinson , foram mencionados ,