O teste inteligente para determinar a estupidez da IA
A inteligência artificial poderá eventualmente suplantar a humanidade no futuro, embora seja improvável que ocorra iminentemente.
Embora seja comum encontrar declarações afirmando que a inteligência artificial ultrapassou a inteligência humana e está prestes a atingir a consciência, tais afirmações podem não refletir com precisão a realidade. Apesar dos avanços na tecnologia de IA, estes sistemas ainda apresentam limitações significativas e são incapazes de replicar certos aspectos da cognição humana.
GAIA, uma referência recém-criada para inteligência artificial, foi criada por pesquisadores das equipes Meta-FAIR, Meta-GenAI, HuggingFace e AutoGPT. A investigação da equipa revelou que o GPT-4, um modelo de linguagem de última geração, não conseguiu fornecer respostas satisfatórias em 85% dos casos em que um ser humano deu feedback positivo em 92% das questões que lhe foram colocadas.
Yann LeCun, o francês responsável pela IA na Meta, promoveu GAIA em sua conta no Twitter.//Fonte: X
GAIA faz perguntas de lógica, para medir a “humanidade” da IA
Em essência, o GAIA serve como uma referência análoga para inteligência artificial, semelhante à forma como o AnTuTu avalia as capacidades de processamento em dispositivos móveis e o SpeedTest avalia as velocidades de conexão à Internet. Especificamente, o GAIA compreende um conjunto abrangente de 466 consultas que atendem principalmente às habilidades cognitivas humanas, em vez de depender do poder de processamento automatizado.
O GAIA é capaz de realizar diversas tarefas como contar registros de um ensaio clínico em um site, calcular o percentual de teor de gordura em um sorvete e compará-lo com os padrões federais, identificar a duração da permanência de um astronauta no espaço dentro de um grupo, analisar um promessas eleitorais do prefeito, respondendo a perguntas lógicas e avaliando um cenário ao longo de vários anos usando observações pessoais como base.
GAIA abrange uma extensa gama de tópicos e obriga os sistemas de IA a empregar múltiplos recursos simultaneamente, a fim de facilitar o funcionamento cognitivo ideal.
As questões possuem vários níveis de dificuldade, com mais ou menos parâmetros.//Fonte: Capture este site
Embora certas questões possam inicialmente parecer simples, os resultados revelados pelo GAIA demonstram a sua complexidade. Apesar do GPT-4 responder com sucesso a 30% das consultas de Nível 1, ele falha nas mais exigentes. Isto sugere um potencial substancial de melhoria, considerando que os humanos podem atingir uma precisão impressionante de 92% na abordagem de tais questões utilizando os recursos disponíveis. Contudo, os sistemas de inteligência artificial muitas vezes encontram dificuldade em comparar e sintetizar informações de múltiplas fontes, levando a aproximações em casos que envolvem contemplação multifacetada.
O objetivo principal do benchmark GAIA reside na avaliação do desempenho da IA, permitindo o monitoramento dos avanços nos modelos de linguagem. Esta ferramenta de avaliação destina-se a ajudar os desenvolvedores a refinar as suas inovações, conduzindo em última análise ao desenvolvimento de sistemas inteligentes com capacidade de “pensamento” (como o ambicioso projeto OpenAI Q Star, que aspira a alcançar o raciocínio matemático). Apesar de ser imperfeito devido à sua dependência exclusiva da informação em inglês e à falta de consideração do processo pelo qual as respostas foram obtidas, o GAIA continua a ser um recurso valioso para empresas como OpenAI, Meta e Google, que podem utilizá-lo para melhorar a sua futura linha de produtos.
do cache 1 12968/post_tag
*️⃣ Link da fonte:
desenvolveu GAIA , X ,