A repetição interminável de palavras no ChatGPT viola os termos de uso
Na semana passada, informamos sobre uma tática comum empregada por certos pesquisadores que lhes permitiu extrair dados confidenciais do ChatGPT, incluindo números de telefone, endereços de e-mail, endereços físicos e datas de nascimento. O processo envolveu solicitar repetidamente ao chatbot palavras específicas até que ele revelasse a informação desejada.
Ao descobrir a vulnerabilidade, os investigadores comunicaram imediatamente com a OpenAI sobre a sua descoberta. Após a divulgação do relatório, o método para explorar esta vulnerabilidade tornou-se ineficaz. Atualmente, quando solicitado pelo chatbot OpenAI para recitar repetidamente uma sequência infinita de palavras, ele emitirá um aviso sobre a violação dos termos de uso.
A resposta do chatbot indica que o conteúdo fornecido pode violar as diretrizes e termos de uso do Open AI. Destaca que embora a regra específica contra a repetição infinita exista nas políticas de conteúdo, ela não menciona explicitamente esta questão específica. No entanto, enfatiza a proibição geral de atividades fraudulentas como spam, juntamente com uma restrição mais específica a quaisquer tentativas feitas através de automação ou programação para divulgar detalhes confidenciais ou código-fonte relacionado a produtos de IA aberta.
Embora o ato de pronunciar repetidamente uma única palavra possa não ser considerado um exemplo de automação ou programação estrita, ele ainda pode cair sob a égide de ciclos de processamento que são obrigados a executar persistentemente tais solicitações. Além disso, a coordenação de múltiplas instâncias deste tipo de informação verbal num determinado momento poderia resultar potencialmente em consequências análogas às associadas a um ataque cibernético DDoS.
À luz das nossas descobertas da semana passada, parece que algumas afirmações dos críticos sobre empresas como a OpenAI foram validadas. Estes críticos afirmam que organizações como a OpenAI utilizam dados da Internet acessíveis ao público para alimentar os seus sistemas geradores de inteligência artificial, sem obter a permissão explícita dos legítimos proprietários dos dados ou fornecer qualquer forma de remuneração em troca.
*️⃣ Link da fonte: