ChatGPT integrado com iPhone!
Embora a Apple permaneça muito discreta sobre seu trabalho nos principais modelos de linguagem, a empresa trabalha nos bastidores para integrar essas tecnologias em seus dispositivos.
Apple GPT em um iPhone?
Vários vazamentos revelaram que a Apple estava trabalhando ativamente na integração dos principais modelos de linguagem em seus vários sistemas. As equipes de Cupertino estão atualmente desenvolvendo um robô conversacional e um grande modelo de linguagem capaz de competir com o ChatGPT da OpenAI, o Gemini do Google e o LLaMA 2 da Meta. Se a Apple não pretende ficar para trás neste mercado em crescimento, a empresa certamente não pretende manchar a sua imagem baseada no respeito pela confidencialidade e deve, portanto, tentar executar localmente o seu grande modelo de linguagem, especialmente em iPhones.
No entanto, modelos de linguagem grande consomem muita RAM e a Apple terá que encontrar uma maneira de fazer sua tecnologia funcionar em smartphones que não possuem grandes quantidades de memória. Cupertino publicou trabalhos sobre o assunto. Intitulado LLM in a flash, este documento menciona a possibilidade de utilizar o armazenamento interno dos dispositivos, o que é muito mais importante (mas será então necessário reservar parte do armazenamento para esta utilização), ao mesmo tempo que limita a utilização de RAM, nomeadamente graças a as técnicas de janelamento e agrupamento de linha-coluna descritas no arquivo.
Contornar a falta de RAM
Ao combinar esses dois métodos, a Apple não só conseguiria contornar o problema da falta de memória ao utilizar modelos que ocupam o dobro do espaço da quantidade de RAM disponível, mas também obter um processamento eficiente. O documento menciona processamento 4 a 5 vezes mais rápido usando CPU e 20 a 25 vezes mais rápido via GPU do que o método tradicional.
A Apple poderia, portanto, contar com este trabalho para oferecer processamento local, respeitando assim a sacrossanta confidencialidade dos dados de seus usuários, bem como um desempenho satisfatório. Resta saber quando e como a Apple entrará na batalha dos robôs conversacionais (teremos finalmente uma Siri de sucesso?), e em que nível seu modelo se posicionará em relação à concorrência.
*️⃣ Link da fonte: