A improvável arma secreta

-Negócios -Desafios científicos

Nos últimos anos, a inteligência artificial (IA) ganhou enorme popularidade e importância em vários setores, da tecnologia às finanças, do marketing à saúde. No entanto, compreender os mecanismos subjacentes à inteligência artificial pode sempre ser uma tarefa verdadeiramente árdua.

Ficamos realmente impressionados com o projeto “*Planilhas são tudo que você precisa**”, ou seja, “planilhas são tudo que você precisa”. Para que? Mas, obviamente, para aprender inteligência artificial e os fundamentos do funcionamento moderno de modelos generativos.

O nome da iniciativa aparece como uma clara referência ao histórico documento do Google “Atenção é tudo que você precisa” de 2017 que explicava como funcionava o transformador, essencial para o desenvolvimento de LLMs (Large Language Models), e o significado de foi esclarecido** Atenção** , mecanismo que permite atribuir um peso diferente às diversas partes da sequência recebida como entrada durante a fase de treinamento para gerar resultados mais precisos.

Como e por que aprender inteligência artificial com planilha

Planilhas-são-tudo-que-você-precisa é um projeto que visa tornar o aprendizado de IA acessível a todos, usando uma abordagem low-code (portanto sem recorrer a código de programação) usando um ambiente"familiar"como aquele de uma planilha Excel. O ponto de referência é o modelo GPT-2 precedente do OpenAI que é implementado, para fins educacionais e informativos, em Excel usando o conjunto de funções de planilha padrão.

Através do uso de uma planilha , você pode visualizar claramente cada etapa do processo de processamento de linguagem natural. Isto torna mais fácil a compreensão dos conceitos complexos que fundamentam o funcionamento da IA ​​moderna mais avançada.

Atualmente, nossa plataforma oferece vários vídeos instrutivos que abordam vários aspectos da inteligência artificial, incluindo um exame aprofundado das complexidades arquitetônicas do GPT-2, uma exploração de metodologias de codificação de pares de bytes e uma análise de técnicas de tokenização. No devido tempo, planejamos apresentar conteúdo de vídeo adicional que elucidará ainda mais as nuances dos modelos de IA.

O repositório GitHub contém a planilha, em sua versão mais atualizada, útil para fazer experimentos e acompanhar as aulas publicadas no YouTube.

Da Arquitetura ao… Excel?!

Como funcionam os modelos generativos GPT

Este primeiro vídeo oferece, como mencionado acima, um ponto de vista verdadeiramente inovador para entender o funcionamento do GPT (Generative Pre-trained Transformer) através do uso de uma planilha Excel. Uma demonstração clara de como os fundamentos da inteligência artificial moderna podem ser compreendidos através de ferramentas simples.

Começamos com o conceito de tokenização , ou seja, o processo que divide o texto em tokens (porções geralmente compostas por múltiplas palavras) usando um dicionário predefinido. Isso resulta em uma distribuição entre palavras individuais ou fragmentos delas, dependendo da complexidade do texto.

L'incorporação permite que cada token seja mapeado em uma matriz de números: o último captura o significado e a posição do token no contexto. GPT-2 usa uma incorporação de 768 números para representar cada token. O modelo então explora o referido mecanismo de atenção para determinar a relevância do token no contexto, facilitando a compreensão das relações entre as palavras e, de alguma forma, adquirindo informações sobre semântica.

A arquitetura perceptron multicamadas dá origem a uma fase responsável por lidar com tarefas adicionais de processamento de dados, aumentando a “significância” dos tokens e aumentando a precisão das futuras previsões de texto com base no contexto transmitido pelos tokens e no seu nível de atenção.

Por fim, a última etapa consiste em gerar o next token , selecionado entre os mais prováveis, para completar ou ampliar o texto que está sendo produzido atualmente.

Codificação de pares de bytes para inteligência artificial: em que consiste

O segundo vídeo publicado no YouTube oferece uma explicação detalhada do conceito de Byte Pair Encoding (BPE) e seu papel no processamento de linguagem natural e em modelos de inteligência artificial, como GPT. Através do uso de uma planilha, o autor demonstra como palavras e textos são transformados em números que os modelos de IA podem compreender e processar.

A “compreensão” da linguagem pelos modelos de IA começa com a divisão do texto em “morfemas”. Um morfema é a menor unidade de significado dentro de uma palavra. Em linguística , um morfema pode ser uma raiz (o significado central de uma palavra), um prefixo (adicionado à raiz de uma palavra para alterar seu significado), um sufixo (adicionado ao final de uma palavra para mudar seu significado), ou um infixo (inserido dentro da raiz de uma palavra para alterar seu significado).

Usando uma planilha como exemplo prático, é possível ver como um modelo de linguagem pode ser implementado desde uma simples entrada de texto até a predição de um token.

Já dissemos anteriormente que um passo crucial consiste em converter texto em números. Enquanto a tokenização divide o texto em palavras ou unidades menores, o BPE permite lidar com eficiência com palavras desconhecidas ou raras, reduzindo o tamanho do vocabulário necessário. A abordagem baseada em BPE divide as palavras em unidades menores que podem ser reconhecidas pelo modelo, destacando as vantagens sobre a tokenização , com base apenas em palavras ou caracteres inteiros.

Algumas coisas que você deve saber sobre a implementação de um modelo generativo no Excel

Conforme explicado no terceiro vídeo detalhado, os recursos de processamento do Excel, no entanto, são limitados quando você precisa interagir com um modelo generativo.

O modelo implementado é necessariamente limitado ao gerenciamento de pequenas cargas de trabalho, com limite de contexto de apenas 10 tokens e palavras limitadas a 10 caracteres. Além disso, você só pode realizar tarefas inference , excluindo a possibilidade de treinamento do modelo.

No entanto, apesar de avançar dentro destas limitações importantes, o exercício proposto é confirmado como uma oportunidade educacional extremamente valiosa, ilustrando os principais conceitos de IA com uma abordagem acessível e fácil de entender.

Planilhas são tudo que você precisa representa uma oportunidade única para quem deseja se aproximar do mundo da IA. Usando uma ferramenta comum como o Excel, o projeto demonstra que a IA não é apenas para humanos especialistas em programação e cientistas de dados, mas pode ser compreendida e usada por qualquer pessoa com um bom conhecimento de planilhas.

Crédito da imagem de abertura: iStock.com – Digital43

barra lateral inferior relacionada 300

*️⃣ Link da fonte:

Atenção é tudo que você precisa , repositório GitHub , Desmistificando o funcionamento do GPT: Da Arquitetura ao…Excel!?! , Este primeiro vídeo , segundo vídeo publicado no YouTube, terceiro vídeo detalhado, Digital43,