A visão da Pure Storage para o futuro do gerenciamento de dados com IA
A Inteligência Artificial (IA) experimentou um crescimento sem precedentes nos últimos tempos, despertando imenso entusiasmo entre indivíduos e empresas. Muitas organizações integraram tecnologias de IA em suas operações ou estão em processo de fazê-lo. Além disso, muitos consumidores individuais utilizam serviços baseados em IA, incluindo chatbots como ChatGPT e Bing Chat. No entanto, apesar da sua proliferação, a implementação da IA exige investimentos substanciais em termos de recursos computacionais e capacidade de armazenamento. Especificamente, com o rápido aumento no consumo de energia do processador, os sistemas de refrigeração dos data centers devem ser atualizados para manter as temperaturas operacionais ideais. Anteriormente, explorámos esta questão do ponto de vista da infraestrutura de refrigeração; agora, vamos examiná-lo através das lentes do armazenamento
Novos LLMs exigem conjuntos de dados cada vez maiores
A IA, deve-se notar, não é uma inovação por si só. Em vez disso, o que exerce uma influência considerável é um domínio de aplicação específico, especificamente o da IA generativa. Nos últimos tempos, a IA expandiu progressivamente a escala dos conjuntos de dados disponíveis; no entanto, o advento de Large Language Models (LLMs), como aqueles sobre os quais repousam o ChatGPT e as plataformas generativas de IA relacionadas, levou a um crescimento exponencial em tamanho e complexidade. Este aumento ocorre devido à necessidade dos modelos de IA reterem os padrões de conhecimento adquiridos ao longo da sua fase de formação, o que se torna cada vez mais desafiante à medida que os modelos se tornam mais expansivos. Além disso, mesmo quando se poupam LLMs substanciais, a pressão imposta sobre a infra-estrutura subjacente de armazenamento e rede permanece formidável.
inicialmente, as empresas devem melhorar a sua infra-estrutura de armazenamento para acomodar o influxo de grandes modelos de linguagem (LLMs), resultando em aumento de despesas. Além disso, haverá um aumento correspondente nas emissões de CO2. Dado o clima actual em que as empresas de diversos sectores lutam pela descarbonização, esta questão não pode ser ignorada se se pretende alcançar a neutralidade carbónica.
Receita da Pure Storage: memórias flash em vez de discos rígidos
Galtarossa sugere que uma solução viável para os problemas em questão reside na implementação de unidades de estado sólido como parte de uma estratégia global de responsabilidade ambiental. A adopção desta tecnologia foi apoiada por alguns líderes da indústria que tomaram medidas no sentido de incorporar considerações ecológicas nos processos de desenvolvimento de produtos. Por exemplo, as opções de armazenamento totalmente flash são conhecidas por serem muito mais eficientes em termos energéticos em comparação com os sistemas tradicionais de unidades de disco rígido. Além disso, certas empresas foram além da simples produção de SSDs para consumo; eles também desenvolveram seus componentes proprietários de memória flash que permitem a comunicação direta entre arrays totalmente flash e recursos de armazenamento brutos, otimizando assim o desempenho e a utilização de recursos e, ao mesmo tempo, minimizando padrões de consumo desnecessários.
Os SSDs e as memórias flash têm uma vantagem distinta sobre os discos magnéticos tradicionais, pois consomem significativamente menos energia e geram o mínimo de calor, eliminando a necessidade de sistemas de resfriamento especializados que normalmente são exigidos pelos discos magnéticos.
Galtarossa reconhece que embora a sustentabilidade ambiental seja um benefício importante do uso de pen drives, eles oferecem várias outras vantagens particularmente adequadas às tarefas em questão. Esses benefícios decorrem de sua capacidade de conectar modelos ou aplicativos de IA com dados de maneira eficiente. Para alcançar o desempenho ideal, esses sistemas exigem conjuntos de dados diversos e extensos, alta largura de banda para processos de aprendizagem transmitidos, recursos de gravação eficientes para pontos de verificação e forte desempenho de leitura aleatória para inferência. Além disso, é essencial que esses recursos permaneçam consistentemente confiáveis e prontamente acessíveis 24 horas por dia, independentemente da aplicação ou silo específico que estiver sendo usado. Em resumo, depender apenas do armazenamento no disco rígido não será suficiente; a tecnologia flash é necessária para suportar essa funcionalidade abrangente.
*️⃣ Link da fonte: