Fujitsu apresenta tecnologia de IA generativa para criar modelos mais leves e sustentáveis

A Fujitsu compartilhou o desenvolvimento de uma nova tecnologia de reconstrução para inteligência artificial (IA) generativa, que se baseia em um sistema que reforçará o modelo de linguagem grande (LLM) Fujitsu Takane LLM para permitir a criação de modelos de IA leves e eficientes em termos de energia.

Como parte do serviço Fujitsu Kozuchi AI, a empresa compartilhou seus últimos desenvolvimentos à medida que continua a aprimorar os recursos de IA generativa de seus serviços, com o objetivo de "resolver desafios mais complexos para seus clientes e para a sociedade". Especificamente, com base em dois avanços principais, a saber, quantificação e destilação especializada de IA.

No caso da quantificação, trata-se de uma técnica que comprime as informações armazenadas nas conexões entre os neurônios que formam a base do "processo de pensamento" de um modelo de IA. Isso permite a otimização do pensamento e a redução do consumo de energia. A Fujitsu também desenvolveu um novo algoritmo de propagação de erros de quantização, que evita o acúmulo exponencial de erros em redes neurais profundas.

Enquanto isso, a destilação especializada em IA é um método que, ao mesmo tempo, torna o modelo mais leve ao condensar o conhecimento e o aprimora para uma precisão ainda maior do que a do modelo original.

Para fazer isso, o conhecimento é transferido dos modelos principais, neste caso o Takane, para o modelo selecionado. Depois disso, uma reconfiguração estrutural é realizada imitando processos de reforço do conhecimento e organização da memória, inspirados no funcionamento do cérebro.

Nessa reconfiguração, o conhecimento desnecessário é removido por meio da geração de vários modelos candidatos, e o modelo ideal é selecionado pela pesquisa de arquitetura neural, adaptada aos requisitos de recursos, velocidade e precisão da GPU.

Combinando as duas técnicas, a Fujitsu desenvolveu sua nova tecnologia de reconstrução de IA generativa, projetada para permitir a criação de modelos de IA leves e eficientes em termos de energia, com base no Fujitsu Takane LLM.

A "MAIOR" TAXA DE RETENÇÃO DE PRECISÃO DO MUNDO

Assim, como a empresa compartilhou em um comunicado, ao aplicar a tecnologia de quantização de 1 bit desenvolvida pela própria empresa ao modelo Takane, foi obtida uma redução de 94% no consumo de memória do modelo. Isso, juntamente com a destilação, permitiu que a empresa atingisse a taxa de retenção de precisão "mais alta do mundo", de 89%, em comparação com o mesmo modelo sem quantização, além de aumentar a velocidade de inferência em um fator de três.

De fato, de acordo com a Fujitsu, essa taxa de retenção de precisão excede a taxa de menos de 20% normalmente alcançada por outros métodos convencionais, como a quantificação GPTQ. Como resultado, essa técnica permite que grandes modelos de IA generativa, que normalmente exigem quatro GPUs de alto desempenho para serem executados, agora sejam executados com eficiência "em uma única GPU de baixo custo".

Em um teste de previsão em negociações comerciais, a tecnologia alcançou um modelo com inferência 11 vezes mais rápida, uma melhoria de 43% na precisão e uma redução de 70% na memória da GPU e nos custos operacionais, de acordo com a tecnologia.

AGENTE IA EM SMARTPHONES E MAQUINÁRIO INDUSTRIAL

Todas essas conquistas significam que, usando a tecnologia de reconstrução da Fujitsu, a IA de agente pode ser implantada em dispositivos que vão de smartphones a máquinas industriais, permitindo "melhores respostas em tempo real, maior segurança de dados e menor consumo de energia" em operações de IA.

Nesse contexto, a Fujitsu disse que planeja oferecer a seus clientes globais ambientes de teste do Takane LLM com essa tecnologia de quantificação aplicada a partir do segundo semestre do ano fiscal de 2025.

A empresa também anunciou que lançará progressivamente os modelos Cohere Command A, com pesos abertos e pesos quantificados com essa tecnologia, que já estão disponíveis a partir de quinta-feira na Huggin Face.

Além disso, a empresa disse que continuará a avançar em pesquisa e desenvolvimento para melhorar significativamente os recursos de IA generativa. A longo prazo, a empresa disse que os modelos especializados da Takane evoluirão para arquiteturas avançadas de IA de agente, com maior compreensão e capacidade de resolver problemas complexos de forma autônoma.