Método inovador da Microsoft pode tornar grandes modelos de linguagem mais precisos
Na Microsoft, especialistas estão trabalhando para melhorar os modelos de linguagem (LLM), que são ferramentas computacionais avançadas usadas para entender e gerar textos mais próximos àqueles criados por humanos. Durante o evento Microsoft Research Forum, Dipendra Misra, um pesquisador sênior da big tech, compartilhou descobertas sobre uma técnica inovadora chamada LASER, que promete tornar esses modelos ainda mais precisos.
LASER é a sigla para Layer-Selective Rank Reduction (simplesmente, redução de classificação seletiva de camada, na tradução). Essa intervenção pode ser explicada mais ou menos da seguinte forma: imagine esses modelos de linguagem como estudantes muito inteligentes que aprendem lendo enormes quantidades de textos da internet. Eles absorvem informações para realizar tarefas como escrever ou responder perguntas.
O que o LASER faz é simplificar as “dicas” que o LLM usa para tomar decisões. Aí acontece a “mágica”: o que poderia parecer que iria piorar o desempenho, na prática, ajuda o computador a se tornar mais eficiente em algumas tarefas.
Leia também:
Corrida da IA: China já lançou mais de 70 modelos de linguagem Google e Microsoft: os retornos dos investimentos em IA Google DeepMind: IA resolve problema matemático antes indecifrável
Simplificando para o modelo ser mais eficiente
Misra explicou que, ao aplicar a técnica LASER, foi possível reduzir o número de pistas sem perder a eficiência. Surpreendentemente, os modelos de linguagem analisados pelos pesquisadores da Microsoft não só mantiveram sua capacidade de desempenho como, em alguns casos, melhoraram significativamente. Você pode ter acesso ao repositório da intervenção aqui.
Imagem: Repositório Github/Pratyusha Sharma
A equipe de Misra observou melhorias de até 30% em tarefas específicas em três diferentes modelos de código aberto: RoBERTa, Llama 2 e GPT-J da Eleuther. Acompanhe mais detalhes na explicação do pesquisador:
Dentre os modelos de linguagem que receberam a intervenção com LASER, por exemplo, a precisão do GPT-J na previsão de gênero com base em biografias aumentou de 70,9% para 97,5%. Para termos uma ideia do quanto isso é positivo, embora os LLMs sejam já muito capazes, eles podem errar ou até “inventar” informações. Aperfeiçoar sua precisão é crucial para torná-los mais confiáveis e úteis, minimizando possíveis danos que erros ou “alucinações” podem causar.
Via The Verge
O post Método inovador da Microsoft pode tornar grandes modelos de linguagem mais precisos apareceu primeiro em Olhar Digital.
