Alpaca: Pesquisadores criam “clone” do ChatGPT
Pesquisadores da Universidade de Stanford, nos EUA, lançaram o Alpaca, modelo de IA (inteligência artificial) quase igual ao ChatGPT. A diferença principal foi o custo para treiná-lo: apenas US$ 600 (R$ 3,1 mil, na conversão atual).
Aliás, os pesquisadores – que trabalham no CRFM (Centro de Pesquisa em Modelos Fundamentais) da universidade – disseram que custou “tudo” isso porque não haviam otimizado seu processo. Ou seja, treinar modelos futuros agora sairia mais barato ainda.
Leia mais:
ChatGPT-4 aponta 80 profissões que podem desaparecer com o avanço da IAGoogle libera acesso antecipado ao Bard, o rival do ChatGPTChatGPT: bug expõe histórico de chat de usuários
Importância da Alpaca
ChatGPT não está sozinho na comunidade de chatbots (Imagem: James Grills/Wikimedia Commons)
Até o ChatGPT da OpenAI chegar ao público, em novembro de 2022, os LLMs (“Large Language Models” ou “Modelos Grandes de Linguagem”, em tradução livre) eram um tópico de discussão entre os pesquisadores de IA.
Além disso, a OpenAI gastou milhões de dólares treinando-os para se certificar que o ChatGPT forneceria respostas às perguntas humanas da mesma forma que outro humano responderia. Junte isso aos investimentos bilionários da Microsoft na OpenAI e pronto: fica claro (aparentemente) que treinamento de modelos de IA é tão difícil quanto caro.
Pesquisadores de Stanford terem criado uma espécie de clone do ChatGPT com orçamento modesto é importante, neste contexto, porque abre caminho para outras empresas de IA saírem das garagens.
Como treinaram o clone do ChatGPT
Pesquisadores usaram LLaMA 7B e a IA GPT para treinarem o Alpaca (Imagem: Mohamed Hassan/PxHere)
Um componente importantíssimo dessa conquista foi o LLaMA 7B, um modelo de linguagem de código aberto, ao qual os pesquisadores tiveram acesso. Curiosamente, esse modelo vem da Meta (dona do Facebook, Instagram e WhatsApp) e é um dos menores e mais baratos disponíveis atualmente.
Porém, os recursos equipados neste modelo não chegam nem perto dos níveis do ChatGPT. Então, os pesquisadores então recorreram ao GPT, IA por trás do chatbot, e usaram uma API (Interface de Programação de Aplicativo) para usar 175 pares de instrução/saída escritos por humanos para gerar mais no mesmo estilo e formato.
Gerando 20 dessas declarações por vez, os pesquisadores acumularam 52 mil conversas de amostra em poquiíssimo tempo, o que lhes custou US$ 500 (R$ 2,6 mil). Este conjunto de dados foi então usado no pós-treino do modelo LLaMa. Passando para oito computadores de processamento em nuvem A100 de 80 GB, os pesquisadores concluíram essa tarefa em apenas três horas, gastando menos de US$ 100 (R$ 524).
Por fim, o modelo treinado, apelidado de Alpaca, foi testado contra o próprio ChatGPT em vários domínios. E venceu o GPT em seu próprio jogo. Ainda segundo os pesquisadores, dava para obter resultados melhores se tivessem usado o GPT-4, a versão mais recente da IA.
Democratizando conhecimento
Desenvolvedores do Alpaca divulgaram perguntas que treinaram o Alpaca junto aos códigos usados para gerá-las (Imagem: Mohamed Hassan/PxHere)
Os pesquisadores já divulgaram as 52 mil perguntas usadas na pesquisa, junto ao código usado para gerá-las. Graças a isso, outras pessoas poderão repetir o processo e replicar os resultados.
Porém, a IA e suas respostas não estão sujeitas à proteção assegurada pela OpenAI ao seu chatbot. Por isso, pode-se esperar algumas respostas desagradáveis.
Com informações de Interesting Engineering
Imagem de destaque: Couleur / Pixnio
Já assistiu aos novos vídeos no YouTube do Olhar Digital? Inscreva-se no canal!
O post Alpaca: Pesquisadores criam “clone” do ChatGPT apareceu primeiro em Olhar Digital.
