Por que os modelos de IA melhoram tão rápido

Imagine uma dona de loja que testa um assistente de IA em março. O texto sai fraco e ela desiste. Em setembro alguém a convence a tentar de novo, e o resultado a surpreende. Ela não mudou o jeito de pedir. A ferramenta mudou.

É assim que a IA se comporta: melhora em saltos, várias vezes por ano, sem pedir licença. Para quem decide, a pergunta útil é por quê.

O que faz uma versão superar a outra

Quatro coisas avançam ao mesmo tempo. Os modelos aprendem com mais dados, e melhor escolhidos. Os chips que os treinam ficam mais potentes, o que permite modelos maiores. As técnicas de treino evoluem: hoje pessoas avaliam as respostas para ensinar o modelo o que é útil, e os modelos mais novos aprendem a dividir um problema em etapas antes de responder. E há concorrência pesada, com várias empresas grandes lançando versões novas, umas correndo atrás das outras.

O tamanho da mudança

O custo de consultar um modelo com o desempenho do GPT-3.5 num teste padrão de conhecimento caiu de 20 dólares por milhão de tokens, em novembro de 2022, para 7 centavos de dólar, em outubro de 2024. É uma queda de mais de 280 vezes em menos de dois anos.

Do lado da capacidade, um estudo da METR, organização que testa modelos, mostrou que o tamanho das tarefas que os melhores modelos concluem com 50% de acerto dobra a cada 7 meses, num ritmo que se manteve pelos seis anos anteriores ao estudo.

O que fazer com isso

Duas conclusões práticas. Não espere a versão perfeita: ela não vai existir, e quem começa pequeno aprende enquanto a ferramenta melhora. E teste de novo de tempos em tempos, porque o que não servia há seis meses pode servir hoje. Guarde seus processos e seus documentos em formatos que você possa levar para outra ferramenta, e evite depender de um único fornecedor.

Mas melhorar rápido não significa fazer tudo. Falta saber onde a IA ainda tropeça, e esse é o tema do próximo artigo.