O avanço da inteligência artificial tem provocado debates sobre a real capacidade dessas tecnologias em resolver problemas altamente complexos. Recentemente, pesquisadores do Google decidiram avaliar o desempenho dos LLMs na ciência, testando a habilidade de grandes modelos de linguagem em responder questões avançadas sobre física e supercondutividade. O estudo revelou dados fascinantes sobre as atuais limitações e o potencial promissor dessas ferramentas.
A supercondutividade é uma área da física de matéria condensada extremamente técnica e que exige raciocínio lógico profundo. Para testar os sistemas, a equipe de pesquisa desenvolveu um conjunto de dados específico com problemas acadêmicos de nível de pós-graduação. Os resultados mostram que, embora os modelos consigam processar vastas quantidades de dados textuais, a resolução de cálculos matemáticos complexos ainda é um grande desafio.
O papel dos LLMs na ciência de ponta
De acordo com o relatório publicado no blog do Google Research, o objetivo principal não era apenas dar notas aos modelos, mas entender como eles estruturam o pensamento científico. Os pesquisadores notaram que modelos mais avançados, como a família Gemini, apresentam ótimos resultados em perguntas conceituais e teóricas. No entanto, quando as questões exigem a aplicação de fórmulas matemáticas específicas, a taxa de acerto diminui significativamente.
Para mitigar essas falhas, os cientistas testaram abordagens de engenharia de prompt e ferramentas de execução de código integradas. O uso de interpretadores de código externos ajudou os modelos a superarem suas limitações aritméticas clássicas. Essa integração de ferramentas aponta para um futuro onde a IA atuará como um assistente de pesquisa altamente robusto.
Próximos passos para a inteligência artificial na física
O estudo conclui que a criação de benchmarks especializados é fundamental para o desenvolvimento de sistemas mais confiáveis. À medida que as ferramentas evoluem, a expectativa é que elas possam acelerar a descoberta de novos materiais supercondutores. Isso poderá revolucionar setores como a transmissão de energia e a computação quântica nos próximos anos.
Fonte original: Leia mais na fonte