IA · Modelos · Ciencia · LiveIdeaBench · Renmin · Zhejiang
LiveIdeaBench compara la generación de ideas científicas de 41 modelos
La publicación revisada por pares usa palabras clave como punto de partida y combina jueces de IA con una validación humana acotada.
Fecha de la fuente original:
Lo esencial
- La publicación revisada por pares usa palabras clave como punto de partida y combina jueces de IA con una validación humana acotada.
- La evaluación mide generación de ideas bajo un protocolo concreto; no valida descubrimientos científicos.
Ideación a partir de una palabra
Nature Communications publicó la evaluación de LiveIdeaBench, un trabajo con participación de Renmin y Zhejiang que circulaba como preprint desde diciembre de 2024. El estudio compara 41 modelos mediante 1.180 palabras clave de 22 disciplinas y puntúa originalidad, viabilidad, claridad y diversidad de las ideas propuestas.
Evaluación y período de referencia
Los autores encontraron una relación débil entre esas puntuaciones y las de un benchmark general. La selección de modelos corresponde a marzo de 2025. Otros modelos actúan como jueces, con validación humana limitada al ámbito de ecuaciones diferenciales; sus sesgos y cambios de versión dificultan comparar resultados de distintos períodos.