¿Puede una IA aprender a distinguir una buena idea de investigación de una mediocre? Eso es exactamente lo que plantea “AI Can Learn Scientific Taste”, un paper de Fudan University publicado el 15 de marzo en arXiv que ha generado considerable interés en la comunidad esta semana (más de 220 upvotes en Hugging Face).

La pregunta no es trivial. Hay mucho trabajo sobre IA que ayuda a hacer ciencia: buscar literatura, ejecutar experimentos, escribir código. Pero la parte más humana del proceso científico — el criterio para reconocer qué problemas merece la pena atacar, qué ideas tienen potencial de impacto real — había quedado sin explorar. Los autores llaman a esa capacidad gusto científico, y argumentan que es aprendible.

El Problema: La IA es Buena Ejecutando, no Juzgando

Un buen científico no solo hace experimentos. Sabe qué experimentos merecen hacerse. Tiene intuición para detectar qué líneas de investigación van a resultar relevantes antes de que los resultados lo confirmen. Esa capacidad de juicio — el gusto científico — es lo que diferencia a un investigador mediocre de uno brillante.

Hasta ahora, los modelos de lenguaje mejoran constantemente en capacidades ejecutivas: búsqueda bibliográfica, síntesis, generación de código, escritura de papers. Pero nadie había abordado en serio la pregunta: ¿puede una IA evaluar la calidad potencial de una idea antes de que existan resultados?

RLCF: Aprender de la Sabiduría Colectiva

La propuesta central del paper es Reinforcement Learning from Community Feedback (RLCF), un paradigma que aprovecha las citas como proxy de impacto. La lógica es elegante: si la comunidad científica acumula citas en ciertos trabajos y no en otros, esa señal colectiva codifica, de forma imperfecta pero real, qué ideas fueron consideradas valiosas.

El pipeline tiene tres etapas:

1. Construcción de preferencias comunitarias. A partir de pares de abstracts — uno de alta citación vs. uno de baja citación, en el mismo campo y período — se construye SciJudgeBench, un conjunto de 700.000 pares de entrenamiento y evaluación. El matching por campo y tiempo es clave para evitar sesgos: comparar papers de física cuántica con papers de NLP o de décadas distintas no tendría sentido.

2. Scientific Judge. Un modelo de recompensa entrenado en esos pares para predecir cuál de dos abstracts tiene mayor potencial de impacto. El resultado es un árbitro que generaliza sorprendentemente bien: funciona en campos no vistos durante el entrenamiento, en papers del futuro (evaluados sobre trabajos publicados después del corte de entrenamiento) y correlaciona con puntuaciones de revisión por pares (aceptaciones en ICLR).

3. Scientific Thinker. Una política entrenada con Scientific Judge como señal de recompensa, cuyo objetivo es generar ideas de investigación con alto potencial de impacto. Scientific Thinker supera a los baselines en calidad de ideas propuestas según la métrica del propio juez.

Resultados que Llaman la Atención

Lo más llamativo es la capacidad de generalización de Scientific Judge:

  • Supera a GPT-5.2 y Gemini 3 Pro en la tarea de juzgar el impacto potencial de ideas.
  • Generaliza a años futuros: entrenado con papers hasta cierto año, mantiene rendimiento en papers publicados después.
  • Generaliza a campos no vistos: el gusto aprendido en, por ejemplo, NLP transfiere parcialmente a bioinformática o física computacional.
  • Correlaciona con revisión por pares: las puntuaciones del modelo predicen, mejor que el azar, qué papers son aceptados en conferencias de alto nivel.

Este último punto es el más provocador. Si un modelo puede predecir aceptaciones de ICLR con mejor precisión que el azar, algo está capturando sobre la calidad, no solo sobre patrones superficiales.

La Trampa de las Citas

El paper es honesto sobre sus limitaciones. Las citas son un proxy ruidoso del impacto: un trabajo puede citarse mucho por razones negativas, por ser popular en un momento dado, o simplemente por aparecer en un survey influyente. La sabiduría colectiva de la comunidad científica también tiene sus sesgos — recompensa lo que parece prometedor según los paradigmas dominantes de cada momento.

Los autores reconocen que Scientific Judge está aprendiendo a predecir lo que la comunidad valoró, no necesariamente lo que debería haber valorado. La diferencia es importante: trabajos radicalmente disruptivos a veces no reciben citas hasta años después, y el modelo no tiene acceso a ese horizonte temporal.

Dicho esto, el experimento de generalización a papers futuros es el argumento más fuerte. Si el modelo predice bien qué papers publicados después del corte de entrenamiento van a resultar influyentes, está capturando algo más que modas del momento.

Por Qué Importa

Este paper abre una línea de investigación que puede tener consecuencias prácticas considerables. Si podemos construir modelos que evalúan el potencial de una idea de investigación antes de invertir recursos en desarrollarla, eso cambia cómo se puede usar la IA en el proceso científico.

No es solo que la IA ejecute experimentos más rápido. Es que podría ayudar a priorizar qué experimentos vale la pena hacer. Eso afecta a cómo se asigna financiación, qué líneas de investigación se exploran, qué papers se escriben.

Hay una pregunta filosófica interesante debajo: ¿el gusto científico es algo que se puede aprender de datos, o hay algún componente de intuición humana que no está en los abstracts? La apuesta implícita del paper es que sí está, al menos parcialmente — que la señal colectiva de millones de decisiones de citación codifica algo real sobre la calidad intelectual.

El resultado no es definitivo, pero es suficientemente sugestivo para merecer atención.

Fuentes: