Imaginemos una inteligencia artificial que no sabe qué es internet, no ha leído Wikipedia y no conoce la Segunda Guerra Mundial, los antibióticos modernos, la carrera espacial ni los smartphones. Esa es la idea detrás de Talkie: un modelo de lenguaje de 13.000 millones de parámetros entrenado con textos publicados antes de 1931. ¡A que mola!
El proyecto, desarrollado por Nick Levine, David Duvenaud y Alec Radford, no es solo una curiosidad histórica. Es una forma original de investigar cómo aprenden los modelos de lenguaje, qué son capaces de generalizar y cuánto dependen de haber absorbido la cultura digital contemporánea.
Talkie pertenece a una categoría especialmente interesante: los modelos de lenguaje con corte temporal. En lugar de entrenarse con datos actuales de internet, se alimenta de libros, periódicos, revistas, publicaciones científicas, patentes y textos legales anteriores al 31 de diciembre de 1930 o la fecha determinada por el desarrollador. Según sus autores, el modelo base, talkie-1930-13b-base, fue entrenado con unos 260.000 millones de tokens en inglés. También existe una versión ajustada para seguir instrucciones, talkie-1930-13b-it, pensada para conversar de forma más natural. La gracia del experimento no está en preguntarle “qué opina una persona de 1930” sobre un iPhone. Talkie no es una conciencia histórica. Es un sistema estadístico entrenado con el material textual disponible de otra época.
Una forma de medir la sorpresa ante el futuro
Una idea sugerente del proyecto es utilizar Talkie para medir cuán “sorprendentes” resultan los hechos posteriores a 1930 para un modelo que, en principio, no sabe que ocurrieron. Los autores usaron descripciones históricas del archivo “On This Day” de The New York Times y calcularon cuánto desconcertaban al modelo según la década del acontecimiento. Como era previsible, la sorpresa aumenta después de 1930, especialmente en décadas marcadas por grandes transformaciones científicas, políticas y tecnológicas. Esto no significa que Talkie pueda predecir el futuro. Pero sí permite estudiar hasta qué punto un modelo puede extrapolar a partir de los conocimientos de una época concreta.
Talkie puede interesar a investigadores de inteligencia artificial, pero también a historiadores, lingüistas y estudiosos de la cultura. Permite explorar cómo se articulaban ciertos conceptos antes de que acontecimientos posteriores los transformaran: el trabajo antes de la automatización digital, la medicina antes de los antibióticos, la comunicación antes de la televisión e internet. Pero ojo, conviene no confundirlo con una fuente histórica directa. Talkie no representa “lo que pensaba la gente en 1930”. Representa una síntesis estadística de ciertos textos conservados, digitalizados y seleccionados.
Deja una respuesta