El Antiguo Colegio de San Ildefonso —fundado por jesuitas en 1583 como resultado de la unión de los seminarios de San Bernardo, San Miguel y San Gregorio— fue un inmueble dedicado a hospedar a los alumnos de la congregación. Se llama San Ildefonso en honor al Santo Arzobispo de Toledo, quien escribió sobre la Virgen María.
En 1767, los jesuitas fueron expulsados por un decreto del rey Carlos III. Después de la expulsión, el edificio tuvo, entre otros usos, el de cuartel de tropas militares norteamericanas, en 1847, y francesas en 1862. Cinco años después, durante el gobierno de Benito Juárez, se convirtió en la Sede de la Escuela Nacional Preparatoria, la cual se integró en 1910 a la Universidad Nacional fundada por Justo Sierra. El político y filósofo mexicano Gabino Barreda fue su primer director.
Fue cuna de generaciones de intelectuales y destacados artistas como Octavio Paz, Diego Rivera y Frida Kahlo. En 1978 dejó de albergar al plantel 1 de la Escuela Nacional Preparatoria, hasta que en 1991 diversas instituciones (UNAM y Conaculta, entre otras) trabajaron juntas para financiar la restauración total del edificio y convertirlo en un espacio de exposiciones.