En el siglo XVIII se construyó el primitivo colegio en torno al Patio de Palafox. Patio realizado en ladrillo en torno a un espacio de planta cuadrada, desarrollada en cuatro plantas, siendo la superior una ampliación del siglo XX siguiendo un criterio compositivo unificador. La planta baja abre al patio con arcos de medio punto doblados que apean en potentes pilares con pilastras adosadas. Los pisos superiores repiten este esquema de arcos, si bien de menor tamaño y parcialmente ocupados por ventanales, habiendo varios huecos modificados. Entorno a este patio se organizaban los espacios dedicados a aulas y a residencia de los alumnos. El Patio de la Rotonda y la escalera noble fueron realizados en las ampliaciones en el siglo XX. El patio se desarrolla en torno a espacio elíptico en eje con el acceso exterior. En planta baja, doce estilizados pilares prismáticos sostienen arcos deprimidos rectilíneos que separan el óvalo central de la parte cubierta decorada con un zócalo cerámico al que abren puertas y ventanas con forma de óculo, con ménsulas con decoración vegetal en las claves. El primer piso repite la composición, con menor altura y cerrándose los vanos con cristaleras que forman una galería de arcos de medio punto sobre antepechos decorados con láureas con frases del Antiguo Testamento. Una balaustrada de hierro remata el tercer piso que se encuentra retranqueado, la balaustrada de inspiración renacentista pero con notables innovaciones formales que dotan a la composición de elegancia y ligereza. En un ángulo del patio, tras una puerta, se localiza la escalera noble, dispuesta sobre un espacio de planta oval cubierto con cúpula elíptica; presenta un interesante diseño con un perfil alabeado, apoyando únicamente en dos columnas y dos grandes ménsulas; una balaustrada de madera refuerza el sentido dinámico de la composición. Los capiteles de las columnas están decorados con motivos vegetales, al igual que las ménsulas de madera, talladas a base de roleos y hojas de acanto. El patio de la Fuente se sitúa entre los patios de Palafox y de la Rotonda; presenta planta rectangular y una gran sencillez compositiva en altura, destacando los soportales que abren la planta baja, con arcos deprimidos rectilíneos apoyados en sencillos pilares y decorados con escudos de la Orden en las claves. Los pisos superiores presentan como única articulación mural sencillos ventanales adintelados. A comienzos del siglo XX, Miguel Ángel Navarro diseñó un cuerpo de fachadas que resolvía la unión de construcciones de tres y cuatro plantas, cerrando visualmente el bloque del colegio. Emplea un lenguaje de raíz neorrenacentista con algunas variaciones en las distintas fachadas pero dándoles un sentido unitario basado en el uso de vanos en arco de medio punto, pilastras gigantes e impostas horizontales que resuelven la diferencia de pisos, y el remate con una galería de arcos que recorre las distintas fachadas. El carácter monumental de la composición queda aligerado por las esquinas redondeadas y el resalte de los ejes que se corresponden con los accesos, en ligero avance con respecto a la línea de fachada y que en el caso de la puerta principal tuvo un mayor protagonismo por incluir esbeltas torres, hoy desaparecidas al igual que la cúpula del observatorio.