Rubielos fue de las últimas villas aragonesas en ser conquistada a los musulmanes, ya en 1204.
 
De la muralla que un día protegió a la villa se conservan dos torres puerta. El portal de San Antonio, de estilo gótico, y el portal del Carmen. La iglesia del Convento de (las) Agustinas, construida en el siglo XIV, fue la primitiva parroquia. Adosado a su ábside se fundó en 1624 el convento de San Ignacio de Loyola. La iglesia de Santa María la Mayor, actual parroquia, es obra de principios del XVII. El Hospicio fue construido en 1749 en mampostería, con una nave y capillas laterales comunicadas entre sí. Este edificio junto al convento de carmelitas calzados, conforman el actual Museo Salvador Victoria.

Entre los edificios civiles destaca la excepcional casa consistorial. Destaca la espléndida lonja, con la antigua solería conservada en algunas zonas.

El casco urbano, cuidado con esmero, lo que le hizo merecer el premio Europa Nostra, conserva un trazado medieval donde numerosas casas blasonadas conforman su recorrido. 
 
Rubielos está integrado en el movimiento slow city y pertenece a la Asociación de Pueblos más Bonitos de España.
 
Destacan, el palacio de los Villasegura, la casa de los Barberanes y el palacio de los condes de Creixell, todos del XVIII. La casa de los Marqueses de Tosos y Condes de Samitier.
 
Otras casonas se distribuyen por sus calles, como la de los Leones, la de los Báguena, la de los Cebrián Corbatón, la del Lloret, la de Igual-Padilla, la del Mesón, etc.

Mención aparte merecen las fuentes y las esculturas que se distribuyen por la villa.