El origen del pueblo parece remontarse al asentamiento de la ciudad arévaca de Voluce, situada en un cerro sobre el rio Milanos a kilómetro y medio de la actual Calatañazor. Allí permanecieron desde el s. III a.C. durante toda la dominación romana, hasta el s. IV-V d.C, cuando con las invasiones germánicas decidieron cambiar a su actual ubicación más fácil de defender.
En cambio su nombre es posterior y parece proceder del árabe, Qal`at an-Nusur, que traducido seria Castillo de las Águilas.
El hecho por el cual es más conocido, es que como dice la tradición, "en Calatañazor perdió Almanzor el tambor". Según la leyenda aquí seria derrotado por Sancho Gracia, Conde de Castilla, para huir a Medinaceli donde murió la noche del 10 al 11 de agosto de 1002.
