Fu sicuramente la posizione strategica per la difesa del territorio, a convincere i tre fratelli Aldobrandeschi a costruirvi un castello turrito che avrebbe dovuto celebrare la potenza della Famiglia, ma soprattutto a scoraggiare le mire espansionistiche della vicina città di Orvieto.

Il nome Castell’Azzara fu deciso dai tre fratelli, dopo che, si disputarono a dadi l’edificazione del forte. Possesso dei Conti Aldobrandeschi, al momento della divisione della famiglia nei due rami di Sovana e Santa Fiora, fu inclusa nella Contea Santafiorese. Durante tutto il XIV secolo Castell’Azzara fu contesa tra le potenti famiglie orvietane, Filippeschi e Monaldeschi e i senesi Orsini e Baschi. Nella prima metà del XV, quando morì l’ultimo esponente della famiglia, il Conte Guido, la Contea di Santa Fiora, alla quale faceva riferimento anche Castell’Azzara, passò alla famiglia Sforza per via matrimoniale. Il comune di Castell’Azzara arrivò all’autonomia completa da Santa Fiora solo nel 1915.