Fu probabilmente abitato fin dall'antichità, tanto che, lungo le zone pianeggianti ai margini del fiume, sono state rinvenute tracce di testimonianze etrusche e romane. Il borgo, come lo vediamo oggi, è frutto di profonde trasformazioni, ma nasce intorno al XIII secolo ad opera di Pandolfo degli Anguillara che, nel tentativo di sottrarre ad Orvieto il maggior numero possibile di castelli, se ne appropriò sottomettendolo a Viterbo, di cui era Capitano e Podestà. Più tardi esso appartenne ai Baglioni che, alleati con gli Orsini di Orvieto, erano mal visti dalla gente del luogo. Per accattivarsi le simpatie del popolo, alla morte di papa Orsini, i Baglioni pensarono bene di entrare in amicizia con Viterbo ma, come conseguenza più immediata, ottennero la scomunica della Chiesa, per volontà del papa Martino IV. Il perdono, invano richiesto per molti anni dai cittadini di Graffignano, arrivò solo nel 1332 grazie a Giovanni XXII che, con questo gesto, riconduceva il feudo sotto la patria potestà della Chiesa. Qualche anno più tardi, nel 1353, i possedimenti dello Stato Pontificio furono dilaniati dalla rivolta dei Di Vico e ciò permise ai Baglioni, che avevano contribuito a sconfiggerli, di tornare nuovamente ad amministrare il castello di Graffignano, anche se questo rimaneva proprietà della Reverenda Camera Apostolica. Il castello, grande capolavoro del Rinascimento, venne costruito dai Baglioni sopra un antico maniero intorno al XIV secolo per volontà dello Stato Pontificio.