Il castello del Poggio fu verosimilmente fondato come feudo imperiale su una preesistente torre bizantina, ed è ricordato fin dal 1200 insieme con Guardege e Lugnano. Esso aveva un territorio più esteso dell'attuale, comprendendo la tenuta del Torrone o Palazzone spettante a Tenaglie. Le sue terre presso il Tevere, che allora aveva un corso diritto nord- sud erano il punto d'incontro dell'Umbria con il Viterbese mediante una barca che traghettava dal cosiddetto Porto de Luca che si trovava al di sotto della collinetta su cui sorge la Madonna del Porto. Il Poggio fece parte dello Status Alviani, ma ebbe, fin da tempi remoti, dei propri feudatari come gli Uffreduzzi, i Sensi, i De Nobili, i Monaldeschi e da ultimo i Doria Pamphilij. Nel 1495 Bartolomeo d'Alviano, che aveva preso in consegna la fortezza, resistette all'assalto di Todi e nel trattato di pace che ne seguì fu stabilito che la rocca non fosse più riedificata.