Il paese è dominato da una robusta Torre Angioina,  ormai fatiscente e in pericolo di crollare;  fa parte del Castello, ove un tempo risiedeva il Conte o il suo rappresentante. Essa appare ancora circondata da parte delle mura: quelle stesse che poco più a valle conservano ancora oggi il nome antico di “Murati” e che servivano per proteggere tutto il nucleo storico dell’abitato. Oggi il Castello è stato diviso tra vari proprietari, che hanno in parte modificate le antiche strutture, ma che sono ancora tutte racchiuse tra due grandi porte con le loro mura, il fossato e la vestigia dei ponti levatoi, che in caso di pericolo, isolavano, a difesa, il castellano. All’interno è possibile ammirare un bel cortile con relativa porta, sovrastato dallo stemma dei Gesualdo

Il Castello  di Ruvo sorse, con molta probabilità , durante le guerre tra i Longobardi ed i Bizantini per il dominio della contea di Conza, per la riconquista dei loro antichi territori perduti (avvenute dal 600 d.C. in poi). E, proprio per far fronte a tutte queste drammatiche evenienze, fu eretto, fra gli altri, il Castello di Ruvo ( di cui si ha menzione già in documenti dell’anno 1000): quello che fece allora di questo antico sito una valida roccaforte longobarda della Contea di Conza contro Musulmani e Bizantini.

Ruvo medievale andò incontro ad una sicura distruzione avvenuta quasi certamente nel 1348, ad opera delle orde degli Ungheri di re Luigi. Ricostruito, fu dotato di nuovo castello, anch’esso distrutto e dato alle fiamme, insieme al paese, dall’ufficiale Caldora, angioino, nel 1435.

Dal belvedere del Castello è possibile ammirare l’intero panorama dell’abitato sottostante, le campagne e le colline che lo circondano, le vallate del torrente Liento e del fiume Ofanto, come pure i Fronti di Ruvo verso il Vulture, fino a sconfinare verso il  maniero federiciano di Lagopesole verso sud, e i paesi di Rapone e Calitri, verso Ovest.

Da anni tutte le Amministrazioni comunali si sono interessate a valorizzare e acquisire il complesso del “Castello” con annessa Torre, che rappresenta il simbolo del paese; fino ad oggi, però,  non si è riusciti  a farlo e si spera che, nel tempo, ci si impegni a dare importanza al monumento, che, ai sensi della legge 1° giugno 1939, n. 1089, è stato dichiarato, dal Ministero per i Beni Culturali ed Ambientali, con decreto 14 ottobre 1985, di interesse particolarmente importante e sottoposto a tutte le disposizioni di tutela contenute nella legge stessa perché rappresenta “un significativo esempio di complesso residenziale fortificato, variamente articolato in coerenza con la morfologia del luogo, caratterizzato dai resti del fossato e da un doppio accesso  archivoltato. Il castello dominante l’abitato, di cui ne costituisce il nucleo più antico, ingloba una preesistente Torre circolare di epoca Angioina con coronamento a mensole multiple che costituisce l’emergenza architettonica ed ambientale dell’intero centro abitato”.