Il palazzo, ubicato in Piazza del Sedile, è stato realizzato tra la fine del XVIII e l’inizio del XIX dal generale Alberto Crispo su progetto del bitontino Vincenzo Castellucci
La facciata, in stile tardo neoclassico, è tripartita da lesene verticali e si sviluppa su tre livelli: tre fornici al piano inferiore e due ordini di finestre con timpani rettangolari e balconi con ringhiere in ferro battuto, ai piani superiori.
Particolarmente interessanti sono il coronamento di facciata, con un cornicione a traforo floreale e il torrino, caratterizzato da una merlatura ghibellina, contrapposta a quella guelfa che contraddistingue la torre dell’orologio del Palazzo del Sedile.
Tale scelta fu voluta dal generale Crispo per indicare la rottura tra Casa Savoia da lui servita e lo Stato della Chiesa.
Durante la seconda guerra mondiale il palazzo fu occupato dalle truppe inglesi.
Gli interni decorati con affreschi a motivi vegetali e mitologici, conservano ancora la fisionomia originaria.