L’edificio, sito in fondo a Vico Fortunato, è stato costruito in stile tardo-rinascimentale dalla famiglia Scarli, originaria della città di Crema, giunta a Modugno nel 1526 al seguito della regina Bona Sforza.
Il palazzo è preceduto da un atrio su cui si apre un arco a tutto sesto decorato da una maschera apotropaica centrale e motivi vegetali ai lati.
Sull’architrave è presente l’iscrizione che data l’ingresso: “D.O.M. B.M.V. HAEC ISABELLA TENET CORNALIS ET ANNA SORORES ABBAS QUAE TUTOR LIMINA SCARLA STRUIT A.D. MDCLVIII” (a Dio ottimo massimo e alla Beata Vergine Maria. Le sorelle Isabella e Anna Cornale hanno in possesso questa casa, il cui ingresso è stato costruito dal tutore abate Scarla. Anno del Signore 1658).
Al centro dell’iscrizione si staglia lo stemma lapideo di famiglia dato da un albero, forse un corniolo, con un elmo cavalleresco in maestà. La trabeazione è chiusa in alto da una cornice aggettante ornata da un fregio a denti di sega. L’arco è coronato da una elegante balaustrata i cui pilastrini, decorati a motivi vegetali, sono separati da un pilastro ugualmente ornato.
All’interno dell’atrio, due rampe di scale conducono ai piani superiori.