Dům byl až do 19. století převážně v šlechtických rukou. V roce 1854 ho zakoupil  Antonín František Halka hrabě Ledochówski, c. k. komoří a nechal ještě téhož roku nově vystavět jako dvoupatrový. Přikoupil i přilehlou nezastavěnou parcelu po vedlejším maloměšťanském domě. Traduje se, že hranolovou věž - dnes jednu z dominant Uherského Hradiště - nechal vystavět pro svou manželku Julii Logothettiovou. Dcera hraběte a majitele zámku v Bílovicích Huga Logothettiho se tak mohla dívat na své rodiště, po němž prý tesknila.

V domě s proslulou schodišťovou věží bydlelo několik významných uherskohradišťských osobností - akad. sochař Jiří Jaška, malíř Vladislav Vaculka a malířka a keramička Ida Vaculková. Od roku 2014 zdobí dům pamětní deska z ateliéru velehradského sochaře Otmara Olivy, která připomíná působení manželů Vaculkových ve městě a jejich vliv na formování uherskohradišťského kulturního života.