Pozoruhodná rozsáhlá barokní budova palácového charakteru (projekt barokní přestavby od Domenica Martinelliho) s dochovaným velmi hodnotným starším goticko-renesančním a renesančním jádrem s řadou zajímavých architektonických detailů. Prvořadá profánní (světská, nenáboženská) architektura patřící bezesporu k nejhodnotnějším dochovaným částem historického stavebního fondu památkové zóny a svým významem přesahující hranice města. Původně měšťanský dům, pozdně goticky, resp. goticko renesančně přestavěný roku 1512 na nový Panský dům. Z něj se dochovaly portály v jižním průjezdu a místnosti za nimi spolu s arkádovým nádvořím. Barokní přístavba byla provedena na přelomu 17. a 18. století pro Dominika Ondřeje Kounice. Poslední komplexní rekonstrukce byla provedena v sedmdesátých letech tohoto století, v půdních prostorách vestavěna Základní umělecká škola. Renesanční sloupy arkádového nádvoří jsou nahrazeny kopiemi (původní sloupy byly subtilnější, s jemnější profilací). Panský dům slouží dnes jako víceúčelová budova pro kulturní a společenské potřeby města. Nachází se zde obřadní síň, galerie, gotická kaple Kouniců a knihovna.