Roku 1589 nechal vystavět opat Ambrož z Telče v Kloboukách renesanční rezidenci, sloužící členům zábrdovického konventu, později jako středisko klobouckého velkostatku. Stavba byla zřejmě menšího rozsahu než současný objekt, naznačuje to asymetrické umístění vstupního portálu. Přístavbu a rozšíření zámku provedli v první polovině 19. století rytíři Neuwallové, kteří také zvelebili zámecké interiéry. V areálu zámku byla krásně upravená zahrada, ve které stávala socha sv. Jana z Nepomuku. Pozdější majitel panství Josef Duffek dal v roce 1906 postavit do parku před zámkem malou kapli, do níž byla socha přenesena. V roce 1949 byla kaple odstraněna a socha přemístěna do tisů před zámek. V roce 1994 byl tento registrovaný památkový objekt restaurován. V současnosti sídlí v zámecké budově městský úřad, muzeum, knihovna, školní klub, obchody. Přibyly advokátní kanceláře a Městská policie