Nejvýznamnější památkou ve městě je zámek z první poloviny 15. století, který představuje ojedinělou ukázku postupné modernizace panských sídel. V předzámčí je umístěna část městského úřadu, městské informační centrum, zámecká půjčovna horských kol a Expozice napoleonských vojáků. V přízemních prostorách hlavní budovy je expozice Keramika, Bystřické cechy a Pracovna Františka Táborského a ve východním křídle prvního poschodí expozice Historický ohýbaný nábytek. V prvním poschodí se konají výstavy a ve svátečním sále koncerty klasické hudby i svatební obřady. Zámecký park vlastní Armády ČR, je zde umístěno Centrum zdravotnického materiálu. Pro veřejnost je park nepřístupný.