Panský Mlýn v Brusném je jedním z nejstarších svobodných vykoupených mlýnů v regionu. První zmínky o budově mlýna pocházejí z počátku 14. století, kdy byl součástí podhradí gotického hradu Křídlo.Objekt mlýna byl později v 18. století součástí panství rodu Rottalů a za panování hraběnky Marie Amálie z Rottalu, provdané De Monte l`Abbate byl v roce 1762 až 1763 vykoupen. Obraz s kopií výkupní listiny visí na stěně nad pianem v restauraci.

Od roku  1827 až do roku 1924 mlýn spadal do panství  hraběte Laudona z Bystřice pod Hostýnem. Po velkém požáru dne 6. srpna 1921 byl objekt mlýna rekonstruován a následně přestavěn podle plánů neznámého vídeňského architekta ve stylu rané venkovské moderny s architektonickými prvky hnutí národního romantismu. Motiv malovaného obloučkového soklu byl převzat ze staveb z jižní Moravy. Černobílá šachovnice ve výklenku na uličním průčelí symbolizuje havířskou minulost předválečného majitele Josefa Kubečky. Svou funkci začal mlýn ztrácet koncem 19. století, v roce 1893 byla jeho hlavní náplň definitivně zrušena.