První písemná zmínka o hradě je v Kosmově kronice. Terénní zbytky bývalého hradu Bánov, jehož původ sahá do 12. století, jsou volně přístupné na místě zvaném Kalvárie nedaleko kostela sv. Martina v centru obce. Namísto hradu zde stojí tři kříže. Místo je viditelné při příjezdu do obce od Uherského Brodu.