Několik prvních zmínek o hradě, kterému patří následující vyprávění, pochází z roku 1275 při krátkodobém pobytu Přemysla Otakara II na strategicky významné křižovatce spojující dva břehy řeky Moravy. Stará Veselská osada, která se považovala za hospodářské a kulturní středisko na levém břehu řeky Moravy, byla užívána jako průchodiště takzvané "svobodné cesty královské". Jako vodní pevnost se panské sídlo jmenuje výslovně hradem ještě k r. 1530 a 1562. Situované vpředu směrem k městu bylo obklíčeno vodou i hradbami. Postupnou úpravou a rozšiřováním měnil se Veselský hrad v jednopatrový zámek, který si přesto udržel svůj strategický význam do první poloviny 16.století. Postupnou změnou váleční techniky se změnila i dosavadní funkce hradu. V inventáři ze 30.března 1731 se uvádí větší počet místností. Na zámecké věži byly velké bicí hodiny, které spolu se železným zvonem dal pořídit Jan Felix Želecký. Ve starších inventářích se z počátku 18.století uvádí zvlášť kaple s oltářem Svatých andělů strážných. První majitel z rodu Chorinských byl František Karel, který podlehl nemoci 16.března 1741. Jeho druhorozený syn se ujal oprav než zemřel 23.června 1812. Jeho dílem je přestavba i konečná úprava veselského zámku, o kterém hradišťský premonstrát Marian Ulmann v roce 1771 napsal jako o dost elegantním zámku. S konečnou úpravou zámku souvisela i úprava zámeckých zahrad. Zahrada byla doplňkem zámku a taky odrazem dobových uměleckých směrů a názorů na přírodu.