A kastélyt a Szapáry-család építtette a XVIII. század közepén, amelyet 1820-ban klasszicista stílusban alakítottak át. Később az Andrássy-család tulajdorlába került épületet eklektikus stílusban építették át. A műemlék jellegű épület körül kialakított park körülbelül 5,6 hektár. A parkban látható az 1894-ben emelt Kossuth emlékoszlop és itt kapott helyet a városi könyvtár Makovecz Imre által tervezett impozáns épülete is. A park élőfagyűjteménye jelentős, annak ellenére, hogy a lI. világháború idején súlyos veszteséget szenvedett. Kiemelkedő értéke a kastély mögött elhelyezkedő 550 cm törzskörméretű és mintegy 30 m-es koronaátmérővel rendelkező, gigantikus méretű platánfa. Tőle nem messze a két terebélyes bokorrá nőtt tiszafa és az északkeleti részén elhelyezkedő szintén hatalmas méretű kocsányos tölgyek, az egykori park napjainkra megmaradt matuzsálem korú tanúfái. Megcsodálhatjuk a két közepes méretű, de szép virágdíszben pompázó trombitafát. Érdekessége a parknak a gyertyánlugas, mely az idejében végzett szakszerű nyesés ek elmaradása miatt sokat veszített eredeti szépségéből. A közel száz fajból álló lomb- és tűlevelű fa- és cserjegyűjteményben a tűlevelű fafajok közül előfordul a luc-, fekete-, jegenye- és duglaszfenyő, az oregoni ciprusok számos faja és az 1690-ben Japánban E. Kempfer holland orvos által felfedezett és a buddhisták előtt rendkívül nagy tekintélynek örvendő legősibb ma élő fafaj, a páfrányfenyő. A lombosfák közül a piramis tölgy, a tulipánfa, a kislevelű hárs, a mezei, az ezüst, a hegyi, a zöld és a tatár juhar mellett a kevésbé ismert japánjuhar, a dió, a fekete dió, a magas kőris, a szomorúfűz, a vadgesztenye, a nyír, a szürke nyár, a zselnicemeggy, a cseresznye, a mirabolánszilva stb. fordul elő. A cserjék közül említést érdemelnek a magas díszítő értékű madárbirsfajok, a magnóliák, a nyári orgonák, a gyöngyvesszők, a hóbogyó, a labdarózsa, a kökény, az orgona, a mogyoró, a mogyorós hólyagfa, a mályvarózsa, az aranyribiszke stb. A park a község egyik kedvelt pihenőparkja, az épületek rendeltetése alapján Letenye kulturális központja is itt alakult ki.

 Település központjában, parkban, szabadon álló, téglalap alaprajzú, egyemeletes, kon-tyolt nyeregtetős épület. D-i homlokzata előtt timpanonnal lezárt középrizalit, előtte oszloppárokra támaszkodó öntöttvas korlátos erkély. Az épület DK-i és DNy-i sarkához négyzetes alaprajzú, földszintes, lapostetős toldalékok csatlakoznak, tetejükön falazott, sarkain vázadíszes mellvédű terasszal. A földszint kéttraktusos, középfolyosós elrende-zésű, helyiségei csehsüveg boltozatosak. Az emeleten részben átalakított alaprajzi rend-szer, síkmennyezetes terekkel. Az emeletre háromkarú, boltozott főlépcsőház vezet. Falkép: historizáló díszítőfestés maradványai az emeleten, 19. század vége. Építtette Szapáry Péter 1760-as években. 1830 körül házasság révén az Andrássy család birtokába került. Az épületet gróf Andrássy Károly klasszicista stílusban átalakíttatta. A 19. század második felében historizáló stílusban építették át. Jelenleg művelődési ház. Az egykori kastélyparkban: Kossuth emlékoszlop, 1894; a kastélytól ÉNy-ra, az utcavonalon, tég-lalap alaprajzú, földszintes, kontytetős melléképület; a kastélytól ÉK-re tizenkétszög alaprajzú könyvtárépület (1986).