József nádor már 1819-ben, az alcsúti birtok megvásárlásának évében felkérte kastélyának megtervezésére a hazai építészet nagymesterét, Pollack Mihályt. A hazai klasszicizmus egyik legharmonikusabb épületét 1827-ben vette birtokba a főhercegi család. Az épületegyüttes végső formája azonban később alakult ki, a kastély további két építési periódusa után nyerte el végső, kiteljesedett formáját. A végső alaprajz és tömegalakítás annyira egységesnek tűnik, hogy felvetődik a gondolat, talán a kezdeti Pollack tervek eleve magukban foglalták a későbbi bővítések lehetőségét.
Az első periódusban a kastély fő tömege készült el, gazdasági szárny és istálló nélkül. Az épület homlokzata a négy ion oszlopon nyugvó, timpanonos portikusz, mely ma is áll. A kastély főbejárata mégsem itt volt, hanem a tágas belső udvarról nyílt. Üvegezett kocsibehajtó gondoskodott az érkező vendégek kényelméről esős időben is.
A kastély belső berendezése valóságos múzeum volt. Az érkezők a hallba lépve egzotikus ritkaságokkal, Indiából, Afrikából hozott tárgyakkal találkozhattak. A hallból a billiárdszobába és a zongoraterembe lehetett belépni, s innen indult a reprezentatív lakosztályokat feltáró zegzugos folyosórendszer is.
A nagy ebédlő közvetlenül a portikusz mögött helyezkedett el, falait pompei stílusú freskó borította. Berendezéséhez tartozott egy különleges, négyszögletes zongora is, melynek két szemközti oldalán egyaránt volt billentyűzet, így akár négyen is játszhattak rajta egyszerre. Leírások szerint Liszt Ferenc is megszólaltatta ezt a hangszert ittjártakor.
A főbejárattól jobbra a főhercegi, balra a főhercegnői lakosztály volt.
A főhercegnői lakosztály Fehér Szalonjában az értékes festmények a mennyezet alatt futó rézrúdról függtek alá, porcelánfigura gyűjtemény a több centi vastag kéküveg asztallapokon állt. A neobarokk ülőgarnitúra huzatait Lajos Fülöp francia király leánya hímezte.
Innen nyílt a Vörös Szalon, mely szintén
a falak színe után kapta a nevét. A főhercegnői dolgozószoba - a kert felőli homlokzat utolsó helyisége - valóságos kis szentély volt zsúfolásig emlék- és kegytárgyakkal. Ebben a szárnyban kapott helyet a főhercegnő hálószobája és a gyerekek szobái is, a belső udvar irányában.
A főhercegi lakosztály első helyisége
a fraknói fegyvergyűjtemény mintájára készült fegyverterem volt. A páratlan ritkaságokban bővelkedő, rendkívül széleskörű gyűjtemény a világ minden tájáról tartalmazott fegyvereket. A nádortól kezdve minden generációban előfordult katonai hivatást választó férfitagja a családnak, aki gyarapította a falakon sűrűn elhelyezett tárgyak sokaságát.
A főhercegi dolgozószobát József nádor, majd fia, József Károly használta. A főhercegi hálószobát katonához méltó puritánság jellemezte, falain körben, posztamenseken a magyar királyok faszobrai sorakoztak.
A kastély belső kialakításáról ma rendelkezésünkre álló adatok a korabeli fényképekről és a helyszínen történt ásatásokból származnak.
A családi képtár falain a családtagok portréi sorakoztak. Csupán három személy: Deák Ferenc és Kossuth Lajos portréja, valamint
a német Sebastian Kneipp mellszobra kapott helyet a családtagok között.
Az 1870-es években valódi épületegyüttessé fejlődött a fehérre meszelt kastély.
Az 1880-as években az istállót kápolnává alakították, megépült a könyvtár, az addig különálló gazdasági szárnyakat a főépülethez kapcsolták. A gazdasági szárnyat kis tornyos toldalékkal zárták le – éppúgy, mint a könyvtár esetében – de itt ez tűztoronyként funkcionált és a József főherceg által szervezett alcsúti önkéntes tűzoltóság gyakorlóhelyéül szolgált.
Az építés befejezése
A harmadik építési periódus a 20. század elejére tehető. A már kettős „U” alakú kastélyudvar belső, kisebbik, addig nyitott részét bezárták, ez által létrejött egy négyszögletes, belsőudvaros főépülettömb és egy-egy jobbra-balra elnyúló „L” alakú épületszárny. A belső udvar közepére kerek díszmedence került, melyben aranyhalak úszkáltak. A gazdagon berendezett kastély összes alapterülete kb. 15 000 m2 volt, helyiségeinek száma elérhette a 200-at.
A négy ion oszlopos portikusz előtt mindkét oldalon egy-egy 1848-as ágyú állt.
A Nagyrét nyugati végénél virágágyás, szélein pedig egy-egy kör alakú medence kapott helyet, a medencék közepén virággal beültetett kővázák álltak.
A Habsburg-kastély és kertjének pusztulása
József főherceg 1905-ben bekövetkezett halálát követően a család kevesebbet tartózkodott az alcsúti birtokon. 1944-ben, néhány nappal karácsony előtt, a nyilasok hatalomátvételét követően elhagyni kényszerültek birtokukat, de bíztak a visszatérésben és minden értéküket a kastélyban hagyták.
December 25-én súlyos tüzek keletkeztek, az épület hetekig égett, majd megkezdődött az értékek széthordása. Szemtanú szerint
a kastély felgyújtása után a gazdag fegyvergyűjtemény darabjai sokáig hevertek szanaszét a területen, mert abban az időben fegyverbirtoklásért halálbüntetés járt. Később fémgyűjtés keretében munkások vitték el és beolvasztották őket.
1951-ben elrendelték az alapokig történő bontást, bár akkor még a tetőszerkezet rekonstrukciója megoldható lett volna az azonos megoldású hatvanpusztai majorsági épület alapján.
A bontások után csupán a kerti homlokzat középső, portikuszos fala maradt meg, akár egy kulisszafal. A Habsburg-család lotharingiai ágának leszármazottai – akik itt töltötték gyermekkorukat – ma is otthonukként gondolnak az alcsúti birtokra és visszatérnek ide nagyobb családi ünnepeiken.
