Az Esterházy család cseszneki ágából származó Esterházy Ferenc (1670–1746) főispán 1700-ban vásárolta meg a környező területekkel együtt a sárosdi birtokot, majd mivel gyermek nélkül hunyt el, unokatestvére, Esterházy János (1691–1744) és leszármazottjai vitték tovább az uradalmat.

Rezidenciájuk valamikor az 1770-es évek elején épült fel, de hamarosan öngyilkosság vetett árnyékot a falakra, ugyanis Esterházy Pál (1761 k.–1808) önkezével vetett véget életének, és itt temették el. Talán az óriási méretű adóssága vagy a saját katonái által a fején ejtett lövés hozadékaként fennálló elmeháborodottsága vezetett a tragédiájához Az okot máig homály fedi, de ő volt az első Esterházy, akit Sárosdon temettek el.

Az uradalom első világkorát is Pálhoz köthetjük, aki elkezdte a régi lakhely felújítását, majd halála után özvegye, Csáky Jozefa (1775–1841) grófnő folytatta a ház és a park kiépítését. Ezt az anyósa is támogatta, aki 31.000 forintnyi hagyatékában megadta, hogy azt a birtok fejlesztésére használják fel.

Az asszony a kastélykerten kívül húzódó, közel 100 holdas mocsarat lecsapolva termékeny, allékkal felosztott ültetvényt és angolkertet hozott létre. Az istállókba fajtiszta állatokat telepített, a róla elnevezett dús Jozefa-erdőbe szigettel, pihenőkkel kényelmessé, szobrokkal pedig művészivé varázsolt tavakat alakított ki.

Az egyik szobor Dianát, a vadászat istennőjét ábrázolta, akinek arcvonásaiban a vadászként is elismert grófnő vonásait lehetett felfedezni. A tíz részre osztott területen végigfutó fasorok a majorságok központjába vezettek, ahol a gazdasági épületek és gazdatiszti házak álltak. Igazi utópisztikus területté vált a régi mocsár. A teljes cikk a Múlt-kor történelmi magazin 2024. tavasz számában olvasható.