Az 1700-as évek közepén Röjtökön 25 jobbágyház és 5 zsellérház állt. Ezek birtokosa a Felsőbüki Nagy család volt. Egy 1799-ben íródott idézet szerint a birtok „egy emeletre épült kastélyával ékeskedik.” A kastély a XVI. században csak földszintes udvarház, a 3414 holdas Nagyerdő vadászháza volt. Romantikus, klasszicista stílusban építették kastéllyá 1750-ben. Főépülete kétszárnyú, ami nagy U alakú udvar kiépítését tette lehetővé. Az egyhangúságot oszlopos árkádok törik meg. Parkja eredetileg 8 hektár volt.

Felsőbüki Nagy Pál főjegyző, alispán, majd a hétszemélyes tábla tagja halála után három gyermeke közül József, kancelláriai tanácsos, majd királyi személynök lett az örökös. Egyetlen leánya, Julianna halála után a birtok férjéé, Ürményi Miksáé lett. Ő Nyitra megye egyik legrégibb nemzetségéből származik. Az ő idejében történt, hogy gróf Széchenyi István megtisztelte látogatásával a röjtöki kastélyt. A „legnagyobb magyar” szokásához híven szaggatott német mondatokban vetette oda megjegyzését naplójában erre vonatkozóan 1841. október 14-éről: Nachmittag reite ich nach Szerdahely, um Bezerédy zu versöhnen, fand ich ihn nicht, Röjtök, Loos.

Ürményi leszármazottai eladták az épületet, négy szobabútort és egy ember nagyságú Mária Terézia festményt hagyva maguk után, ami elkerült Röjtökről. A hagyomány azt tartja, hogy a császárnő a röjtöki Ürményieket meglátogatta, és a látogatás tiszteletére és emlékére készült a kép.

Az eladás során Schöller és Patzenhofer családok megtekintették a helyszínt és alkalmasnak találták az Ikva mellett elterülő rétet cukorgyár építésére, ugyanis itt haladt el a nagy forgalmú Sopron – Pápai kereskedelmi út. Bauer Antal tekintélyes soproni sertéskereskedő megelőzte a cukorgyárosokat, megvette a röjtöki birtokot. A 19. században Sopron gazdasági életében igen nagy jelentősége volt a sertéskereskedésnek. Akkoriban hatalmas disznócsordákat tartottak a Bakonyban a soproni kereskedők, és állandóan utazgattak Horvátországba, Szerbiába. Beszélniük kellett legalább négy nyelvet. Bauer Antal a Thaya mellett fekvő Waidhofenből vándorolt be Sopronba. Felesége a serfőző Bosch családból származott, amely a mai Erzsébet kertben a várostól bérelte az egykori sörgyárat.

A Bauer család inkább csak hétvégi és nyári tartózkodásra használta a röjtöki kastélyt. Bauer Antal 1893-ban halt meg. A röjtöki birtokot Mihály fia örökölte. Kitűnő gazdálkodását a legfőbb helyen is elismerték. Őt és Antal öccsét a király Röjtöki előnévvel nemesítette.

1910-ben a Németországból származó báró Berg Gusztáv vásárolta meg a birtokot. "Addig a kastélyon változás alig esett. Megvolt a főhomlokzaton az oszlopos bejáró, de nem erkély, hanem tető fedte. A falakat az emeletet is átfogó copfos ion pilaszterek tagolták." Az új tulajdonos a bécsújhelyi Mayer építész tervei alapján átépíttette. A kerti hidat a felirat szerint 1923-ban a német Thyssen – ma Thyssen – Bornemissza - iparmágnás család ajándékozta az akkori tulajdonosnak, Berg Gusztávnak. A híd kastély felöli részén két kőből faragott oroszlán volt. Berg Gusztáv bárótól fiai örökölték a kastélyt.

1926-ban Verseghi Nagy Elek vatikáni magyar nagykövet lett az új tulajdonos. A kastélyt óriási befektetéssel a legmodernebb igények szerint átalakíttatta. Az ő idejében alakították ki a kastély körüli parkot, ekkor épült bele egy nagy úszómedence, amelyet Hajós Alfréd tervei alapján készítettek el. Mellette épült a fából készített kis japánház nádtetővel fedve. Ez a Dunántúlon egyedülálló volt. Az udvart szabályos alaprajzú francia kert díszíti, gömb-bukszussal, kettős sövénnyel és virágnégyszöggel. A déli homlokzati falhoz csatlakozik egy 50x50 méteres zárt kert, középen kis medencével, szökőkúttal.

Az épületbe lépve a hall korabeli faburkolatát és gipszmennyezetét csodálhatjuk meg a II. világháború alatt szerencsére épen maradt márványcímeres kandallóval. A kápolnában az oltárkép Boltraffio olasz mester Lódi Magdolnájának egy igen jó másolata volt, amelynek eredetije a Nemzeti Galériában látható. Az oltár két oldalán egy-egy XVII. században készített faszobor állt, ezek ma a soproni Keresztény Múzeumban tekinthetők meg. Szent János apostolt és egy szent püspököt ábrázolják. Alkotójuk ismeretlen.

Az emeleti szalon érdekessége, hogy a bútorzata Bonaparte Lajos király, Napoleon testvérének amszterdami palotájából való volt. A bútorokat a kastély holland úrnőjének édesapja birtokolta. Halála után lánya, Verseghi Elek első felesége, Jansen Erzsébet örökölte. Így jutott az egykori királyi szalon bútorzata Röjtökmuzsajra.

Az 1930-as években igen sok vendég látogatta a röjtöki kastély lakóit. Több éven át itt töltötte szabadságát dr. Serédi Jusztinián bíboros hercegprímás, Mikes János gróf és Majláth Gusztáv Károly érsek, Bethlen István és Teleki Pál gróf – utóbbi, mint miniszterelnök - , gróf Berthold Lipót volt külügyminiszter, Magdolna főhercegnő és az Eszterházy család más tagjai, valamint a Széchenyi, és a Pállfy családokból többen is.

A kastélyparkban látható a Verseghi család kriptája. Verseghi Nagy Elek apját, Ferencet 1928-ban temették itt el. Verseghi Nagy Elek felesége 1934-ben 34 éves korában halt meg hét kiskorú gyermeket hagyva maga után. Ő is a kriptában nyugszik.

Verseghy Nagy Elek 1936-ban újra házasodott: gróf Zichy Mária Lujzát vette feleségül, akitől két fia, Elek és András született.

Gyermekei közül Péter hősi halált halt, négyen 1944-ben elhagyták az országot. Verseghi Nagy Eleket és feleségét 1951-ben Tiszasüly – Koloptanyára deportálták.