Krzyżtopór, rezydencja Krzysztofa Ossolińskiego we wsi Ujazd, to miejsce zadziwiające. Jeden z największych zamków na naszych ziemiach, otoczony legendą bezprzykładnego luksusu, użytkowany był krótko i szybko – z braku troskliwego gospodarza – popadł w ruinę. Nic dziwnego, bo m.in. Adam Miłobędzki zwracał uwagę na dysonans pomiędzy wspaniałością projektu i poziomem jego technicznej realizacji. Mury obronne zamku Krzyżtopór jakością wykonania ustępowały np. fortyfikacjom zamku w Podhorcach, za to bogate zdobienia prezentowały poziom najwyższy.
Kres krótkiej świetności to czasy „potopu”. Najazd szwedzki był szokiem dla Rzeczypospolitej. Armia feldmarszałka Arvida Wittenberga wkroczyła do Wielkopolski 21 lipca 1655 roku. Po czterech dniach skapitulowało pod Ujściem pospolite ruszenie. Od 25 września do 17 października trwała obrona Krakowa, 3 października pod Wojniczem została rozbita armia koronna, 7 października z kraju uciekł Jan Kazimierz a wraz z nim dygnitarze – prymas Andrzej Leszczyński, kanclerz Stefan Koryciński i podkanclerzy Andrzej Trzebicki. 20 października hetman wielki litewski Janusz Radziwiłł podpisał ze Szwedami traktat w Kiejdanach. Trudno się dziwić, że Urszula Brygida z Ossolińskich Kalinowska, w przeddzień „potopu” właścicielka dóbr klimontowskich i ossolińskich, ani myślała walczyć ze Szwedami i podobnie jak większość szlachty sandomierskiej złożyła wiernopoddańczą deklarację, oddając się pod protekcję Karola X Gustawa.
Walory obronne budowli były symboliczne, więc stawianie oporu nowoczesnej armii było skazane na porażkę. 30 października 1655 roku żołnierze z kontyngentu generała Roberta Douglasa weszli do wydanego w ich ręce zamku, a pułkownik Johann von Essen zorganizował sobie w nim wygodną kwaterę. Zadaniem podległego mu regimentu Närke-Värmlands był nadzór nad Sandomierszczyzną. Piechurom dodano oddział rajtarii. Kurlandczyk von Essen (1611-1661) Rzeczpospolitą znał dobrze. Karierę rozpoczął w 1635 roku jako dworzanin Władysława IV. Podczas wojny trzydziestoletniej, już w szeregach armii szwedzkiej, walczył na Śląsku. W 1648 roku objął dowództwo regimentu Österlings, a w 1653 Närke-Värmlands.
Z zamku rozsyłał rozporządzenia, m.in. uniwersał do szlachty sandomierskiej (wydany w zamku Krzyżtopór 6 lutego 1656 roku), czy nakazy, by starostwo i miasto Sędomirskie dostarczyło koni i pachołków do przeprawy artylerii i amunicji (wydany w zamku Krzyżtopór 21 lutego 1656 roku). Ostrzegał przed odstępowaniem od króla szwedzkiego: „Nadeszły z nowotnymi swymi wodzami chorągwie kwarciane, i jak jedni tak drudzy okazali swą przewrotność, gwałcąc szlachtę i za karki ich biorąc, z domu wywłócząc i do buntu przeciw Królowi Szwedzkiemu ze sobą pociągając. Teraz uszli za Wisłę, lecz jad swój zostawili, a strasząc Kozakiem, Tatarzynem i Turczynem odgrażają się w tych towarzystwie z Zawiśla wrócić, by szlachtę wraz sobą w ostatnie wtrącić nieszczęście. Strwożoną przeto tem wszystkiem szlachtę bratersko upominam, by się ustraszyć nie dali, i do broni nie rwali, bezpiecznie i spokojnie w dobrach swych siedząc, pewnymi będąc protekcyi Króla Szwedzkiego”.
Ale przestrogi na niewiele się zdały. Rozpoczął się oddolny ruch oporu, bo najeźdźca nie zaprzestał terroru i niszczenia kraju kontrybucjami. Stąd dla odmiany ordynacja hetmana koronnego Stanisława Rewery Potockiego „do Województwa Sandomierskiego względem oblężenia zamków Ujazdu, Iłży i Zawichosta Dan z Sambora pod dniem 12 II 1656”.
Latem 1656 roku Karol Gustaw koncentrował wojska „Exuta quoque tam praesidio Ilża, Christopora et Janowiza arces”, z którymi ruszył przeciwko Polakom, a następnie pobił ich w 3-dniowej bitwie pod Warszawą (28-30 lipca). W kolejnym roku wojny, w marszu na południe, 2 kwietnia król szwedzki zajął Piotrków, obsadzając go załogą brandenburską, po czym szedł przez Przedbórz, Jędrzejów i Pińczów, by 11 kwietnia 1657 roku dotrzeć do Modliborzyc koło Ćmielowa. Po drodze przybył najpierw do Iwanisk. „11 kwietnia do Iwanisk (Iwaniski) 3 mile. Tego samego dnia do Modliborzyc, 4 mile. Tu jego Królewska Mość, w chwili, gdy mimochodem oglądał piękny i mocny zamek Krzyżtopór (Chrzistopora), odebrał wiadomość, że książę z Siedmiogrodu, Rakoczy gotów jest przybyć, by ucałować rękę królewską. W czasie rozważania Jego Królewskiej Mości nadjechał także generał major Wurtz” – pisał Erik Jönsson Dahlbergh. W Modliborzycach odbyła się narada wojenna. Nazajutrz dołączyła armia siedmiogrodzko-kozacka Jerzego Rakoczego. „Udał się przeto Jego Królewska Mość do swej głównej kwatery w Modliborzycach, kazał ustawić armię w szyku bojowym i księcia, który przybył z 3 tysiącami Węgrów i 2 tysiącami Kozaków, przyjął pięknie i grzecznie...” Wodzowie wydali w zamku Krzyżtopór ucztę. Wkrótce jednak, ze względu na spustoszenie lewobrzeżnej Sandomierszczyzny, armia szwedzko-siedmiogrodzko-kozacka musiała przeprawić się na prawy brzeg Wisły.
Cytowanemu Dahlberghowi zawdzięczamy najstarszy plan zamku Krzyżtopór. Szwedzki feldmarszałek (1625-1703), od 1693 roku hrabia, kwatermistrz i inżynier wojskowy, latem 1656 roku stawił się przed obliczem króla szwedzkiego w obozie koło Nowego Dworu. Do zleconych mu przez króla obowiązków należał generalny przegląd twierdz i zamków polskich – miał oceniać ich wartość militarną. Jednocześnie czynnie uczestniczył w dziele niszczenia Polski – kierował np. spaleniem zamku w Złotowie. „Wszystko zamieniło się w popiół” – zapisał. Był świadkiem obrócenia w gruzy prymasowskiego zamku w Łowiczu i spalenia miasta. W Kruszwicy, jak pisze: „O północy kazałem zamek podpalić. Była tam wieża, w której, jak piszą, myszy zjadły jakiegoś polskiego króla”. Obok niszczenia zajmował się budowaniem i rysowaniem, sporządzał plany umocnień, dodając projekty ich ewentualnego zmodernizowania. Krzyżtopór wywarł na nim wrażenie. Odręczny szkic Chrzistopora, przechowywany w sztokholmskiej bibliotece, opatrzył komentarzem: „Das schoene Schloss”. Na miedziorycie opublikowanym w 1696 roku przez Samuela Pufendorfa umieszczono łacińską wersję komplementu: ELEGANTISSIMA IET BENE MUNITA ARX, co tłumaczy się jako „Najpiękniejsza i dobrze obwarowana twierdza”. Tak zwany plan Dahlbergha ukazuje rzut zamku w poziomie przyziemia. Autor podaje nazwy bastionów, identyfikuje ogród, dziedziniec arkadowy i zbiornik na wodę w piwnicach zamku. Dahlbergh mógł widzieć zamek, ale z jego wspomnień wynika, że brakło mu czasu na dokładniejsze studia, nie mówiąc już o pomiarach. Zgodność rysunku ze stanem rzeczywistym pozwala przypuszczać, że już po zakończeniu wojny korzystał z rysunków zrabowanych z zamku (do Szwecji trafiły m.in. biblioteka i archiwum Jerzego Ossolińskiego).
Szwedzi opuścili Ujazd pod koniec 1657 roku. Przypisywane im zniszczenie zamku zostało w literaturze przedmiotu zanegowane. Najeźdźcy ogołocili wprawdzie rezydencję z dekoracyjnego wystroju i wyposażenia, ukradli zegar z bramy wjazdowej, jednak nie uszkodzili murów, nie wzniecili pożaru. Von Essen został w 1658 roku komendantem garnizonu Malmö, a rok później otrzymał rangę generał-majora piechoty.