W latach 1690–1696 kardynał Augustyn Michał Stefan Radziejowski (1641–1705), syn osławionego podkanclerzego koronnego Hieronima, nabywał sukcesywnie od poszczególnych członków rodziny Nieborowskich rozdrobnione wówczas części dóbr i ok. 1695 r. przystąpił do budowy swojej okazałej rezydencji w Nieborowie, powierzając to zadanie architektowi Tylmanowi z Gameren. Nowy pałac stanowił na Mazowszu trzecią rezydencję dygnitarza, po Skierniewicach i rodowych Radziejowicach. Ze zrozumiałych więc względów okazały całopostaciowy portret pierwszego właściciela Nieborowa umieszczono w pałacowej bibliotece na pierwszym piętrze, zawieszając obraz nad kominkiem, naprzeciw drzwi wejściowych. Wspomnianą podobiznę dygnitarza, autorstwa italianizującego malarza polskiego ostatniej ćwierci XVII w., tak opisał w 1896 r. Michał Piotr Radziwiłł (1853–1903), od 1879 r. właściciel dóbr nieborowskich: „ Kardynał, cały w purpurze, siedzi w fotelu, oparty o stół rzeźbiony, na którym książki i dzwonek. Małe jego, piwne, przenikliwe oczki osadzone w okrągłej twarzy, którą rozszerzają pukle fryzowanych loczków, i cała postać otyła i nieszlachetna, dobrze malują człowieka, a przecudowna wenecka koronka u rokiety i u wiązanych rękawów daje wyobrażenie o bogactwie światowego prałata”.
Wystrój biblioteki niewiele zmienił się od czasów, gdy Radziejowski, jeden z najbardziej wykształconych przedstawicieli ówczesnego polskiego episkopatu, spędzał tam długie godziny nad księgami. W drugiej połowie XX w. biblioteka pałacowa służyła nadal jako miejsce pracy rodzimym luminarzom historii sztuki (i nie tylko), którzy przebywając tam wieczorami niejednokrotnie słyszeli ... dźwięk dzwonka. Ówczesny kurator nieborowskich zbiorów, Włodzimierz Piwkowski, opowiadał: „Pewnego wieczoru przebywający w Nieborowie profesor Stanisław Lorentz, dyrektor Muzeum Narodowego w Warszawie, pisał artykuł, siedząc w bibliotece. Zatopiony w pracy nie spostrzegł, że zbliża się północ... Naraz usłyszał dźwięk dzwonka – najpierw w sąsiedniego pokoju, potem całkiem blisko... Jednocześnie jakaś niewidzialna ręka rozkołysała ciężkie kryształowe żyrandole” Uczony instynktownie odczuł obecność jakiejś niewidzialnej istoty w pomieszczeniu, toteż czym prędzej je opuścił.
O wiele bardziej nieprawdopodobna historia zdarzyła się pewnej lipcowej nocy, gdzieś w latach siedemdziesiątych XX w. W Muzeum, zgodnie z przepisami, zamknięto już wszystkie okna, na drzwiach założono plomby, a przy wejściu usiadł dyżurny strażnik. Około godziny pierwszej po północy pałacem wstrząsnął straszliwy huk, dochodzący z biblioteki. Strażnik Walenty Pastwa szybko otworzył drzwi i zapalił światła. Na podłodze zobaczył roztrzaskane zwieńczenie wielkiego zegara, natomiast z portretu zniknęła postać kardynała.
Przerażony zbiegł na dół, wołając drugiego wartownika Marcina Zagawę. Natychmiast obudzono kuratora Piwkowskiego i wszyscy trzej udali się na pierwsze piętro. Jak wspominał kurator, „Walenty Pastwa był blady, ręce mu drżały, mówił coś szybko i bezładnie, nie chciał przekroczyć progu biblioteki. Wszedłem tam z Marcinem Zagawą – kontynuował Piwkowski - wszystkie meble stały na swoich miejscach, Radziejowski spoglądał z portretu, ale masywne, ważące ponad 80 kg zwieńczenie angielskiego zegara zrzucone jakąś tajemniczą siłą leżało na posadzce. Przeprowadziliśmy wizję lokalną – zegar przymocowany był do ściany metalowymi zaczepami dla bezpieczeństwa zaklinowanymi. Zwieńczenie ważyło ponad 80 kg i trzeba dwóch silnych mężczyzn, aby je zdjąć. Walenty Pastwa zabrany do szpitala w stanie nerwowego szoku twierdził, że widział w kącie biblioteki wysokiego mężczyznę w purpurowych szatach i w piusce na głowie”.
Skądinąd wiadomo, że pobyt zszokowanego strażnika w szpitalu potrwał długo.
