Z zamkiem w Rydzynie (którego początki sięgają XV w., a dzieje splatają się z losami rodów Leszczyńskich i Sułkowskich) związany jest nie jeden, lecz kilka upiorów, tworzących makabryczne theatrum.
W minionych wiekach tutejsi mieszkańcy nieraz obserwowali, jak z nadejściem wieczoru, z unoszących się gęstych mgieł nad otaczającymi Rydzynę łąkami i mokradłami, wyłaniała się Biała Dama, podążająca w stronę murów zamkowych. Opowiadano, że jest to pokutująca mara, która przybywa z zaświatów tylko raz w roku, by dowiedzieć się, czy jej kara dobiegła końca.
Edward Raczyński w swoich Wspomnieniach Wielkopolski (Poznań 1842) utrzymywał, że „w zamku Rydzyńskim jest kaplica, przed kaplicą pokój, a w tym pokoju obraz kobiety wyższego stanu. Kto jest tą kobietą, kto ją malował, zawiesił, skąd się wzięła w tym zamku? – nikt tego nigdy nie wiedział; nikt wiedzieć nie będzie. Obraz ten nie ma nic uderzającego w sobie, oprócz surowego spojrzenia i ręki jednej nienaturalnie jakoś położonej...”.
Wiedziano wówczas tylko tyle, że ową niewiastą „wyższego stanu” była podobno wdowa po jednym z mieszkańców tutejszego zamku. Na swoje nieszczęście zakochała się w bracie swego zmarłego męża, przynależnym do stanu duchownego. Czynione przez nią starania, by kapłan mógł powrócić do świeckiego życia, okazały się bezowocne. Nieszczęsna, chcąc za wszelką cenę zbliżyć się do ukochanego, pozbyła się swoich dwóch małych synków, zabijając ich sztyletem i grzebiąc w pałacowym parku. Rychło porażona nagłą śmiercią, zaczęła odtąd ukazywać się w murach zamkowych tylko w jedną noc, z 1 na 2 listopada, czemu towarzyszyły dziwne zjawiska: szum i łoskot w kaplicy, wyraźne kroki i ustawianie sprzętów. „Kryje się służba zamkowa – opowiadał wspomniany Raczyński – śmielsi tylko bliżej przystępują, słuchają, zaglądają; twarze ich przecież bledną (...). Uderza północ. Roztwierają się same przez siebie drzwi kaplicy, zapalają się świece na ołtarzu, lecz jakimś dziwnym, bladem, błękitnem światłem; widmo kobiety w białej i długiej szacie, z rozpuszczonemi włosy, wywiędłem boleścią obliczem, klęczy przed ołtarzem. Nagle zimno grobowe uderza wkoło; ukazuje się kapłan w ornacie ze mszą świętą idący. Okropny widok!... kapłan ten jest kościotrupem... głowa jego trupią, ręce kielich niosące kościami tylko, poprzedzają go dwa małe szkielety w komżach, jeden z nich niesie ampułki, drugi mszał ogromny. Zaczyna się msza święta, kapłan (...) gorąco się modli; dwa małe szkielety zdają się modłom jego odpowiadać, żaden głos, żadne westchnienie dosłyszeć się nie daje (...). Kończy się obrzęd ; kapłan zasiada na krześle – widmo przystępuje do spowiedzi. O! jakże gorąco się modli; jakiż to ciężar piersi jego rozpiera! Spowiada się, kapłan słucha i długo, długo słucha. Ileż to łez i westchnień przerywa tę spowiedź! Wielki Boże! Jakże straszliwem musi być wyznanie tego widma, jaka zbrodnia jego. Patrz! Patrz! Po trupiej czaszce kapłana zimny pot zlewa się strumieniem, w wydrążonych oczach błysk promień oburzenia, wiszący obraz kobiety cały czernieje, jakiś głuchy grzmot daje się słyszeć nad zamkiem!
Drobne dwa szkielety, klęcząc i modląc się, zdają się błagać za winną. Wyznała już wszystko i schyla głowę, i bije się w piersi na znak żalu i skruchy. Bije silnie – płacze i czeka. Czeka chwil kilka, wreszcie podnosi na kapłana wzrok błagalny i mówi: „Przebaczenia”! A kapłan jej grobowym odpowiada głosem: „Nie w tym roku jeszcze!”... „i kiedyż, kiedyż!” – odzywa się widmo, kapłan milczy. Wskazuje jej na dwa klęczące szkielety – znika – gasną świece, zamykają się drzwi kaplicy – jęk tylko długi słychać za niemi i naraz wszystko cicho, i ani śladu tego, co przed chwilą było...”.
Podobną relację uwiecznił Adam Amilkar Kosiński, zaś współczesny jemu pamiętnikarz Kajetan Koźmian zanotował, że w rydzyńskim zamku jest pokój, „w którym nikt się nie odważy spędzić nocy, gdyż słychać jakby daleki brzęk łańcuchów, jęki jakieś i żałosne westchnienia”. Dwudziestowieczna eseistka Zofia Starowieyska – Morstinowa, opisując Rydzynę i jej właścicieli, tak pisała o Białej Damie: „Wielu widziało ją na własne oczy spacerującą po korytarzach zamku. Pamiętam jeszcze z dzieciństwa takich, którzy Białą Damę spotykali, znałam i takich, którzy na jej widok przez okno zamku w noc ciemną uciekali”. Duch ten miał się też pojawiać w dni wiosenne, z naręczem kwitnącej czeremchy. Z chwilą, gdy zapadał zmrok, Biała Dama krążyła wokół zamku, szukając miejsca, w którym pogrzebała niegdyś ciała zabitych synków, i rozrzucając wokół kwiaty.
Po pożarze zamku w 1945 r. duch przestał się pojawiać. Może ma to związek z powtarzaną nadal opowieścią, że bardzo dawno temu powrócił do Rydzyny ów kapłan, w sędziwym już wieku, odnalazł w parku drzewo, pod którym były pogrzebane ciała dzieci, wydobył spod korzeni dwa szkielety i sprawił im chrześcijański pochówek. Być może, Biała Dama wreszcie doczekała się przebaczenia...