Zamczysko w Janowcu, a raczej jego ruiny na skarpie wiślanej, w lipcu 1975 r. stały się własnością Muzeum w Kazimierzu. I nie byłoby w tym niczego dziwnego, gdyby nie fakt, iż wymieniona placówka muzealna nabyła legalnie obiekt (w czasach kwitnącego PRL –u) z rąk prywatnych, od Leona Kozłowskiego, który od 1927 r., przez blisko pół wieku, był jego właścicielem. Uprzednio zamek, zbudowany przez Firlejów (od 1537 r.), przechodził kolejno w ręce Tarłów, a potem Lubomirskich, do czasu, kiedy książę Marcin Lubomirski miał w 1783 r. przegrać Janowiec w karty (faraon), w jedną noc na rzecz Mikołaja Piaskowskiego (kiedy indziej uważa się, że zamek przejęto za długi w dłuższym czasie). Właśnie z tym okresem (2 połowa XVIII stulecia) i z rodem Lubomirskich wiąże się opowieść o Czarnej Damie (Pannie), ukazującej się podczas pełni księżyca, a podobno nawet i w biały dzień, w ruinach dawnych komnat. Piękna, tajemnicza dziewczyna w czarnej sukni wolno przechadza się na dziedzińcu.
Wiedzą o niej wszyscy okoliczni mieszkańcy, z dziada pradziada. Bronisława Złotnikowa, mieszkająca podówczas (od 1941 r.) wraz z mężem Franciszkiem w ruinach zamku, słyszała tę historię od swojej matki.
Jak wieść niesie, córka ówczesnego właściciela zamku, Helena, nieszczęśliwie zakochała się w rybaku – służącym swego ojca. Gdy w chwili szczerości wyznała wszystko matce, została natychmiast zamknięta w jednej z komnat wschodniego skrzydła (owa komnata zachowała się do dnia dzisiejszego). Wytrzymała tam pół roku, odmawiając zgody zarówno na wyrzeczenie się swej miłości, jak i na planowane przez rodziców zrękowiny. Ostatecznie rzuciła się z okna komnaty na dziedziniec. Zabalsamowane ciało, ubrane w czarną balową suknię i złożone w szklanej (a może raczej przeszklonej?) trumnie, rodzice wywieźli pospiesznie do Kazimierza, ale kiedy duch Heleny przez sześć tygodni co noc nawiedzał ich sypialnię, w tajemnicy przewieźli zwłoki z powrotem do Janowca i złożyli w podziemiach miejscowego kościoła.
Państwo Złotnikowie utrzymywali, że nie widzieli zjawy Czarnej Panny, ale znalazł się śmiałek, który postanowił się o tym przekonać. Otóż warszawska dziennikarka, odwiedzając te okolice, postanowiła skorzystać z gościny i noclegu u Leona Kozłowskiego. Jedynym nadającym się do tego celu pomieszczeniem była właśnie komnata Czarnej Panny. Dziennikarka, pomimo całego swego racjonalizmu, nie odważyła się sama tam nocować i poprosiła państwa Złotników o towarzystwo ich kilkuletniej córki. Gdy o północy otworzyły się drzwi, obudzone dziecko natychmiast wykrzyknęło: „zgiń, przepadnij!”.
Wśród osiemnastowiecznych panien w rodzie Lubomirskich nie ma żadnej o imieniu Helena, tak więc cała ta historia wydaje się mocno naciągana. Faktem jest jednak, iż – wkrótce po tragicznym zgonie córki – Lubomirscy stracili zamek i dobra janowieckie na zawsze. Może wcześniej zdołali jednak skutecznie zatuszować opisany skandal rodzinny, stąd nieszczęsna córka „wyparowała” z archiwów i kronik, dokumentów skądinąd w Polsce niemiłosiernie przetrzebionych dwiema wojnami światowymi...