Właścicielami Żywca i okolic, jak również zamku usytuowanego na wyniosłej górze Grójec, byli w połowie XV w. (1451) bracia Spytko i Włodko Skrzyńscy herbu Łabędź, zawołani rozbójnicy. Wciąż nieuchwytni dla wojsk starościńskich i królewskich, działali bezczelnie i bezkarnie, podobnie jak ich kamraci (jak np. rycerz Gels z zamku w Kopcu nad Solą, bracia Cetryczowie czy Jan Puczek), którzy zawładnęli niemal wszystkimi mniejszymi zamkami na Dolnym Śląsku.
Herbowi bracia Skrzyńscy, wspomagani przez sieć swoich informatorów, napadali na ciągnące do Czech i na Węgry bogate karawany kupieckie i orszaki wielmożów. Szczególnym okrucieństwem wsławił się Spytko – pozornie dworny i bogaty, o miłej powierzchowności, a w istocie – mściwy i wiecznie żądny łupów. Miarka przebrała się, kiedy wspomniany Gels dokonał napadu na Elżbietę, córkę króla Kazimierza Jagiellończyka, kiedy ta – pod opieką dwórek Barbary Sulickiej i Katarzyny Siemiginowskiej – wracała do Krakowa. Królewnie udało się uciec, ale pozostałe dwie kobiety zostały okrutnie zamordowane. O współudział w tej zbrodni oskarżono także Skrzyńskiego.
Pod zamek „na Grójcu” wyruszyły królewskie oddziały. I choć jego właściciel był doskonale przygotowany do oblężenia (miał zapasy jedzenia, picia oraz amunicji), a sekretne przejścia z Grójca w góry gwarantowały ucieczkę, to tym razem hersztowi powinęła się noga. Ktoś go zdradził. Wojska królewskie, znając wszystkie zamkowe tajemnice, rozpoczęły regularne oblężenie i po paru tygodniach zmuszono rozbójnika do poddania się. Nie mógł on liczyć na żadną łaskę, skoro wyrok śmierci wydał sam monarcha – od takiej decyzji nie było odwołania. Narzędziem kaźni stała się wielka dębowa beczka, nabijana wewnątrz ostro zakończonymi gwoździami. Skrzyńskiego – po odczytaniu wyroku – wsadzono do tej beczki i spuszczono z zamkowej góry. Odtąd Żywiec mógł wreszcie odetchnąć, podobnie jak kupcy i podróżnicy.
Niedługi czas po egzekucji na dziedzińcu żywieckiego zamku ujrzano niewyraźną postać, toczącą z hukiem wielką beczkę; po chwili mara rozpłynęła się w powietrzu i tylko spod ziemi dobiegał jeszcze głośny, dudniący odgłos. Od razu rozeszła się wieść, że to duch Skrzyńskiego rozpoczyna pokutę za popełnione zbrodnie. Od tamtej pory coraz częściej słyszano dziwne, upiorne dźwięki i to nie tylko na żywieckim zamku, lecz także na sąsiadujących z nim ulicach. Podobni widmo zbrodniarza toczy swą śmiertelną beczkę raz w stronę góry Grójec, to znów w przeciwnym kierunku; pojawia się także w podziemiach żywieckiego zamku.
Dzisiaj nie ma już śladu po warowni Skrzyńskich; również nie odnaleziono podziemnego korytarza, łączącego podobno Grójec z zamkiem w Żywcu (wzniesionego w 1467 r. przez ród Komorowskich).
