W 1357 r. (lub 1367) na zlecenie Kazimierza Wielkiego, nieopodal Krakowa wzniesiono gotycki zamek, wedle tradycji dla „miłośnicy” króla, żydówki Esterki. Całość była przypuszczalnie otoczona murem, z dojazdem od strony traktu, czyli od południowego-wschodu. Prawdopodobnie już wtedy istniał ogród, przylegający do rezydencji od południowego-zachodu. W okresie od ok. 1440 do 1520 posiadłość często zmieniała właścicieli (jednym z nich była np. Elżbieta, żona Kazimierza Jagiellończyka). Nastąpiły też zmiany w otoczeniu rezydencji i, mimo że brakuje wzmianek o ogrodzie, bez wątpienia musiał istnieć, choćby z uwagi na modę zakładania w pobliżu Krakowa ogrodów mieszczańskich.
Następny etap w dziejach Łobzowa to czasy działalności królowej Bony, kiedy ogród przybrał postać „włoską”. W jakiś czas potem, na zlecenie Stefana Batorego architekt Santi Gucci przekształcił gotycką rezydencję w manierystyczny pałac. Ponieważ król „odznaczał się (...) lubownictwem ogrodów” Gucci zaprojektował rozległe 12-kwaterowe założenie, gdzie rosły drzewa owocowe i winorośle, zaś w trzech innych kwaterach uprawiano „ziela”, jak np.: róże, rozmaryn, lawendę, goździki czy fiołki. W 1585 r. król pisał: „Odnajmujemy (...) iżeśmy przyjęli uczciwego Lorenca Bozetha Włocha do sadu naszego nowo wymierzonego w Łobzowie sadownikiem (...) A do sprzątania i sprawowania sadu naznaczamy iż w swojej mocy mieć ma ośm zagrodników z łobzowskiej dzierżawy... Do którego sadu ma być przyłączony ogród dla użytków ku potrzebie naszej, który to ogród także w dobrem opatrzeniu i tymi zagrodnikami sprawować ma” (za Ambrożym Grabowskim, zasłużonym kronikarzem XIX-wiecznego Krakowa). Warto dodać, że ogrodnik ten zasadził tutaj pierwsze w okolicy Krakowa kasztanowce pospolite (białe) - Aesculus hippocastanum. W roku 1587 w liście królowej Anny Jagiellonki, wdowy po królu Stefanie, czytamy następujące zalecenia: „Siła nam tam w Łobzowie podmieniano (...) radzibyśmy aby tam porządek i ochędóstwo, ozdoba z pożytkiem, w swą ryzę z dobrą propozycyą włożone były, aby pałac z ogrodem, a ogrody z gumnem (...) dobrze respondowały.”
Kolejne zmiany w wyglądzie rezydencji zanotowano za panowania Wazów. W czasach Zygmunta III, Giovanni Trevano (w latach 1602-1605) nadał jej formę barokową. Król Jegomość nie tylko mieszkał tu chętnie, ale raczył zajmować się osobiście ogrodem, który był, jak pisał w 1858 roku F. Siarczyński, w Obrazie panowania Zygmunta III, „upiękniony łąkami kwiatów, gajami drzew rozmaitych (...). Tu lubił sam cieniowe i owocowe drzewa sadzić, siać kwiaty (...) pielęgnować melony (...).” Władysław IV i Jan Kazimierz również nie szczędzili trudów, zabiegając o utrzymanie reprezentacyjnego charakteru rezydencji (zachowały się zapisy kwot przeznaczonych na ogród). Wiadomo też, że sam ogród, jak i opisywane detale, jak fontanna, altany, czy kolumny wywoływały zachwyty współczesnych. Kres świetności Łobzowa to rok 1655, kiedy Szwedzi doszczętnie złupili wnętrze pałacu. Król Karol Gustaw „czego nie zrabował, to zniszczył”.
Jednak po niedługim czasie, w okresie panowania Jana III, pałac łobzowski został wyremontowany. Król nie szczędził trudu, aby przywrócić blask tej sławnej rezydencji. Dzięki tym staraniom w Łobzowie, podczas wojny z Turcją, zamieszkała królowa Maria Kazimiera z dziećmi. Tutaj oczekiwała na wieści spod Wiednia. Jesienią tegoż roku urządzono w pobliżu pałacu pierwszą wystawę zdobyczy wiedeńskich, które Jan III przysłał z wyprawy. Oto co pisze na ten temat A. Grabowski: „Król Jan III, gdy się na odsiecz Wiedniowi udawał z żoną i dworem, opuścił Wilanów (...) w połowie Lipca roku 1683. (...) Gdy przybył do Krakowa, stanął w Łobzowie, dokąd codziennie nadciągały zbrojne roty. (...) Dnia 15 Sierpnia opuścił Łobzów i z Królową w Będzinie się pożegnał, która do zamku tego wróciła, i tam dni tęskne skracając modlitwą, o powodzenie i zachowanie jego, przybycia laurami uwieńczonego bohatera oczekiwała. Po zwycięztwie pod Wiedniem odsyłając do Krakowa zdobycze wojenne, pisał Król do Królowej Maryi Kazimiry: Namioty (wezyrskie) jako najporządniej w sklepach łobzowskich kazać złożyć. Po szczęśliwie ukończonej wyprawie, stanął na powrót w Łobzowie w wigiliją Bożego narodzenia roku 1683, gdzie całą zimę przemieszkał.”
Także potem król Jan nie zapominał o Łobzowie i w 1687 roku pisał z Żółkwi do przeora oo. Karmelitów na Piasku: „Jedzie do Krakowa ogrodowy nasz, który warzywnym tu naszym zawiaduje ogrodem, chcąc tam cokolwiek dobrych zasięgnąć nasion (...) pilnie żądamy abyś mu cokolwiek specyalnych nasion a mianowicie karczochów udzielił” (A. Grabowski). Podobno już w XVI w. w ogrodach krakowskich uprawiano niektóre rzadsze rośliny, jak np. melony, o czym świadczą zapisy wydatków z 1599 r. Grabowski wspomina też, że Jan III wysłał lustratorów „do Wielkorządców krakowskich”, którym zalecał w instrukcji: „Ciż rewizorowie nasi w zamku łobzowskim dostateczną uczynią lustracyją, jeżeli należycie pokoje (...) i nowo wystawionego Labiryntu sumpt zweryfikują etc... W dokumencie sporządzonym po wspomnianej lustracji czytamy: „W ogrodzie łobzowskim Króla Jmci są kwatery francuzkie z herbami Królestwa Jchmość bukszpanami zasadzone. Koło tych kwater płoty, a w kwaterach żołnierz wysadzony z kopiją. W tymże labirynt siany, który teraz sztachetami nowo-obwiedziony na francuzką modę. Jest tu figarnia, w której drzewa francuzkie rodzajne figami.” (Inwent. Roku 1692).
Warto też wspomnieć o innych założeniach ogrodowych Jana III, m.in.: w Jaworowie, gdzie był „ogród dziwnej maniery włoskiej, bardzo ozdobny, jako jedyny raj ziemski...”, Wysocku, gdzie król ponoć osobiście sadził wysokie szpalery, będąc jeszcze hetmanem, w Żółkwi, gdzie nowy ogród, choć nieduży, budził podziw cudzoziemców, jak również – rzecz oczywista – najsławniejszy w Wilanowie.
Późniejsze lustracje rezydencji łobzowskiej świadczą, że jeszcze przez pewien czas ogród przetrwał w niezłym stanie, ale w XVIII w. Łobzów ponownie podupadł (zarówno pałac, jak i ogród), z powodu braku zainteresowania tym miejscem królów saskich. Co ciekawe, większą troskę o królewską rezydencję przejawiać zaczęli krakowianie i podróżnicy zwiedzający Kraków. Traktowali Łobzów jako cenną pamiątkę przemijającej świetności Rzeczypospolitej. Wskutek tego stał się on prawdopodobnie pierwszą ruiną uznaną za zabytek w dzisiejszym znaczeniu. W 1787 roku przybył tu z wizytą król Stanisław August z zamiarem podarowania majętności Szkole Głównej Koronnej, czyli krakowskiemu uniwersytetowi. Plany pokrzyżował trzeci rozbiór Polski.
W pamiętniku Jana Duklana Ochockiego z tegoż roku można znaleźć jeszcze słowa zachwytu nad urodą resztek łobzowskich: „Miejsce to wydawało mi się najpiękniejszem, natura sama wysiliła się na ozdobienie go... Widziałem tu kilkuwiekowe drzewa, altany z ogromnych grabów, jodły niebotyczne, ulice tak zagęszczone, że się przez nie promień słońca nie przeciśnie i chodziłem po nich z cieniami wielkiego króla i pięknej jego kochanki” (chodziło oczywiście o Kazimierza Wielkiego i Esterkę). Ale już wkrótce potem, w 1789 r. w Dzienniku podróży Stanisława Staszica czytamy: „Wspaniały ogród, w którym stały jeszcze owe starożytne lipy i dęby, ręką (...) monarchów sadzone (...) i te (...) szacowne drzewa wycięto, by na ich miejscu zasadzono kartofle i czwikłę”.
Pozostałości po wspaniałej rezydencji stały się z początkiem XIX w. jedną z głównych atrakcji rozwijającego się ruchu „starożytnictwa”. W 1834 roku anonimowy autor pisze w Gazecie Krakowskiej: „Nie poznałem pałacu łobzowskiego (...) Toż samo (...) odnosi się i do ogrodu. Jakkolwiek do porządku przyprowadzony, powabniejszym jest dla przychodnia: - ale ta modna postać jego parteru i uliczek, z dawną posępnością odwiecznych lip, (...) wystawia nieprzyjemny obraz sprzeczności i przynajmniej pod względem dobrego smaku pewną odrazę sprawuje. Pod względem atoli użycia przechadzki i świeżego powietrza, ogród ten dla mieszkańców Krakowa stał się bardzo przyjemnym i użytecznym.”
Zaborcy austriaccy oddali majętność w wieczystą dzierżawę niejakiemu Beniszowi, zobowiązując go do wyremontowania pałacu. Dzierżawca wywiązał się z nałożonego zadania, a w 1824 r. otworzył tu nawet oberżę. „Posiadał on takowy [pałac] lat kilkanaście, a ogród miejscowy urządzony pięknie i wysadzony drzewem przyjmował co niedziela i święto a nawet i w dniu roboczym spacerujących krakowian...” Tutaj też przez pewien czas, do 1835 roku, ćwiczyło krakowskie „Bractwo Kurkowe”. Syn Benisza nie dbał o majętność, toteż Austriacy wykupili Łobzów z wieczystej dzierżawy i po rozebraniu części pałacu wznieśli na jego miejscu Szkołę (Instytut) Kadetów. Po odzyskaniu przez Polskę niepodległości ulokowano tu Szkołę Podchorążych, a obecnie Politechnikę Krakowską. Jak widać, powiedzenie sic transit gloria mundi („tak przemija chwała świata”) dotyczy nie tylko losów ludzkich!
