Jan Sobieski przyszedł na świat 17 sierpnia 1629 w oleskim zamku. Chwilę tę z czasem otuliły legendy, ale będąc tu, można uwierzyć w genius loci. Zamek usytuowano na wyniosłym wzgórzu, z dala widocznym w płaskiej, bagiennej okolicy. W tak dogodnym do obrony miejscu już w XIII w. stał gród książąt halicko-wołyńskich, który w 1432 Władysław Jagiełło zajął i nadał Janowi z Sienna (odtąd używającemu nazwiska Oleski). Był to de facto spór w rodzinie. Książę Lubart (1312–1384), najmłodszy syn Giedymina, po zajęciu Wołynia w 1340 przeszedł na prawosławie i przyjął imię Dymitr. W 1366 stracił zamek na rzecz Kazimierza. Po jego śmierci Lubart złożył hołd lenny Ludwikowi Węgierskiemu, ale po śmierci Andegawena w 1382 uniezależnił się i zajął zbrojnie m.in. Krzemieniec, Horodło i Łopatyń. Pozostawił trzech synów, a Władysław Jagiełło odebrał Olesko najstarszemu z nich, Fiodorowi Lubartowiczowi. Wokół drewnianych zamkowych budowli wzniesiono mur, chroniony przez wał z ostrokołem. U stóp wzgórza była fosa, a zdradliwe trzęsawiska dodatkowo broniły dostępu. Jednak mimo tych zabezpieczeń w 1512 Olesko zniszczyli Tatarzy perekopscy. Warownię odbudował Fryderyk Herburt, mąż wnuczki Jana z Sienna Anny. Wspomógł go przywilejem Zygmunt I, pozwalając pieniądze z czopowego pobieranego w mieście Olesku przeznaczyć na umocnienie zamku. Był to element strategii nakazującej budowę twierdz na szlakach Ordy.
Kolejnymi właścicielami byli Kamienieccy (ci raczej lewem niż prawem), Daniłowiczowie i Żółkiewscy (po połowie), wreszcie Sobiescy. Jakub Sobieski dostał go jako wiano Teofili z Daniłowiczów (pobrali się w 1628), a po wygaśnięciu męskiej linii Daniłowiczów (1637) przejął całość dóbr. Z czasem zamek, jedno z ciekawszych na tym terenie dzieł obronnych, rozbudowano w magnacką rezydencję. Nadal jednak traktowano go jak średniowieczny donżon – punkt ostatniego oporu. Droga do czworobocznej wieży bramnej, poprzedzonej zwodzonym mostem, poprowadzona została na murowanych podporach. Połączono je ociosanymi balami drewna. Wystarczyło podpalenie rozlanej smoły, by odciąć napastnikom dostęp do wejścia. Był to pomysł Jana Daniłowicza, który po roku 1605 przebudowywał zamek. Zięć Stanisława Żółkiewskiego, dziad Jana Sobieskiego, obawiał się, że kiedy on będzie walczył na Podolu, zamek zagarnie czambuł tatarski. Zrobił wszystko, aby zabezpieczyć rodzinne gniazdo. Niestety, z tego rozwiązania nie zostało już nic, choć arkadowy układ jest doskonale widoczny jeszcze na XIX-wiecznych rycinach.
Nieregularny, zbliżony do owalu plan zamku dostosowano do ukształtowania terenu. Dwa bloki zabudowy łączy wieża bramna, z szyją prowadzącą na ciasny, wewnętrzny dziedziniec. Istotnym elementem jest głęboka studnia, pozwalająca na trwanie podczas oblężenia. XIX-wieczny krajoznawca pisał: „Jest to na pierwszy rzut oka bardzo smutne mieszkanie, pozbawione wszelkich otwartych miejsc do przechadzki i zabawy. Zdaje się, mieszkaniec tutejszy musi stać ciągle wyprężony jakby żołnierz na warcie lub jak niegdyś św. Szymon na swoim słupie”. Dwupiętrowy gmach to połączenie form gotyckich i renesansowych, z późniejszymi uzupełnieniami. Kiedy w 1664 inwentaryzowano obiekt, zapisano m.in.: „obok kaplicy św. Anny, bogato ozdobionej, większość komnat zamkowych była malowana, miała posadzki marmurowe, stropy rzezane, drzwi czerwono malowane, okna w ołów oprawne, piece kaflowe lub kominki z ciosów kamiennych. Wielka sala stołowa ozdobiona była portretami królów”. Niestety, w XVII w. klucz oleski nękały ataki tatarskie i kozackie, a sam zamek podupadł.
W 1682 przybył tam Jan III – chciał odwiedzić miejsce, w którym przyszedł na świat. Maria Kazimiera zdecydowała się Olesko odnowić, a znajdujące się w kilkunastu zastawach dobra – wykupić. Zatroszczyła się też o ogrody. Przybyła tu ponownie w 1687, a francuski dworzanin Franciszek Daleyrac sporządził opis zamku. Jego zdaniem „budowla miała pozór smutny, ponury, nie symetryczny, komnaty wewnątrz ciągnęły się bez porządku, lecz wszystkie piękne, szerokie, wysokie i bogatym marmurem wykładane”. Królowa czekała na męża, który odwiedziwszy włości dziedziczne, przybył na zamek pod koniec października, by spotkać się z deputacją ziem pruskich. Warto dodać, że Jan III o mało nie postradał w Olesku życia. W 1688 pod powozem wiozącym króla załamał się most.
W XVIII w. Olesko sprzedano hetmanowi Stanisławowi Mateuszowi Rzewuskiemu. Po nim zamek odziedziczył jego syn Seweryn, a w 1754 Wacław, brat Seweryna. Ten za główną siedzibę obrał Podhorce, gdzie przeniósł oleskie mobilia, m.in. te związane z Sobieskim, ogołacając zamkowe komnaty. W 1796 zamek kupił na licytacji Aleksander Zieliński i włączył w posag córki, wychodzącej za mąż za Lityńskiego. Ale nowych właścicieli nie było stać na utrzymanie siedziby. Pozbawiona skutecznej opieki ulegała stopniowej degradacji. Ślady świetności widział jeszcze Julian Ursyn Niemcewicz, który odwiedził Olesko w 1820: „Pokoje, w których się król bohater urodził, pełne są gruzów i opadlin; pozabijane są drzwi do nich. Ledwie mogłem się wedrzeć do pokoju, w którym król Jan pierwszy raz ujrzał jasność słoneczną. Pokój ten mieć może długości kroków 20, szerokości 10, ozdobiony dotąd pilastrami gipsowemi, pozłacanemi u góry; sam pokój malowany niebiesko. […] W innym skrzydle zamku pokoje lepiej są utrzymane. W sali jednej z ówczesnemi pięknymi kolumnami, widać dwa ogromne, niepiękne posagi Apolina i Wenery, cale pozłacane”. Smutny stan zamku potwierdza XIX-wieczna relacja: „Z najdawniejszych pokojów pozostały jeszcze trzy obecnie zajmowane przez właściciela, ze wszelkiemi swemi osobliwościami, lubo i na nich czas wyrył znaki zniszczenia. Prowadzą do nich schody kamienne przez wąski korytarz. […] Inne sale przystrojone są jeszcze pięknymi sztukateriami i płaskorzeźbami, wyobrażającymi Jana III, syna jego Jakuba. […] Celuje tu pokój niebieski z złoconemi brzegami, które rozliczne gatunki ptaków i zdarzenia mitologiczne przedstawiają. W jednej nad kominkiem jest duży posąg Stanisława Żółkiewskiego. Pokazują tu pokój, w którym się Sobieski urodził. Jest to podługowaty czworokąt, naprzeciw wchodu znajduje się wielka nisza, w której stało łóżko, teraz zaś wybite są drzwi do innych pokoi”. Dziś z dawnej ornamentacji pozostały nikłe resztki (gzyms podsufitowy z kartuszami oraz kominek) w sali, w której miał urodzić się Jan Sobieski.
W 1882 budowlę wykupił Komitet Opieki nad Zamkiem w Olesku i ofiarował narodowi. Prace konserwatorskie trwały do wybuchu I wojny. Podczas jej trwania kwaterujące w zamku wojska rosyjskie wspólnie z okolicznymi mieszkańcami zdewastowały wnętrza. Powyrywano drzwi, okna, zdarto posadzki i zdemontowano sufity, zniszczono malowidła, stiuki i rzeźby. Budynek ponownie uszkodzono podczas II wojny. Po renowacji zamek odzyskał XVII-wieczną formę. Działa w nim muzeum (filia Lwowskiej Galerii Sztuki) z ekspozycją sztuki XV–XVIII w. Park, rekomponowany za Seweryna Rzewuskiego, nie powrócił do dawnej świetności, kiedy zdobiły go drzewka cytrynowe i pomarańczowe oraz oleandry. Jednak stopniowo oczyszczane są zbiorniki wodne, odtwarzany układ alei i parkowych tarasów. Szkoda, że nie ma już lipowych alei, które były miejscem spacerów królewskiej pary.