W roku 1587, dzięki zabiegom Anny Jagiellonki i hetmana Jana Zamoyskiego władcą Rzeczypospolitej wybrano Zygmunta, syna króla szwedzkiego Jana Wazy i Katarzyny Jagiellonki. Kontrkandydatem był arcyksiążę Maksymilian Habsburg, popierany grupę szlachty z rodziną Zborowskich na czele. Rozczarowany przebiegiem elekcji pretendent wkroczył do Polski kierując się na Kraków. Zamoyski uprzedził go jednak i obsadził stolicę wiernym sobie i nowemu królowi wojskiem. Dał także rozkaz Kasprowi Karlińskiemu, staroście olsztyńskiemu, aby opatrzył mury zamku. I rzeczywiście po nieudanej próbie zajęcia Krakowa, wojska Maksymiliana stanęły (w połowie grudnia 1587) pod murami zamku w Olsztynie.
Stara to warownia. Badania wykazały też, że początki zamku należy odnieść do XI wieku. Wznosił się tu wówczas drewniany gród, po którym pozostał wał grodziszcza. W połowie XII wieku gród spłonął. Kiedy go odbudowano, również z drewna, wymurowano wewnątrz cylindryczną wieżę, która jest najstarszą częścią zamku. Zamek Olsztyn miał chronić zachodnie granice Królestwa przed najazdami od strony Śląska i Czech. Budowa pierwotnego zamku murowanego, później rozbudowanego za Kazimierza Wielkiego, miała miejsce najpewniej w 2. połowie XIII wieku. Zamek stopniowo przekształcono w wielki zespół dzieł obronnych. Budynki zamkowe otaczały trzy pierścienie murów, w obrębie których zlokalizowano budynki mieszkalne, wieże bramne i zabudowania gospodarcze. Zamek miał cztery baszty z których dwie zachowały się do dzisiaj. Kolejni tenutariusze Olsztyna dbali o funkcję militarną zamku, choć nie byli pedantami. Dopiero w latach 1508-1531 zamek „opuszczony, brudny i cuchnący" został odrestaurowany i częściowo powiększony przez Mikołaja Szydłowieckiego, który go "we wspaniałą i wdzięczną zamienił siedzibę”.
Armię arcyksięcia wspomagali polscy sojusznicy, m.in. oddział Stanisława Stadnickiego. Załoga zamku liczyła 80 żołnierzy. Wykonując hetmański rozkaz Karliński zaopatrzył warownię w broń i żywność oraz wzmocnił siły decydując się na „zmobilizowanie” okolicznej szlachty. Wojsko Maksymiliana przypuściło szturm, ale zostało odparte; podobnie zatrzymano kolejne ataki. Oddziały landsknechtów i rajtarów nie były w stanie wedrzeć się do zamku. Arcyksiążę zamierzał już zwinąć oblężenie, kiedy Stadnicki, uderzył na prywatny dwór Karlińskiego w Karlinie, spalił go i złupił oraz porwał 6-letniego syna starosty. „Diabeł łańcucki” zasugerował, aby dziecka użyć jako tarczy podczas szturmu na mury. Nierycerską propozycję przyjęto. Jednak kiedy knechci prowadząc na przedzie oddziału piastunkę z dzieckiem, zbliżali się do bramy zamkowej, Karliński chwycił zapał armatni i zawoławszy "Wpierw byłem Polakiem niż ojcem", odpalił działo. Dziecko zginęło na miejscu. Wtedy i inne działa dały ognia z murów zamkowych kładąc trupem żołnierzy Maksymiliana. Arcyksiążę odszedł z niczym. Po olsztyńskiej tragedii Kasper Karliński nigdy nie odzyskał zdrowia. Gdy hetman Zamoyski, po zwycięstwie pod Byczyną 24 stycznia 1588 (kiedy wziął do niewoli Maksymiliana) świętował triumf w Krakowie, wezwał Karlińskiego aby ten przybył do stolicy po odbiór nagrody. Jednak Karliński podziękował, tłumacząc, że stan zdrowia nie pozwala na podróż. Udał się na Jasną Górę, by w modlitwie szukać ukojenia. Tradycja mówi, że spędził wśród paulinów ostatnie lata życia.
Podczas oblężenia zamek olsztyński - chociaż nie został zdobyty - mocno ucierpiał. Naprawa dachów i odbudowa uszkodzonych murów wymagały natychmiastowej pracy. Joachim Ocieski w trakcie swego starostowania w Olsztynie robił co mógł, aby przywrócić zdolność obronną. Niestety po jego śmierci nastąpiły znaczne zaniedbania, zwłaszcza od roku 1613, kiedy starostwo objął Mikołaj Wolski, marszałek wielki koronny. Do ostatecznego upadku przyczynił się najazd szwedzki w latach 1655-56. Arvid Wittenberg rozkazał generałowi Burchardowi Millerowi pomaszerować na Częstochowę, w celu zdobycia strategicznie ważnego punktu na pograniczu Śląska. Część wojsk Millera zaatakowała w październiku 1655 roku zamek w Olsztynie. Po krótkim oblężeniu zamek został zdobyty i zdemolowany. Po wypędzeniu Szwedów z Polski olsztyńska warownia nie nadawała się do zamieszkania, co stwierdziła lustracja z roku 1660. Jakieś prace prowadził tu królewski fortyfikator, Krzysztof Mieroszewski, ale tego typu twierdze, na skutek rozwoju artylerii straciły na wartości obronnej. Ponieważ koszty odbudowy byłyby ogromne, ostatecznie zaniechano restauracji. Zniszczony i opuszczony zamek, w pojęciu jego ówczesnych właścicieli, nadawał się tylko do rozbiórki. Na dużą skalę doszło do niej podczas budowy w latach 1722-26 kościoła parafialnego św. Jana Chrzciciela. Wiek XIX to czas zupełnej martwoty i stopniowego rozbierania zamku przez okolicznych chłopów, którzy powoli przerabiali niegdysiejszą chlubę Korony na chlewy i kurniki.
