Życie na wygnaniu Karola Edwarda Stuarta i jego brata, Henryka Benedykta Stuarta było pełne problemów. Jednym z największych było bezustanne zainteresowanie nimi ze strony Londynu. Powód był prosty – Stuartowie stanowili zagrożenie dla porządku politycznego, a do tego mieli na Wyspach Brytyjskich wielu zwolenników. Władze brytyjskie skupiały uwagę na dwóch kwestiach. Pierwsza, to zbieranie informacji o Stuartach. Na ich dworze oraz w otoczeniu roiło się od szpiegów. W Rzymie jednym z najcenniejszych agentów był kardynał Giulio Alberoni, który zrobił bardzo dużo, aby podsycić spór Klementyny z mężem. W następnych latach, w otoczeniu Karola Edwarda szczególnie niebezpiecznym szpiegiem, o pseudonimie „Pickle”, okazał się Aleistair MacDonell.
Każda informacja o synach Marii Klementyny Sobieskiej i Jakuba Edwarda Stuarta była warta sprawdzenia i to nawet wtedy, gdy nie stanowili już realnego zagrożenia. W 1753 r. posłowi brytyjskiemu w Dreźnie polecono wysłać szpiega na Śląsk tylko po to, aby przekonać się, czy Karol Edward rzeczywiście, jak głosiła plotka, odwiedził Śląsk. Władze brytyjskie dokładały również starań, aby utrudnić życie Stuartom. W traktatach pokojowych z Francją nalegały, z powodzeniem, na klauzule zabraniające Stuartom nie tylko pobytu, ale i wjazdu do Francji. Nacisk wywierano również na inne państwa – w 1737 r. cesarz nie zgodził się na przejazd Karola Edwarda przez terytorium cesarstwa w planowanym wyjeździe do Rzeczpospolitej. Nawet władcy małych państw niemieckich czy włoskich nie byli wolni od nacisków. W 1749 r., władze Wenecji, nie chcąc pogorszenia stosunków z Wielką Brytanią, nie wyraziły zgody na pobyt Karola na terytorium Republiki. W tym samym roku wystarczyła plotka o spodziewanej wizycie Karola Edwarda w Rzeczpospolitej, aby poseł brytyjski poinformował króla Augusta III, że król brytyjski „nie zniesie” pobytu Karola na jej terytorium. Z czasem obawy władz w Londynie wobec jakobitów zmalały i to do tego stopnia, że w 1784 r. zwrócono majątki dziedzicom uczestników powstania z lat 1745-46.
Ale obawy wobec Stuartów pozostały i to nawet na „drugim końcu świata”. Kiedy w styczniu 1788 r., pierwsi brytyjscy koloniści wylądowali w Australii, w późniejszym stanie Nowa Południowa Walia, gubernator Arthur Phillip złożył przysięgę, że nie podejmie żadnych działań zmierzających do przywrócenia Karola Edwarda na tron Anglii. Całkiem nieźle jak na prawie 70-letniego, schorowanego człowieka, który umarł kilka dni później, 30 stycznia 1788 r.
