Silva Rerum Stuartowie wiedzieli, że są bezustannie śledzeni przez rząd brytyjski. Największą pomysłowością w ukrywaniu się przed szpiegami, nie tylko brytyjskimi, wykazał się Karol Edward (syn Marii Klementyny Sobieskiej i prawnuk Jana III) wielokrotnie wyprowadzając ich w pole i to dosłownie. Ulubionym sposobem księcia była zmiana wyglądu – obok przebrań, szczególnie w szaty duchowne, Karol nosił perukę, farbował brodę i brwi. Inną metodą było posługiwanie się pseudonimami – Karol występował między innymi pod nazwiskami Benn, Douglas, Dumont, Thompson, Stonor oraz nieśmiertelnym Smith. Sprzyjało mu też, wyjątkowe jak na Stuartów, szczęście – szpiedzy często pomyłkowo brali za Karola osoby podobne do niego. Prowadziło to do całkowicie fantastycznych opowieści na temat miejsca jego pobytu. Gdyby poważnie brać wszystkie raporty, to okazałoby się, że w 1749 r., w ciągu mniej niż trzech miesięcy między wizytami w Awinionie i Wenecji, książę zdołał odwiedzić, częściowo na piechotę, Szwecję, Berlin, Drezno, Paryż i Lotaryngię. W rzeczywistości przebywał w Lotaryngii.
Ucieczki przed szpiegami i bezustanne zacieranie śladów nie były jednak zabawą. Działania polityczne Karola i jego zwolenników wymagały konspiracji a poza tym Karol miał powody, aby obawiać się o swoje życie. Miał wielu wrogów, na czele z rządem brytyjskim, którzy podejmowali próby zamachów. W maju 1751 r., był ścigany przez trzech mężczyzn i to w pobliżu Luneville, w Lotaryngii (rządzonej przez zaprzyjaźnionego Stanisława Leszczyńskiego). Uratowała go wąska droga, na której prześladowcy nie byli w stanie go wyprzedzić i pochwycić.
Ciągłe zmiany miejsca pobytu prowadziły niekiedy do zadziwiających spotkań. Będąc przejazdem w Genui w 1771 r., książę Karol spotkał na ulicy brata króla Wielkiej Brytanii Jerzego III, księcia Gloucester. Obydwaj panowie, jak przystało na dżentelmenów, wymienili ukłony i poszli w swoją stronę. Jeszcze więcej okazji do tego typu spotkań Karol miał podczas swojej najbardziej śmiałej podróży, którą przedsięwziął do Anglii we wrześniu 1750 r.