Wyraźne pogorszenie stosunków między księciem Karolem, pierworodnym synem Klementyny Sobieskiej i Jakuba Stuarta, a jego młodszym bratem Henrykiem Benedyktem nastąpiło w 1746 roku. Po powstaniu w Szkocji, które mimo klęski militarnej okazało się wielkim sukcesem propagandowym, Karola przyjmowano we Francji jako bohatera narodowego. Król Ludwik XV ofiarował mu nawet gościnę w swojej rezydencji w Vincennes. Miesiąc miodowy trwał tylko dwa tygodnie. Karol był osobą niewygodną dla polityków francuskich, szukających porozumienia z Wielką Brytanią. Zamiast rezydencji króla mógł korzystać z domu w Bercy do czego dodano 12 tys. liwrów (ok. 500 funtów) miesięcznej pensji. Jak na księcia, opromienionego sławą wojownika i ukrywającego się ponad pół roku przed armią i marynarką króla Wielkiej Brytanii, było to wyjątkowo mało. Co gorsza, Francuzi nie traktowali go już jako partnera politycznego. Szukając przyczyn gwałtownego odwrócenia fortuny, Karol zaczął winić swojego brata, który, jego zdaniem, był odpowiedzialny za brak wystarczającego poparcia Francji dla powstańców w Szkocji w latach 1745-46. W rzeczywistości Henryk nie mógł wiele zrobić. Ludwik XV nie zamierzał pomagać powstańcom.
Fatalny wpływ na relacje między braćmi miało przyjęcie przez Henryka godności kardynalskiej w 1747 r., i to w całkowitej tajemnicy przed starszym bratem. Z politycznego punktu widzenia była to katastrofa – przetrwanie królewskiej dynastii Stuartów było uzależnione wyłącznie od Karola. Najlepiej chyba rozumiał to rząd brytyjski, który wcześniej ofiarował papieżowi Benedyktowi XIV 150 tysięcy funtów za to, aby ten uczynił Henryka kardynałem. 150 tysięcy funtów było astronomiczną kwotą – odpowiadało to mniej więcej 3,6 mln liwrów czy 5,5 mln złotych. Traktat podpisany między Wielką Brytanią i Saksonią w 1751 r. zapewniał tej ostatniej 48 tys. funtów subsydium, kilka lat później nawet caryca Rosji nie mogła liczyć na więcej niż 100 tys. funtów rocznie. Karol odebrał decyzję brata bardzo osobiście, przez kilka lat nie wymieniał jego imienia, nazywając go „naszym młodym księdzem”. Winił go również za decyzję króla Ludwika XV o swoim aresztowaniu i wydaleniu z Francji w 1748 r. Znowu się mylił, ponieważ Henryk nie miał z nią nic wspólnego i nie mógł nic uczynić.
Równocześnie psuły się relacje między Karolem a ojcem. Karol ostatni raz widział go na początku stycznia 1744 r., przed wyjazdem z misją, która zaprowadziła go rok później do Szkocji. Dość powiedzieć, że Jakub Edward Stuart umarł dopiero w 1766 r. Do pojednania między braćmi doszło w przeddzień jego śmierci. Ale to nie był ostatni raz, kiedy bracia pokłócili się i pogodzili.
