Jedną z ważnych kobiet w życiu Karola Stuarta (syna Marii Klementyny Sobieskiej, czyli prawnuka Jana III) okazała się Maria Anna Ludwika Jabłonowska, kuzynka królowej Francji, Marii Leszczyńskiej. W 1730 r. Jabłonowska wyszła za mąż za księcia de Talmont. Małżeństwo było fikcją – książę był homoseksualistą, a księżna miała mnóstwo kochanków, na czele z królem Stanisławem Leszczyńskim.
Karol Stuart spotkał Jabłonowską w 1748 r., kiedy miała ponad 40 lat, ale różnica wieku nie przeszkodziła im w nawiązaniu romansu. Związek przetrwał do jesieni 1751 r., całkiem długo jak na „pięknego księcia Karolka”, nie mówiąc już o Jabłonowskiej. Romansując z Jabłonowską, Karol zabiegał jednocześnie o rękę siostry króla pruskiego Fryderyka II, a następnie córki landgrafa Hesji-Darmstadt.
Romans był pełen namiętności i zwrotów. Pod koniec roku 1748 r. wydawało się, że dobiegł końca. Na życzenie dworu francuskiego księżna poprosiła Karola o dobrowolne opuszczenie Francji – na mocy traktatu akwizgrańskiego, kończącego kolejną wojnę między Francją i Wielką Brytanią, Stuartowie nie mogli przebywać na terytorium Francji. Rady księżnej, jak innych osób, na nic się nie zdały. W atmosferze jednego z największych skandali XVIII w., Karol został aresztowany 10 grudnia 1748 r. i wydalony z Francji. Jednak kochankowie spotkali się już w następnym roku w Luneville, w Lotaryngii, gdzie Karol przebywał na zaproszenie Stanisława Leszczyńskiego.
Ich relacje były pełne sprzeczności. Księżna przekładała spotkania, tłumacząc się bólami głowy, które leczyła za pomocą opium. Równocześnie nalegała na spotkania wtedy, gdy Karol był najbardziej zajęty sprawami polityki. Kochankowie spędzili również kilka miesięcy w Paryżu, oczywiście w tajemnicy przed królem Francji, Ludwikiem XV. Romans pokazał najlepsze i najgorsze cechy Karola. Z jednej strony potrafił być bardzo czuły i kochający. Z drugiej, w napadach gniewu, nie cofał się przed użyciem przemocy – zarówno werbalnej, jak i fizycznej. Niestety, wszystkie dłuższe związki Karola z kobietami kończyły się w podobny sposób, a małżeństwo z Ludwiką Stolberg, zawarte w 1772 r., rozpadło się po kilku latach. Karol wykorzystywał kobiety, ale nie umiał z nimi żyć. Być może wpływ na jego postawę miały doświadczenia z własną matką i jej przedwczesna śmierć.
