不久之后，费森便接到了参加太子妃举办舞会的书面邀请。这次舞会，年轻的费森不再觉得传统的舞会那么无聊了。此时的费森完全沉溺于舞会、宴会和幽会，深深爱上了凡尔赛宫廷生活。在女人们的与暗中，这位瑞典贵族有着一张人们看过不会忘记的脸，那深天鹅绒般的眼睛有着一种温柔的、略带忧郁的目光，显得深沉稳重而赋予他某种神秘感，对女性有特别的吸引力。
他在巴黎与凡尔赛的数年时间里，他和这个或者那个宫廷美女闹出一桩又一桩风流韵事，深受凡尔赛宫廷中贵族小姐们的赞赏，与性格木讷、不懂风情的路易十六相比，已成为王后的玛丽-安托瓦内特更在乎这个来自北方的真正男子汉。
好景不长，两人的风流韵事很快被好事者故意传播的沸沸扬扬，这令凡尔赛宫廷很是恼火。为避免法国王室的猜忌，费森决定效仿自己的父亲老费森，以私人身份参与法国-军队，并在当年开赴北美大陆，参加援助北美十三州独立战争。
在约克镇战役中，费森中校担当了法军统帅罗尚博伯爵的参谋官，曾组织过成功封堵英军突围的激烈战斗。不过，由于费森伯爵与玛丽王后那种半公开的私情，直接导致他与另一名法军统帅，拉法耶特侯爵的关系非常糟糕。那是不擅长交际的拉法耶特侯爵曾在凡尔赛的宫廷舞会中，屡次遭遇到玛丽-安托瓦内特的公开嘲讽。
在这4年期间，费森与玛丽的书信不断，6千公里的距离并没有消磨两人的感情，阻挡彼此间的思念。在写给姐姐的书信中，费森说出了自己的心里话，“我永远不可能娶妻，那是我深爱的女子也深爱着我，可我却不可能成为她的丈夫。”所以，等到战争一结束，费森伯爵就迫不及待的脱下军装，并在第一时间乘坐大洋商船，从北美大陆回到6千公里外的巴黎，准备随时投入爱人的怀抱。
在费森伯爵的日记中，如此描述了再次见到玛丽王后的动人姿态：
“……她是在午睡之后穿着淡红色小碎花点缀的裙装，俏皮的粉红色羽毛的小帽子，润滑白皙的脸庞新的干净柔和，又带着浪漫，而美艳的发型显得相当刺激，好像绽放后的美艳花朵……我知道，她内心隐藏着极度渴望投入我环抱中的冲动。在当晚的舞会上，她身穿黑色宫廷式的蓬裙，高松的金色头发，加上闪亮的耳环，性感而娇艳。初为人母的她好像是被光辉笼罩，耀眼动人。”
两人为了避免重蹈覆辙，费森向父亲保证，他留在巴黎只是为了接触自己的准未婚妻，内克尔小姐（未来的斯塔尔夫人）；至于玛丽王后，她也在费尽心思的隐藏自己和费森之间的感情。一开始她便疏通了关节，促使瑞典情人重新加入驻防凡尔赛的法国-军队。不久，玛丽王后再度出面干涉，将费森上校的骑兵团调任到法国与奥属尼德兰接壤的北部边境，造成两人并不在一起的假象。
但事实上，瑞典人一直待在凡尔赛近郊。除了曾有两年时间，他不得不辞职回到瑞典，陪同古斯塔夫三世周游欧洲各国，建立反俄同盟。1788年，当第七次瑞俄战争爆发前夕，费森以瑞典特使身份回到凡尔赛，继续维系着同王后玛丽的私情。为了避免让人知道自己入宫的真正目的，他们每周约定幽会三到四次，基本上都定在王后的私人别墅小特里亚农，一座耗费60万里弗尔建造的小农场。
在这段时间里，两人相亲相爱，你侬我侬。等到王位继承人路易?约瑟夫（1789年病死）开始读书识字之后，玛丽-安托瓦内特便主动向丈夫路易十六坦言了自己与费森伯爵的情人关系，好让法国国王头顶的大绿帽不显得太过难看。
然而，费森伯爵与“赤字夫人”的私情并没能持续太久，轰轰烈烈的法国大革-命就爆发了。由于路易十六的愚不可及，以及玛丽-安托瓦内特的傲慢偏见，促使革-命风暴越演越烈。巴黎的革-命民众强行将国王夫妇绑架回巴黎。痴情的费森想着调遣凡尔赛军队入宫“护驾”，但法国士兵拒绝听从瑞典人的指令。