På sina irrfärder runt om i Europa träffade Armfelt den sköna och mycket förmögna Anna Dorothea av Kurland, en firad adelsdam. Det är osäkert om Armfelt inledde någon kärleksförbindelse med Dorotea. Av brev att döma stod hon och Armfelts hustru Hedvig på god fot med varandra och utbytte gåvor. Med hennes 17-åriga dotter Vilhelmina inledde Armfelt snart en het kärleksaffär som gav dem en gemensam dotter, lilla Vava född 1801.
