В 1940 году она вышла замуж за знаменитого актёра Лоуренса Оливье. Их союз был творческим и романтическим, хотя и страдал из-за проблем с психическим здоровьем Ли, в частности из-за её борьбы с биполярным расстройством. Постоянная борьба Ли с туберкулёзом и проблемами с психическим здоровьем часто доводила Оливье до отчаяния. Они окончательно расстались в 1960 году.
