Tras un año en el convento, Jeanne obtuvo permiso para visitar los terrenos circundantes bajo la condición de regresar a la abadía al atardecer. Un mes después se le concedió permiso para abandonar la abadía, si bien tenía prohibido acercarse a menos de diez millas de Versalles, lo que impidió a Jeanne regresar a su amadoal [[Castillo de Louveciennes]]. Du Barry se las arregló para adquirir una propiedad perteneciente a la familia de la esposa del hijo menor de Madame de la Garde, a quien Jeanne había conocido en su adolescencia, mudándose dos años después a Louveciennes<ref>Herman, p. 203.</ref>. En los siguientes años, Jeanne mantuvo una relación amorosa con [[Louis Hercule Timoléon de Cossé-Brissac]], duque de Brissac<ref>Haslip, p. 133.</ref>, enamorándose posteriormente de Henry Seymour<ref>Haslip, p. 121.</ref>, a quien conoció cuando éste se mudó con su familia a un castillo próximo al suyo. Con el tiempo, Seymour se aburrió de su relación con Jeanne y le envió una pintura con las palabras «dejadme solo» escritas en inglés en la parte inferior, siendo este cuadro copiado por Lemoyne en 1796. El duque de Brissac, no obstante, se mantuvo fiel a Jeanne pese a tener conocimiento de su aventura con Seymour. El 9 de septiembre de 1792, ya iniciada la Revolución francesa, de Brissac fue capturado y asesinado por una turbamulta. Aquella misma noche, du Barry oyó el sonido de una muchedumbre ebria aproximándose a su castillo. Tras asomarse a una ventana, alguien arrojó a través de la misma un bulto envuelto en un paño manchado de sangre el cual resultó ser la cabeza decapitada del duque, provocando que Jeanne se desmayase al verla.
