D'origine modeste, Holly (Tuesday Weld) a épousé Clay Richardson, un homme politique issu d'une famille riche et plein d'avenir. Lors des déplacements de son époux, Holly souffrant de solitude a une brève liaison. Holly s'empêtre peu à peu dans une situation compromettante qui aboutit à la mort accidentelle de son amant. Sa belle-mère, personne hautaine qui ne l'a jamais aimée, craint que cette sordide aventure ne devienne publique et compromette la carrière politique de son fils. Holly connaît la détermination de sa belle-mère.
Elle doit "disparaitre". Le coeur brisé, chassée de son domicile par son mari, elle s'exile sous un autre nom, séparée à jamais de sa famille. La jeune femme erre tristement dans le monde. Elle s'établit finalement à Dublin en Irlande où elle tente de se suicider. Terrence Keith ( Jeremy Brett) un cardiologue veuf, lui sauve la vie.
Il finit par tomber amoureux de sa mystérieuse patiente, qu'il connaît sous le nom de Barbara. Il pressent qu'elle a un passé tragique, mais cela ne lui fait rien, et il lui demande de l'épouser. Le bon docteur ne comprend pourquoi elle refuse et cela le peine. Holly continue son errance, de pays en pays, d'amant en amant, sombrant davantage dans l'alcool et la dépravation.
Vingt ans plus tard, elle est accusée d'avoir tué un homme qui a fait du mal à sa fille. Cette dernière devenue avocate, est chargée de sa défense et son mari est à présent candidat à la présidentielle. Holly ne veut pas leur révéler sa réelle identité, pour eux elle est "Madame X".
