Nach einer harten Kindheit in einer psychotischen Familie zieht es die junge Edie Sedgwick (Sienna Miller) nach New York. Dort lernt sie 1965 den Künstler Andy Warhol (Guy Pearce) kennen, der augenblicklich für ihr natürliches Charisma entflammt. Sie wird seine Muse und steigt an seiner Seite zur Stil-Ikone auf. Fortan lebt sie in der glamourösen und exzessiven Welt der Factory, einer stillgelegten Hutfabrik, die Warhol zu einem Künstlertreff umfunktioniert hat, und gleitet immer tiefer in die Drogensucht und zwischenmenschliche Bezugslosigkeit ab.