Serge Gainsbourg liebt die Frauen – und die Frauen lieben Serge. „Gainsbourg“ folgt dem Karrierepfad des Enfant Terrible der französischen Popmusik, des Vaters der „Antichrist“-Aktrice Charlotte Gainsbourg, des Genies und Poeten.
Der kleine Lucien Ginsburg (Kacey Mottet Klein) geht im von den Nazis besetzten Frankreich bereits mit zwölf Jahren auf die angesehene Kunstschule Académie Montmartre. Maler will er werden, wird aber von Vater Joseph (Razvan Vasilescu) zum Klavierspielen gezwungen.
Als kleiner jüdischer Junge muss Serge vor den Nazis aus Paris fliehen und sich später sogar für mehrere Tage im Wald verstecken.
Im Erwachsenenalter hat Serge (nun: Eric Elmosnino) seinen Traum von der Malerei noch nicht aufgegeben. Eines Tages erkennt er aber, dass sein musikalisches Talent überwiegt. Er verdingt sich als Chansonschreiber, wendet sich später auch der Popmusik zu und schreibt Lieder für Jungstar France Gall (Sara Forestier). Er hat nun Erfolg und singt und schläft mit dem Sexsymbol Brigitte Bardot (Laetitia Casta). Später lernt er die Britin Jane Birkin (Lucy Gordon) kennen, die ihn erst gar nicht, dann immer mehr fasziniert. Mit ihr erreicht er künstlerisch und privat neue Höhen, längst ist er einer der größten Stars seines Landes. Es gibt jedoch auch eine Kehrseite: Abstürze, die Trennung von Jane, ein Herzinfarkt...