Nach dem Tod seiner Eltern wird der junge Schwarze Cecil Gaines vom Plantagenarbeiter zum Hausdiener befördert. Als Butler zeigt er großes Talent und nach einigen Umwegen macht er schließlich eine langlebige Karriere in Washington: von 1952 bis 1986 arbeitet Cecil (Forest Whitaker) im Weißen Haus und steht im persönlichen Dienst des jeweiligen US-Präsidenten. Er erlebt acht verschiedene Hausherren, darunter John F. Kennedy (James Marsden) und Dwight D. Eisenhower (Robin Williams), vereinzelt fragen die mächtigen weißen Chefs den schwarzen Butler sogar nach seiner Meinung. Im eigenen Haus sind dessen Ansichten jedoch weniger gefragt, denn Cecils Sohn Louis (David Oyelowo) lehnt die Diener-Tätigkeit seines Vaters prinzipiell ab. Der junge Mann engagiert sch in der Bürgerrechtsbewegung für die Belange der Afro-Amerikaner und schließt sich später der radikalen "Black Panther"-Bewegung an. Bei den Auseinandersetzungen zwischen Vater und Sohn steht Cecil lediglich seine alkoholkranke Frau Gloria (Oprah Winfrey) zur Seite, die versucht zu vermitteln.