Hamburgban született 1918-ban. 1936-ban elbocsátották a Hitlerjugendből náciellenes nézetei miatt. 1942-ben nősült meg, feleségével, a 2010-ben elhunyt Hannelore „Loki” Glaserrel két gyermekük született, fiuk egyévesen meghalt. A második világháború alatt rövid ideig a keleti fronton szolgált. 1945 áprilisában brit fogságba került, s augusztusig hadifogoly volt.
1946-ban lépett be a szociáldemokrata SPD-be, s a párt ifjúsági szervezetét vezette. Az egyetem után a hamburgi városvezetésben a gazdasági és közlekedési ügyekért felelt. 1953-ban választották be a Bundestagba. Felszólalásaiban hevesen bírálta a konzervatív kormányt. 1958-ban került az SPD vezetésébe. 1961-1965 között hamburgi belügyi szenátor volt. A városban remek szervezőnek, igen hatékony politikusnak tartották. 1965-ben tért vissza a Bundestagba. Miután 1967-ben nagykoalíció jött létre, az SPD frakcióvezetője, illetve a párt alelnöke lett. Elnöke sosem volt.
Willy Brandt lemondása után, 1974-ben, a gazdasági válság idején lett kancellár. Jelentősen csökkentette az állami kiadásokat, s kancellársága idején javult a viszony Franciaországgal. Az 1976-os választás után is kancellár maradt, az SPD a szabaddemokratákkal lépett koalícióra. Keményen lépett fel a Vörös Hadsereg Frakció terrorszervezet ellen. Számos fontos szociális intézkedést hozott, emelte a nyugdíjakat, növelte a családok állami támogatását. 1980-ban is kancellár maradt, de mind többen támadták az SPD balszárnya részéről, s a viszony a koalíciós partner FDP-vel is megromlott. 1982 októberében megbukott kormánya, s Helmut Kohlt választották kancellárnak. Schmidt 1986-ig volt a parlament tagja. Ezt követően újságcikkekben kommentálta a bel- és külpolitikai történéseket. Több könyvet is írt.