Nem érte be Manuel Valls, illetve az új kormány kinevezésével Francois Hollande. Az elnök úgy vélte, a szocialistáknál is vérfrissítésre van szükség. Rendkívül elégedetlen volt Harlem Désir teljesítményével, igaz, erről nem feltétlenül csak a párt volt főtitkára tehetett. Désirt ugyanis kompromisszumos jelöltként állították a baloldali politikai erő élére azt követően, hogy Martine Aubry leköszönt a tisztségről, s Hollande-ot elnökké választották meg.
Ugyan sosem tartották színes egyéniségnek, akkor jó választásnak tűnt, hiszen éppen az volt a cél, hogy ne tegyenek túl karizmatikus személyiséget a párt élére, olyasvalakit, aki az elnök feje fölé nőhet, illetve kihívást jelentene a szocialisták erős emberei számára. Akkoriban Manuel Valls jelenlegi kormányfő is támogatói közé tartozott. Riválisa éppen az a Cambadélis volt, aki két évnyi várakozás után most mér tényleg a főtitkári székbe ülhetett.
Désirrel kapcsolatban arra azért senki sem számított, hogy ennyire nem lesz képes feltalálni magát. Legnagyobb hibájának azt róják fel, hogy nem találta meg a közös hangot Jean-Marc Ayrault miniszterelnökkel, nem tudott kellőképpen érvelni a reformok mellett, s ami szintén nagy gondot jelentett, túl későn és nem mindig meggyőzően reagált a jobboldali ellenzék vádjaira.
Egyetlen alkalommal mutatott határozottságot, amikor 2013 októberében megszólalt a Koszovóba kiutasított kislány, Leonarda ügyében, balszerencséjére pont az ellenkezőjét mondta annak, amit az államfő elvárt volna tőle. Désir még múlt héten sem számított arra, hogy Hollande a leváltását kezdeményezi - írja a Le Monde -, pedig helyzete már hónapokkal ezelőtt megrendült, s egyre elszigeteltebbé vált a szocialistákon belül.
Múlt szerdán pedig a Le Canard Enchainé című lap szerint az elnök valósággal kikelt Désir ellen. "A párt nem dolgozik. Harlem nem áll a helyzet magaslatán. Változtatni kell, mert ő is felelős az önkormányzati választáson elszenvedett vereségünkért" - mondta Hollande. Állítólag azt is hozzátette, "Harlem jobban teszi, ha új munka után néz".
Az ellenzéki Le Figaro azt emelte ki, hogy bár Désir az Európai Parlament tagja is volt, nem jelent meg gyakran a plenáris üléseken. Ayrault még kormányfőként többször is bepanaszolta Désirt az elnöknél. Désir a leváltással nem feltétlenül járt rosszul, hiszen nem bukott nagyot, ráadásul viszonylag kényelmesnek mondható államtitkári tisztséget kapott.
Utódára, Jean-Christophe Cambadélisre hárul az a nem feltétlenül egyszerű ellemes feladat, hogy rendbe szedje a pártot, megkönnyítse a döntéshozatalt. 1951-ben született, s 1986-ig a szélsőbaloldali PCI tagja volt.
1986-ban már a szocialisták színeiben került a párizsi polgármesteri hivatalba. Többször is fellépett a jobboldali radikális Nemzeti Front ellen. Úgy vélte, hogy a baloldalnak is erőt kell demonstrálnia a szélsőségesekkel szembeni utcai megmozdulásokkal. A kilencvenes években Lionel Jospin volt kormányfő egyik legfőbb bizalmasának tartották.
Később Dominique Strauss-Kahn vonalához sorolták. 2012-ben indult a PS főtitkári tisztségéért, de akkor még elszálltak az esélyei, miután kiderült, hogy a leköszönő főtitkár, Martine Aubry és Jean-Marc Ayrault is Désirt támogatják.
