Joachim Löw 2004-ben, Jürgen Klinsmann segítőjeként kezdett el a német válogatott mellett dolgozni. Az első naptól sokkal többet tett a nemzeti együttes mellett, mint amit egy asszisztenstrénertől elvárnak. Ő elemezte az ellenfeleket, találta ki a taktikát, amit Klinsmann általában jóváhagyott. A játékosokkal is jobb viszonyt tudott kialakítani, mint az akkori szakvezető, aki elsősorban reprezentációs feladatokat vállalt el, folyamatosan jelen volt a médiában. Mindez akkor vált egyértelművé a nyilvánosság előtt, amikor a 2006-os németországi világbajnokság negyeddöntőjében az argentinok elleni tizenegyespárbaj előtt Löw írta össze egy lapra Jens Lehmann kapusnak, hogy melyik dél-amerikai játékos, merre szokta lőni a büntetőket. A hálóőr négyből két lövést megfogott, de mindegyik dél-amerikai kísérletnél jó irányba vetődött.
Löw később is ebben hitt, az ellenfél minél részletesebb, alaposabb elemzésében, akkor is, ha a másik csapat esetleg papíron sokkal gyengébb volt. A 2006-os torna után – amit a harmadik helyen zártak a németek – Klinsmann távozott és helyét a játékosok kifejezett kérésére Löw vette át.
Az új szakvezető rendkívül bátor célt fogalmazott meg beiktatása után: szerinte a válogatottnak minden nagy tornán minimum a legjobb négy közé kell jutnia.
„Ez úgy érhető el, ha nem a legerősebb csapatot, hanem a legjobb közösséget sikerül kialakítani minden tornára” – hangsúlyozta a szakember.
Hogy nem a levegőbe beszélt, azt jól bizonyítja, hogy a világbajnokságokon egy-egy arany- (2014) és bronzérmet nyert (2010), az Eb-ken pedig egy második hely (2008) és két elődöntős szereplés (2012, 2016) volt a mérlege.
Személyi döntéseit rengeteg kritika érte és azt is nehezen fogadta el a rendkívül szigorú német futballközvélemény, hogy a felkészülési mérkőzéseket gyakran feláldozta egy-egy új taktikai elem kipróbálására. A legtöbb kritikát éppen a 2014-es brazíliai torna előtt kapta, amikor májusban 21 éves átlagéletkorú csapattal játszott hazai pályán gól nélküli döntetlent Lengyelországgal.
„Meg akartam nézni, kik lehetnek a vb-keret megfelelő kiegészítő emberei, az eredmény másodlagos, mindent a sikeres világbajnoki szereplésnek rendelünk alá, erről az útról nem lehet letéríteni” – hangsúlyozta a szakember, aki utána „csak” 1-0-ra nyert Chile ellen, majd a vb előtti utolsó meccsen 6-1-re Örményországgal szemben. Utóbbi jótékonysági találkozó volt, melyen egy durva belépő után megsérült Marco Reus, aki akkoriban az egyik legjobb formában játszó német labdarúgónak számított. A sajtó felelőtlenséggel vádolta meg Löwöt, hogy egy olyan együttessel szemben küldte pályára játékosait, amelyről tudni lehetett, hogy a képességbeli hiányosságokat agresszív – helyenként durva – játékkal igyekszik kiegyenlíteni.
A 2014-es vb előtt Reus kiválása után nagyon pesszimista lett a hangulat az országban, a lapok biztos kiesést vizionáltak a csoportkörben. Ehhez képest a németek 4-0-ás győzelemmel kezdtek Portugália ellen. A gálát szenvedős meccsek követték (2-2 Ghána ellen és 1-0-ás siker az Egyesült Államok felett), a nyolcaddöntőben pedig óriási szerencsével, hosszabbításban nyertek a németek 2-1-re a jobban játszó Algéria ellen, a négy közé jutásért pedig Franciaországot múlták felül 1-0-ra.
A házigazda brazilok elleni elődöntő előtti sajtótájékoztatón Löw azt mondta, óriási a nyomás a vendéglátókon, ha a csapata nem kap gólt a találkozó elején, és esetleg lő is egyet, akkor nem lehet baj. Löw számítása bejött, együttese 29 perc alatt 5-0-ra elhúzott és a végén 7-1-re nyert.
„Azt kértem a fiúktól a szünetben, amikor 5-0-ra vezettünk, hogy játsszanak ugyanilyen koncentráltan, mint eddig és a lefújás után ne örüljenek látványosan, mert már így is nagyon komoly fájdalmat okoztunk egész Brazíliának, tapsolják meg a közönséget, és majd lehet ünnepelni az öltözőben, illetve a szállásunkon” – hangsúlyozta a szakvezető a lefújás után.
A döntőben Argentína ellen is kiváló döntést hozott, amikor a hosszabbításban becserélte Mario Götzét, aki nagyon kevés lehetőséget kapott a tornán. Becserélése előtt azt súgta játékosa fülébe, hogy ő szerzi a győztes gólt, és így is történt, a németek Götze találatával szerezték meg a világbajnoki címet.
A vb után Löw egyre többet hibázott, a legnagyobbat 2019-ben, amikor az egy évvel korábban kudarccal végződött oroszországi világbajnokság után (a németek kiestek a csoportkörben) kitette a nemzeti együttesből Jerome Boatenget, Mats Hummelst és Thomas Müllert. Döntését a fiatalítás szükségességével indokolta, azonban Hummels és Müller nagyon jó formában játszott ebben az időszakban, ezen kívül a közösségen belül is meghatározó embereknek számítottak, a csapat korábbi egysége felbomlott.
A 2020-as Eb-re csoportelsőként jutott ki a német válogatott, ennek ellenére rengeteg bírálat érte a kapitányt, elsősorban a Nemzetek Ligájában mutatott gyenge teljesítmény miatt. Löw a rá nehezedő egyre nagyobb nyomás miatt úgy döntött, hogy az Eb után távozik, a 2022-es katari világbajnokságot már nem vállalja.
