2004年8月1日德国足协出人意料地宣布勒夫将担任德国国家队的助理教练，辅助球队的新主帅尤尔根·克林斯曼。克林斯曼曾与勒夫在同一所教练学校学习，深知勒夫的战术指挥才能，因此上任前特别要求足协任命勒夫为球队的助理教练。克林斯曼上任后，一反德国传统的保守战术，为球队灌输了进攻哲学，而勒夫则依此为克林斯曼制定战术。在克林斯曼和勒夫的带领下，德国在2005年联合会杯中一路打入四强，仅在半决赛以二比三惜败于巴西，但随后他们又在第三名争夺战中以四比三击败墨西哥，最终获得联合会杯季军。
2006年德国世界杯的揭幕战，由克林斯曼和勒夫带领的德国以四比二战胜哥斯达黎加，随后小组赛又相继战胜波兰和厄瓜多尔，以三战全胜的成绩进入淘汰赛。十六强的比赛中，德国以二比零轻取瑞典，随后点球力克阿根廷，与意大利会师半决赛。对垒意大利时，双方直到一百一十九分钟均未取得入球，但在最后补时阶段意大利连入两球，以二比零取胜。失利后勒夫帮助克林斯曼重整球队，在第三名争夺战中以三比一击败葡萄牙，获得世界杯季军，勒夫及克林斯曼也因此在德国国内声威大振。
2006年世界杯后，克林斯曼出人意料地决定不与德国足协续约，勒夫随即于2006年7月12日被任命为新的德国国家队主教练，并与德国足协签下了两年合约。勒夫在签约后表示，他将继续奉行克林斯曼制定的执教方针，并且定下在2008年欧洲杯夺冠的目标。8月16日勒夫带领下的德国迎来首场比赛，在盖尔森基兴迎战瑞典，结果德国以三比零取胜。随后三个月内，勒夫的球队在欧洲杯预选赛中取得三连胜，对手分别是爱尔兰、圣马力诺和斯洛文尼亚。在战胜斯洛文尼亚后，勒夫已率领的德国取得五连胜，创下了德国新任教练战绩最好的纪录。
2007年8月22日德国在新温布利球场举行的一场友谊赛中以二比一击败英格兰，将勒夫执教的战绩延伸至十一胜一平一负，进四十一球失六球。10月17日德国在已经提前锁定欧洲杯名额的情况下在安联球场迎战捷克，由于有所保存实力，德国以零比三意外落败，这场失败意味着，德国将排在捷克之后以预选d组第二名的身份参加欧洲杯决赛圈。