二战结束后，原纳粹德国武装力量被全部解散。1949年联邦德国成立，重建军队被提上政府议事日程，并得到希望利用德国对抗苏联的美国的支持。然而，这一想法遭到其他西欧国家特别是法国的强烈反对，法国于1954年否决了旨在重新武装德国的《欧洲防务集团条约》。但在美国支持下，时任德国总理康拉德·阿登纳通过艰苦谈判，终于在1954年10月23日同北约各成员国在巴黎签订条约，使西德建军成为可能。
联邦德国国防军创建的法律基础是在1954年3月26日以及1956年3月19日对德国《基本法》的修改。《基本法》第26条规定，德国武装力量不得参与侵略战争。1955年6月7日，联邦德国国防部正式成立。1955年11月12日，联邦德国国防军正式成立，当时的西德国防部长西奥多·布朗克向第一批入伍的101名志愿者颁发了委任状。新建的联邦国防军于1956年1月开始运行，最初只征召志愿人员，第一年在联邦国防军服役的士兵人数只有约6.6万。自1956年年中开始实行征兵制，至冷战结束时，联邦国防军已拥有近50万官兵。
冷战中的发展
冷战时德国流行着这样一句玩笑话：“战争一旦爆发，国防军就不得不坚持作战，直到真正的军队赶到。”联邦国防军建军之初的主要任务就是阻止战争爆发。1961年柏林墙的建立使许多西方人相信，以世界上两个超级大国为首的军事集团的对峙状态不会长久。
冷战中，联邦国防军把主要注意力放在了建立重装甲部队和机械化步兵部队上面。国防军建立之初，装备的基本都是美式武器，如M-1“伽兰德”步枪、M-60主战坦克等。随着德国国防工业的恢复，数以千计的德国产主战坦克、步兵战车成为了德国国防军的主力装备。用当时新闻报道的一句话说，在整个冷战时期，联邦国防军的主要任务就是“将坦克一辆挨一辆地停在两个德国的边界上”。
此外，由于德国的人口密度较大，城市化水平高，因此在市区内的军事行动也是德国国防军日常训练的一部分。在汉堡步兵学校里专门建有一座名叫波恩兰德的小型模拟村镇，在那里，士兵们接受有关所谓“三层次战争”的训练，训练内容从保护平民、设立和运作检查站，到搜寻游击作战人员、在市区地形内实施联合作战等，可谓无所不包。
新的目标和任务
1989年，柏林墙被推倒。1990年，东西两德统一。按照“2+4”（东西两德与美、英、法、苏四国）条约的规定，统一后的德国将在4年内把武装力量人数从50万（联邦德国军队人数）加16万（民主德国军队人数）减少到37万。东德的武装力量——民主德国国民军将被解散，一些先进装备（如米格-29战斗机）将由联邦德国国防军接收。
然而，冷战结束后，德国安全环境发生了根本性变化——华约突然之间消亡了。许多人甚至包括现役军人都在质问德国为什么仍需要一支武装力量，从而引发了一场大规模的国防军身份认同危机。
面对新的形势，德国对国防政策进行了全面调整，其所追求的目标已开始跨越“国界”，从过去的谋求生存并为最终实现德国统一创造条件，转为着眼于承担未来欧洲和世界和平与安全的责任。其国防政策的目标也调整为：“保护德国和它的公民免遭政治讹诈和外来危险、确保德国及其盟友的防务安全、致力于欧洲—大西洋地区的和平与稳定、根据《联合国宪章》为世界和平与国际安全服务、在危机时刻提供援助”。
