독일군 지휘관들은 연합군의 진격으로 사기가 떨어져 있었다. 게다가 7월 17일에 연합군 항공기의 공격으로 자동차가 박살났고, 그 차에 타고 있던 롬멜이 중상을 입었다. 히틀러 암살의 실패와 그 여파는 독일군에 더욱 해로운 영향을 주었다. 보수적이지만 나치에 반대하는 일부 민간인 고위 인사들과 장교들은 사태의 비참한 추이에 불안을 느끼고 나치 정권의 범죄에 진저리가 난 나머지 비밀 군사 조직을 결성했다.
1943년부터 이 저항 조직은 히틀러를 제거하는 데 필요한 현역 군고위간부들의 지지를 모으기 시작하여 상당한 성공을 거두었다. 롬멜까지도 여기에 연루되었다(그러나 로멜 자신은 히틀러 암살에 반대했음). 마침내 이들은 히틀러를 죽이기로 결심하고, 장차 새로운 정권이 수립될 베를린에서 육군 예비 병력을 이용하여 쿠데타를 일으키기로 결정했다.
1944년 7월 20일 저항 조직에서 가장 행동적인 클라우스 폰 슈타우펜 베르크 대령은 서류 가방에 숨긴 폭탄을 들고 동프로이센의 최고사령부로 들어가, 히틀러가 회의를 열고 있는 방에 놓고 나왔다. 폭탄은 제대로 터졌지만, 히틀러는 살아났고 쿠데타는 불발로 끝났다.
나치의 반응은 야만적이었다. 직접 연루된 200명의 음모자 이외에 암살 계획과 약간의 관계를 갖고 있거나 전혀 관계가 없는 5,000명이 처형되었다. 롬멜은 10월 14일에 자살했다. 그후 몇 주일 동안 독일군 고위사령부는 공포로 가득 차 활동이 마비되었다.
