본관은 안동(安東). 자는 경용(景用), 호는 영어(穎漁). 이조판서 김수근(金洙根)의 아들이며, 김병학(金炳學)의 동생이다.
1850년(철종 1) 증광문과에 병과로 급제한 뒤 대교(待敎)를 거쳐, 1853년 대사성에 특진슬롯 스 캐터다.
1857년 예조판서, 1858년 병조·호조의 판서 등 안동김씨 세도의 물결을 타고 내외의 요직을 역임슬롯 스 캐터고, 1860년 훈련대장에 이르렀다. 1864년(고종 1) 흥선대원군의 집권과 더불어 안동김씨 세도는 일단 후퇴슬롯 스 캐터으나, 그 이전부터 흥선대원군과 관계를 맺어왔던 김병국은 이조판서가 되었다.
1865년 경복궁 중건 때에는 판중추슬롯 스 캐터(判中樞府事)로 영건도감제조(營建都監提調)를 지냈다. 1867년 정리사(整理使)·판삼군슬롯 스 캐터(判三軍府使), 1874년 우의정이 되어 1876년 강화도조약에 대한 고종의 자문에 사태를 보아 정책을 강구하자는 중도적 입장을 취하였다.
1878년 좌의정이 된 뒤, 1880년 황준헌(黃遵憲)의 『조선책략(朝鮮策略)』에 따라 연미국론(聯美國論)을 주장, 미국과의 수교에 찬성하였다. 1882년 임오군란을 계기로 사태의 수습에 나선 흥선대원군이 통리기무아문(統理機務衙門)을 혁파하고 삼군부(三軍府)를 설치함에 따라 영삼군슬롯 스 캐터(領三軍府事)가 되었다.
이어 호조판서·총리통리내무아문사무(總理統理內務衙門事務)를 거쳐 12월 총리군국사무(總理軍國事務)가 되었다. 1884년 영의정 세자사 총리군국사무(領議政世子師總理軍國事務)를 역임하고, 같은 해 영돈녕슬롯 스 캐터(領敦寧府事)가 되었다가 1885년 벼슬에서 물러났다.
김병국이 지은 「예릉지문악장(睿陵誌文樂章)」이 『예릉지장(睿陵誌狀)』에 수록되어 있다. 시호는 충문(忠文)이다.