장군은 1888년 6월 5일 서울에서 군인인 김정우(金鼎禹)의 5남 1녀 중 막내아들로 태어났다. 본명이 김광서(金光瑞)인 장군은 1909년 12월 한국인 관비 유학생으로 일본 육군사관학교 제23기생으로 입학, 1911년에 졸업하고 동경 제1사단 기병 제1연대에서 근무하였다.

 동경 유학생들의 2․8독립선언에 영향을 받아 조국독립운동에 투신하기로 결심한 장군은 1919년 2월 중순에 이청천, 이응준과 귀국하여 6월 6일 이청천과 함께 만주로 망명하였다. 장군은 만주 안동현에서 대한독립청년단에 가입하여 1919년 8월 안병찬 등과 함께 한․중공수동맹을 결성할 것을 주장하는 성명을 발표하였다. 그 뒤 장군은 서간도 신흥무관학교의 교관으로 이청천, 신동천(申東天)의 3인과 함께 남만주의 3천(三天)으로서 만주지역 항일독립운동의 주역으로 활동했다.

 1920년 초 무기구입을 위해 북간도를 거쳐 노령 연해주로 이동한 장군은 블라디보스톡의 삼림지대인 수청지역의 창해청년단 총사령관으로서 수청지역의 마적들을 대대적으로 소탕하여 한인사회의 안정에 기여했다. 이 명성으로 ‘김장군’의 칭호를 얻었다. 1921년 봄 장군은 수청 인근의 올가에서 조직된 통합 빨치산부대의 책임자가 되어 백군과 치열한 전투를 전개하였고 다우지미의 수청고려의병대 사령관으로 백군과 싸우며 마적 소탕에도 힘을 기울였다. 1921년 말 이만으로 이동한 수청고려의병대는 이듬해 정월 장군의 지휘아래 소련 적군과 함께 백군의 근거지였던 이만을 점령하였다. 연이은 승리로 장군은 1922년 7월 연해주 혁명군사위원회로부터 뽀시에트 군사구역 조선 빨치산 사령관으로 임명되었다. 1922년 10월 장군은 러시아와 중국 국경지방 무장단체들로 조직된 고려혁명군 동부사령관에 임명되었다.

 1922년 말 일본군이 철수한 뒤 소련 적군이 동맹군이었던 한인독립군에 대해 무장해제를 요구하자 장군은 1923년 2월 상해 국민대표회의에 참석하여 창조파의 일원으로 활약했다. 장군은 1924년 3월 블라디보스톡에 한족군인구락부를 조직하였고 1926년에는 윤해, 김규식 등과 민족당주비회를 조직하였고 만년에는 블라디보스톡의 극동고려사범대학에서 군사학과 일본어를 가르쳤다. 장군은 1937년 한인들의 중앙아시아 강제이주를 앞두고 ‘간첩죄’로 체포되어 온갖 고초를 겪은 끝에 1942년 1월 소련의 북동쪽 꼬미자치소비에트공화국의 유배지에서 사망한 것으로 알려졌다. 장군은 스탈린 사후인 1959년 2월 19일에 복권되었다.

 정부는 장군의 공훈을 기려 1998년 대통령장을 추서하였다.