国民革命军第二集团军是由冯系军队发展演变而成的，总司令是 冯玉祥 。1927年4月，武汉国民政府将冯玉祥的国民联军改编为国民革命军第二集团军，并由冯玉祥担任总司令。
北伐时期
由冯系军队发展演变而成。1926年9月，冯玉祥在 五原誓师 响应 北伐 时， 广州国民政府 将所部由 国民军 改编为国民联军，任冯玉祥为总司令。1927年5月，武汉国民政府为适应 北伐战争 需要，又将所部改编为国民革命军第二集团军，任冯玉祥为总司令。5月1日， 冯玉祥 在 西安 宣誓 就任，同时任命 石敬亭 为 总参谋长 ， 何其巩 为秘书长， 刘伯坚 为政治部长。同年6月， 冯玉祥 附蒋后， 南京国民政府 任冯为西北国民军总司令。1928年2月16日，蒋冯在 开封 会商，同意将西北国民军改编为国民革命军第二集团军。
抗日时期
抗日战争 是 第二次世界大战 的重要组成部分， 中国抗日战场 是 反法西斯同盟 在 亚洲 地面作战的主要战场，中国抗日军队在八年对日作战中，歼灭、消耗及牵制了 日本 法西斯的绝大部分陆军，为 第二次世界大战 及反法西斯战争的最后胜利作出了巨大的贡献。在整个 抗日战争 中，中国陆军先后编成40个番号的 集团军 参加对日作战。
1937年8月上旬由原 西北军 一部组成的第二十六路军为主编组而成，集团军总司令 刘峙 、副总司令 孙连仲 ，第二十七师、第三十师、第三十一师是该集团军的基本部队，属 抗日战争第一战区 指挥管辖，第五十二军、第三十二军、第三军都曾加入过该集团军的战斗序列。该集团军是 七七事变 后最早进军 华北地区 增援第二十九军的中国军队，曾在 大石河 、 良乡镇 等地区抗击日军。后奉令调归第二战区指挥，参加扼守冀晋要隘娘子关的战役。1938年初，该 集团军 调归 抗日战争第五战区 指挥管辖，孙连仲继任集团军总司令，其基本部队编组为第三十军和第四十二军，该集团军在 台儿庄大捷 中是担任坚守任务的主力 作战部队 ，为台儿庄战役的胜利作出了巨大贡献。后 韩复榘 旧部 曹福林 的第五十五军、 宋哲元 旧部 刘汝明 的 国民革命军第六十八军 也加入该集团军的战斗序列。1938年11月3日，该集团军第四十二军军长冯安邦在大别山战役结束后转进 襄阳市 途中遭敌机轰炸而牺牲。1939年初，该集团军调归 抗日战争第一战区 指挥。1940年又划回 抗日战争第五战区 ，长期驻守豫西南鄂北地区，曾参加过第二、 第三次长沙会战 的策应作战。1943年 孙连仲 调任 抗日战争第六战区 司令长官，其基本部队随其调至第六战区，第二集团军总司令由刘汝明代理，下辖第六十八军、第五十五军及 石友三 旧部米文和的第六十九军，参加过 常德会战 及 豫西鄂北会战 。