该军前身是 冯玉祥 所属的 国民军 一部。即由 宋哲元 部所属的 国民革命军第二十九军 暂编第2师扩编而成。
建军
1926年9月，国民军以两个警卫旅改编为 国民革命军 第10师参加 北伐 。1928年第10师被改编为第30师，隶属北伐军冯玉祥的第2集团军。
1930年10月，冯玉祥和 阎锡山 在 中原大战 中失败后，第30师被 国民革命军东北边防军 收编。
1933年春，第30师改编为暂编第2师，编入国民革命军第29军，由副军长 刘汝明 兼任该师师长。1933年3月中旬该军参加 长城事变 ，负责防守罗文峪一带地区。同年夏，暂编第2师改编为第143师，师长仍有刘汝明兼任。
抗日战争时期
1937年8月 抗日战争 全面爆发后， 国民党军 进行统一整编时以 国民革命军第二十九军 第143师和独立第40旅合编组成第68军，隶属第7 集团军 。刘汝明任军长 ，下辖：第143师，刘汝明兼任师长 ；独立第40旅，夏子明任旅长。该军组成后，在当年先后参加了平绥路东段沿线和平汉路北段沿线作战。
1937年底，该军隶属第5战区，由 河北省 移防 菏泽市 地区时，将原独立第40旅扩编为第119师， 田温其 任师长。
1938年1月，该军 徐州会战 ，奉命在 萧县 、 蒙城县 地区抗击日军。 徐州市 失败后，该军撤到皖西、鄂东地区进行休整。而后，参加了豫鲁皖边地区作战和 武汉会战 。
1939年1月，该军隶属第2集团军时， 刘汝明 升任第2集团军副总司令兼军长，田温其任副军长。下辖：第119师，田温其任师长；第143师，李曾志任师长。
1937年4月至1945年5月，该军先后参加了随（县）枣（阳）会战、 百师大战 作战和 枣宜会战 等。
在枣宜会战中，该军第143师坚守应山城垣，与敌激战两昼夜，除700余人突出重围外，其余全部牺牲。此次战斗后，该军重建第143师，并重组建独立第27旅。不久独立度27旅与第2 集团军 直属独立第44旅合编组成暂编第36师，拨归该军建制。此时，该军下辖：第119师，陈新起任师长；第143师李曾志任师长；暂编第36师， 刘汝珍 任师长。
1941年5月，该军暂编第36师与第30军第30师对调建制，第30师改隶该军，张华堂任师长。
1941年9月，该军参加了第2次 长沙会战 。
1942年春，第30师回归第30军，暂编第36师回归第68军建制。
1943年2月， 刘汝明 任第2集团军代总司令兼军长，刘汝珍任军长，李金田、陈新起任副军长。此时，该军下辖第119师， 刘广信 任师长；第143师， 黄樵松 任师长；暂编第36师， 崔贡琛 任师长。
此后至1945年上半年，该军相继参加了 鄂西会战 、 常德会战 、 豫中会战 和豫西、鄂北会战等。在参加 豫西鄂北会战 后，该军撤至湖南陈留地区整训。
1945年10月，该军暂编第36师被裁减，另将第55军第81师调归该军建制。此时，该军下辖：第81师， 葛开祥 任师长；第119师，刘广信任师长；第143师，崔贡琛任师长。
1946年5月， 国民党军 进行统一整编时，该军改编为整编第68师隶属第4 绥靖区 。 刘汝珍 改任师长，陈新起任副师长， 张勋亭 任参谋长。原辖第81师改编为整编第81旅，葛开祥任旅长；原第119师改编为整编第119旅， 刘广信 任旅长；原第143师改编为整编第143旅，阎尚元任旅长。此次整编后，该师主要担任冀鲁豫地区的守备任务和绥靖任务。
解放战争时期
1946年8月至1947年1月，该师在苏鲁战场上多次与人民解放军作战，先后参加了 陇海路 中段战役、 定陶战役 、 巨野战役 、 城战役、巨金鱼战役、 豫皖边战役 等作战。
1947年初至1948年7月，该师调至鲁西南地区担任防御和机动作战任务，先后参加了 鲁西南战役 、 沙土集战役 、 豫皖苏 边区作战和 豫东战役 等。
1948年9月， 国民党军 废除整编师、旅编制，重新规定番号，整编第68师又改为第68军， 刘汝珍 任军长，陈新起、王振声任副军长， 张勋亭 任参谋长。隶属第8兵团。原辖整编第81、整编第119、整编第143旅，依次恢复第81、第119、第143师番号。
1948年11月，该军在参加 淮海战役 中打通津浦路徐（州）蚌（埠）段交通线的作战后，撤至 安庆市 至 彭泽县 地段担任防守任务。
1949年四月下旬，人民解放军发起 渡江战役 后，该军弃阵南逃。5月3日，该军第81师在副军长王志远、师长 葛开祥 率领下在江西弋阳率部起义。第119师、第143师逃至 厦门市 后，奉命在 漳州市 地区组织防御，并重建第81师。9月中旬，该军在漳夏战役中被人民解放军歼灭。