1946年8月底，中國人民解放軍三五九旅返回陜甘寧解放區，經過南下北返，中原突圍的連續 作戰，消耗很大，兵力嚴重不足。王震同志請求黨中央從三五九旅派一批干部去物產富饒、人煙稠密的山東老解放區組建一個旅。黨中央很快批準。1946年冬，張仲瀚、曾滌、賀盛桂、熊晃等帶八路軍一二〇師三五九旅和晉綏軍區的321名骨干，一路風塵，來到山東振華、商河、匡吾、臨邑等縣組建新軍。

1947年2月25日，新軍舉行建軍典禮，部隊番號渤海軍區教導旅。同年11月部隊歸入西北野戰軍建制，改稱”中國人民解放軍西北野戰軍第二縱隊獨立第六旅“。

1949年2月，中央軍委將獨立第六旅統編為中國人民解放軍第一野戰軍二軍步兵第六師。1949年9月，大軍陳兵嘉峪關，促使新疆和平起義。10月10日，步兵第 六師由甘肅張掖出發，進抵酒泉、玉門、敦煌一線集結待命。不久王震命令師長張仲瀚迅速組成一支先遣隊，于11月4日抵達新疆南北疆分界處的天山咽喉焉耆、 庫爾勒地區進行踏勘布點，受到各族人民的熱烈歡迎。

1953年2月，步兵第六師集體就地轉業，執行農墾任務。同年6月5日，新疆軍區轉發中央軍委命令，步兵第六師改稱中國人民解放軍新疆軍區農業建設第二師，所轄十六團、十七團、十八團依次更名為農業建設第四團、第五團、第六團。師部駐焉耆。

1954年10月，新疆軍區生產建設兵團成立后，第二師歸屬兵團建制，成為少數幾個比兵團成立還早的師。

1960年9月農二師師部移駐庫爾勒市。

1975年3月，兵團建制撤銷，5月農二師并入巴州，組建農墾局，歸巴州領導。

1981年 12 月，中央恢復兵團體制。

1982年4月1日，農墾局撤銷，恢復了農二師的番號。

2012年12月24日，兵團隆重舉行各農業師更名揭牌儀式，慶祝中央機構編制委員會辦公室正式批準將13個農業師的名稱由”新疆生產建設兵團農業建設第×師“更名為”新疆生產建設兵團第×師“。”新疆生產建設兵團農業建設第二師“（農二師）正式更名為”新疆生產建設兵團第二師“（第二師）。12月29日，新疆維吾爾自治區鐵門關市正式掛牌成立，與新疆兵團第二師實行”師市合一“管理模式。