1947年，針對我劉鄧大軍千裡躍進大別山的戰略意圖，蔣介石調王敬久率國民黨第二兵團的整編三十二師、整編六十六師、整編七十師等重兵集結魯西南，企圖消滅劉鄧大軍或迫使他們退回黃河以北。自7月2日起，劉鄧大軍先后進行了鄆城之戰、菏澤之戰、定陶之戰和巨野獨山集、六營集之戰等戰斗，至7月中旬，將王敬久的整編三十二師和整編七十師全殲，並將敵人最精銳的整編六十六師合圍。
在魯西南戰場，國民黨整編六十六師師長宋瑞珂屢屢同劉鄧大軍“過招”，雖沒有佔到多少便宜，但也沒有受到多大的損失。被劉鄧大軍合圍后，國民黨第二兵團司令長官王敬久命令他突圍，但宋瑞珂很自信，認為“有我們‘釘’在這裡，劉伯承就不敢南竄”。於是他利用山東金鄉城西北30裡處的羊山作為制高點，與山下集鎮的民房構成核心陣地，准備憑借有利地形，負隅頑抗到底。
1947年7月13日，劉鄧大軍掃除了羊山外圍陣地后，當天就組織重兵攻打羊山。劉伯承和鄧小平決定拿出陳再道的二縱和陳錫聯的三縱兩支精銳主力作為主攻部隊，東西兩路同時向羊山發起攻擊。但戰斗打響后，敵六十六師守軍配合得相當好，導致我攻山部隊前進受阻，在付出重大傷亡后，於7月14日拂曉被迫撤出戰斗。
此后，我二縱和三縱對兵力火力重新做了調整和部署，於17日晚再次發起攻擊。羊山有三個突出山峰，居民稱東峰為�