羊山革命烈士纪念塔矗立在羊山革命烈士陵园之巅，海拔96米，塔高17.5米，仿北京“人民英雄纪念碑”的形状，空心砖砌水泥结构。底座高3米，宽长皆7米。塔正面是集毛主席的手题“革命烈士纪念塔”七个大字，背面是刘伯承将军于1952年12月1日专给金乡县筹建羊山烈士陵园的题词：“人民解放军鲁西南战役乃打开了战略反攻挺进长江的前门，阵亡将士受到人民的纪念，永垂不朽！”塔前下方为鲁西南战役简介，全文如下：

    “我晋冀鲁豫野战军，在刘伯承、邓小平同志的带领下，遵照党中央毛主席的战略部署，于一九四七年六月三十日夜，突破黄河天险，挺进郓城、菏泽、定陶、曹县、钜野、金乡等地区，发动了著名的鲁西南战役。从七月一日到二十八日，我军集中优势兵力，经过艰苦激烈的连续作战，歼灭国民党正规部队四个整编师师部及九个半旅，共五万六千人，生俘整编七十师中将师长陈颐鼎、六十六师中将师长宋瑞珂等高级将领，为人民解放军挺进中原跃进大别山，开辟了道路，揭开了中国人民解放军由战略防御转入战略进攻的序幕，中国人民革命斗争从此开始了一个伟大转折，为夺取全国胜利创造了有利条件。”

纪念塔由民政部门牵头，原烈士陵园负责人杨绍堂主持建造。从1974年春动工，于1975年秋竣工，历时一年多建成。修筑了青石平面台阶60余级，拾级而上可直达纪念塔前。

1988年1月，经山东省人民政府批准为第一批省级重点烈士建筑保护单位。