元明时期，金乡县城一带有记载的真武庙至少有三座。一在北关外，元至元时建；一在县治北，明洪武七年建；一在城北五里堠，明崇祯三年建。这三处庙宇从方位上讲，都位于旧金乡县城的北方，为什么真武庙要建在城北方呢？这要从庙里供奉的主神真武大帝说起。真武古称玄武。玄武是道教四灵之一（朱雀、玄武、青龙、白虎，五行八卦中常说的“前朱雀、后玄武、左青龙、右白虎”就是指的这四灵），是由龟和蛇合成的一种灵物，是主管北方的神，也被道士们尊为北方的大帝“真武大帝”。在明代初期，由张三丰创建的武当道教非常兴盛，武当崇祀的就是“真武大帝”。真武大帝在道教众神中地位极高，仅次于三清和玉皇大帝。“三清”指道教所尊的玉清、上清、太清三清境，也指居于三清仙境的三位尊神元始天尊、灵宝天尊、道德天尊（太上老君李耳）。三清下面排就是玉皇大帝，再下面就是玄武大帝（真武大帝）。玄武为北方之神，所以一般都把真武庙修建在城市的北面。

现在的真武庙前身是五里堠真武庙，又称五里堠大庙，坐落在城中心以北五里济商公路的左侧。堠，又称堠子、牌堠、里碑，即古时官道旁记里程的路标，用土堆砌而成，每隔五里设一单堠，十里则双堠。由此可知，古时金乡大三角一带有官道经过，且距金乡县城的里程为五里。修建于明崇祯三年(1612)，属于民间出资。完成之后，还有金乡的名士撰写记，这在《金乡县志》上都有记载。之后，这个真武庙多次重修，仅乾隆年间就有五次重修。同治版《金乡县志》记载说：“五里堠真武庙，大殿尤壮观。”真武庙最后一次重修从1940年开始的，前后共用了五年时间。虽然当时处于抗战时期，但老百姓修庙的热情高涨，四乡八邻一人捐一升麦子，也有捐一元两元的，百儿八十元的也有。当时真武庙的主持为合灵法师，俗名陈清传。合灵法师曾到北京、淮阴等地拜访多位高师。

1957年金乡上大水，淹了真武庙，神像差不多都毁了。文革期间真武庙被拆除。2010年，为深刻挖掘金乡县深厚博大的文化资源，传承历史文脉，金乡县委县政府在原址恢复了真武庙，现在的真武庙已经成了游客上香、祭拜、祈福的地方。