張公山系涂山山脈，涂山一帶曾是原始社會后期涂山氏居住的地方。涂山腳下的禹會村，傳說是當年治水英雄大禹會諸侯之地，作為行政村村名屬全國唯一，這里至今流傳著大禹治水三過家門而不入的動人故事。

張公山是歷史文化名山涂山山脈的組成部分，有著悠久的歷史，據(jù)《懷遠縣志》記載：明朝嘉靖年間此山就叫張公山，山下一湖，名化陂湖，現(xiàn)更名為張公湖。相傳，明朝有個張姓戰(zhàn)將，解甲歸田，隱居山下，由于他德高望重，當?shù)匕傩兆鸱Q張公，張公山因此得名。

清朝，張公山頂建有寺廟，每年還有一次初春廟會。該廟原名“寺山廟”，后改名“中岳廟”，又改為“觀音廟”。由于廟的基礎(chǔ)南高北洼，廟門朝北，當?shù)匕傩沼址Q之為“倒座觀音廟”。

民國27年（1938年）日軍侵占蚌埠后，寺山廟遭到徹底毀壞。

1973年，蚌埠市政府決定利用張公山與化陂湖的自然風景和優(yōu)美環(huán)境，將此山辟為公園，1975年建園工程全面開工。1983年7月1日，張公山公園正式對外開放。

          從1986年以來，張公山公園各項基礎(chǔ)設(shè)施和景點建設(shè)日益完善。先后建成了湖濱餐廳、水榭長廊、園中園、望淮塔、兒童樂園、月季園、動物園等。

2009年被國家旅游局授予國家AAAA級風景區(qū)稱號。

2012年，經(jīng)蚌埠市政府會議研究，由城投公司承擔資金保障工作對張公山景區(qū)進行提升改造。