双鹤山在安陆城东50里地的赵棚镇境内，双峰并峙，由大、小鹤山组成。李白《代寿山答孟少府移文书》所称“东峰金衣双鹤”，即指大、小鹤山。清初沈会霖有《问鹤》诗：“朅来翔集峙三关，宿雾窠风画日间。谁挟龟螭曾裂石，终腾蝌蚪各名山。碧霞笋落朝暾出，赤壁江横夜羽还。欲觅故函招旧物，飞鸣应在五云间。”

清《湖北通志》记载：“大鹤山，在县东北四十五里，自吉阳蜿蜒而南，高四十余仞，如鹤展翅。其南有小鹤山，高不十仞，顶有清池。”清道光《安陆县志》记载：“郧东有大小二鹤山，峰势相属，与吉阳并峙。有断石如碑状，拭而读之，字半剥蚀，犹可认识后周时人辟故基得石函，尺许，内贮大小二石鹤，少焉冲起，回翔天半，视其所落之处，各以山名。山自吉阳蜿蜒而南，四十余仞，如鹤展翅，首属孝感，尾曳应山，顶有石砦、小庙，祀真武神。其武成二年（至）至元元年，铁炉已失，惟存明时石垆一座，木佛数尊，皆有礟火焦灼痕，盖白旺踞郡时，是山惨遭焚劫也。小鹤山，一名蝌蚪山，治东三十里。山在大鹤山南，高不十仞，寿藤古木，烟云蓊郁，岭有佛宇，清池湛然。其脉南出孝感县为三山，团山隐隐赈赈，尽于云梦县之西。”
    双鹤山开山立寺约在北周时期，距今约1500年。唐初显庆年间重建双鹤寺。该寺历代佛事鼎盛，香火兴旺，至清朝更是规模空前，从山顶至山下筑有三层城墙二丈余高，房屋数百间。寺庙、僧舍旁边，建有大量商贾士绅的山居、别墅。清末，官军与太平军曾在大鹤山激战数月，城破寨毁。幸存的双鹤寺于1943年遭日寇焚毁。

双鹤山一带人文积淀深厚，自古重视文化教育，历代人才辈出。明成化年间曾任四川巡抚、漕运总督张瓒自述为双鹤山人。明代世居双鹤山下的刘伯燮、刘伯生均以进土名世，兄刘伯生称大鹤先生，弟刘伯燮称小鹤先生。刘伯生兄弟和同为双鹤山人的刘绍恤于嘉靖三十四年（1555）同中举人，刘伯燮还是解元，乡人以为荣耀，称“安陆三刘”。后三人又结伴进京同赴廷试，中进士。刘伯生于明万历年间任南京吏部主事，以病辞官回籍侍奉老母，在安陆城东建“宾物园”，撰联“乾坤有柄成荒忽，云鸟无心自去来。”刘伯燮历户部主事、工科给事中等职，遇事敢言，弹劾不避权要；曾督学滇南，操执清慎；后迁广东按察使，以母老不赴，于城西金泉寺旁筑室奉养老母，撰联“当户花开三月雨，隔江风送五更筹”。刘绍恤于明万历年间曾任云南按察司佥事。