广寒寨在古代被称为称甘棠山，这里是攸县境内一处举世闻名的山水胜地，与东乡鸾山、凤岭齐名。县籍前清进士礼部主事康刘锽在其参加戊戌变法失败削职回籍后，曾撰文回忆：“岁戊戌(1898)以忧回籍读礼山居，素慕东北乡山水之胜，欲一游鸾山、凤岭、甘棠诸胜景，藉悉掌故。乃备肩舆从小溪朔金水、银坑而直上，登鸾山，履凤岭，穷甘棠之巅，群山万壑悉奔足下。”