位于城东3公里处潇水河心的香零山，是一座天然石矶结构的小岛，东西长约25m，南北宽约15m，高出水面约8m。这里山势险峻，风景优美，春时如贴水芙蓉，秋时则亭亭孤寺。当烟绕山脚、缕波而起、林螟江动、水叫石激时，更有“香零烟雨”之称。过去，这里水流湍急，常有漂木和人溺水的事故，清同治年间修建观音阁，设救生船只，涨水时敲钟点灯，并提供食宿，以周济落水者。柳宗元、徐霞客等文人曾到此游览，留下了不少诗文遗迹。