香零山位于市区东部，潇水河中心，面积宽15米，长25米，高出水面12米，是一座岩山小岛。 这座天然的石矶结构山岛，随着潇水的水势展现不同的景色。当水势汹涌时，它显得小舟中的一只船，在水势较弱时，它矗立在水中。在雨后的日出时，山脚被烟雾笼罩，朦胧的雾雨中，来往的船只若隐若现，营造出一种恍若隔世的景象，因此被称为“香零烟雨”，是永州的八景之一。柳宗元曾在诗中怀念香零山的美景。