來雁塔，衡陽名勝之一，距市中心約3公里，與回雁峯對峙，寓雁有來回，故名爲來雁塔，該塔興建的目的是用以導航，類似今日的航標燈塔。塔基爲壘石構成，塔身用青磚砌成。整個塔體內爲樓閣式，共七層，呈八角形，高28米。塔的第一層東南設門，南向拱門上嵌有清兵部尚書彭玉麟手書“來雁塔”橫額的漢白玉碑一塊。從第二層起塔身逐級遞縮，塔的每層皆設有對稱神，開兩窗四門，可憑遠眺望。塔檐爲疊座，下無斗拱，外壁飾石圖案。拱門上有石質龍鳳浮雕。塔角舊有風鈴，塔上有鐵頂，置相輪。整個塔的結構突出了明代的建築特點。此塔自建成後，歷經多次修繕，保存至今。現爲省級文物保護單位。
據清乾隆《衡陽縣誌·古蹟》載：“萬曆辛己（1581），宗伯曾朝節倡郡人建浮屠其上……經十三載而告成。”其後，清嘉慶、道光、同治及民國年間均曾修茸，基本保持明代建築風格。來雁塔系樓閣式磚石塔，座北朝南，七級八楞，中空，通高36米，底邊長7．3米。塔置於須彌座石基上，塔基施圖案雕飾。門額爲漢白玉石質，中鐫“來雁塔”三個大字，系清同治年間兵部尚書彭玉麟書丹。塔旁原建有山門和雙練、印湘二亭，均廢壇；寶瓶於1944年部分毀於戰火。1989年，市政府對來雁塔進行全面維修，修復了塔體、塔檐以及各層檐角和塔頂上的鰲魚、獅、龍、卷草等堆塑，復原了寶瓶、垂帶踏跺和二、三級外檐上的石欄杆，恢復了山門。時，市長蘇建民作《續修來雁塔記》，由文化局長李正南書丹，鐫碑嵌於第一級門洞左壁。來雁塔於1959年和1974年兩次公佈爲市級文物保護單位，1983年10月10日被公佈爲省級文物保護單位。