衡山縣地在《禹貢》（《尚書·夏書》篇名。此篇將當時中國劃分為九州，分別記述其山川、物產、交通、貢賦，保存了重要的地理資料）荊州（古九州之一。《禹貢》雲：“荊州及衡陽惟荊州，北據荊山，南及衡山之陽”）之境（堯時衡山在荊州南境。舜時屬荒服。夏商未變，先後為三苗蠻族和揚越雜居之地），天文翼軫（yì、zhěn，翼、軫均為28宿之一。南方有井、鬼、柳、星、張、翼、軫7宿，稱朱鳥七宿。首位稱鶉首，中部〈柳、星、張〉稱鶉火，末位稱鶉尾）分野，鶉尾（chún，鶉尾為星次名，指翼軫二宿，古以為楚之分野）之次，本周麇（jūn）子國（另一說為糜子國。本誌和《嘉靖衡州府誌》等古籍都如此記載。對此，學術界有兩種不同觀點。①認同。即麇國或麇子國，在今湖北省鄖西縣天河一帶，周匡王三年，周與楚戰，楚大敗，庸國率臣服於楚的小國麇子，羅、百濮、蠻等叛楚。楚莊王率楚軍以退為攻，各個擊破，滅了庸、羅、百濮等十餘小國，然後集中兵力攻麇子。經七戰，敗麇子。麇子人敗逃至湖南衡山縣草市、楊林、高塘、南灣及攸縣一帶，立穩足後，進駐今衡山縣城等地，複立國麇子國，故衡山縣春秋時稱為麇子。②否認。見嶽麓書社1994年12月出版發行的《衡山縣誌》第716頁和《辭海》關於“麇人”注釋），春秋時為楚（周安王15年屬楚）。秦並天下，隸長沙郡（秦始皇24年）。漢（漢高祖元年複屬楚，漢高祖五年）封為長沙國湘南縣地（新始建元年，廢長沙國，湘南縣改屬荊州填蠻郡。東漢建武元年，屬荊州長沙郡湘南候國。建安13年，為劉備所占。建安20年，湘江東西一帶分別為孫權、劉備割據。建安24年，改屬孫）。三國時置衡陽縣，隸衡陽郡（三國時吳大帝黃龍元年屬吳，吳會稽王太平二年即公元257年，立衡陽郡兼置衡陽縣〈非今衡陽縣〉、湘西縣，轄今衡山縣、南嶽區及湘潭縣涓水以東和株洲縣湘江以西地區），其地（縣治）在今兜率寺（今永和鄉老糧倉一帶）側，距今縣治二十餘裏。晉改曰衡山（西晉惠帝永熙元年即公元290年，衡陽縣更名衡山縣，屬荊州衡陽郡，轄區與原衡陽縣同。永嘉元年8月，改屬湘州。東晉義洗十三年，複屬荊州。南北朝宋永初元年，重屬湘州衡陽郡）。隋以湘西、湘鄉二縣省入，隸潭州（隋開皇九年，湘鄉、湘西兩縣並入衡山縣，屬長沙郡，縣城遷湘西縣城即今株洲市淦田一帶）。（大業三年，改衡州為衡山郡，屬荊州，領衡陽、淶陽、湘潭、新寧四縣）。大業六年（轄今衡山縣、南嶽區、湘鄉縣、雙峰縣全境，湘潭縣、湘潭市區、株洲縣、株洲市區湘江西部地區和望城縣湘江以西南部地區），遷治於白馬峰下（今衡山縣開雲鎮環溪村一帶）。（唐武德4年，析出湘鄉縣。貞觀元年，屬江南道長沙郡。神龍二年，改屬衡山郡，轄區與晉時同）。唐神龍三年，禦史馬目襄奏複舊治，其後又以水患改遷白茅鎮，南臨湘水百二十步，即今縣治也（開元21年，屬江南西道采訪使。天寶元年，衡山郡改名衡陽郡，衡山縣屬之。天寶8年，湘江對岸原湘潭縣部分地區劃入，時衡山縣轄今衡山縣、衡東縣、南嶽區和安仁縣部分山區。五代後梁開平元年，屬南楚衡州）。晉天福五年，屬潭州。未幾，複隸衡州。宋乾德三年，又屬潭州。淳化三年，複屬衡州。四年，因茶鹽製置使雷有終請，遂定為潭之屬縣（至道3年，屬湖南路潭州長沙郡。鹹平5年，劃東南部地區給安仁縣。景炎2年，屬湖廣行省潭州路。元天曆2年，潭州路更名天臨路。至正24年，改天臨路為衡州府，衡山縣屬之）。明朝洪武初，仍隸衡州府。編戶三十二裏（舊時縣以下的行政單位），後並為一十七裏。案：在城一廂，在外六鄉，分十六裏。疆域：東西廣一百六十裏，南北袤一百八十裏。裏至：冬至攸縣，地名井衝為界，一百二十裏。西至衡陽縣，地名九渡鋪為界，四十五裏。南至茶陵縣，地名黃茅鋪為界，北至湘潭，地名柘塘鋪為界，三十五裏。東到攸縣一百八十裏。西到衡陽縣一百裏。南到茶陵縣一百九十裏。北到湘潭縣一百八十裏。東南到醴陵縣九十五裏，西南到安仁縣二百三十裏。東北到善化縣（係宋朝劃長沙縣五個鄉，湘潭縣兩個鄉而設。1912年並入長沙縣）二百八十裏。西北到湘鄉縣一百六十裏。形勝：南臨湘水，北負開雲，衡嶽諸峰，磅礴蜿蜒，三麵環拱如城。湖以南郡縣之治，雄壯奇勝莫能有過之者。歐陽永叔（歐陽修）雲：“山川秀麗稱衡湘”，豈虛語哉！？                

    上文來源：摘自2013年《重印明弘治衡山縣誌》          

後，清屬衡州府，民國廢府存縣，直隸湖南省。

1949年，中華人民共和國成立時，衡山縣域範圍包括今衡山縣、衡東縣、南嶽區，屬衡陽專區管轄。1951年12月，劃出南嶽及其附近山區，建南嶽特別區。1952年7月，南嶽特別區撤銷，歸入衡山縣建製。同年11月13日，衡山縣改屬湘南行政區。1954年，重屬衡陽專區。1960年4月，南嶽管理局升格為縣級行政單位，原南嶽公社劃分為南嶽公社和南嶽鎮，歸屬南嶽管理局。1961年3月，南嶽管理局將南嶽公社組建為南嶽、店門、祝融、師古4個人民公社，南嶽鎮不變。同年11月，新橋、馬跡、東湖、江東、貫塘、白果、鬆柏、望峰、貫底、棠興10個公社劃入南嶽管理局。1963年6月，南嶽管理局更名為南嶽縣，轄原南嶽管理局15個社（鎮）。1966年2月，撤銷南嶽縣，將其行政區域劃歸衡山縣，同時析出湘江以東地區建衡東縣。1983年，地市合並，衡山縣屬衡陽市管轄。1984年5月，析縣境中部南嶽鎮、南嶽鄉及後山的東湖、馬跡、望峰3個鄉中的10個村建縣級南嶽區，直屬衡陽市管轄。2005年，開雲鎮與師古鄉合並設立新開雲鎮。

根據湖南省委、湖南省人民政府鄉鎮區劃調整改革工作會議精神和《關於開展鄉鎮區劃調整改革工作的意見》(湘發〔2015〕15號)的相關規定，我縣於2015年10月29日下發《衡山縣鄉鎮區劃調整改革實施方案》，《方案》明確：東湖鎮和馬跡鎮合並，設立新的東湖鎮，鄉鎮駐地在原東湖鎮駐地；白果鎮和長青鄉合並，設立新的白果鎮，鄉鎮駐地在原白果鎮駐地；嶺坡鄉和望峰鄉合並，設立新的嶺坡鄉，鄉鎮駐地在原嶺坡鄉駐地；萱洲鎮和賀家鄉合並，設立新的萱洲鎮，鄉鎮駐地在原萱洲鎮駐地；開雲鎮和沙泉鄉合並，設立新的開雲鎮，鄉鎮駐地在原開雲鎮駐地。本次鄉鎮區劃調整，衡山縣鄉鎮由17個調整為12個，減少5個，除上述新設的開雲鎮、萱洲鎮、東湖鎮、白果鎮、嶺坡鄉外，永和鄉、長江鎮、福田鋪鄉、新橋鎮、貫塘鄉、江東鄉、店門鎮七個鄉鎮的名稱和駐地保持不變。