衡山縣人口和計劃生育局是負責全縣人口和計劃生育管理服務的政府工作部門。內設辦公室、政策法規股、科學技術股、計劃統計股、財務股、人事股、獎扶辦等7個股室。下設計劃生育宣傳指導站、計劃生育藥具管理站、社會撫養費征收辦公室、計劃生育技術服務站等4個二級機構。