潜山二中前身为潜山初级师范学校，创办于1956年1月。后因师范停办，1961年8月至1968年7月改为潜山中学高中部。文革期间停办，校舍充作县电机厂和百货公司仓库。1977年7月辟原址为“潜山县第二中学”。1984年学校改制为安徽省天柱高级职业中学。1993年5月，恢复普通高中建制，校名为“潜山县第二中学”。
学校坚持以“以科学的教育震撼心灵，以顽强的学习铸就人生，以民主的管理谋求发展，以骄人的业绩回报社会”为办学理念，以“砺志、修身、博学、笃行”为办学宗旨，以“团结、文明、开拓、创新”为校园文化精髓，坚持“以人为本”的发展观，最大程度地营造发展环境，最大限度地发挥教育资源，最大效益地满足社会需要，凭着敢为人先的气魄，饱经沧桑的智慧，不甘后人的意志，博爱平等的力量，精心雕琢着自己的品牌。
潜山二中2001年率先在全县建造全市一流的科技馆，并添置达到国家一类标准的电化教学设备和先进的物理、化学、生物、信息、天文、艺体等教学设置，为学校的发展奠定了基础。2002年率先在全县实施远程教育，与北大附中共同建成远程教育示范学校，填补了全县远程教育的空白。2003年率先在全县提出申办市示范中学并成功晋升，从而带动全县普通高中办学水平实现了跨越式发展。2004年教学成绩取得历史性突破，率先在全县教育系统走出国门，实现了“内强素质，外树形象”的办学阶段性目标。
学校为教师的全面发展和事业成长搭建宽阔轻松的平台，鼓励教师走出校门、走向各地，教育教研蔚然成风。在县、市、省、全国各地都有二中老师取经的足迹，学习的身影，交流的声音；在市、省、国家级刊物上都有二中老师新颖的观点，独到的见解，智慧的经验。学校形成了一支以中青年骨干老师为主体、教育教学艺术精湛的师资队伍，现有国家级骨干教师1人，省级骨干教师3人，高级教师61人，一级教师28人，并有省、市、县级教坛新星和省市优质课奖获得者20余人。教师在国家级、省级教学刊物上发表论文200余篇。
学校教学成果斐然。高考成绩稳步上升，应届生高考达线率连续五年名列前茅，其中 1997年、1998年应届本科达线率均为全县普通完中第一，2000年居全县第二。2004年高考本科达线人数首次突破百人大关。有大批学生被北京大学、中国科技大学、中国人民大学、南开大学、同济大学、复旦大学、上海交通大学等名校录取。中考成绩连年上台阶：1999年进入县十强；2000年中考达线率跃居全县第二，完中第一，其中桂玢同学以671分获“中考状元”；2002、2003年中考综合评比均获全县第二名。学生参加国家、省、市级学科竞赛获奖有520人次，其中国家一等获1人，省级特等奖1人、一等奖2人、二等奖4人，在报刊上公开发表习作200余篇。学校获得“优秀教学成果奖”。