潘茂（一些书籍称“潘茂名”或“潘茂古”）是西晋时期的传奇道士。为粤西高凉郡人，世居于浮山岭附近的山村。因其一生悬壶济世，深得百姓爱戴。
二战末美军航空测绘茂名县（即现在高州市）周边地形图
相传潘茂于永嘉年间入山遇道士弈棋（该故事可能是参照了烂柯山之传说），被授予黄精不死之方，遂于东山炼丹而飞升成仙。
清光绪年间高州府城图
隋初置茂名县，属高凉郡，县名即取自潘茂。唐初茂名属高州。武德四年，以合浦郡之南昌、定川两县置南宕州，州治南昌县。贞观元年，南宕州迁治定川县，茂名县改隶其下。
贞观八年（634年），改南宕州为潘州，迁治茂名县，茂名唐故城即被推测筑为此时。不久废潘州，茂名仍归高州。
国民政府陆军部测绘茂名县（高州市）
后高州、潘州或废或置。直至北宋开宝五年（972年）省潘州入高州。
元大德八年，高州路迁治茂名县，至正十五年（1355年），高州路还治电白县。
1941年茂名县（高州市）城区图
明洪武元年，高州府再度迁治茂名县。洪武二年，设高州守御千户所，隶属神电卫。洪武十四年，千户陈富于唐代旧城之外重新建筑新城，包以木栅围合。
50年代茂名县（高州市）
洪武三十一年，千户张真以砖包砌城垣。城墙周长六百十四丈，高一丈四尺。开设城门五座：东门迎阳、南门广济、西门通川、北门、小西门。城门之上均建有城楼。
景泰末年，广西境内爆发“藤峡盗乱”。即盘踞大藤峡一带以瑶、僮两族为首的民变，演化为大规模起义。
高州府城范围示意
天顺年间，叛乱蔓延至广东的高州、廉州、雷州之境，所到之地均被损毁，期间叛军攻克茂名（高州府城），毁掉了东、南、北三座城门。成化三年，知府孔镛、守备指挥欧磐将其修复。次年，指挥李信又增修城墙，增高四尺。
民国时期茂名县缩乡图
嘉靖四年，知府庄科将东城墙外扩，包学宫入城中，周围筑子城。嘉靖十一年，塞废小西门，两年后又废子城，并塞旧南门改开新南门，取名高明门。嘉靖十五年，辟南街直行稍转而西接通衢建履坦门。
嘉靖二十五年，又开小西门高辛。万历年间，知府熊廷相复开旧南门，塞废新南门。又于小西门外加建一重城门。
1941年广东省茂名县图
天启元年，参议苏宇庶以古东门（即唐代故城东门）利于离明(风水用词)，新北门偏于龙背，遂复旧旧东门，塞废新东门。
清康熙十七年，将军舒恕会同高雷廉总兵马云程修整四门城楼。乾隆三十六年，开文明门，并修南门外层楼。
民国时期茂名县图
民国二十八年至二十九年，因全面抗战开启，一来为方便日军飞机轰炸时疏散群众，二来为防止日军占据城墙后固守（国军缺乏攻城的重火力，故而日军据城墙防御有优势），茂名城墙被政府下令拆毁。
近代，原茂名县治地方改为高州市（县级市），原茂名县南部地方成立的茂南县（现为区）则成为茂名市（地级市）的政府驻地。
