乐昌临河高居，古有“泷口”之称。秦末中原大乱，南海都尉任嚣欲割据岭南以图进取，任嚣死后由赵佗继任之。赵佗绝道断关，筑城两座，其中一座就在后世乐昌县治以南隔河二里之地。

同治县志中县城全图

此城俗称佗城，至今仍有遗址可考，按广东省文物考古队、乐昌文物工作者共同考古发掘，遗址为城墙转角东、西向长58.7米，南、北向宽28.5米，面积约1673平方米基址。遗址内出土器物有绳纹瓦、筒瓦、陶片等文化遗存。

1932年国民政府陆军部测绘乐昌县城

南梁天监七年（508年），分曲江县西北境置梁化县，治设郭东都，此为乐昌建置之始。

天监十七年（518年），又分梁化县置平石县，治设三星坪（老坪石），民国时曾在三星坪挖出铁铸城脚，板宽丈余厚尺许，推测其为平石县城遗址。

民国县志县城及城外街道图

隋开皇九年（589年），梁化县治迁至赵佗城。开皇十二年（592年）废平石县并入梁化县。开皇十八年（598年），改梁化县为乐昌县。

乐昌古县城范围示意

明洪武二年（1369年），知县索彦胜将县治由赵佗城迁至今址，并筑土城一座，周围三百六十丈，开城门四座。成化三年（1467年），知县潘昱重加版筑。

1941年乐昌县城市图

弘治年间，通判伍惠；知县吴景温、叶蓁、宋瑚相继以砖甃（包砌）之。弘治十三年（1500年），知县袁尚宾重修四座城门，并为四门命名：东门东川、西门西泷、南门武水、北门桂山。

1941年广东省乐昌县图

正德七年（1512年），知县林琦增筑东、南、北三门瓮城。嘉靖四十一年（1562年），筑西门瓮城，但不久就遭泷水冲毁。崇祯十年（1637年），山寇频频出没，招民为兵以守城。崇祯十四年（1641年），因时局动荡对城墙重加修筑，将城墙加高六尺，增以雉堞。

民国时期乐昌县缩并乡镇区域图

清咸丰三年（1853年），泷水横涨，冲垮城墙数处。当时是，因太平天国动乱，全省各地告警。东门外郭门（即瓮城城门）原南向，知县经文改筑正东，改名曰朝阳，如此溪水环卫可以固守。

民国时期广东省乐昌县图

咸丰五年（1855年），知县方鑑源以北郭门向东不如正北之开敞，遂改开向正北，改门名为拱宸。西门改名为韩泷，南门改名为阜财。