趙佗城遺址在樂城西南約１公里的武江西岸。秦二世元年（西元前２０９年），龍川令趙佗接任南海尉，爾後稱南越王。《樂昌縣誌》記載：“趙佗爲南海尉，值中原大亂，移檄南安橫浦關（南雄梅關）、桂陽湟溪關（陽山縣陽山關），絶新道築城二：一在今仁化縣北（城口），一百三十裏，以壯橫浦。一在今縣治西南二裏，以壯湟溪。”“秦二世三年，南海尉趙佗築城河南水。”又《廣東新語》記載：“瀧口西岸，有趙佗古城。佗昔自王，首築此以扼楚塞，蓋以秦新道惟此瀧最險。彼北從湞水，西從漓水以入者，險不及瀧口。”由此可見，當年“以扼楚塞”的趙佗城。在絶了秦辟的梅關、陽山關新道之後，爲防衛疆土，定然駐紥了大量軍隊，商賈的往返，必然走此未絶的瀧水之道。

　　從城址附近的大拱坪村後山（麻紡廠），１９８７年至１９８８年出土２００多座戰國、秦漢時期的古墓來看，卻反映了當地的歷史文化、居民生活水準和社會發展概況。中原文化通過瀧口進入趙佗城，也勢必通過趙佗城與嶺南各地交流。那麽，趙佗城亦非純粹軍事上的關隘，它還包含著交通要地和貿易市鎮，相信其市井規模亦非一般的屯兵營盤可比。

　　漢元鼎六年（西元前１１１年），南越國亡，漢朝統一，趙佗城的作用隨之起了根本變化，地位下降了。後來在千多年的歷史演變中，再沒發現留下有關文字。在《樂昌縣誌》中只有“元至元十二年（西元１２７５年），城爲郴寇所毀”的簡單記載。據此趙佗城的存在有著１４００年左右的歷史，自漢以後，此處大概仍居住著相當數量的男耕女織的平民，且經濟上還值得“郴寇”的光顧，是遭到暴力後才受到破壞的。康熙十二年（１６７３年），廣東史學家屈大均從騎田嶺經湘南入瀧水，出瀧口（張灘）仍見趙佗故城聳立眼前，這時屈大均詩興大發，作五律《任囂城》：“瀧口高城在，將軍舊啓疆，觀星知越霸，絶道待秦亡。……”可見趙佗城址仍然是存在的。

　　１９８６年８月，縣考古工作者查閲了衆多有關資料，雖看到不少志書中有趙佗城的記載，但欠確切的地點，從祝鵬著《廣東省廣州市、佛山地區、韶關地區沿革地理》的書中可考：“在樂昌縣城西南三裏，隔武水，北對泐溪，流入武水之口，也就是任囂城，任囂城是一座現在還有確址的古城。”終於在武江西岸找到了古城遺址。

　　遺址建築於沿河臺地，現存臺地往南延伸約５０米，高出一般地面約２米，距河水面約１０餘米。東北緊靠武江，西望今衡廣複綫武水鐵橋，南距樂昌縣第一中學２００餘米。１９８８年６月，於遺址試挖探方（４米×４米），發現距表土０．５米處爲文化層堆積，出土大量的筒瓦、板瓦和陶器殘片。文化層以下發現殘墻基址，爲西南方位的城墻轉角。高約０．６米，厚２米，呈曲尺形，從西往北長３米，從西往南長１２．８米，建築材料爲河卵石與黃泥。墻廓內往北延伸處是今之武江河中心，當年的城址已大部分爲河牀，靠河邊的土層剖露處仍見有板瓦、筒瓦和陶器殘片。在城廓基址內同時出土兩件高４０釐米、長寬各６０釐米的河卵石狀柱礎石和紅燒土塊，可能是當時樑柱和伙房留下的殘跡。這些器物以及建築形制，均具秦漢時期的特點。

　　趙佗城遺址的發現與文物出土，彌補了各種志書中未及記載的一些歷史史實。爲嶺南樂昌補上了古文化的積澱與遺存。