當時秦始皇統一中原，就開始了征伐南越，前後派了五十萬大軍，在南越建立了南海郡、桂林郡、象郡這三郡，當時為了防止南越山民反覆，五十萬大軍並未召回，還遷徙內地的人口和南越人混居，希望能夠徹底歸秦。畢竟當時秦已一統，甚至又開闢了南越之地，秦始皇也不會想到秦國會在他死之後滅亡。

而這五十萬大軍，在各地接連發生起義之後，並未回援。至於為什麼呢？這裡就得提到趙佗這個人，秦始皇在位時，他只是南海龍川令，到了秦二世的時候，南海尉任囂重病將死，他把趙佗叫過來對他說“現秦無道，天下苦之。陳勝、吳廣、項羽、劉季都在興兵作亂，逐鹿天下，中原大地到底是個什麼結果誰也不知道啊，南海偏遠，我想把馳道掘斷，自備以待良機啊，但是我病重，也只能信任你，這件事以後就交給你了。”趙佗當即傳檄給橫浦、陽山、湟谿三個關口說“叛軍馬上就要來攻打我們了，趕緊絕道自守”然後殺了秦朝派下來的長吏擁兵自重。所以這五十萬大軍，也就不可能回援秦朝了，趙佗也算是秦滅的禍首之一了。

當秦以亡的訊息傳到趙佗這裡的時候，他立即出兵攻打桂林、象郡，然後自立為南越武王，徹底封絕通往南越和中原的道路。

當時漢高祖劉邦剛平定天下，也就沒有去征討趙佗，趙佗也表示臣服，然後漢十一年的時候派遣陸賈正式冊封趙佗為南越王，乃漢朝附庸。一直到建元四年，也就是漢武帝時期，趙佗才死，然後他的孫子即位。