史稱的50萬大軍（屠睢和趙佗、任囂和趙佗）在數字上有一定的誇大，而根據林倫倫教授的論文，戰後留駐在嶺南的北方軍人的數量更要小得多。

原秦軍將領、後來的南越武帝恆山郡真定縣（今河北省正定縣）人趙佗建立南越國的時候，選擇番禺（今廣東省廣州市）作為國都，一個重要的原因就是因為番禺是原住民聚居的地方，南越王相的職位由呂氏擔任，也是因為呂氏是原住民豪強的代表人物。

《史記》卷九七陸賈列傳記載：

高祖使陸賈賜尉他印為南越王。陸生至，尉他（趙他即趙佗，曾為南越尉，所以稱為“尉他”）魋結（同“椎髻”，即束紮起一小撮像椎狀的髮髻）箕距（雙腿張開前伸兩膝微曲而坐，是一種不拘禮節、輕慢傲視對方的姿態）見陸生。陸生因進說他曰：“足下中國人，親戚昆弟墳在真定。今足下反天性，棄冠帶，欲以區區之越與天子抗衡為敵國，禍且及身矣。

陸賈從中原的文化觀念出發批評趙佗反天性，棄冠帶，但趙佗這樣做又不是有病，無非就是為了取得原住民的認同，依靠百越的民眾力量與漢朝政權抗衡。

如果不是原籍北方的人士（無論是軍隊成員還是移民）在嶺南人口中不佔優勢地位，即使只計算男性人口也是如此，則趙佗的這些政策和入鄉隨俗的做派完全沒有必要實施。

南越、閩越的甲卒都有數十萬，其全國人口必然是以百萬計的，東甌的人口據推算也有上百萬，元鼎五年漢武帝遣伏波將軍平南，駱越四十餘萬口降漢，加上未降的人口，駱越的人口也以百萬計，而南越、閩越、東甌、駱越只是百越中的四國（即使是比較重要的四國），所以百越的人口是相當驚人的。

根據《漢書南蠻傳》的記載，直到東漢，嶺南人口仍舊以少數民族為主。

凡交阯所統，雖置郡縣，而言語各異，重譯乃通。人如禽獸，長幼無別。項髻徒跣，以布貫頭而著之。後頗徙中國罪人，使雜居其間，乃稍知言語，漸見禮化。

當時的東漢政府是把從北方流放過來的罪犯（漢代史籍中最常見的流放地是相當於今天珠江三角洲以西到廣西南部沿海地區的合浦郡）和原住民雜居作為傳播漢語和漢文化的一項官方戰略來實施的。

總之，趙佗在廣州建立南越之後，原來的百越人一直繁衍生息在他們原先居住的土地上。