乘亂立業

當時八王之亂戰火再起，趙王司馬倫、齊王司馬冏及長沙王司馬乂先後以軍事力量上臺掌權，司馬倫更曾篡位稱帝，天下大亂，盜賊蜂起。劉淵叔祖父劉宣見此，決心乘著西晉朝政混亂振興匈奴，於是秘密與族人推舉劉淵為大單于，又派遣呼延攸到鄴城通知劉淵。劉淵向司馬穎請歸不果，於是派呼延攸先回幷州，命劉宣召集五部匈奴和在宜陽的一眾胡人，名為支援司馬穎，實質上卻圖謀叛變。

永安元年（304年）司馬穎擊敗司馬乂，成為皇太弟，任命劉淵為屯騎校尉。不久東海王司馬越和陳昣等與惠帝征討司馬穎，司馬穎又任命劉淵為輔國將軍、督北城守事。及至惠帝兵敗蕩陰被俘至鄴城，司馬穎再任命劉淵為冠軍將軍，封“盧奴伯”。但在蕩陰大戰後不久，東嬴公司馬騰和安北將軍王凌等就起兵討伐司馬穎，劉淵趁機向司馬穎建議讓他回匈奴五部領部眾支援司馬穎，共同抵抗司馬騰和王凌的討伐部隊。司馬穎同意並拜劉淵為北單于、參丞相軍事。

劉淵回左國城（今山西呂梁市離石區）後，劉宣便為劉淵上大單于稱號，二十日之間就聚眾五萬，定都離石。及後劉淵被司馬騰盟友拓跋猗？和拓跋猗盧擊敗，同時司馬穎亦因受不住王凌大軍的進逼而棄守鄴城，帶惠帝逃回洛陽。劉淵在劉宣的反對下，最終決定不援救司馬穎，遷至左國城，又吸引數萬人歸附。

建漢自立

永興元年（304年）十一月，劉淵以自己祖先與漢朝宗室劉氏約為兄弟而自稱“漢王”，建國號漢，改元元熙，並追尊蜀漢後主劉禪為孝懷皇帝，又設漢高祖劉邦、漢光武帝劉秀、漢昭烈帝劉備、漢文帝劉恆、漢武帝劉徹、漢宣帝劉詢、漢明帝劉莊和漢章帝劉炟等八位西漢、東漢和蜀漢皇帝的牌位；前三者為三祖，後五者為五宗，以漢室繼承者自居。同時自置百官，正式建立一個脫離西晉朝廷的獨立政權。

劉淵稱王后，身為幷州刺史的司馬騰便派將軍聶玄討伐，但遭劉淵於大陵擊敗。司馬騰知道聶玄兵敗後十分恐懼，率幷州二萬多戶人南下山東地區。劉淵亦派劉曜先後攻陷太原、泫氏、屯留、長子、中都等地方，擴闊領土。次年（305年），劉淵所派將領劉欽再度擊敗司馬騰所派的討伐軍。同年幷州爆發大饑荒，離石亦受影響，劉淵於是遷都黎亭。永嘉元年（307年），劉淵已攻陷幷州大部分郡縣，並派兵進攻新任幷州刺史劉琨。但劉琨擊敗漢軍，成功保著治所晉陽。戰後劉琨努力經營幷州，更離間收降劉淵部下雜虜，漢軍向幷州北部擴張的計劃因而受阻。劉淵於是聽從侍中劉殷和王育派兵進攻其他州郡，南侵進據長安和洛陽的建議；同時，汲桑、石勒、王彌、鮮卑陸逐延和氐酋大單于單徵數個在其他地方的軍事力量都相繼歸降劉淵，劉淵亦一一任官封爵，令漢國力量更為壯大；亦因這些加入者起事和影響的地方在冀州、徐州、青州等地，西晉受漢國侵襲的地區大大增加。永嘉二年（308年），劉淵攻破司州河東郡的蒲阪和平陽郡的平陽城，更遷都蒲子，令兩郡屬下各縣抵抗劉淵的營壘都全部投降。同時亦派劉聰、石勒等南攻太行、趙、魏地區。

十月甲戌日（308年11月2日），劉淵稱帝，改元永鳳。永嘉三年（309年），太史令宣於修之認為都城蒲子所處崎嶇難以久安，建議遷都平陽。劉淵聽從並立刻遷都至平陽，改元河瑞。劉淵及後派劉聰、王彌等進攻壺關，先破劉琨所派援軍，後於長平擊敗晉東海王司馬越所派的援軍，成功攻陷壺關。劉淵於是先後於當年八月和十月派劉聰等領兵進攻洛陽，但都被晉軍擊敗，劉淵唯有撤軍。

次年劉淵病重，命太宰劉歡樂、太傅劉洋等宗室重臣入宮接受遺詔輔政。七月己卯日（8月19日），劉淵逝世，由太子劉和繼位。九月辛未日（10月20日）下葬永光陵，諡光文皇帝，廟號高祖，後改太祖。