新石器时代,白山境内就有人类活动。
燕国置二龙湖古城、真番障塞管辖。并建有辽东郡吉林燕长城。
秦王政二十五年(前222年),此地属辽东外徼。
汉武帝元封三年(前108年),灭卫满朝鲜设玄菟郡,管辖吉林省东南部。先后属真番郡、玄菟郡。这是吉林地区纳入中原王朝行政建置之始。
东汉,属高句丽。
汉末至曹魏初期,属于公孙度东国。
三国初,属高句丽。正始三年(242年),魏幽州刺史毋丘俭讨高句丽,本地复属玄菟郡。
晋,为高句丽地。康帝建元元年(343年),本地属燕(前燕)。晋海西公太和五年(370年),前秦灭前燕,本地归前秦。后燕昭文帝光始四年(404年),高句丽复侵辽东,本地归高句丽。
南北朝,属高句丽。
隋,属高丽。
唐初,属高句丽。总章元年(668年),唐灭高丽,本地属安东都护府哥勿州都护府。开元元年(713年),本地属渤海国。并在今白山市临江所在地置神鹿县,为神州治所。咸通十四年(873年),置鸭绿江府于神鹿,为西京附郭,领神州(今临江市)、桓州(今集安县)、丰州(今抚松县)、正州(今通化市)。
五代初,归渤海。
辽天显元年(926年),灭渤海,改建东丹国。其后,渤海移民以今白山市为中心,建立定安国。
宋初,属定安国。太平兴国七年(982年),并入辽。
辽,属东京道。在今临江置渌州驻鸭绿江军节度使。领弘闻、神乡二县(今白山市)、桓州(今集安县)、正州(今通化市)、慕州(今柳河县)。
金,为东京路婆娑府地。
元,属辽阳行中书省沈阳路辖地。
明,属奴儿干都司建州卫及长白山寺。万历十九年(1591年),为努尔哈赤所并。
清初,属吉林副都统辖区。光绪二十八年(1902年),清政府依盛京将军增祺、奉天府尹玉恒奏请,划通化县东部地方设治猫耳山,置县名临江,属吉林副都统辖区兴京厅。设八道江巡检属通化县(1908年划归临江县)。光绪三十三年(1907年),废除将军制,东北实行行省制本地属奉天省,仍辖于兴京厅。宣统元年(1909年)5月,置林长海等处分巡兵备道于临江县。领长白、海龙两府,临江县、通化县、集安县。
中华民国初,仍沿袭清朝建制。民国二年(1913年),奉天省设东、西、南、北、中五路,白山地区属奉天省东路道。民国四年(1915年),改八道江分防巡检为八道江佐治局。民国二十三年(1934年)(东北沦陷时期)改属伪安东省。民国二十六年(1937年),划归伪通化省。民国三十四年(1945年),祖国光复后,划归安东省通化专署所辖。民国三十五年(1946年),划归辽宁省。
中华人民共和国初,属辽东省。1954年8月20日,划归吉林省,隶属通化地区。1959年,3月23日吉林省委批准撤消临江县设置浑江市。1960年1月7日,国务院批准浑江市府驻八道江镇,隶属通化地区。
1985年2月4日,国务院批复撤销通化地区,实行市管县体制,通化地区分治。通化地区下辖通化、浑江两县级市升格为地级市。
1986年9月8日,国务院批准设立浑江市八道江区、临江区、三岔子区。
1994年1月31日,国务院批复同意将浑江市更名为白山市。