调兵山的历史，可以追溯到大约一千年前。相传北宋时期金国兀术曾在此调兵遣将，调兵山因而得名。宋徽宗、宋钦宗曾被囚禁在调兵山市锁龙沟村的一眼枯井里“坐井观天”，调兵山之名更是闻名遐迩。

1956年，这里发现了储量极为丰富的煤田，1981年以铁法矿务局所属的行政区域及铁法、法库两县部分行政区域成立铁法市（县级），因该市邻近铁岭市和法库县而得名。2002年改名调兵山市。