西周境内有鄅国及鲁国启阳、中邱等邑。启阳，乃今临沂城最早名称。春秋末期为鲁国地。战国后期归楚国。秦为启阳县，属郯郡。西汉时，为避景帝刘启讳， 启阳易名为开阳。元丰五年（前106年），在今城北白沙埠镇境内的诸葛城置临沂县、即邱县，与开阳县并属徐州东海郡。东汉建初五年（公元80年），置琅琊国于开阳。北魏中期，琅琊国改作琅琊郡，永安二年（529年）为北徐州治所。南朝宋移郡治于即邱，有临沂、开阳二县。隋大业初年（605年），将开阳、临沂、即邱3个县合并为临沂县，治今临沂城。唐武德四年（621年），在今郯城县褚墩镇西南部之兰山脚下置兰山县，武德六年（623年）兰山县撤销辖境并入临沂县版图（据《方舆纪要》）。北宋时，属沂州琅琊郡。尔后金、元、明、清几朝皆沿用沂州之称。明初，临沂县撤销入沂州（即以州代县）。清雍正十二年（1734年），沂州改称府，府治周围地区设县，名为兰山县。

民国二年（1913年），沂州府撤销，兰山县恢复临沂县之称。

中华人民共和国成立后，临沂县于1958年12月至1963年3月期间改称临沂市，后又称县，1983年9月，国务院批准恢复临沂市，为山东省辖县级市。1994年12月17日，国务院同意原县级临沂市撤销，其原辖行政区域内设置兰山区、罗庄区、河东区3个县级行政区。兰山区辖兰山、金雀山、银雀山3个街道，义堂、大岭、南坊、枣沟头、白沙埠、半程6个镇，李官、朱保、马厂湖3个乡。1997年3月，马厂湖撤乡设镇，2001年6月，大岭镇撤销，所辖38个行政村并入兰山办事处。2002年1月，兰山办事处、银雀山办事处、金雀山办事处分别改称兰山街道办事处、银雀山街道办事处、金雀山街道办事处。3月朱保、李官撤乡设镇。截至2002年12月，全区下设3个街道、8个镇。2003年1月，撤销南坊镇，设立南坊街道。截至2003年12月，全区下设4个街道，7个镇。2011年1月，将费县新桥镇、方城镇、汪沟镇划归兰山区管辖。2011年8月，撤销朱保镇，将其原行政区域并入义堂镇；撤销新桥镇，将其原行政区域并入方城镇。至今，兰山区辖兰山、银雀山、金雀山、柳青4个街道，枣园、半程、义堂、李官、白沙埠、汪沟、方城、马厂湖8个镇。