至2019年12月，临沂市辖兰山、罗庄、河东3区，郯城、兰陵、莒南、沂水、蒙阴、平邑、费县、沂南、临沭9县，30个街道办事处，8个乡，118个镇。市人民政府驻兰山区。

临沂西周时分属鲁、莒、郯、鄅等诸侯国。战国属齐、楚。秦属琅琊郡和郯郡。西汉分属琅琊郡、东海郡、城阳国和泰山郡。东汉承西汉制，区划略有改动，琅琊郡改为琅琊国，迁治开阳(今临沂)。三国魏为琅琊国、东海国、城阳郡地。晋仍分属东海郡、琅琊国、城阳郡。北魏分设琅琊郡、东海郡、兰陵郡、郯郡、东莞郡、东安郡。北周于郡名之上冠以州名，属沂州琅琊郡、邳州郯郡、海州东海郡。隋为沂州(琅琊郡)地，一部分属泗州(下邳郡)、海州(东海郡)。唐、宋为沂州(琅琊郡)地，部分属密州(高密郡)、海州(东海郡)。金属沂州和莒州。元、明因之。清雍正十二年(公元1734年)皆入沂州府。1913年属济宁道。1925年置琅琊道，治临沂。1928年撤销。1936年置山东省第三行政区。抗日战争时期分属鲁中、鲁南、滨海3行署。1948年改属沂蒙、滨海专区。1950年改置临沂、沂水专区。1953年沂水专区并入临沂专区。1967年改称临沂地区。1989年临沂地区所辖的日照市析出，沂源县划归淄博市。1992年莒县划归日照市后成今境。1994年12月改为市。