临沂，以临近沂河得名。商朝时，本区南部郯城、苍山县地属大庭国。西周时，境内有郯、鄫、鄅、鄪、向、莒、阳、根牟、郜、祝等诸侯国，另有少部属邾国、鲁国地。春秋末期，本区南部为楚国地，北部为齐国地。秦，分属琅琊郡、薛郡和郯郡。西汉时，属东海郡、琅琊郡、泰山郡、城阳国。东汉承西汉制，区划略有改动，琅琊郡改为琅琊国，迁治开阳（今临沂市兰山区、河东区、罗庄区）。三国时，为曹魏地，分属琅琊郡（国）、城阳郡、东莞郡、东海国。西晋时，分属东海郡、琅琊国、城阳郡、东莞郡、泰山郡等。北魏时，本区内设立了琅琊、兰陵、郯、东莞、东安、东海等郡。北魏永安二年（529 年），置北徐州，治于即丘（今临沂城西北）。北齐承北魏制，本区分属琅琊等郡，改东海郡为北海郡，并撤销东莞郡，置义塘郡。蒙阴县并入新泰县。北周时，将北徐州改称沂州，北海郡恢复为东海郡。同时将郡名称前冠上州名，是为沂州琅琊郡、邳州郯郡、海州东海郡、莒州东安郡（郡治设于新泰）。隋代，本区分属沂州（琅琊郡）、泗州（下邳郡）、海州（东海郡）。隋开皇十六年（596 年），始治沂水县。唐，本区分属河南道沂州、密州、海州。武德四年（621 年），设置临沭县。元和年间，始置郯城县。五代承唐制。北宋，本区分属京东东路的沂州、密州和淮南东路的海州。南宋时，淮河以北属金朝地，本区分属金山东东路之沂州、莒州。元代，本区各县分属都省（即行中书省，又称腹里）益都路沂州和莒州。明朝，本区各县分属山东兖州府沂州、青州府莒州。清初沿袭明制。清雍正十二年（1734 年），本区各县皆属沂州府。清嘉庆二十五年（1820 年），政区略有调整，计有兰山、郯城、莒州、日照、蒙阴、沂水、费县 7 个州县。

民国二年（1913 年），撤销沂州府。原所辖除日照县外的其余 6 县隶属济宁道。民国十四年（1925 年）9 月，原沂州府辖均属琅琊道，治临沂。民国十七年（1928 年），道撤销，各县直属山东省。民国二十五年（1936 年），置山东省第三行政督察区，辖临沂、郯城、莒县、日照、沂水、蒙阴、费县、峄县 8 个县。1938 年 4 月，日本侵占该区。后中国共产党建立了抗日根据地，本区分属鲁中、鲁南、滨海三个行署。

1950 年，改属滨海、沂蒙专区，后本区改置临沂、沂水专区，共辖临沂、郯城、苍山、兰陵、临沭、费县、赣榆（竹庭）、邳县、东海、新海连、沂水、沂南、蒙阴、蒙山（1952 年撤销）、莒沂（1953 年撤销）、莒县、莒南、日照。1953 年，沂水专区撤销，所辖除日照县划归胶州专区外，其他各县划归临沂专区。同时，将滕县专区所辖平邑县划归临沂专区（白彦县此时已撤销），将临沂专区所辖赣榆、东海、邳县和新海连市划归江苏省（兰陵县此时撤销）。1956 年 2 月，胶州专区撤销，日照县划归临沂专区。3 月，临沭县撤销。1958 年 10 月，沂南县撤销。12 月，临沂县改为临沂市。1961 年 8 月，临沭、沂南两县恢复。1963 年 3 月，临沂市改为临沂县。1967 年，临沂专区改为地区，辖临沂、郯城、临沭、莒南、莒县、日照、沂水、沂南、沂源、蒙阴、费县、平邑、苍山等县。1983 年 9 月，临沂县复改为市。1985 年，日照县改为日照市。1989 年 6 月，日照市升为地级市。10 月，沂源县划归淄博市。1993 年 1 月，莒县划归日照市。1994 年 12 月，撤销临沂地区行政公署，设临沂市。原临沂市分设兰山、罗庄、河东三区。至今，临沂市辖郯城、兰陵、莒南、沂水、蒙阴、平邑、费县、沂南、临沭等9 县和兰山、罗庄、河东 3 区。