临沂市西晋惠帝元康元年（公元291年），将原属东海郡的兰陵、氶、戚、合乡、昌虑析置兰陵郡，郡名来源于其下辖的兰陵县（今临沂市兰陵县） ，县郡同名，治所不同地。郡治所设在氶城（今枣庄峄城东部） 。北魏被废，东魏武定五年（公元547年）复置，其郡治在氶、昌虑县。南北朝战乱，行政区划也变得混乱无比，但范围大抵仍在今山东省枣庄市中东部至临沂市兰陵县一带。隋开皇三年（公元583），废兰陵郡。从此，兰陵郡彻底消失。