1937年10月，日军侵入山东。中共山东省委先后领导了徂徕山、黑铁山、天福山等地人民抗日武装起义，建立了十多支游击队。1938年12月，经中央批准，八路军山东纵队在沂水成立，张经武任指挥，黎玉任政治委员，王彬任参谋长，江华任政治部主任。下设供给部、卫生部。下辖第二、第三、第四、第五、第六、第八、第九、第十二、第十三支队，陇海游击支队、临郯独立团等。随后，山东纵队下辖的挺进支队编入八路军第一一五师第六八五团改编的苏鲁豫支队。2月至5月，山东纵队贯彻执行八路军总部整军训令，将所属部队整编为第二、第三、第四、第五、第六、第八、第九、第十二支队和挺进支队、陇海南进支队，鲁南人民抗日义勇队第一总队。（亦称直辖第四团），临（沂）郯（城）独立团。10月，八路军第一纵队机关与山东纵队机关合并，保留山东纵队番号。1940年6月，山东纵队机关恢复建制。1942年，根据中央军委指示，山东纵队先后进行整编：纵队机关与第一一五师合署办公，改为山东军区，黎玉任政治委员，王建安任副司令员，江华任政治部主任；纵队机关一部组建为鲁中军区；第一旅调归第一一五师改为教导第一旅；第二旅机关改为滨海独立军分区，第三旅机关改为清河军区，第四旅机关与鲁中第一军分区合并，第五支队机关改为胶东军区；第五旅归山东军区建制。整编完成后，八路军山东纵队番号撤销。