1937年7月卢沟桥事变爆发后，中共山东省委根据党中央和北方局的指示，领导和组织了多次抗日武装起义。12月24日，中共胶东特委按照省委要求，领导了文登县天福山抗日武装起义，成立了山东人民抗日救国军第三军。1938年1月16日，胶东特委又发动了威海卫抗日武装起义。两支起义部队会合后，成立胶东军政委员会和山东人民抗日救国军第三军司令部，理琪任军政委员会主席兼第三军司令员。不久，理琪率部在牟平县雷神庙同日军激战中壮烈牺牲。1938年5月，胶东特委和第三军西进到沿渤海的蓬莱、黄县（今龙口市）、掖县（今莱州市），与鲁东抗日游击队第七、第八支队和胶东抗日游击队第三支队一起，创建莱黄掖抗日根据地，并建立了抗日民主政权——北海专署。北海专署辖地3177平方公里，有人口163万。专署发行的北海币后来成为党领导的抗日民主根据地的主要货币之一。八九月间，第三军和第三支队合编为八路军山东人民抗日游击队第五支队，高锦纯为司令员，宋澄为政治委员。1938年12月，八路军山东人民抗日游击队第五支队改名为八路军山东纵队第五支队，部队发展到7000多人。此后，胶东的抗日斗争和根据地建设进入了大发展阶段。1939年9月，在胶东组建八路军山东第三军区。1940年9月，八路军胶东部队奉命整编，第五支队改番号为第五旅，吴克华任旅长，高锦纯任政治委员，军区改为第五支队。1942年7月，成立胶东军区，许世友任司令员，林浩任政治委员。抗日战争进入战略相持阶段后，中共胶东区党委依托大泽山、牙山、昆嵛山大力发展抗日根据地，建立“三三制”政权，实行减租减息，保证各阶级利益，保障人民生活，发展经济和文化教育事业。1941年2月，随着抗日根据地的发展，胶东行政联合办事处作为整个胶东抗日根据地统一的政权机构成立。随着抗日斗争和根据地建设的发展，中共党组织不断壮大，到1940年底，全胶东区的党员达到了3万多人，林浩任区党委书记。胶东地区作为黄金重要产地，是日本侵略军进行经济掠夺、以战养战的必争之地。根据地军民同日军展开了激烈的黄金争夺战，并向中共中央、北方局和山东分局提供了13万两黄金作为抗战经费。1942年冬，日军1.5万余人，伪军5000余人，10余架飞机和26艘军舰，在日军华北方面军司令官冈村宁次亲自指挥下，在山岳纵横、地形复杂、三面临海的胶东地区，采取步兵从西向东推进，海军在沿海严密封锁的战法，对胶东根据地进行“拉网合围”的大“扫荡”，妄图将八路军胶东部队压缩、包围在半岛东端加以歼灭。在40多天的反“扫荡”战斗中，八路军英勇作战，歼敌2000多人，救出了被日军包围在马石山上的群众2000多名，粉碎了日、伪军对胶东抗日根据地最大规模的“清剿”、“扫荡”。
