14世纪中期，日本境内战乱频繁，一些武士战败后失掉军职，成为浪人。为了生存，他们横行海上，经常洗劫中国沿海地区，时称“倭寇”。威海地处胶东半岛最东端，倭患尤为严重。

为此，1369年，明朝在威海地区设赤山寨（今荣成市石岛镇北）、温泉寨（今环翠区泊于镇东北）、辛汪寨（今环翠区寨子村），每寨设弓兵百名。后来倭寇越来越多，这几个寨已不足以与倭寇抗衡，明朝遂于1380年析当时文登县最东端的滨海地置成山卫，在文登普庵郡建靖海卫，后来又在1398年，于文登辛汪都东北部设威海卫。

威海卫、成山卫、靖海卫三卫配合完美,给倭寇以重创。1406年，倭寇侵扰威海卫，先在城外进行疯狂杀戮，随后大举进攻卫城。威海卫指挥佥事扈宁率领官兵和百姓与倭寇血战，坚持到援军到来，最终内外夹击，将倭寇击败。此后一百多年，威海卫再无倭寇侵扰。除了军事意义，三卫也有力地推动了威海地区政治、经济和文化教育的发展。卫在政治地位上高于县，所辖地区的有关待遇自然要高于县。卫虽然是军事性编制，但也有组织屯军、发展生产的任务。具体而言，就是春耕夏播，秋后练兵，生产、练兵两不误；卫里设集市，十天开集三次，这极大地促进了当地商品流通、贸易发展；卫中还设卫学，卫学的层次要高于私塾，对文化教育的贡献自然更大。来自全国各地的官兵，又将家乡的民俗文化、生产技术带到威海，加快了当时威海本地文化与其他地区文化的交流与融合，使威海的传统生产方式有了很大改进和提升。

明代在中央设五军都督府，作为全国的最高军事机构，统管各地方最高军事领导机构——都指挥使司。都指挥使司下辖若干个军事机构卫，卫下辖一定数量的千户所和百户所。平时卫所军士且耕且守，每逢战事则进行战斗。明朝还曾在威海设营，以预防来自海上、出兵灵活的倭寇攻打一卫，其余二卫不能及时救援的状况。