在中央官制上，隋文帝废除北周六官制，确立五省六曹制，后演化为三省六部制。隋文帝在中央设最高行政机构尚书、门下、内史三省，尚书令、讷言、内史令作为三省的长官，官职共同为宰相。内史省负责决策，门下省负责审议，尚书省负责执行。隋文帝又在尚书下设吏部、礼部、兵部、刑部、户部、工部六部，每部设尚书，用以执行政令、处理政事。在汉魏时期，三省已有雏形存在，但三省并立同行，各有分工，三省长官共同向皇帝负责则是始于隋文帝。三省之间互相牵制和补充，既能保证政令的实施，又能避免专权独大的状况出现，对君主专制起到了加强的作用。 在地方行政制度上，隋文帝变州、郡、县三级制为州、县两级制。通过裁汰冗官，精简机构，隋文帝进一步为国家节省开支，同时也提高了行政效率。隋文帝废除了汉代以来州县长官自辟僚佐的制度，规定中央吏部而非州县长官任免考核地方九品以上的官员，将任免官吏的权力收归中央，加强了中央集权。
