祐六年（1091年），苏轼接到朝廷的诏命，要他离开杭州回京，官职仍然是翰林学士。实际上，当时官场已经盛传，他马上就要任宰相了。

苏轼其实是不想离开的杭州的，杭州的山水让他放松，杭州太守一职他也做得风生水起。但是，太后对他有恩，太后之命他不得不从。

当年三月，苏轼回京。一回京，他就被任命为吏部尚书，而苏辙则升为了尚书右丞（宰相），兄弟俩的官位显赫一时。这么一来，政敌们嫉恨且忌惮不已，对他们进行疯狂攻击。

苏轼决定躲避，他又请求外放，最终，以龙图阁学生头衔，到颍州（今安徽省阜阳市）做太守。

一到地方，苏轼就像长期缺氧的鱼遇到了水，神清气爽。这种新奇，在初颍州那首《泛颍》中表达的淋漓尽致：

我性喜临水,得颍意甚奇。

到官十日来,九日河之湄。

吏民笑相语,使君老而痴。

可是，苏轼在颍州只做了八个月的太守，元佑七年（1092年）二月，苏轼又被调往扬州。苏轼在扬州又只待了六个月。当年八月，苏轼被召回京城，担任兵部尚书。

高太后很喜欢苏轼，她希望苏轼能教出一个很贤明的皇帝，于是，苏轼又改任礼部尚书，同时还兼任哲宗的老师。我上文就说过，哲宗有点叛逆，不是一个好学生，苏轼也不是一个善于教学的好老师。这个矛盾最后让苏轼吃尽了苦头。

高太后总是一厢情愿，如果她真正想苏轼好的话，应该让他一直在地方任职。苏轼每次回京，厄运都是接迥而至。

第二年，元祐八年（1093年），高皇后驾崩，苏轼的后台垮了。这一年，苏轼的第二个妻子王闰之也去世了。伤心之余，为了避祸，苏轼自请外放。苏轼以端明殿学士和翰林侍读学士的身份出京，到定州担任知州。

临行的时候，苏轼向皇帝辞行，哲宗却不见他，可见心里对苏轼又多讨厌。

苏轼是个文官，却到定州这个军州任主官。在定州，苏轼整顿军纪，训练军队，干得又非常不错。

虽然外出避祸，但祸事躲不过，哲宗绍圣元年（1094）年，哲宗在变法党的撺掇下，把高太后当政时期的老臣全部打成“元祐党人”，赶出朝廷。苏轼接到圣旨，贬到英州，后改惠州，从大宋疆土的最北端，贬到大陆的最南端。