公元833年春天，杜牧奉沈传师之命，赴扬州拜谒前宰相牛僧孺，这位曾于朝堂上举足轻重的风云人物，现如今出任淮南节度使。此行对杜牧影响巨大，他与牛僧孺也结下不解之缘。
之后不久，沈传师便奉召回京任职。按照惯例，府主解职回朝，幕僚们都得自谋生路。这时，杜牧接到了牛僧孺的聘书。
这一切像是沈传师的刻意安排，杜牧赴扬州拜谒牛僧孺，得到牛僧孺的青睐，沈传师回朝，杜牧也便有了归宿。于是，他顺理成章转任扬州。
扬州这座繁华的都市很对杜牧的脾气，他立即与之打得火热。花街柳巷、歌舞妓馆等纸醉金迷之地成了他的精神寄托。
公元835年，杜牧被朝廷任命为监察御史，要回长安供职了。
在回长安任职前，牛僧孺为杜牧饯行。席间他说：“以你的豪迈气概，前程必定远大，而我却担心你风情不节，这可能会有伤身体。”听到这里，杜牧便搪塞道：“我平常很检点，不至于劳您忧心。”
面对杜牧的遮掩，牛僧孺笑而不答，令人捧出一个小书匣，让他亲自打开，里面全是杜牧夜游青楼的密报。
杜牧在扬州的时候经常逛青楼，牛僧孺拿他没有办法，只能暗中保护他。因为青楼的治安比较复杂，牛僧孺就派负责治安的街卒每天跟踪他。那些街卒跟踪了杜牧之后都要写一纸报告，这些年下来，已经积攒了整整一大箱了。
上面的文字大同小异，比如“某夕杜书记至某处夜宴”，或者是“杜书记在某处留宿无恙”，意思就是这一晚上没啥事。看到这些报告以后，杜牧闹了个大红脸。
知道缘由后，杜牧很感激，于是作《遣怀》诗以表羞愧。
落魄江湖载酒行，楚腰纤细掌中轻。
十年一觉扬州梦，赢得青楼薄幸名。
——杜牧《遣怀》
赢得青楼薄幸名”，他一句诗就把“青楼”这个词赋予了妓院的色彩，从此以后妓院就叫作青楼。而在他之前，青楼指的是女子居住的高楼，仅此而已。
