隋炀帝晚年的时候，非常沉迷女色，即便是已经有了皇后，许多妃子，后宫还多达万人，他依旧不满足，不断地选美人充入后宫，供自己玩乐。
有一天，隋炀帝对左右人说：“皇帝享受天地之间所有的富贵，最高的富贵，那么他必然也得享受极致的快乐。如今海内承平，天下富庶，我要享受快乐。宫殿虽大，但不够好，要是有稍微小的房子，里面应有尽有，那就好了。”
近臣说：“我有一个朋友，叫项升，浙江人，能营造这样的宫室。”
隋炀帝于是召见项升，项升听说后，先是画了图出来，隋炀帝看了很满意。于是，从那天开始，隋炀帝让各部门都全力配合项升。一年之后，再几万名役夫的努力下，楼阁盖成了，。雕梁画壁，玉栏朱门，简直就像神仙住的地方。
隋炀帝很满意，说道：“如此精妙，即便是神仙来了，恐怕也会着迷啊，可以取名为迷楼。”
接下来，隋炀帝封项升做五品官，上次内库上等帛一千匹。他又从后宫里挑选几千名良家少女，放入迷楼中，时常去迷楼宠幸她们。每次进入迷楼，隋炀帝都要沉迷女色几个月，而后才出来。
几个月后，有一个叫何稠的大臣，给隋炀帝献了一辆“御女车”。这个车很小，只能容下一个人，里面有机关。这些机关能控制女子的手足，使得她们手脚都动不了。这样，即便女子很刚烈，隋炀帝也能宠幸。
隋炀帝很高兴，赏赐何稠千两黄金。
何稠后来又进献转关车，这种车像今天的电梯，人进去后，就可以顺利上升到楼阁上，如履平地。除了转关车，何稠还献上改进版的御女车，女子进去后，可以在机关的控制下，自己摇动，隋炀帝更加高兴了，还把此车命名为“任意车”。
在迷楼中，隋炀帝总觉得缺了点什么。后来，叫画师画了几十幅春宫图，挂在迷楼中。
有一位官员回京，送了八面乌铜门，高有五尺，宽有三尺。官员让人把铜门磨成铜镜八面，献给隋炀帝。隋炀帝把铜镜挂在迷楼中，作为屏风，环绕在他睡觉的地方。这样，只要他宠幸女子时，就能从大铜镜上看清楚。
隋炀帝大喜，说道：“这铜镜可比绘画强多了。”，因此，他又赏给那个官员一千两黄金。
因此沉迷女色久了，隋炀帝身体越来越虚，很容易倦怠。他对近臣说：“以前我刚做皇帝时，处理国事非常辛苦，即使如此，不宠幸几个女人，我也睡不着。可是现在，越来越困了，稍微近女色，就很疲惫，怎么回事？”
大臣王义听说后，上了一道奏折，大概是说：陛下年纪大了，又沉迷女色，不顾身体，就好像一桶水，慢慢把水都放完了，身体都被掏空了啊！把有限精力的身体，投入到无限精力的快活中，本来就不对啊！以前就有老叟说过，人生三乐，分别是太平、健康与长寿，陛下享受太平，却不顾健康，也就不能长寿了。
隋炀帝看了后，觉得有道理，于是他立下誓言，不再沉迷女色。他叫人盖了一个小房子，名叫静室，每天进去静心、休养。然而才两天，他就受不了了，出来后就说：“每天清心寡欲太难了，要这样活着的话，就算活一千年，一万岁，又有什么快乐可言呢？罢了罢了。”
于是，隋炀帝又开始进入迷楼，沉迷女色了。
隋炀帝的后宫有许多人，虽然选了几千人送入迷楼，但后宫里依旧有几千人。她们十几岁就进入后宫，本来得到宠幸的机会就很渺茫，如今隋炀帝根本不去后宫，只去迷楼，这些女子就更没机会得到宠幸了。青春本就短暂，还要夜夜独守空房，那滋味很不好受。
时间久了，有些女子终于心生绝望。一位侯夫人，终于崩溃了，她上吊自杀了。在她手臂上，悬挂一个锦囊，里面是几张纸，写着几首诗，都是诉说自己的寂寞与清苦。其中有一首叫《自伤》，读来更令人悲伤。
初入承明日，深深报未央。
长门七八载，无复见君王。
寒春入骨清，独卧愁空房。
跚履步庭下，幽怀空感伤。
平日所爱惜，自待却非常。
色美反成弃，命薄何可量。
君恩实疏远，妾意徒彷徨。
家岂无骨肉，偏亲老北堂。
此身无羽翼，何计出高墙。
性命诚所重，弃割亦可伤。
悬帛朱栋上，肚肠如沸汤。
引颈又自惜，有若丝牵肠。
毅然就死地，从此归冥乡。
这首诗大概是说：自己进入深宫七八年，却见不到皇帝，只能独守空房，暗自悲伤。家里还有亲人，自己想要出去，却根本逃离不了这深深的院墙。绝望之际，选择自杀，从此再也不用痛苦活着了。
隋炀帝看了诗后，也很伤感。他亲自去看侯夫人的尸体，张嘴就说：“她都死了，还那么漂亮啊！来人，把负责选宫女的许廷辅叫来！”
许廷辅来了后，隋炀帝很生气，说道：“我以前让你去宫里挑选美人，送到迷楼。你挑了几千人，为什么漏了她（侯夫人）？她死后都那么漂亮，生前肯定更美啊！如此美人，我没宠幸，真是太可惜了！”
后来，许廷辅被关入监狱，隋炀帝把他赐死后，厚葬了侯夫人。
侯夫人死后，隋炀帝看着她的诗，伤感了几天。他很喜欢侯夫人的诗文，还专门让乐府谱曲，叫人演唱。以后，想起来侯夫人的时候，隋炀帝就会叫人演奏她的诗。就这样，又过去了一阵子。
后面，想到后宫之中可能还有侯夫人一样的美人，于是隋炀帝亲自到后宫，又挑了一百多名美人，送到迷楼里。
大业八年，有一位方士给隋炀帝进献金丹。隋炀帝吃了后，更加贪色了，精力也比之前好，每天晚上他都要宠幸几十个女人。到了夏季，隋炀帝变得越来越烦躁，身体发热，暴躁不安，他要一直喝酒，每天都要喝几百杯酒，却依然觉得口渴。
隋炀帝叫太医来给自己看看，到底怎么回事。
太医看了后，上奏说：“陛下你心脉烦躁，身体太虚，又爱喝酒，所以才会出现大病。不过陛下放心，我已经给陛下配好了药，陛下只要每天按时吃，就会恢复龙体。”为了让隋炀帝能静下心，不再烦躁狂热，太医还叫人准备冰盘——就是用冰雕刻成的盘子，让隋炀帝看。这是从心理上，来治疗其燥热的方法。
以后，不管是后宫各院，还是迷楼中，那些美人都会准备冰盘。她们这么做，是希望隋炀帝来宠幸自己。
然而，因为后宫和迷楼中美人实在太多了，所以消耗的冰也很多，以至于冰的价格都提高了许多。京城之中，原本那些靠卖冰为生的人，以及富贵之家收藏冰来消暑的人，都靠卖冰发了大财，大赚特赚。
大业九年的时候，隋炀帝准备再次去江都游玩。那天晚上，他听到迷楼宫女在唱歌，歌词是：
河南杨柳谢，河北李花荣。
杨花飞去去何处？李花结果自然成。
隋炀帝姓杨，而彼时已经有留言说，会有李氏取代杨家成为皇帝。所以，当隋炀帝听到这首歌时，非常生气。他找到那个唱歌的宫女，质问道：“谁让你唱这首歌？你这首歌是谁教的？”
那宫女害怕极了，一边哆嗦一边磕头说：“陛下恕罪，我有一个弟弟，就在民间。这首歌来自民间，我那弟弟说，他在看我的路上，听到许多儿童唱这首歌。所以，这首歌来自民间，我听弟弟唱了，觉得好听，就记住唱了出来。”
隋炀帝一听，默然不语，他知道这不能怪宫女，毕竟是民间的歌谣，而且看起来四处都在传唱。过了许久，隋炀帝才说：“唉，是老天爷告诉民间的人了吗？还是说，有人在告诉民间的人呢？看来，我活不久了啊！”
想到这里，隋炀帝颇有些伤感，又叫人取酒来，他一边喝酒，一边唱歌：
宫木浓阴燕子飞，兴衰自古漫成悲。
他日迷楼更好景，宫中吐艳变红辉。
一连唱了好几遍，唱完之后隋炀帝不胜伤悲。有一位近臣不解，问道：“陛下听了宫女的歌，为何突然无故伤悲，又为何伤悲而歌呢？”
隋炀帝摆摆手，说：“不要问，以后会知道的。”
从这首歌词中，已经能看出来，隋炀帝大概知道，自家天下会被李家人取代了，而他应该很后悔吧，又知道无可挽回，故而悲伤，所以他才会说“兴衰自古漫成悲”。
后来，隋炀帝没忍住，终于还是再次下江都。一路上劳民伤财，民间怨声载道，终于引发了各地人民的起义。而其中一支队伍，就是李渊、李建成、李世民父子。这支队伍异军突起，最终平定天下，建立大唐。
在攻入京城，看到迷楼的时候，李渊父子非常震惊。李渊说：“这哪里是迷楼啊？这分明是用民脂民膏、民血民命造成的啊！不好不好，这迷楼毁了杨广，又害死那么多百姓，不可留下！”
于是，李渊下令火烧迷楼。大火烧了一个月，还是没有灭，可见迷楼的规模。
又听说了之前宫女所唱的歌，李渊父子说道：“看来，世代兴亡更替，并不是偶然的啊！至少，从民间的歌谣之中，就已经能窥测到了。”
