公元1806年（嘉庆十一年）冬，李銮宣赴京行至直隶磁州（今河北磁县），刑部判定将李銮宣遣戍迪化州（今新疆乌鲁木齐市）效力赎罪。此时的李銮宣厌倦了官场的黑白颠倒，草菅人命，相互勾结，鲜有廉耻。立志不当傀儡，愿意归田笔耕，游历山水之间，保持白璧无瑕。他连日借酒消愁，作诗言志，寄托哀伤之情。

在赶赴京城的途中，李銮宣一路由官吏押送，此时他的身份就是一名罪犯。他回想起自己几十年的奋斗历程，想起家乡静乐的清清汾河，巍峨天柱；想起老父憔悴面容，老态龙钟，想起爱妻陪伴左右，洗衣做饭；想起浙东、云南穷苦百姓，艰难度日。自己满腔热情，立志报国，没想到身陷囹圄。在营卒的押解之下更觉悲惨，不由得再一次泪流满面，其时严寒，滴水成冰，“泪结冰如珠”。他在诗中写道：“夙行未十里，日出东南隅；还顾井陉道，黄尘满路衢；形影杳不见，失路在须臾；悲风懔以洌，繁云郁以纡；衡轭鸱鸮鸣，原隰狐兔趋；铃铎声郎当，童仆语欷歔；营卒作前导，县官押后车；衣上老亲泪，泪结冰如珠；骨肉永别离，谁为我亲娱；夜长宿旅店，魂梦返里闾；亲言益衰廋，彷佛闻嗟吁；忧来诚无方，伤哉难蔽辜。”

李銮宣在营卒的押解下，乘着囚车一路颠簸，艰辛程度可想而知， 悲凉心情一言难尽。一到京城，即被下狱。李銮宣备受打击，在不见天日，阴暗潮湿的牢房中，再一次感叹世事无常，想当初自己初出茅庐，就是刑部主事官，后到员外郎、坐牢厅管、云南按察使，都与司法、牢狱有关。想当初自己坚持原则，恻隐人之心，亲囚备至，同情罪犯，曾“法雨注慈航”、“治法先治人”，“急呼吏胥至，戒之毋作奸”。也曾“金钱为囚输”，散药饵，勤洒扫，视饭菜，燃炭炉、盈其床，为众囚犯争取良好的服刑环境，因而受到囚犯爱戴，亲朋家属的感谢，也受到了朝廷的肯定，“京察一等”。可是现在境况不同，天壤之别，那时自己是牢狱管理者，现在自己成了阶下囚。

李銮宣手足系镣铐，衣衫不蔽体，蓬头又垢面，消瘦亦邋遢。想想过去，看看今天。自己身陷囹圄，从一名管理囚犯者，成为了被管理的囚犯。身处阴暗的牢房，面对嚣张的狱吏，李銮宣的心里实在不是滋味，他憋屈的厉害，但又无可奈何。想到老父偕徐氏归乡，但家无薄田，房舍紧张，糊口实属不易。想到二弟纶宣妻亡，客居秦州，至今未归。三弟承宣和四弟召宣相继早夭。两妹已嫁，大妹夫去，孀居夫家，生活困顿，难以接济。小妹远嫁，不得而归。

家中无人，只能依靠徐氏侍奉老父，一个弱妇如何能够担当重任。每每想起，牵肠挂肚，心神不宁，寝食难安。深夜他常常叹息曰：“我身乃父母所赐予，虽孝死不足惜；我官乃朝廷所授命，虽效死不足惜；为人子不得尽孝，为人臣不得尽忠，为人夫不得尽责，反被恶官诬陷迫害，冤枉下狱。天理人心何在？世间公道何在？”但回答他的只有出洞觅食，窸窸窣窣的老鼠的动静，以及偶尔手足镣铐叮当之声。

李銮宣被云南巡抚陷害，朝廷草率定案，10月被下狱，“械系京师下清室十有四日”。由于他革职后尚未离任，导致积压案件二十有余，朝廷圣谕“遣戍迪化赎罪”。离别京城，心绪难宁，深深感叹：“昔也别我亲，今已无亲侍；伤哉不忍言，言之寸心悸”。