1938年春，张学良被软禁在湘西沅陵凤凰山，加上看管他的特务人员，伙食费按一个团的标准拨付，专为他配备了两名厨师：一个是四川人，会做拿手的川菜、湘菜、大菜及面食糕点；另一个是浙江人，擅长烹调下江菜。有时，张学良的妻子于凤至要求厨师为张学良做些有营养的菜肴，他们感到很为难。因为当时沅陵城里实在买不到什么好吃的或营养丰富的东西，只好每天给张学良炖一只鸡补养身体。 蒋介石为防止原东北军用飞机来凤凰山营救张学良，又担心日军飞机轰炸凤凰山，亲自下令给戴笠，命刘乙光及宪兵连在凤凰寺张学良住地后面的高地上设置高射炮台，再往后的山坳处，凿筑防空洞。 特务队长刘乙光在凤凰山上为张学良夫妇划定了活动范围：山上前后左右五里为界；沅水江上，上至洲头，下至河涨洲15里为限。张学良的散步、运动、钓鱼、游泳等活动均不得超越界限。这范围规定的执行，由跟随在张学良夫妇前后左右的便衣队员监督遵守。 1938年冬，沅陵县县长王潜恒多次派人到凤凰山见张学良。张学良对来人说：“不必说晋见，王县长的心意我领了。我这里身体欠佳，去处不多，能否请王县长给我在山顶修个小亭子?” 王县长听人汇报此情，得知张学良在凤凰山上游境不多，常常想登高远眺。于是，王县长派人在凤凰山顶古寺右侧，沿沅水陡峭的绝壁上，为张学良修建了一座两层楼。张学良将其命名为“观江楼”。在观江楼与凤凰寺之间，相距40余米，为便于行走，又在寺与楼之间修了一座宽1.5米、长45米的天桥。这样，张学良和于凤至每天都能通过天桥到望江楼远眺群山和对面的沅陵古城及绝壁下的沅水。 在天桥下面，是一个养鱼池。这个养鱼池是张学良为了消磨时光花钱让人找当地民工在寺庙的右侧挖成的。养鱼池宽20米，长35米，深2米。 养鱼池里的水，是当地农民从凤凰山脚下的沅水江里一担一担挑上山的。开始，民工往返几里挑水上山，每担水刘乙光让宪兵只给5分钱。张学良对民工的辛苦很同情，知道此事后，便当着民工的面宣布：“每给鱼池担水一担，给钱两角。”民工们对这位张先生非常感激。 张学良爱好钓鱼，以前托人买的钓鱼竿在沅江不适用了。因为这儿钓鱼的传统工具是一个竹筒，上面缠着很长的粗线，再拴上一个很大的鱼钩，在这个大钩上又分出三个小钩。张学良对这种钓鱼方式很感兴趣。每次钓鱼前，先派人租用四五条木船，他与便衣队员乘船到江中。把船停泊在江心用竹筒钓鱼。开始几天，于凤至满有兴致地陪着丈夫上船钓鱼或在船舱里编织毛衣，困了就睡一觉。后来，她的兴趣慢慢减退，便独自留在寺里，看看书，帮帮厨。寂寞使她越发思念在国外的孩子，虽然她刚40岁，但发际已见白霜。 有一次，张学良钓到了一条特别大的鱼。几个人怎么也拉不起来。张学良让船夫摆船跟着鱼走，等那大鱼挣扎得筋疲力尽时，几个船夫跳下水，把鱼托上船。张学良面对自己钓上来的这条硕大之鱼，乐得嘴都合不上了。 时间一长，张学良钓鱼的兴趣越来越浓，都不愿上岸回寺里吃饭了。刘乙光图省心，索性把厨师也叫到船上，烹调各种可口的鱼肴，供大家在船上品尝。每次钓鱼归来，张学良还把钓到的鱼拿回寺里，放养在鱼池里。有时，张学良和于凤至坐在养鱼池边，观赏池里的鱼自由嬉戏，会有触景生情之苦。于是，张学良让刘乙光找来民工，錾凿一只大石龟。这只石龟有上千斤重，放进养鱼池里。张学良又让民工在池水里修建了假山、石砬子等水景，供鱼儿在水中享用。 在凤凰山幽禁时，张学良读书很专心，有时读书一坐就是半天。他潜心研究明史就是从这时开始的。在他的案头上，堆满了有关明史的书籍和资料。他时而埋头细读，时而奋笔疾书，常常或读或写到深夜。 每当张学良读书时，于凤至总是在一旁陪伴他，或为他查查资料，或为他做好夜宵。于凤至常常劝丈夫不要太熬夜，注意身体，适时休息。张学良听后，反对她安慰说：“你身子有病，你就早点歇息，不要陪我了。”见丈夫这么坚持夜读，于凤至也只好作罢。 1939年4月，戴笠和他的随从副官王鲁翘突然来到凤凰山住了两天。戴笠分别召见了刘乙光、便衣队员和厨师进行个别谈话，并和张学良进行了长谈。 戴笠这次来凤凰山见张学良，是奉蒋介石的命令：让张学良写信给鲍文樾，劝他不要同日伪同流合污。鲍文樾是东北军的少壮派，曾任张学良的参谋长、东北军驻南京代表。 张学良按戴笠的意思，写信给鲍文樾，叫他不要认贼作父，不要“做历史罪人，好自为之”。 戴笠临走时，张学良托他转告蒋介石，暗示软禁的时间已经不短了，应该可以释放他了。 过了一段时间，戴笠再次来见张学良，代表蒋介石送了张学良一根可以伸缩（意思是让张学良能屈能伸）的外国造高级钓鱼竿。张学良拿到鱼竿后，气得扔到了地上，他知道，自己一时半会是出不去了。
