他与张飞交战时，诸葛亮对他就念念不忘，甚至为了他而食不知味；刘备任他为巴郡太守，他被活捉送到吴国，诸葛亮也一直念叨着他，特意嘱咐去访吴的邓芝，要把他带回来。这个名气不高，让诸葛亮牵肠挂肚的人，叫张裔，字君嗣，成都人。张裔很喜欢研究《公羊春秋》，对《史记》、《汉书》等书也都广泛阅读。许靖认为张裔干练敏捷，是堪比钟繇一类的人物。后刘璋任命张裔为州署从事，兼任司马。张飞入蜀，刘璋派张裔在德阳陌下抵御，张裔哪里是张飞的对手？被张飞战败。后刘璋又派张裔见刘备，刘备答应他，会按照礼仪对待刘璋及其部下。刘备入主益州后，以张裔为巴郡太守。此前，益州郡首领雍闿，恩信威望很高，杀了巴郡太守，眼见张裔赴郡上任，很不服气，就借着鬼教蛊惑人说：“张裔像个葫芦一样，外表光亮，里面粗糙，不值得杀，你们把他绑到吴国。”张裔就这样被押送到吴国

刘备去世后，诸葛亮派邓芝到吴国，特意交代邓芝，让他找个机会请孙权放了张裔。张裔被送到吴国的几年，一直流放在南海，孙权不知道他，就放了。临走前，孙权问张裔：“蜀地卓氏寡妇，和司马相如私奔，你们蜀地风俗怎会如此？”张裔：“卓家寡妇，贤于朱买臣妻子。”孙权：“你回国后，肯定会重用，你该怎么报答我呢？”张裔：“负罪回国，性命由朝廷安排；如有侥幸，那我58岁前的生命是父母给的，58岁以后则是大王赐予的。”孙权很欣赏张裔，出宫门，张裔后悔自己没有装糊涂，害怕被孙权扣留，加速疾行。孙权果然派人追，没能追上。注：朱买臣之妻是吴地人，因为嫌弃朱买臣穷，离开他。后来朱买臣达贵，其妻磕头求复合，朱买臣以“覆水难收”拒绝，其妻羞愧自缢而死。孙权以卓寡妇讽刺蜀国风俗，张裔用这个故事反讽东吴，可谓不卑不亢。回到蜀国后，诸葛亮任命张裔为丞相府参军。张裔天姿明察，善于处理繁重而复杂的事务。诸葛亮出兵时，张裔代行相权，治理蜀汉，兼任益州治中从事，权力之大，可见诸葛亮有多看重张裔。张裔北上咨询诸葛亮有关事务，送行的有数百人，车马堵满道路。张裔与杨恭友好，杨恭早年去世，张裔将杨家人接到自己家中，分以房屋，侍奉杨恭母亲就像自己的母亲。为杨恭儿子娶妻，购买田宅，让他们自立门户。又救济衰落的家族，十分讲义气。先前张裔与岑述、杨洪等关系不和，诸葛亮写信给张裔说：“德阳陌之战，我很担忧你，食不知味；流放东吴，我为你悲叹，睡卧不宁；我与你可以说是金石之交了。”