衢州自古是文风昌盛之地。在书院盛行的宋代，浙江建有书院156所，位列全国第二，这其中衢州就多达17所。
相比于学宫，书院多是私人设立的学校，教育强调弘扬“义理之学、修养之道”，以人格教育、繁荣学术、人才养成、传授知识为培养模式。说白了就是素质教育和应试教育的对比。
到了清代，为了限制讲学自由，一方面鼓励书院发展，一方面使之官学化。书院逐渐沦为以考课为中心的科举预备学校。
衢州历史上有很多著名的书院，如柯山书院与清献书院。而今柯城区小西门与五圣街交叉口东北，遗存的衢州书院，则是一座清代书院。这所书院远没有宋明理学盛行时的自由之风，仅有老建筑值得保护。
取走书院始创于清康熙四十七年（1708），由当时衢城名士、雍正元年举人吴士纪所建，初名修文，后经多次毁废重修。现存书院坐北朝南，占地面积850平方米，平面呈纵长方形，从南至北依次为大门、前厅、后厅和楼房。前后厅之间有天井，两侧有厢房和走廊，后厅与楼房之间亦有天井。其建筑中垂花悬柱的减柱做法较为独特。
遗憾的是，目前衢州书院并不对外开放。（浙99，第七批浙江省重点文物保护单位，2024年7月17日）
