明朝永乐年间，山东齐河县有个年轻后生叫林羽墨，年方二十，相貌堂堂，气质非凡。自幼聪慧过人，十五岁便中了秀才，引得众人赞叹，皆言他乃文曲星下凡，前途不可限量。这两年来，上门说亲之人络绎不绝，可他却一一婉拒。
好友们甚是好奇，这般家境贫寒、身无所长之人，每日只会读书，时常无米下锅饿肚子，为何要拒绝这些亲事。私下询问，林羽墨淡然一笑，说道：“我命中虽无九天仙女，但也断不会与庸脂俗粉共度一生。”朋友们听后，皆摇头叹息，笑他不知天高地厚，像他这样的家境，能娶到媳妇已是祖上积德，哪还容得他挑三拣四。
一日，几位好友拉他去城外看戏，戏文是唐代传奇《霍小玉传》。当演到李益负心薄幸，霍小玉伤心欲绝时，林羽墨竟在台下扼腕叹息。好友不解，林羽墨感慨道：“虽情路坎坷，然霍小玉之深情，令人动容。世间真情难得，岂能随意将就。”朋友们觉得他读书读傻了，正常人谁会羡慕这悲情故事里的人物呢。
林羽墨有一远房亲戚，家中兄弟三人，一人从商，一人务农，一人为官。三人辛苦半生，积累了不少财富，却都无子嗣。有一年，旱灾来袭，庄稼颗粒无收，接着又爆发了疫病，兄弟三人相继染病去世，留下万贯家业无人继承。三位夫人无奈，只得亲自打理家业，可她们毕竟是女流之辈，难以支撑这庞大的产业。
族中之人见状，纷纷动起了歪心思。一些好吃懒做的年轻人，自知德行不够，选不上过继之人，便聚在一起闹事，抢夺田产，还扬言这是家族财产，人人有份。三位夫人无奈，只好去县衙告状。县令深知清官难断家务事，便让李氏族人尽快选出合适的人选继承三家香火。
三位夫人跪求县令，提出只要是李氏宗族后辈，能在接下来的乡试中考取功名，就立为嗣。县令觉得此办法可行，便让人在衙门口贴出告示。李家子弟听闻，皆跃跃欲试，可大多数人都是临时抱佛脚，后悔当初没有好好读书。
宗族里有个名叫李贵的青年，也是秀才，为人自私自利，贪婪成性。他垂涎这笔巨额财富，知道林羽墨才华出众，便想请他帮忙考试，承诺事成之后给他五百两银子。林羽墨穷困潦倒，无奈答应。两人来到济南府，住在同一家客栈。李贵来到济南后，整日游山玩水，对乡试毫不关心，而林羽墨则在房中认真温习功课。
这天，李贵又出去游玩，半夜时分，有个神秘人来到客栈，找李贵。林羽墨不明所以，随口应道：“我是李贵，阁下有何事？”来人打量他一番，让他说出李贵父亲的名字和一些事情。林羽墨对李贵的父亲有所了解，便简单描述了一番。来人信了，从怀中掏出一个信封交给他，嘱咐道：“这是我家老爷给你的，记住，信中内容千万不能让外人知道，等你中举之后，小的再来讨杯喜酒。”说完便离去。
林羽墨好奇，打开信封一看，里面竟是乡试的作弊方法。原来，李贵的父亲曾是举人，与这次负责乡试的考官有旧，两人约定在文章中嵌入特定字词作为记号。三天后，乡试开始，林羽墨先帮李贵胡乱答完卷子，轮到自己时则格外用心，巧妙地将约定字词嵌入文章中。
发榜之日，李贵名落孙山，林羽墨却高中解元。他虽高兴，却为没钱招待前来贺喜之人而发愁。回乡路上，他心事重重。刚到村口，就看到一群人在那里等候，三位夫人站在最前面。她们直接将林羽墨带回府邸。
在众人簇拥下，林羽墨来到三位夫人的庄园。县令也亲自登门贺喜，让他赶紧给三位夫人磕头，举行过继仪式。林羽墨推辞不过，只好答应。在县令的见证下，过继仪式顺利完成。
三位夫人将家业交给林羽墨，并说要给他娶妻。林羽墨表示要娶一位贤淑女子，既能操持家务，又能孝顺三位母亲。三位夫人听后，十分欣慰。
过继仪式后不久，族内几位长辈来拜访，三位夫人以为他们是来闹事的，正要让人将他们赶走。长辈们连忙解释，是来给林羽墨介绍亲事。城东三十里外有个刘家庄，庄里有个刘员外，家境殷实。他有三个女儿，都是正妻所生，姐妹三人感情深厚，曾立下誓言，要共嫁一夫，所选之人必须品行端正，才华出众。三位夫人将林羽墨叫来商量，经长辈做媒，这门亲事很快就定了下来。
刘员外家三个女儿同时出嫁，嫁给林羽墨，这一奇事很快传遍四方。迎亲队伍浩浩荡荡，陪嫁丰厚，引得众人羡慕。婚后，三位娘子各有千秋，美丽动人，且从不争风吃醋，对三位婆婆孝顺有加，家庭和睦。
然而，自从娶妻后，林羽墨却有些变化。他不再像以前那样刻苦读书，而是时常与妻子们一起游山玩水，享受生活。三位夫人劝他继续考取功名，他却说道：“我本是穷小子，如今有此家业，又有三位娇妻，已是上天眷顾。若再追逐功名，恐遭灾祸。”
两年后，三位夫人中的两位先后给林羽墨生了儿子，唯独三夫人肚子没动静。林羽墨无奈摇头，自嘲道：“看来上天还是不愿让我太过安逸。”自那以后，他时常陪伴三夫人。这天，他神秘地对三夫人说：“以后你要留意我的眼神，若我目光炯炯，那便是我们的好时机，定能生下孩子。”三夫人笑道：“不如收养一个乞丐当儿子，省得你天天盼着。”
春去秋来，又过了两年，两个儿子已能牙牙学语，三夫人也终于怀上了孩子。林羽墨去城外寺庙求签，签上写道：“妙妙妙，心愿了，回头趁早，凡尘可抛。”林羽墨拿着签看了许久，突然大笑道：“是时候离开了。”
三个月后，一位老夫人过寿，李家热闹非凡。林羽墨突然跪地，向三位老夫人磕头，说自己该离开了。众人不解，他换好旧衣服，悄悄离家。家人四处寻找无果，伤心不已。半年后，三夫人顺利产下一名男婴，看着孩子，她不禁思念起林羽墨。
后来，有人说在江南看到林羽墨，他在一个小戏班里，跟着戏班四处演出。虽日子清苦，却悠然自得。也有人说在四川看到他跟着一群乞丐，靠乞讨为生，脸上却始终挂着笑容。
李家众人根据这些传闻派人寻找，却始终没有找到林羽墨。林羽墨的三个儿子以“忠、孝、仁”命名，老大叫林忠，老二叫林孝，老三叫林仁。三个儿子自幼聪慧，早早考中秀才。
一转眼，几个孩子长大成人，林忠和林孝考中举人，林仁也成了廪生。三位老夫人自林羽墨离家后，每日吃斋念佛为他祈福，家中事务交由三个儿媳妇掌管。大老夫人八十岁大寿时，看着满堂儿孙，问道：“你们可还记得你们的父亲？”三个儿子连忙跪下，请求祖母训示。老夫人说：“昨夜我梦到观音菩萨，她说你们的父亲在扬州一带乞讨，你们去找找吧。”
兄弟三人立刻出发，赶到扬州，四处寻找。在一个叫桃花村的地方，他们遇到一个姓赵的丐帮帮主，附近的乞丐都归他管。赵帮主告诉他们：“有个怪人，两年前从北方来，为人豪爽，对乞丐们很好。昨天他突然说他的三个儿子要来找他，今天就走。我们问他为什么，他说怕当了官，我们去打扰他。我们发誓不打扰他，可他还是走了。”
兄弟三人在附近寻找，却始终没有找到父亲。他们施舍钱财给乞丐，然后伤心地离开。
五年后，三位老夫人先后离世。林忠在苏州做县令，林孝在杭州做知府，林仁在家照顾母亲。林孝的母亲突然生病，林孝将她接到身边照顾。一天，林孝外出办事，一个中年乞丐拦住他的马车，扔给他一个纸包，说道：“小爷留着这个没用，送给你母亲吧。”说完就跑了。林孝打开纸包，里面是一根金钗，上面镶嵌着宝石。他拿回家给母亲看，母亲一眼认出这是林羽墨送给她的，顿时泪流满面。
林孝带着人去寻找乞丐，却毫无踪影。这时，林仁来信说在老家附近看到一个乞丐，很像父亲。林孝赶紧回去，兄弟二人四处寻找，却还是没有找到。
一天，林忠下乡视察，遇到一个年轻人卖画葬父。画中一个儒雅的男子在溪边垂钓。林忠觉得画很有意境，便买了下来。回家后，母亲认出画中人是林羽墨。
这年春节，兄弟三人齐聚一堂，说起各自遇见父亲的情形，惊讶地发现都是在同一天。他们拿出父亲的画像，都说遇见的人与画中人很像。于是，他们将画像挂在大厅中央，每天焚香叩拜。而林羽墨究竟去了哪里，无人知晓。
