外人以为粮官日后的期望都落在小儿子身上，会鼓励他超过他的哥哥，再次金榜题名。
让所有人意外的是，粮官勉强恢复精神之后，辞掉了家里的老师，烧掉了家里的所有书，将姥爹叫到面前，说道：“我以后再也不要看到你吟诗作对，挑灯夜读。此后的乡试会试，我再也不允许你参加。”
许多人为姥爹的才华可惜，纷纷劝粮官改变决定。可是粮官只字不听。
君为臣纲，父为子纲。读四书五经的姥爹自然不敢违背父亲的意思。对他来说，父亲就是天。
放弃了追求功名的姥爹天天无所事事，以前用来苦读的时间现在都空了出来。他突然感觉到前所未有的无聊。
他想了很多方法打发时间，跟走镖的拳师学过武术，跟出名的画师学过画画，跟云游的和尚学过佛经，也跟游方的道士学过道术。
粮官知道小儿子一身的精力没地方使，便给了他一些盘缠，说道：“我不让你读万卷书，那就让你去行万里路吧。”
于是，姥爹在哥哥病逝之后的五六年里游遍大江南北，访遍千古名山，全国的每一个省份他都去过。曾经一度他还跟一位高僧走出国境，到达过印度。
后来清朝灭亡，天下不太平，姥爹才停止游历，回到家乡。
这一次毫无目的地“行万里路”之后，姥爹对“子不语”的东西63我将事情的前因后果说给外公听了，外公沉默了一会儿，说道：“看来你姥爹早就算到你会在那里出事，所以没把你哑巴外公赶走，好让他救你一次。”
那条牛在之后的好长一段时间里不怎么吃草，也没什么力气干活。外公将牛的眼角用红布蒙上，牛才渐渐好起来。
一次外公带我到后园给小米的瓦罐上面加土。我问外公：“姥爹把小米留在这里，是不是也像哑巴外公一样有什么作用？”
外公说：“要是我能猜到你姥爹的心思，我就比你姥爹还厉害啦。我还没学到你姥爹十分之一的本事。”
我又问：“姥爹那些本事是从姥爹的爸爸那里学来的吗？”我知道外公从姥爹那里学了一些本事，想当然地以为姥爹的本事也是从他的爸爸那里学来的。
外公说：“不是。你姥爹原来是读圣贤书的秀才，十二岁就是秀才了，当时少见。孔圣人说过，子不语怪力乱神。意思是读书人不要谈论鬼怪。所以你姥爹开始是完全不接触这些东西的。”
“那他为什么后来又学了呢？”我问道。
“唔……很多原因。”外公说道。
姥爹的父亲是清朝的粮官，颇有权势。起初，粮官大人希望他的两个儿子都好好读书，将来金榜题名，像他一样登上仕途，出官入相。所幸他的两个儿子小时候就表现出异于常人的天赋，大儿子十四岁考上秀才，后乡试考上举人；小儿子更胜一筹，十二岁就考上秀才。姥爹比他哥哥小了八岁，但考上秀才之后，他的名气比哥哥却大了许多。
粮官自然沾沾自喜，极爱这两个有出息的儿子。