在汉元帝时期，有一位出身于官宦家庭的人，名唤卓茂，字子康。他的祖父和父亲都曾担任过太守之职。
卓茂幼年在京城长安求学，天赋聪颖，勤奋刻苦，博览诗书经史，成年生长后被誉为通儒。
卓茂性情宽厚仁爱，为人处事待人接物，即使是品行迥异者，也十分敬服他的品德。
卓茂刚出道任职时，担任丞相府史官一职。一次，他乘车出行，有人指着他的骏马，声称那匹马是自己的。
卓茂询问对方：
“你说这匹马是你的，那么请问这匹马丢失了多久？”
那人回答说：
“丢失的时间不长，大约三个月左右。”
其实，卓茂的马已经在他手中三年之久，并且一直为其使用。听到对方只说丢失三个月，便知其所言非虚，但他并未解释，而是当即命人卸下马鞍，将马交还给对方，说道：
“这匹马你牵回去吧，如果你发现并非你丢失的那匹，请将马送往丞相府！”
那人牵着卓茂的马，欣喜异常地离开了。没过几天，那人牵着马回到了丞相府，十分愧疚地对卓茂说道：
“大人恕罪，上次是我认错了您的马匹，前几日我丢失的骏马自行归来。特此将您的马归还，恳请大人原谅我的过失。”
卓茂听闻对方的解释，只是微笑，让人牵过马，便让那人回去了。
后来，卓茂被朝廷任命为密县县令。他勤于政务，日夜操劳，县中事务无论大小，均认真过问，在短时间内使密县治理得井然有序，百姓安居乐业，均感念这位好官的贤德。
卓茂对待下属官吏，更是不遗余力。他从不厉声斥责，善于因势利导。一旦下属犯错，他总是温和循循善诱，使之感化于他的仁慈，从而忠心耿耿，不敢生出任何背叛之心。
一日，有民告状，揭发某亭长收受贿赂，违反县府禁令。
卓茂见告状者欲言又止，便让左右侍从退下，面带微笑问道：
“这些东西是亭长主动向你索要的吗？”
告状者连连摇头道：
“并非如此！”
卓茂又问道：
“是你求他办事，他才接受了你的礼物？”
告状者再次否认道：
“也未曾如此！”
卓茂听罢，若有所思片刻，然后说道：
“依我看，你不免狭隘了。人与禽兽不同之处，正在于有情。邻里之间互赠小礼，本是人之常情。官吏与百姓之间有所往来，也属正常。连这点道理你都不明白，难道你能舍弃人间，飞向远方吗？”
告状者哑口无言，转身离去。
这就是成语“远走高飞”的由来，出自于《后汉书·卓茂传》： “汝独不欲修之，宁能高飞远走，不在人间邪？”。意指远离困境，寻求出路。