然而，当时官场却认为阎立本是个靠“末伎小道”获得晋升的小人，经常将其与赫赫军功的名将姜恪对比。同僚讥讽阎立本无战功，仅凭建造殿宇、丹青绘画获得高位，完全不能与左相姜恪相提并论。故时人有‘左相宣威沙漠，右相驰誉丹青’之嘲。
徐太傅曾经给白复讲过一段阎立本的往事：
当年太宗皇帝因欣赏阎立本的画工，便经常召他入宫作画。某年暮春时节，太宗率侍从文士泛舟，见异鸟在湖面徘徊，遂兴致大起，命在座侍臣当场赋诗赞咏，又命阎立本入宫作画，以助雅兴。宦官们当即向岸上呼道：“召画师阎立本到青苑玉池拜见皇上！”
按宫廷规矩，画师入宫，须伏于地，仰视皇帝作画。
阎立本此时官至主爵郎中，乃是吏部主爵曹主官，掌管封爵之事。虽为朝廷命官，却不得不按规矩行事。阎立本奉旨跑步赶来，不顾大汗淋漓，立即俯身作画。
汗流浃背地之余，抬头所见，除了太宗皇帝的雍容，还有一帮侍从文士眼中的不屑。这一刻，让阎立本满面羞愧与屈辱。
回到家中，阎立本郁结难消，愤愤不平。他训诫几位儿子：“我自幼饱览群书，无论诗文还是论策，绝对不输于同僚。如今虽官居要职，却因擅长绘画而被人称为‘画师’，呼来唤去好比卑贱的杂役奴仆。
辱莫大焉！
你们要深以为诫，勿习此‘末伎小道’。”
白复将这段故事讲给青鸾公主，青鸾公主听得兴致盎然，道：“没想到，大明宫还有这般典故，有趣得紧。”