翠华山的书院建筑坐北朝南，中轴线依序为集贤门、太学门、政和堂、敬一亭。
主体建筑两侧有二厅六堂、御碑亭、钟鼓楼等，形成传统的对称格局，这是杜构借鉴长安城街坊的格局而建的。
前院东侧有敬持门与孔庙相通，构成左庙右学的格局。在夹道上立有经刻石，包括周易、尚书、诗经、周礼、仪礼、礼记、论语、孝经、孟子、尔雅共计十部。
院内除了建有射圃、仓库、医所、仓库外，教室、藏书楼、宿舍、食堂，就规划了两千余间。
但这里最引人瞩目的就是到处都种着槐树。走到一颗槐树下拍了两下后，转身对杜构笑道：“真是该对你杜辅民刮目相看了，连面三槐，三公位焉这道理都懂了。”
李承乾说着话是有出处的，自周代起，就有“面三槐，三公位焉”之说，即在皇宫大门外种植三棵槐树，分别代表太师、太傅、太保的官位。
古人的所谓:“登槐鼎之任”，即三公之位。所以在历朝历代，人们就把国槐视为“公卿大夫之树”。
在长安的太学里也广植槐树，喻示着监生们可以考中高官之意。在周代，国子监的内外就广植槐树，所以在历代的国子监内外就沿周礼之制，都广植槐树。
自隋朝实行科举制以来，其科考的考场叫“贡院”，因为是给国家遴选人才的地方，所以在贡院里也是广植槐树。
杜构苦着脸说道：“殿下，这都是李师和张师傅的注意，臣可不敢居功。”
李承乾这么说到事戳到杜构的痛处了，为这事李刚和张玄素拿着拐棍差点没给他腿给打折了。
所以在他的逼问下，杜构道出了原委。原来这里都是柳树，杜构为了省钱所以就没动。
柳树因通“留”，故有惜别之意。是传说中四大鬼树之一，有聚集阴魂的之说。柳树为阳性树种，在民间多用于避邪及招风水。
隋炀帝登基后，下令开凿通济渠，虞世基建议在堤岸种柳，隋炀帝认为这个建议不错，就下令在新开的大运河两岸种柳。
并亲自栽植，御书赐柳树姓杨，享受与帝王同姓之殊荣，从此柳树便有了“杨柳”之美称。
可李刚和张玄素可不这么看，他们认为这书院是为国家伦才的地方，是国家盛世和文脉的延续的象征。怎么能种这样招鬼，亡国之树的呢。这是对圣人的不敬。
众人听后纷纷捧腹大笑，杜构现在也是朝廷大员了，竟然因为几棵树钱被老夫子撵着打，真真是好笑之极。
“好了，你们不要笑了。”，李承乾摆摆手示意大家不要取笑杜构。
“辅民是勤俭持家，这本就是美德。发生了这样的事不过是因缘际会罢了。不过李师他们也没有错。
虽然花了一些钱财，但书院是朝廷教育兴国的根本，百年大计，马虎不得。你们今后也要时时注意才是。”
“诺，臣等谨记殿下教诲”，杜构，赵节，许敬宗等人纷纷应诺。
随后李承乾等人有检查了那些还没有完工的地方。无论是从用料到施工速度上，杜构安排的都让李承乾十分满意。