李隆基即位为玄宗，张九龄改任左拾遗，但是，张九龄与宰相姚崇的矛盾却越来越大。
姚崇是唐玄宗所器重的大臣，执掌军国大权，张九龄在唐玄宗上台的第二年，就上书姚崇，提醒他“远谄躁，进纯厚”。
姚崇复书嘉纳其言，在选官用人中消除过去缘亲是举的流弊，坚持以才取人，整顿吏治。
公元712年12月，玄宗于东宫举文学士，张九龄名列前茅，授左拾遗，他曾上书唐玄宗李隆基，主张重视地方官人选，纠正重内轻外风气，选官应重贤能，不循资历。
然而，张九龄和姚崇意见并不总是一致，过了三年，开元四年秋，张九龄又以“封章直言，不协时宰”，招致了姚崇不满，这年秋天，他以秩满为辞，去官归养。
张九龄回到岭南，住了一年多时间，他并不闲居，而是想为家乡办点实事，甫到家中，便向朝廷状请开大庾岭路。
张九龄出入岭南，也走过这必经之路，对大庾岭梅关“人苦峻极”的险阻深有感受。
开元年间的唐王朝，经贞观以来近百年的励精图治，社会繁荣，岭南以沿海之利，海外贸易交通有了很大发展，广州已成为中外海上交通门户的大商港。
在这种情况下，开凿梅关古道，改善南北交通显得非常迫切，张九龄的建议得到朝廷批准，于是他自任开路主管，趁着农闲征集民夫，开始开凿工程。
张九龄亲自到现场踏勘，缘磴道，披灌丛，不辞劳苦，指挥施工，古道修通后，全长十几公里，路宽近17米，路两旁遍植松树。
路修成之后，张九龄撰写了《开凿大庾岭路序》，记述大庾岭开凿后，公私贩运：
“转输不以告劳，高深为之失险，于是乎鐻耳贯胸之类，珠琛绝赆之人，有宿有息，如京如坻”。
由于梅关古道的修通，南北交通大为改观，梅岭古道成了连接南北交通的主要孔道，后人誉之为“古代的京广线”，不仅为唐代南北交通作出巨大贡献，而且造福子孙后代。
宋代大量移民南下，大庾岭路对他们来说是最快捷便当的通衢大道。
张九龄居家时间，与曲江县尉王履震、韶州王司马来往密切，诗酒唱酬，结成知己。
开元五年夏秋之间他与王履震联袂来到广州，写下《与王六履震广州津亭晓望》诗。
开元六年春张九龄被召入京，返京时，王司马一直送到大庾岭上，到京后，张九龄因修大庚岭路有功，拜左补阙，主持吏部选拔人才。
张九龄的才学与能干渐为大家所认识，吏部考试选拔人才，他与右拾遗赵冬曦四次奉命参与评定等第，都能公允服人。
开元七年，张九龄改任礼部员外郎，开元八年又升迁为司勋员外郎。
开元九年张说入拜宰相，张说对张九龄早寄以厚望，见他果然文才出众，又和自己同姓，便与他论谱叙辈，夸奖张九龄“后出词人之冠也”。
靠张说的赏识和提拔，张九龄提升为中书舍人内供奉，张九龄并不因为和张说关系密切而随声附和，他对张说的断然行事多有劝说，体现出办事公允和卓有预见。