唐玄宗李隆基即位后，多次征召一行，他均以身体欠佳为由婉辞。公元717年，唐玄宗特地派他族叔张洽去接，他才回到长安。一行一到京城就被召见，唐玄宗问他特长，他说只是记忆力好些。唐玄宗当即让太监取宫人名册。一行看过一遍，就将宫里所有人的姓名、年龄、职务依次背出。唐玄宗大为叹服，恭称“圣人”，并让他做了自己的顾问。在长安期间，一行住在华严寺，有机会和许多精通天文和历法的印度僧侣交往，获得了许多印度天文学方面的知识。他与印度高僧一起研讨密宗佛法，翻译了很多佛教经典。
为了观测天象，一行在机械制造家梁令瓒的援助之下，创制出了黄道游仪和水运浑象等天文仪器。通过实际的观测，一行重新测定了150多颗恒星的位置，发现与古代典籍所载的位置有若干改变，现代天文学称之为“恒星本动”。
公元724年～725年，一行主持了规模宏大的天文大地测量，测得了子午线1°的长，这是世界上首次实测子午线。
从公元725年起，一行历经两年时间编制成了《大衍历》（初稿）20卷，纠正了过去历法中把全年平均分为二十四节气的错误，是我国历法的一次重大改革。