虽然李泌在颍阳城隐居，但肃宗又将他请回来。
李泌想到朝廷正遭到困难，就到了灵武。肃宗看见李泌，真像得到宝贝一样高兴。
因为那是临时朝廷，不怎么讲究礼节。肃宗跟李泌就像年轻时一样，进进出出，都在一起，大小事情，都跟他商量。李泌有什么主意，肃宗没有不听从他的。
肃宗想封李泌当宰相，但李泌不愿意：“陛下待我就像知心朋友一样，这就比当宰相的地位还显贵了，何必非要我挂个名呢？”
肃宗不想勉强他，也就算了。
李泌在乡间隐居时，穿的是布衣；到了灵武，还是那件旧的布褂子。
有一次，李泌陪着肃宗，一起骑着马巡视军队。兵士们在后面，指指点点的道：“那个穿黄袍的是陛下，穿白褂子的是山里来的隐士。”
肃宗听到兵士们的议论，觉得这样太显眼了，就给李泌一件紫色的官服，硬要他穿上。
李泌没办法，只好穿上。肃宗笑着道：“你既然穿上了官服，还能没有个官衔？”立即从袖里拿出一份诏书，任命李泌为元帅府行军长史（相当于军师）。
李泌还是不肯答应，肃宗笑道：“现在国家困难，只好暂时委屈你一下。等平定叛乱之后，我是会还你自由的。”他跟李泌说话，从不称朕。
那时，郭子仪已经到了灵武。临时朝廷要指挥全国的战事，军务十分繁忙。四面八方送来的文书，从早到晚没有间歇的时刻。
肃宗命令把收到的文书，一律先送给李泌拆看，有特别紧要的，才送给他。宫门的钥匙，由太子李俶和李泌掌管。李泌忙得连饭都顾不上吃，觉也没能好好睡。
肃宗一心想收复长安城，就问李泌：“敌人这样强大，我们该怎么办？”
李泌微笑道：“安禄山发动叛乱，真心帮他出力的是少数，其余都是被迫参加的。”
接着，他又给肃宗定下一个军事计划，暂缓收复长安城，派郭子仪和李光弼分两路进军河北，攻打叛军老巢范阳，叫叛军进退两难，再发动各路官军围攻，把叛军消灭。<div>