赵普三次上表恳切辞让，宋太宗赐他手写诏书说：
“开国旧勋，只有你一个人，与他人不能等同，不要再推让，等出发上路那天，我到你家来与你道别。”
赵普捧着手诏哭泣，于是请求带病与宋太宗面谈，宋太宗赐座与他面谈很久，多谈论国家大事，宋太宗赞许并采纳他的意见，赵普即将出发，宋太宗来到他家。
淳化元年，赵普请求致仕，遂为西京留守、河南尹、太保、中书令。
吕蒙正以宽简自任，政事多取决于王沔，王沔与张齐贤同掌枢务，关系很不好。
淳化三年，赵普三次上表以年老多病，请求告老，皇帝派出使者快速前来安抚慰问，并加太师衔、封魏国公，享受宰相待遇，让他在家中养病。
俟损日赴阙，仍遣其弟宗正少卿安易赍诏书赐之，又特遣使赐普诏曰：
“卿顷属微，恳求致政，朕以居守之重，虑烦耆耋，维师之命，用表尊贤。
伫闻有瘳，与朕相见，今赐羊酒如别录，卿宜爱精神，近医药，强饮食，以副朕眷遇之意。”
是年七月十四日病卒于洛阳，终年七十一岁，宋太宗听到消息后非常震惊悲痛，对侍奉的大臣说：
“赵普侍奉辅佐先帝，和我也有旧交情，他果断能决断大事，之前和我有些不愉快，这是很多人知道的事情。
我即位以来，常常待他优厚礼遇，赵普也倾尽全力效忠于我，对国尽忠，是真正的社稷之臣，我失去他非常痛惜。”
于是痛哭涕泣，左右大臣都非常感动，太宗追赠赵普为尚书令，追封真定郡王，赐谥忠献。
次年二月，葬于洛阳邙山，宋真宗咸平元年追封韩王，咸平二年八月，赵普得以配飨宋太祖庙庭。
宝庆二年，宋理宗赵昀图二十四功臣神像于昭勋崇德阁，赵普位列其中。
一次，宋太祖问赵普：
“天下什么东西最大？”
赵普没有立刻做出回答，他的头脑正在快速地思考着，他想，当然不可能是某种有形的东西了。
那么，应回作父母最大呢，还是皇帝的皇权最大呢？就在赵普还没考虑好答案的时候，宋太祖又问道：
“世界上什么东西比其他物件都大？”
赵普又想了一会儿，回答说：
“世界上道理最大。”
宋太祖当即拍手称赞说：
“对，对，道理是人人都要遵守的，就是我当皇帝的，也要服从道理，你回答得妙极了。”
赵普出身小吏，比起一般文臣来，他的学问差得多，他当上宰相以后，宋太祖劝他读点书。
赵普每次回家，就关起房门，从书箱里取书，认真诵读，第二天上朝处理政事，总是十分敏快。
后来，家里人发现，他的书箱里藏的不过是一部《论语》，于是人们就流传一种说法，说赵普是靠“半部《论语》治天下”的。