韩信在楚王位上只待了四个月，朝廷就发生了一件事。有一天，刘邦急急召见群臣，说：“有人告发楚王韩信要谋反，怎么办?”
这个告密者到底是谁，《史记》中没有说，只说“人有上书告楚王信反”。当时韩信已经没有了兵权，假如是刘邦想收拾韩信，直接动手即可，没有必要采用欺诈的手法。所以，可以断定，这个告密者是存在的，而且摸透了刘邦的心理。韩信与刘邦并非心心相印，早在楚汉战争期间，刘邦被项羽围困固陵，急切希望韩信来解救。但韩信却趁火打劫，向刘邦讨要自己刚攻占下来的齐地，而且要封他为齐王。起初刘邦不肯，但因为保命要紧，再加上手下人的劝说，最终咬着牙让韩信做了齐王，但是心里一定记着这个仇。所以，即使韩信没有造反之意，由于偏见，刘邦也会相信韩信要造反。大臣们都认为告密属实，所以异口同声地骂道：“亟发兵，坑竖子耳!”此话意识就是：“赶快派兵攻打，活埋了那个王八蛋!”但是考虑到韩信是个打仗的天才，刘邦的臣子中没有与之对抗的人物，于是刘邦最终采取了陈平的调虎离山之计：刘邦假装巡视云梦(今湖北江陵一带)，把韩信诓去，然后只用一个壮士就能生擒他。
韩信收到消息后，意识到刘邦来者不善。他左思右想，自己到底哪里出了问题?最后想到了自己的老乡，曾经追随项羽的大将钟离昧身上。
当年项羽自杀，钟离昧并没有陪项羽共赴黄泉，而是逃到楚地，投奔好朋友韩信。在此期间，刘邦曾通缉过钟离昧，但一直毫无线索。韩信认为，大概是有人告密，捅出了此事。韩信有点后悔当时收留钟离昧了。这时有人建议韩信杀了钟离眛去谒见高祖，高祖必定高兴，也就不用担心祸患了。韩信思之再三，当面与钟离眛商议此事，钟离眛说：“刘邦之所以不攻打楚国，是因为我在你这里，如果想逮捕我去讨好刘邦，我今天死，随后亡的定是你韩信。”说完钟离昧自杀而亡。据说钟离昧自杀前，说韩信：“你真不是一个仁厚之人!”这件事说明韩信并不是一个好朋友，但也说明，他在当时没有背叛刘邦的念头。
不过，韩信想错了。当他提着钟离昧的首级见到刘邦时，还没来得及解释，就被刘邦命武士绑了起来，放在随从皇帝后面的副车上，启程回临时国都洛阳。韩信被绑后，长叹道：“果然像人们说的那样，‘狡兔死，良狗烹;高鸟尽，良弓藏;敌国破，谋臣亡’。天下已定，我当然应该被烹了。”刘邦不想让人当作是这样的人，他争辩道：“你还不知道我为什么要抓你。是因为有人告密，说你要谋反。”韩信听了，也不多辩，任其缚绑。
回到洛阳，刘邦思来想去，认为韩信谋反并无实据，再说韩信就算有谋反的念头，但毕竟功大于过，于是只把他贬为淮阴侯，让他住在长安，软禁在自己身边。
韩信无故被贬，自然牢骚满腹，常常称病不朝。他自视甚高，认为和绛侯周勃、颖阳侯灌婴等处在同等地位是羞耻的事。一次韩信去拜访樊哙，樊哙行跪拜礼恭迎恭送，并说：“大王竟肯光临臣下家门，真是臣下的荣耀。”韩信出门后，怅然叹道：“我这辈子居然同樊哙等同列!”刘邦当然明白韩信这是心中不服，但也没有采取措施，对他的软对抗睁一只眼闭一只眼。
这种情况没有持续多久，又有告密者告发了韩信。这一次，告密者留下了姓名，这个人叫栾说。
