刘备在小沛作战失败，独自骑马奔向冀州，去投奔袁绍。张飞带领几十名骑兵，前往硭砀山去了。孙乾、简雍、糜竺、糜芳各自分别逃难，只有关羽保护着甘夫人、糜夫人坚守在下邳。

曹操在徐州责备陈珪说：“现在你申辩没有事，就饶恕你们父子杀车胄的罪过。”陈珪极力申辩没有其他事情，他们商量夺取下邳。程昱献计说：“关羽有万夫不当之勇，而且和刘备义气深厚，不用智谋不能攻取他。现在看到以前的士兵都已经投降，在内部也有刘备新招纳的来自徐州等地的人，可以暗中派遣一个心腹，装作是逃回的人进入下邳去见关羽，在城内制造祸端；然后引关羽出战，假装战败，诱骗他到其他地方，再用精兵截断他的归路，之后要么擒住他要么招降他就可以了。”曹操听从了他的计谋，挑选了十几个士兵，命令他们引诱几十名徐州投降的士兵，偷偷出了营寨，直接投奔下邳去投降关羽。关羽于是就把他们当作心腹，收留了他们而没有怀疑。

第二天，夏侯惇作为先锋，率领五千兵马，直接来到下邳挑衅关羽出战。关羽不出战，夏侯惇就派人在城下辱骂。关羽大怒，带领三千人马出城迎战，和夏侯惇交战。关羽和夏侯惇大约交战了十几个回合，调转马头就跑。关羽愤怒地追来，夏侯惇边战边退。关羽大约追了二十里，忽然醒悟过来，带兵就往回走。这时左边有徐晃，右边有许褚，两队军队出现。关羽冲开道路前进，两边埋伏的军队排出一百多张硬弩，箭像飞蝗一样。关羽在前面，许褚在中间踩踏一百多对弩机，箭如雨下。于是关羽无法过去，勒住军队再次返回，徐晃、许褚接住又打。关羽打退他们二人，带兵前进，夏侯惇又过来了。关羽战斗到傍晚，到了一座土山。关羽带兵占据山头，暂且稍微休息一下，看见曹军密密麻麻，摆成了长蛇阵，紧紧地围住土山。关羽远远望见城中火光冲天而起，原来是那些诈降的士兵举火作为信号。曹操亲自率领大军杀入下邳，只是让人举火来迷惑关羽的心，城中的军民都不肯被惊动。关羽看见下邳起火，内心惊慌，连夜冲下几个地方，都被乱箭射了回来，人马都有很多伤亡。

关羽又回到土山，等到天亮，再次想要整顿兵马下山冲突，忽然看见一个人骑马跑上山来，关羽一看，原来是张辽。关羽迎接他，说：“文远是要来和我作战吗？”张辽说：“不是。想到我们旧日的情谊，特意来告知你。”于是扔下刀和马，和关羽进入中军帐说话。两人坐在山顶。关羽说：“文远难道是想要劝说我吗？”张辽说：“不是。我想到下邳城，当初兄长救弟弟，今天怎么能没有弟弟救兄长呢？”关羽说：“文远是要帮助我吗？”张辽说：“也不是。”关羽说：“既然不帮我，来这里干什么？”张辽说：“刘备不知道生死存亡，张飞不知道是生是死，众人都已经失散了。昨夜曹操已经攻破下邳，城中的军民，都没有受到伤害。刘备的家眷，丞相派人保护，有惊扰的就斩首。这样对待他们，我特地来告诉兄长。”关羽大怒说：“这话就是特意说给我听的！我现在虽然处于绝境，但视死如归。你赶快离开，我马上就下山迎战！”张辽大笑说：“兄长说出这样的话，难道不会被万世之人耻笑吗？”关羽说：“我凭借忠义而死，怎么会被万世耻笑？”张辽说：“兄长现在就这样死去，有三条罪过，难道不会被万世耻笑吗？”关羽说：“你说说我哪三条罪过？”张辽说：“当初刘备和兄长结拜的时候，发誓同生共死。近来刘备在小沛战败，应当齐心协力，在战场上死战，这样名声可以万古不朽，却不应该逃走。走到哪里，谁会不容纳？兄长现在想死在这里，倘若刘备再出现，一心指望兄长，兄长岂不是辜负了孤独的主公，而违背了当年的誓言吗？耽误主公丧失生命，实在是不好。这是第一条罪过。从前刘备把家眷郑重地托付给兄长，作为万无一失的计策。兄长现在战死，两位夫人没有依靠，如果她们能守节，无疑会一死；如果不守节，又会属于别人。这是兄长辜负了刘备托付的重任，实在是不义。这是第二条罪过。兄长武艺超群，又深深通晓经史，不思考一起和刘备，匡扶汉室，拯救百姓；只是想要赴汤蹈火，来成就匹夫之勇，对上辜负祖宗，对下侮辱主公，怎么能称为义呢？这是第三条罪过。兄长有这三条罪过，我不能不告诉兄长。”关羽沉思说：“你说我有三条罪过，想让我怎么样？”张辽说：“现在四面都是曹操的军队，兄长如果不投降，必定只有一死；不如暂且投降曹操，却打听刘备的消息，一旦知道在哪里，就前去投奔他。这样一来，可以保护两位夫人；二来，可以保全自己的忠义；三来，可以保住自己的生命。有这三个好处，兄长应该仔细考虑。”关羽说：“你说的话虽然有道理，我有三件事。如果曹操能答应我，我就立刻解下铠甲投降；如果不答应，我宁愿承受三条罪过而死。”张辽说：“丞相宽宏大量，有什么不能容纳的？愿听三件事。”关羽说：“第一，我和刘备皇叔一同发誓的时候，共同扶持汉室，我现在只投降汉帝，不投降曹操，凡是有杀戮，不禀报丞相。第二，两位嫂嫂那里，请给刘备的俸禄来供养她们，所有上下人等都不许到她们门前。第三，只要知道刘备皇叔的去向，不管千里万里，就应当告辞离去。这三件事缺一，我坚决不会投降。希望文远贤弟赶快回去报告。”