其时侬智高军已克康州、拔羊城、破邕州。广南东路钤辖张忠与广南东西路钤辖蒋偕这两个高级将领竟被击毙。康州知州赵师旦到任才一天，还算有几分豪气，将侬智高派去劝降的人杀死，领兵三百顽抗。五月十八日，终于城陷阵亡。

智高原计划，其部众是要在向湘荆进军后，便打算以主动的地位与宋朝廷议和的。然而，侬智高清醒地认识到，面对着比起义部队强大近十倍的敌军，他们是根本无法与之抗衡的。因此，在占领全州后，和军师黄师宓等人进行密议后，毅然作出回师邕州的重要决定。班师南下时，侬军兵锋仍然很锐，一路攻破桂州、柳州，又派部队去攻打宜州。

正在此时，狄青的先头部队开到了，先锋杨文广率兵在桂州附近与起义军正面相遇，战斗十分激烈，结果宋军受创，杨文广被困得脱。侬智高班师抵邕州时，兵力仍盛，知州宋克隆闻风弃城逃了。

狄青至前先后，上书于仁宗，言道：“臣受命以来，未敢丝毫懈怠，大军所到，必擒智高，只是迟早之事。然臣观智高之乱，数月之间竟有如此兵势，况其属下之兵士皆愿为其战，不计生死。西南之众心多向之。交趾之众虽多未开化，但人心失落如此，或许圣恩未广，或许官员不力，致使矛盾激化至斯。智高其人多有勇略，并未如朝中有人所言，道其蛮劣异常，常烹小儿以食，为蚩尤样人。平叛之日只在早晚，治乱之期却长矣。愿陛下早做圣断，收拾西南之民心。”

却说仁宗收到此信，于早朝之上议论交趾之乱，正自夸奖狄青。

一班文官却不提安抚之事。

天正官文彦博出班奏道：“臣闻近日狄青军事不利，杨门之后杨文广先头部队前日遭受重创。臣观狄青不堪重任。”

欧阳修也出班曰：“太祖以来，未有武人位列如此，平叛事紧，若狄青确不符其任，臣也认为应该再遣文武之士。”

御史中丞王举正出班曰：“狄青出身行伍而位至执政，乃本朝所无，臣以为狄青武人，不可专任。广南西路钤辖陈署乃我朝重臣，狄青到任方二月，即将陈署等三十二名将士斩首，实乃仰军权而专治！”

宋朝自立国以来，惩唐末五代武人专政，兵变频繁之弊，自开国以来，极力压低武将地位，以绝其觊觎之心，把右文抑武作为基本国策。从宋太祖的“杯酒释兵权”，分割禁军统帅权力，到实行“更戍法”，使兵不知将，将不知兵，直至发展到凡将帅出征，要由朝廷授以阵图，训令，将帅只能按图作战的荒唐地步。

武人身份受一定排斥，大部分武人士兵在脸上黥字以致终身受歧视。宋朝的基本国策使整个社会形成了以科举为荣的习气。

而那些通过科举出身的官员认为自己是所谓人才，瞧不起武人，即使他有盖世功勋。