钟相那边为了赶时间，把辎重全留在湘阴，普通部队也留在湘阴防守，连归义江口水寨和平江县城都不要了。然后，万余精锐乘船南下，并且一分为二前去奔袭。
杨应诚率两万江西新军，一直在攻打云阳山寨。
伪楚大将杨华率八千精锐，毫无征兆的从云阳寨杀出。
杨应诚被打得措手不及，丢盔卸甲逃回茶陵。茶陵县城有大量摩尼教徒，夜间放火作乱，杨应诚在混乱当中逃回江西，好不容易攻占的茶陵就此丢掉。
两路江西新军，基本已被打残，宋徽宗的便宜儿子都差点战死。
杨应诚率领残部退守永新，脑子还一直犯迷糊。伪楚精锐不是在北边吗？咋还能抽空回来打自己？
却说钟相亲率精锐抵达衡阳，被机警的曹成发现情况有变，曹成立即率军后撤数十里。
钟相本打算一路追去，将曹成大军给消灭，却又接到东南边的耒阳战报：桂阳监的矿工们正在围困耒阳。
钟相正待去解耒阳之围，西边的邵阳又没了，李珙、杨再兴合作把邵阳攻占。
局势变得更加危急，屯兵衡阳的钟相，三面都有敌人，已经不知该先打哪处！
钟相先是分兵增强耒阳的防守力量，接着不管邵阳的李珙和杨再兴，亲率精锐坐船沿湘江追着曹成打。
曹成大败，退到祁阳才停下。
钟相不敢再追，因为李珙、杨再兴杀来了，而且已经攻占西渡镇（后世的衡阳县城）。
那里的守将伏胜，也是楚军一员大将，才被钟相派去守寨。但那里只有水寨没有城墙，伏胜手里全是二线部队，士气不振且兵甲不精，竟被杨再兴率兵先登。大将伏胜更是被杨再兴一枪戳死！
钟相带兵紧急赶回，好歹把衡阳城给守住。
至此，钟相已经难以出城浪战，再猛的精兵也不是铁打的。一路转战奔袭作战，伤亡日渐增多，而且体力消耗严重，必须窝在城里休整一段时间。