Генерал Ли меж тем тоже не терял времени даром. Вместе с дивизией Андерсона он прибыл в Салем Черч, где со вчерашнего вечера оставались бригада Уилкокса и дивизия Мак-Лоуза. Командующий отдал им приказ предпринять фронтальную атаку, как только от позиций Седжвика раздастся артиллерийская канонада. Сам же он как обычный дивизионный командир с тремя бригадами Андерсона двинулся в обход линии 6-го корпуса, чтобы отрезать его от Фредериксберга и прорвать оборону на левом фланге.
Однако этот марш оказался слишком долгим и трудным, и запыхавшаяся, насквозь пропыленная и мокрая от пота пехота конфедератов смогла занять рубежи атаки лишь к 5 часам вечера. Позиции, которые ей предстояло штурмовать, были не из легких. С юга корпус Седжвика прикрывался глубоким оврагом, за которым из земли вырастал высокий холм.
На этом холме и располагался левый фланг – 6-тысячная дивизия Хови, но генерал Ли не относился к числу командиров, которых могли напутать холмы и овраги. Тщательно осмотрев позиции врага, он лично дал распоряжения командирам бригад, указав каждому предназначенную для него цель.
Затем был дан сигнал, и атака началась. Райт стремительным ударом захватил дом Даумена на вершине холма, а вместе с ним – и нескольких храбрых северян, пытавшихся держать там оборону. Бригада Поузи поддержала его атаку слева. Вместе они штурмом взяли противоположные высоты, отбросив дивизию Брукса на дорогу Пленк. В центре боевых порядков южан бригада Хоука поднялась по склонам высот, на которых стоял дом Геста, а бригада Хейса, присланная генералом Эрли, обошла эту позицию с тыла. Хови не выдержал такой комбинированной атаки и отступил.
Но добиться полного успеха южанам все же не удалось. Мак-Лоуз так и не услышал ни артиллерийской канонады, ни винтовочной стрельбы и не атаковал, как это планировалось, позиций Седжвика с фронта. В ожидании его появления Ли приостановил победное шествие своих частей и стал приводить их расстроенные ряды в порядок. Это занятие заняло у него весь остаток дня. Наступивший вечер сделал продолжение атаки невозможным.
Бой южан с частями Седжвика к востоку от Салем Черч стал завершающим аккордом сражения у Чанселорсвилла. Игра была окончательно проиграна Хукером, и теперь ему не оставалось ничего другого, кроме отступления.
Так, самым постыдным для северян образом, закончилось Чанселорсвиллское сражение, сулившее им вначале столь громкий успех. На следующий день, 5 мая, федералы начали переправу на северный берег Раппаханнока, оставив на Чанселорсвиллском плато и в окрестных лесах ликующего неприятеля.