Затем в 2 часа дня I корпус двинулся вперед четырьмя большими колоннами. Сначала казалось, что все складывается просто замечательно. Затем на вершине холма блеснула сталь это британские тяжелые драгуны, до сих пор скрытые от французов на тыльных склонах холмов, ринулись в атаку, яростно прорубая себе дорогу сквозь расстроенные ряды французской пехоты. Воодушевленные успехом, британские кавалеристы помчались дальше в направлении большой батареи, которая находилась на французской стороне долины. Здесь они подверглись мощной контратаке безжалостных французских улан. Оставшиеся в живых британцы повернули своих лошадей и поскакали назад.
Тучи сгущаются
Наполеон удвоил свои усилия, направленные на разгром Веллингтона. Пруссаки не представляли прямой угрозы, поскольку мощный VI корпус мужественного Лобау, несомненно, был в состоянии остановить их продвижение. Выполняя приказ Наполеона, французская артиллерия теперь сосредоточила огонь на Ля-Эй-Сен и на Ужумон. Артиллерийский огонь разрушил обе фермы, и французская пехота снова пошла в атаку.
Порывистый маршал Ней возобновил наступление, предприняв серию массированных кавалерийских атак, направленных против центра позиции Веллингтона. В этих атаках приняли участие кирасиры IV кавалерийского корпуса Милье и дивизия легкой кавалерии императорской гвардии. Наполеон счел эти атаки преждевременными, однако увидев, что им удалось преодолеть сопротивление противника, готовился поддержать кавалерию силами имевшейся в его распоряжении пехоты, а именно III корпусом Вандамма, а также теми подразделениями II корпуса, которые еще не были втянуты в сражение за Ужумон. К 5 часам вечера после нескольких атак французская кавалерия, несмотря на контратаки кавалерии союзников, утвердилась на высотах, прежде занимаемых войсками Веллингтона, и готовилась нанести удар по пехотным каре противника. Пушки Веллингтона, которые находились на высотах, были брошены артиллеристами, которые укрылись внутри каре. Теперь колонны французской пехоты могли беспрепятственно пересечь долину и закрепиться на плацдарме, отвоеванном кавалерией. Орудийные расчеты французской артиллерии также пробирались вперед, преодолевая непролазную грязь.
Вскоре полчища французских стрелков при поддержке артиллерии уже обстреливали с высот небольшие, лишенные маневра пехотные каре Веллингтона, южные линии которых отвечали слабым ружейным огнем. Командующий кавалерией Веллингтона граф Аксбридж галопом носился от одной кавалерийской части к другой, приказывая контратаковать. Однако голландцы и бельгийцы отказывались идти в бой без полка ганноверских гусар. Британская тяжелая кавалерия была разбита. Оставалась только британская легкая кавалерия, а также брауншвейгские гусары и уланы, которые атаковали при любой возможности и добились временного успеха, несмотря на численное преимущество врага.
Французы перешли к тактике позиционной борьбы, которая медленно, но верно изматывала силы Веллингтона. Картечь продолжала разрывать линии каре союзников. Выполняя приказ принца Оранского, контратаку предпринял пехотный батальон из бригады Нассау, однако почти мгновенно он был отброшен французскими кирасирами.
Героическим защитникам фермы Ля-Эй-Сен, у которых закончились боеприпасы, пришлось оставить свои позиции и фермой овладели французы.
Наполеон почувствовал, что наступил долгожданный момент. Отправив дивизию Молодой гвардии на помощь Лобау, который сдерживал пруссаков, он передал Нею семь батальонов Средней гвардии, приказав ему пробить брешь в уже изрядно потрепанном центре позиции Веллингтона. Затем в эту брешь он намеревался пустить свежие силы III кавалерийского корпуса генерала Франсуа Келлерманна.
Вступление в бой Средней гвардии решило исход дня. На центральном участке сражения войска Веллингтона были сброшены с высот, что чрезвычайно ослабило позиции армии союзников на обоих флангах. Аксбридж бросил в схватку остатки британской тяжелой кавалерии и некоторое количество всадников Германского Королевского легиона. Эта отчаянная контратака поначалу смяла строй кирасиров, но вскоре захлебнулась, столкнувшись с батальонами Старой гвардии, которые, хладнокровно построившись в каре, открыли ураганный огонь. Попав под перекрестный обстрел, одни лошади поворачивали назад и падали, сраженные пулями, другие, обезумев, бросались вперед, вынося своих всадников на открытое пространство, где их настигали пики французских улан.
Веллингтон сразу понял, что если он попытается одновременно поддерживать контакт и с подразделениями, оборонявшими Ужумон на западном участке, и с пруссаками, которые подходили к восточному участку, то его армия по мере продвижения французов на центральном участке будет раскалываться надвое. Поэтому, чтобы сохранить армию, герцог вывел из Ужумона те части, которые еще можно было вывести, предоставив остальных защитников фермы собственной судьбе, после чего начал отступление на север.
Тем временем Аксбридж подтянул бригаду британских легких драгун сэра Джона Вэнделера, которая находилась на самом краю восточного участка поля битвы, оставив там гусар сэра Хассея Вивиана, которые должны были прикрыть отступление этого крыла армии .