Но генерал Багратион был чрезвычайно недоволен этой позицией:
маленький холм, находившийся по другую сторону Уши впереди правого фланга, был признан господствующим над позицией пунктом, и это признавалось основным недостатком данного плана. Полковник Толь, человек чрезвычайно упорный и не слишком вежливый, не захотел сразу же отказаться от своей идеи и стал возражать, что в высшей степени раздражило князя Багратиона, который закончил разговор довольно обычным в России заявлением:
"Господин полковник! Ваше поведение заслуживает того, чтобы вас послали с ружьем за спиной".
В России подобное выражение является не только фразой; как известно, там может состояться в законном порядке своего рода разжалование, причем самый знатный генерал, по крайней мере формально, может быть сделан рядовым. К этой угрозе никак нельзя было отнестись с пренебрежением. Барклай смог бы заступиться за своего генерал-квартирмейстера, лишь выступив в качестве главнокомандующего, и категорическим приказанием заставить князя Багратиона замолчать и повиноваться, но он был далек от этого. Проявить такую авторитетность, пожалуй, было для него и практически невозможно вследствие сложившихся взаимоотношений; к тому же он не обладал достаточно властным характером для такого выступления. Не подлежит также сомнению, что по мере приближения Наполеона решимость дать сражение в нем ослабевала. Итак, оба генерала решили отказаться от позиции, которую так расхваливал полковник Толь, и 24-го занять другую, на одну милю позади, у Дорогобужа, которую князь Багратион признавал гораздо более выгодною.
По мнению автора эта позиция была отвратительна: перед фронтом ее не было никакого препятствия для подступа к ней, а обзор отсутствовал полностью; довольно обширный, извилистый и всхолмленный Дорогобуж находился позади правого крыла; часть войска, а именно корпус Багговута, располагалась по другую сторону Днепра на еще более невыгодной позиции. Автор от этой перемены был в отчаянии, а Толь пришел в состояние тихого бешенства. По счастью, и это решение оказалось недолговечным; в ночь с 24-го на 25-е армия снова двинулась дальше. Так прошли еще четыре перехода, а именно до 29 августа; постоянно высказывали намерение принять на следующей позиции бой и всякий раз отказывались от него, как только приходили на эту позицию.
Ближайшее подкрепление, которого следовало ожидать, резерв под командой генерала Милорадовича, должно было состоять из 20 000 человек, но в действительности достигало лишь 15 000. На него рассчитывали еще на стоянке в сел. Усвяты, но действительно прибыло оно лишь в Вязьме.
Наконец, 29-го, в одном переходе от Гжатска, Барклаю показалось, что он нашел позицию, которая, будучи усилена сооружением ряда намеченных укреплений, допускала принятие боя. Он тотчас приказал усилить ее несколькими укреплениями. Но в этот самый день прибыл Кутузов в качестве верховного главнокомандующего. Барклай вернулся к командованию первой западной армии, а Кутузов пока приказал продолжать отступление.
Об этой перемене в командовании стали говорить лишь за несколько дней до прибытия Кутузова; это доказывает, что назначение Кутузова не было предрешено при отъезде императора из армии; Кутузов в таком случае прибыл бы раньше. В армии полагали, что нерешительность Барклая, мешавшая ему дать генеральное сражение, и недоверие к нему, распространившееся за последнее время в армии, где на него стали смотреть как на иностранца, побудили в конце концов императора поставить во главе всего ведения военных действий того из коренных русских людей, кто пользовался наилучшей боевой репутацией.
Если принять во внимание момент этого назначения, то можно предположить, что решающее значение для смены Барклая имел отказ от уже начатого наступления на Смоленск. Это имело место 7 и 8 августа, а три недели спустя прибыл Кутузов.