Климат в Милане оказался немного лучше, и Елизавета существенно поправила своё здоровье. Маленькой Софии поездка тоже пошла на пользу. Обидно лишь то, что миланцы утверждали, будто бы императорская чета брала с собой малышку с единственной целью - обезопасить себя от возможных покушений. Бурно радуется Елизавета маленькой Гизеле, однако за время отсутствия матери та сильно привязалась к бабушке. Елизавету это ранит, и она от расстройства бежит к своим верным друзьям-животным. Она окружила себя огромными собаками, а больше всего времени уделяет своим лошадям. Император не препятствует этому пристрастию жены, хотя не любит животных, особенно собак с их неизбежным запахом, и видеть их в своих комнатах ему совсем не по душе. Однако Франц Иосиф покорно терпит и лишь пытается осторожно убедить жену немного сократить слишком частые и продолжительные прогулки верхом, против которых всегда так бурно протестует его матушка.
Эрцгерцогиня, как не может не заметить Елизавета, неизменно плохо отзывается обо всём, что связано с Венгрией. Уже только поэтому Венгрия становится императрице симпатична, хотя она ещё даже не бывала там. Остальное окружение Елизаветы солидарно с эрцгерцогиней: обер-гофмейстерина Эстерхази, будучи вдовой, носит, правда, знаменитую венгерскую фамилию, но в девичестве она - Лихтенштейн, и не желает больше иметь с Венгрией ничего общего, а от первой придворной дамы графини Ламберг, дочери убитого в Будапеште генерала, нельзя, видит Бог, требовать дружелюбного отношения к Венгрии.
Тайные желания Елизаветы состоят в том, чтобы когда-нибудь самостоятельно выбрать себе окружение. Нигде пути испанского этикета не связывают императрицу в большей степени, чем при повседневном общении. Старинные дворянские фамилии окружают императорскую чету буквально непроницаемой стеной. Вряд ли кто-то, не принадлежащий к их числу, какими бы исключительными достоинствами он сам по себе ни обладал, сможет оказаться возле августейших особ. Совершенно точно определено, кто вправе являться к императрице; лишь двадцать три особы мужского пола, принадлежащие к знатнейшим и древнейшим семействам страны, и двести двадцать девять особ женского пола имеют так называемый "большой доступ", то есть когда собирается избранный круг, им разрешено являться без всяких предварительных условий в любое время. Елизавета хочет иметь возможность видеться со всяким, кто ей нравится, кто ей интересен. Среди высшей аристократии сделался привычным некий семейный разговор, который не интересует Елизавету уже потому, что она выросла не в этом круге, а попала туда извне.
Так словно сами собой возникают натянутые отношения между императрицей и высшим дворянством, которое и в политических вопросах мыслит категориями единой централизованной Австрии и склоняется больше на сторону приверженцев эрцгерцогини Софии, решительно выступающих против императрицы. В их число входит прежде всего такой влиятельный человек в окружении императора, как генерал-адъютант Грюнне, сделавшийся всесильным, особенно в армии, так, что там шутят: якобы армия состоит не из "чёрно-жёлтых", а из "зелёных" солдат. В этих кругах испытывают явную антипатию к Венгрии, которая по-прежнему не желает пребывать в составе единого государства в качестве одной из провинций, но намерена входить в него вместе с Австрией, однако на равных правах с ней.
Министр внутренних дел барон Бах, после подавления революции ярый поборник общеавстрийской идеи, теперь считает, что необходимо что-то сделать, чтобы, совершив после Италии визит в Венгрию, по возможности умиротворить её и с помощью амнистии и уступок попытаться привлечь на свою сторону. Однако главная идея должна оставаться при этом незыблемой: император решил не отступать от неё ни на йоту. Учитывая национальный характер венгерского народа, австрийские политики рассчитывают извлечь гораздо больше пользы из красоты и очарования императрицы, чем это удалось в Италии. Перед отъездом вспыхивает ещё одна семейная размолвка. Елизавета собирается взять с собой детей по крайней мере в Будапешт, чтобы побыть с ними без эрцгерцогини Софии, которая, естественно, не осмелится ступить на венгерскую землю. Эрцгерцогиня высказывает озабоченность здоровьем девочек, но Елизавета усматривает в этом всего лишь извечное стремление свекрови отдалить её от детей и склоняет императора на свою сторону.
Как только в Венгрии узнали о предстоящем визите, там с новой силой проснулось недоверие, питаемое к Австрии и методам её правления. Тем не менее хотя в душе каждого венгра и жило неприятие политического курса Вены, в конце концов 4 мая 1857 года удалось организовать в Офене на Дунае довольно сносный, правда, не сердечный приём прибывшей императорской четы. Елизавета была восхищена ландшафтами венгерской столицы, её покоряет преклонение, которое она ощущает на каждом шагу, несмотря на политическое противоборство, ей льстит неподдельный восторг, в который приводит аристократию и простой народ её красота, особенно когда она появляется верхом на парадах или в городском парке.
Время до 13 мая, которое императорская чета проводит в Будапеште, с избытком заполнено празднествами всякого рода, так нелюбимыми Елизаветой, но она чувствует себя здесь удивительно хорошо, и симпатия ко всему венгерскому, которая читается по её глазам, как бы сама собой пробуждает любовь и сердечность в душе хозяев. До Венгрии давно дошли слухи о неладах между матерью императора и Елизаветой, а поскольку позиция эрцгерцогини Софии всем известна, а её роль в подавлении восстания не забыта, то в сердце каждого венгра зреет не ясное пока желание приобрести в лице императрицы сторонницу, а может быть, даже покровительницу венгерской нации. Это заставляет прилагать все усилия к тому, чтобы сделать пребывание императрицы как можно более приятным. По отношению к Францу Иосифу венгры более сдержанны. Он, правда, объявил амнистию, однако казнённых не вернёшь, а император всё ещё противится страстным желаниям венгерской нации. Впрочем, испытывать любовь к императрице, а к императору - антипатию очень нелегко. Хотя Франц Иосиф и отказался принять торжественное послание ста двадцати семи консервативно настроенных дворян, в котором они поднимали вопрос о восстановлении венгерской конституции, на его долю тоже пришлась часть сердечности, предназначенной его жене, на что и рассчитывал Бах.
Тут происходит событие, которое, похоже, оправдывает опасения, высказанные эрцгерцогиней Софией накануне отъезда императорской четы в Венгрию. На 13 мая намечена поездка августейших особ по стране. Маленькая Гизела неожиданно заболевает: у неё начинается понос и лихорадка. В результате поездка откладывается. Гизела сравнительно быстро выздоравливает, но 19 мая аналогичные симптомы обнаруживаются у Софии. Выглядит маленькая София ужасно, и родители крайне встревожены, особенно Елизавета, которой вспоминается ссора в Вене накануне отъезда. В будущее она смотрит с опаской, поскольку не встречает поддержки у Зеебургера. Но когда наступает длительное улучшение, Елизавета поддаётся уговорам, что нужно ехать, страна ждёт, уже много денег потрачено на организацию приёма и ожидания нельзя обмануть.
Когда 29 мая августейшая пара прибывает в Дебрецен, императрица получает телеграмму от Зеебурга, который в отличие от своих прежних прогнозов сообщает тревожные сведения о самочувствии маленькой Софии.
Поездка тотчас же прерывается, и августейшая пара кратчайшим путём возвращается в Будапешт. Елизавета находит дочь в очень плохом состоянии, очень ослабевшей, с затуманенными глазами. Зеебургер совершенно растерян, на вопросы матери он не устаёт повторять, что не теряет надежды.
Не помня себя от горя, молодая мать уже ни на минуту не отходит от постели больной дочери, но уже бессильна чем-нибудь помочь и, замирая от страха, становится свидетельницей последовательных стадий умирания любимого ребёнка. Врачи не в состоянии чем-нибудь помочь. В половине десятого вечера малышка, которой от роду всего два года, испускает последний вздох, и Елизавета, заливаясь слезами, закрывает ей глаза.
"Наша малышка превратилась теперь в ангела небесного, - телеграфирует император своим родителям, - мы совершенно уничтожены. Зизи совершенно смирилась с волей Господа". Но это не совсем так. Елизавета в полном отчаянии, винит себя и весь мир и не слушает, когда её убеждают, что подобное несчастье могло произойти где угодно и что, дескать, упрекать в этом некого.
Поездка по Венгрии прекращается, и 30 мая императорская чета возвращается в Лаксенбург. Печальное событие сыграло положительную роль, по крайней мере в политическом отношении. К императорской паре повсюду проявляют тёплое человеческое участие даже её политические противники, и на некоторое время конфронтация Венгрии несколько стихает.
Елизавета плачет с утра до вечера, только и говорит, что о погибшем ребёнке. В таком состоянии нечего и думать снова брать её с собой в Венгрию, и император решает поехать один, что, естественно, не даёт желаемого результата. Тем не менее теперь Франца Иосифа труднее склонить к тому, чтобы принять строгие меры в отношении Венгрии, нежели прежде. Многим эмигрантам времён революции легче вернуться на родину, и в Венгрию среди прочих возвращается и граф Дьюла Андраши, который провёл годы изгнания в Париже. Щедро финансируемый матерью, элегантный молодой граф был восторженным почитателем прекрасного пола, желанным гостем в самых знатных домах. Он уже не участвовал в лондонском подстрекательстве Кошута против правительства Франца Иосифа и даже публично выступал за примирение его родины с Австрией.