Но вернемся к дому на Мойке. Несмотря на то что в это время, как и на других набережных, вдоль Мойки возводились дома по красной линии, этим хозяевам, ввиду значимости их рода для Российской империи, было разрешено перестраивать дом на том же месте, где он стоял ранее, в глубине участка. Монигетти, конечно же, понимал значимость арки Новой Голландии и учитывал характер близлежащих домов. А потому он изменил своей манере и выполнил здание в строгом стиле раннего французского классицизма. Благодаря этому дом не дисгармонирует, а, перекликаясь с архитектурой уникальной арки, сквозь тончайший ажурный рисунок решетки как бы подчиняется ее величию. Особенно хорошо дом смотрится сквозь арку с острова Новая Голландия.
Автор монографии о Монигетти В. Н. Листов писал об этом здании: «Некоторая сухость обработки фасадов восполнялась живописностью общей асимметричной композицией здания, усложненным абрисом кровли, прорезанной выступами высоких аттиковых этажей». Объем дома архитектор оставил прежним, придав фасаду девять окон вместо одиннадцати. Дом стал двухэтажным на высоком подвале с центральной частью в виде ризалита и высокой крутой кровлей. В левой, боковой части здания Монигетти устроил и второй, зимний вход с навесом. Через него можно было сразу попасть в созданные им пристройки с концертным залом и зимним садом.
Следующие переделки происходили в доме в 1883 году. По архивным сведениям, в это время был капитально исправлен дом, возведена одноэтажная каменная пристройка к основному зданию, в подвальном этаже прорезаны два оконных проема. Эти переделки производились архитектором В. Бернгардом, им же был полностью перестроен второй этаж поперечного каменного флигеля во дворе и, так же как и в главном доме, осуществлено его «капитальное поправление».
Воронцовы, вероятно, думали, что, создав уютное жилище, они обзаведутся потомством и, возможно, передадут дом своим наследникам. Но случилось иначе. У них не было детей. Известно, что Семен Михайлович умер в 1882 году. И в том же году, в связи с его смертью, чтобы не угасал столь значимый для России род, было «высочайше дозволено графу Павлу Андреевичу Шувалову принять герб, титул и фамилию по его матери и именоваться светлейшим князем Воронцовым графом Шуваловым».
В 1884 году Мария Васильевна покинула Петербург и уехала жить во Флоренцию. Десять лет дом оставался на попечении управляющего.
Последние хозяева этого дома в императорской России великая княгиня Ксения Александровна и великий князь Александр Михайлович.
В 1894 году весь участок у вдовы С. М. Воронцова за один миллион был куплен императором Александром III и «пожалован в дар и вечное потомственное владение» своей дочери Ксении Александровне, которая вступала в брак с великим князем Александром Михайловичем, четвертым сыном великого князя Михаила Николаевича и внуком императора Николая I.
Александр III очень любил свою дочь. Да и все знавшие Ксению Александровну отзывались о ней с неизменной теплотой. Князь Феликс Юсупов в своих воспоминаниях написал, что ее жилище, где все выглядело приятным, «обязано было своей привлекательностью главным образом великой княгини Ксении Александровне. Даже не красота, а исключительное обаяние, унаследованное от матери, императрицы Марии Федоровны, было ее главной прелестью. Взгляд ее великолепных серых глаз проникал до глубины души. Кротость, скромность и крайняя доброта придавали ей обаяние, которому никто не мог противиться. В детстве ее визиты для меня были праздником. После ее отъезда я пробегал по комнатам, где сохранялся еще запах ландышей, который я вдыхал с наслаждением».
Александр Михайлович, по воспоминаниям того же Юсупова, был брюнетом высокого роста, «очень красивый, имел сильный характер». Александр Михайлович являлся одним из самых деятельных фигур в семье Романовых. Он стоял у истоков организации военной авиации в России. Не без его участия страна вступила в Первую мировую войну 19141918 годов. Накануне революции он писал Николаю II: «События показывают, что твои советники продолжают вести тебя и Россию к верной гибели Приходишь в полное отчаяние, что ты не хочешь внять голосам тех, которые знают, в каком состоянии находится Россия, и советуют принять меры, которые должны вывести нас из хаоса Правительство сегодня тот орган, который подготавливает революцию. Народ ее не хочет, но правительство употребляет все возможные меры, чтобы сделать как можно больше недовольных, и вполне в этом успевает. Мы присутствуем при небывалом зрелище революции сверху, а не снизу».