"Часто бывало, что он забивался в какой-нибудь уголок и молча проливал слезы, никто не знал почему..." Отец доверил его женщине, которая должна была водить его гулять; с первых же дней мальчик невзлюбил ее. Он сердился, что она не умеет говорить по-французски, он называл ее "cattiva" - злая. Можно представить себе, что творилось в сердце этого ребенка, оставленного матерью, этого чахлого малютки, совсем не похожего на двух старших братьев-крепышей. Так закладывалась основа мрачного характера, которая будет проглядывать сквозь необыкновенную жизненную силу Виктора Гюго.
В 1803 году батальон перевели на остров Эльбу, и только там, в Портоферрайо, госпожа Гюго соединилась наконец со своей семьей. Муж настойчиво звал ее: "Все удивляются, что ты не приезжаешь и что дети оставлены на меня. Уже начались всякие толки..." Софи хорошо знала, зачем она едет, - увезти в Париж троих своих сыновей, которых она обожала, и встретиться там с Лагори. Она рассчитывала добиться согласия майора, полагая, что при его пылкости, хорошо ей известной, он, должно быть, уже завел любовную интригу и захочет получить свободу. И действительно, как только госпожа Гюго приехала, добрые души оповестили ее, что майор сошелся на острове с девицей Катрин Тома, отец которой служил экономом в госпитале, но был уволен за растрату. Хоть Софи и сама была виновата перед мужем, она проявила негодование, отвергла любовные домогательства Гюго и уехала обратно в ноябре 1803 года. В Портоферрайо она прожила меньше четырех месяцев.
В дальнейшем она заявляла, что муж совсем не уговаривал ее остаться, что он желал получить свободу, чтобы сожительствовать с любовницей. Несомненно, майор Гюго был слаб перед плотскими соблазнами. И все же он предпочел бы любовницам свою жену, если б она сделала терпимой совместную жизнь. Но конфликт между женой и мужем исходил из разницы темперамента.
Майор Гюго - жене, 8 марта 1804 года:
"Прощай, Софи. Помни, что меня точит червь, желание обладать тобой; помни, что в моем возрасте страсти отличаются особой горячностью и что, хоть я и ропщу на тебя, я чувствую потребность прижать тебя к своему сердцу..."
Если б жена вернулась раньше, утверждал майор, он никогда бы ей не изменил: "Да, я хочу принадлежать тебе одной, но, чтобы принадлежать тебе одной, нужно, чтобы я никогда не испытывал холодности с твоей стороны и ты никогда бы не отталкивала меня. А иначе лучше уж жить раздельно..."
Это еще не был полный разрыв. Леопольд Гюго любил своих сыновей, он признавал свои ошибки, но ответственность за них возлагал на жену:
"Можно ведь и в моем возрасте и с моим, к несчастью, пылким темпераментом иной раз и забыться, но в этом всегда виновата была ты сама... Я еще слишком молод, чтобы жить в одиночестве, слишком крепок здоровьем, чтобы меня не влекло к женщинам: я люблю, скажу больше, я буду по-прежнему обожать свою жену, если моя жена пожелает признать, что мне необходима ее любовь и ее ласки. Но я могу быть благоразумным только близ своей жены; итак, дорогая Софи, я думаю, что гораздо лучше было бы для меня произвести с тобою на свет еще одного ребенка, чем бросить тебя ради другой женщины, и знать, что дети мои растут вдали от любящего взора отца. Я чувствую в себе достаточно душевных сил, чтобы составить счастье той, которая пожелает судить обо мне без предубеждения; в смысле телесном (скажу по секрету только тебе одной) я никогда еще не чувствовал себя так хорошо, как сейчас; в смысле образования я много приобрел за время твоего отсутствия..."
Обезоруживающая откровенность, которая могла бы тронуть, но Софи любила другого.