Надежда Сергеевна работала, с детьми занималась няня, но по вечерам и в выходные дни мать старалась уделять как можно больше внимания сыну и дочери. До 1929–1930 годов, по воспоминаниям Светланы Аллилуевой, мать сама вела хозяйство, получала пайки и карточки, и ни о какой прислуге не могло быть и речи. Во всяком случае, в доме был нормальный быт, которым руководила хозяйка дома, и никаких признаков присутствия в доме чекистов, охраны тогда ещё не было. Единственный охранявший ездил со Сталиным только в машине и к дому никакого отношения не имел, да и не подпускался близко. Более того, Сталин в то время ходил по московским улицам без всякой охраны, как обыкновенный человек.
Летом в Зубалове всегда было людно. Здесь часто живал Бухарин, наполнявший весь дом животными, которых очень любил. Он играл с детьми, учил няню ездить на велосипеде и стрелять из духового ружья. Надолго приезжал Г.К. Орджоникидзе, который очень дружил со Сталиным. Близкими подругами были их жёны. Появлялся Будённый с гармошкой, под которую любил петь Ворошилов. Изредка подтягивал и хозяин, у него, оказывается, был высокий и чистый голос, хотя говорил он, наоборот, глуховато и негромко.
Признанной главой дома была хозяйка. Ей одной удавалось объединить и как-то сдружить между собой всех разношёрстных и разнохарактерных родственников. Многие знавшие её люди отмечают, что наряду с привлекательностью, умом, необыкновенной деликатностью она обладала большой твёрдостью, упорством и требовательностью в том, что ей казалось непреложным. Подчёркивая независимость её характера, приводят такой пример: в 1927 году, во время ожесточённой борьбы Сталина с Троцким, когда Троцкий и Зиновьев были исключены из партии и покончил с собой их видный сторонник дипломат А.А. Иоффе, на похоронах за его гробом в числе провожавших в последний путь шла Надежда Аллилуева.
Родственников у Надежды Сергеевны было много, и они не обделяли её своим вниманием. Объявив себя мужем и женой, супружеская пара перевезла в Москву родителей Надежды. Сергей Яковлевич и Ольга Евгеньевна Аллилуевы жили в кремлёвской квартире Сталина, на лето перебирались в Зубалово. После смерти Надежды в 1932 году Сергей Яковлевич сник, совершенно ушёл в себя, подолгу не выходил из своей комнаты. Жил попеременно то в Зубалове, то у старшей дочери Анны. Потом засел за воспоминания, которые вышли в 1946 году. Напечатанными он их так и не увидел - умер в 1945 году почти в восьмидесятилетнем возрасте. В отличие от сдержанного, деликатного супруга, Ольга Евгеньевна была натурой темпераментной, влезала во все бытовые мелочи, бурно выражала свой восторг и своё недовольство. Умерла она в 1951 году от стенокардического спазма, было ей 76 лет. После неожиданной кончины младшей дочери старики жили порознь, и каждый встретил свой смертный час отдельно друг от друга. Так же стоически переносили они удары, валившиеся на семью один за другим.
Удары обрушивались с сатанинской методичностью, как будто кто-то специально задался целью вырвать этот большой и крепкий род с корнями. Чудовищный замысел начался с уничтожения молодых побегов семейного древа Аллилуевых. После трагической кончины Надежды рок указал кровавым перстом на её старшего брата Павла и его жену Евгению Александровну. Павел Сергеевич, похожий на младшую сестру и внешне, и внутренне, только, пожалуй, более мягкий и податливый, стал, как ни странно, профессиональным военным. Не он выбирал профессию - она его выбрала. Началась революция, гражданская война, и он взял в руки оружие. Воевал под Архангельском, в Туркестане.
После окончания гражданской войны по указанию Ленина его послали с экспедицией Урванцева на Крайний Север - искать руду, уголь. Он не принадлежал к числу учёных, он обеспечивал их безопасность. На реке Норилке экспедиция обнаружила огромнейшие запасы каменного угля и железной руды. Павел Аллилуев вместе с Урванцевым забивали первые колышки в основание будущего города Норильска. В конце двадцатых годов он с семьёй уехал в Германию в качестве военпреда. Вернувшись в Москву, создавал Бронетанковое управление. В 1938 году, выйдя на работу после очередного отпуска, он не узнал своего управления: в его отсутствие арестам подверглась большая половина сотрудников. Служебные помещения опечатаны, в коридорах зловещая тишина. Генералу Аллилуеву стало плохо, и он умер в своём кабинете от сердечного спазма. Через десять лет, в 1943 году, эту внезапную смерть вспомнит Берия и использует её против вдовы Павла Аллилуева Евгении Александровны. Ей предъявят обвинение в отравлении мужа и запрячут на десять лет в одиночку, откуда её освободит 1954 год.
Не менее трагична и судьба старшей сестры Анны. Как и Надежда, она рано вышла замуж. Её супругом был Станислав Францевич Реденс - польский большевик, давний сподвижник Дзержинского. Реденс работал в ЧК на Украине, в Грузии. В Тбилиси он повстречался с Берией и сразу не понравился ему. Лаврентий Павлович сделал всё возможное, чтобы выжить Реденса из Грузии. Был найден благовидный предлог - перевод в московскую ЧК. На первых выборах в Верховный Совет СССР в 1936 году Реденса избирают депутатом. Но в 1938 году в Москве появляется Берия. Реденса сразу же откомандировали в Казахстан, и он с семьёй переехал в Алма-Ату. Пробыл там недолго - вскоре его вызвали в Москву. Ехал с тяжёлым чувством. Оно оправдалось - к семье он уже не вернулся.
Его жена с детьми переехала в Москву. Анна Сергеевна ни на минуту не поверила, что её муж - "враг народа". Ещё был жив Павел, который пытался вступиться за Реденса, даже поссорился на этой почве со Сталиным, но тот был непреклонен. Как пишет Светлана Аллилуева, отец не терпел, когда вмешивались в его оценки людей. Если он выбрасывал кого-либо, давно знакомого ему, из своего сердца, если он переводил в своей душе этого человека в разряд "врагов", то невозможно было заводить с ним разговор об этом человеке. Сделать "обратный перевод" его из врагов, из мнимых врагов, назад - он был не в состоянии, и только бесился от подобных попыток. Ни Павел Аллилуев, ни Алёша Сванидзе не могли тут ничего поделать, и единственное, чего они добивались, это потери контакта со Сталиным, утраты его доверия. Он расставался с каждым из них, повидав их в последний раз, как с потенциальными собственными недругами, то есть как с врагами.
Реденса расстреляли, и Сталин сам безжалостно сообщил об этом его жене. После этого Анну Сергеевну перестали допускать в Зубалово и тем более в кремлёвскую квартиру Сталина. Старики Аллилуевы, потрясённые смертью уже двоих детей, оплакивали зятя, пытались, как могли, поддержать старшую дочь. Наивная, как все честные люди, Анна Сергеевна просила помощи у старых друзей мужа - Ворошилова, Молотова, Кагановича. Она не верила, что Реденс действительно расстрелян. Её принимали, угощали чаем, старались утешить - и только. Помочь никто не мог.
В 1947 году вышла написанная ею книга воспоминаний о революции, о семье Аллилуевых. Ознакомившись с ней, Сталин пришёл в бешенство. Академик Федосеев разразился разгромной рецензией в "Правде". По резким формулировкам можно безошибочно догадаться, с чьих слов она сочинялась. Все испугались, кроме её самой. Не обращая внимания на грубый окрик, она собиралась продолжать работу над воспоминаниями. Не удалось - в 1948 году вместе с вдовой брата Павла она получила десять лет одиночного заключения.
Вернувшись в 1954 году из тюрьмы, Анна Сергеевна не узнавала своих взрослых сыновей, сидела днями в комнате, равнодушная ко всем новостям: что умер Сталин, что не существует больше заклятого врага их семьи Берии. Тяжёлая форма шизофрении поразила её. Она умерла в 1964 году в больничной палате. После десяти лет тюремной одиночки она боялась запертых дверей. В больнице, несмотря на протесты, её заперли на ночь. Утром её обнаружили мёртвой. До последних своих дней она верила, что Реденс жив, несмотря на то, что ей прислали официальное извещение о его посмертной реабилитации.
Злой рок преследовал семью Аллилуевых. Ещё до трагедии с Надей судьба сломила её брата Фёдора. Это был способный молодой человек, имевший склонности к математике, физике, химии. Благодаря своей одарённости, он перед революцией был принят в гардемарины. Его взял к себе Камо, знавший родителей Фёдора ещё по Тифлису. Увы, то, что мог выдержать сам Камо и его друзья, другим оказалось не под силу. Не выдержал и Фёдор Аллилуев. Уж слишком велика была психологическая нагрузка на доброго, умного юношу. Он сошёл с ума. Рассказывали, что Камо любил устраивать испытания своим бойцам. Однажды он инсценировал налёт на отряд. Всё разгромлено, все схвачены и связаны, на полу - окровавленный труп командира, рядом валяется его сердце - окровавленный комок. Что будет делать боец, захваченный в плен? В результате сильнейшего нервного потрясения Фёдор стал полуинвалидом. Всю жизнь он не работал, получал пенсию. Он стал жертвой революции, которой отдал молодость, здоровье, талант. Кто знает, может, в кабинетных занятиях он был бы ей куда полезнее, чем в отряде боевиков. Но кто знает путь своей судьбы? Его влекло туда, где гремели выстрелы.