По словам двоюродного брата Василия Сталина Владимира Аллилуева, «семья Аллилуевых сердечно приняла Якова, полюбив его за искренность, доброту, спокойный и уравновешенный характер». Однако отец не одобрял женитьбы старшего сына на Ольге Голышевой, считая, что ему еще рано жениться. Заработать на жизнь двадцатилетний Яков еще не мог, и Иосиф Виссарионович подозревал, что молодые рассчитывают сесть на шею высокопоставленному родителю.
То, что Сталин не слишком тепло относился к, старшему сыну, подтверждает и М. А. Сванидзе. 28 декабря 1934 года она отметила в дневнике, как Иосиф Виссарионович «остроумно и метко высмеивал стяжание Марико и Сашико (сестер своей первой жены, Е. С. Сванидзе. Б. С.) и даже своего старшего сына. Когда год тому назад я заговорила о том, что Яшу надо изъять из той среды, где он находится, и протянуть ему руку помощи, что он жертва окружающих (его тетушка и пр.), он на меня довольно резко напал и сказал: «Извините, вы говорите чепуху его ничто не спасет, и стремится он ко мне, потому что это выгодно». И даже сострил насчет семьи Орахелашвили, которые усиленно хлопотали вокруг Яши, чтоб его женить на Кетусе. Кетусе надоело ждать Яшиного предложения, отец не пускал его после Надиной смерти к себе, и она вышла замуж за дирижера оперы Микеладзе. Иосиф сострил так: «Да что вы, если Яша будет жить у меня, то не только Кетуся разведется с мужем, но и ее мать (Мария Платоновна Орахелашви-ли)». Мы много хохотали и на этом поставили точку, предоставив все времени». Насмешки отца доводили Якова буквально до слез и отравляли атмосферу в семье.
А Надежда Аллилуева относилась к Якову очень по-доброму.
Хотя, надо признать, Яков порой огорчал мачеху своим поведением, и в частности нежеланием учиться и как-то устраивать собственную жизнь. 11 января 1926 года Надежда Аллилуева в письме Марии Анисимовне Сванидзе хвалила ее сына Толю: «Молодец мальчик», но тут же оговаривалась: «Про Яшу этого сказать никак не могу, я уже потеряла всякую надежду, что он когда-либо сможет взяться за ум. Полное отсутствие всякого интереса и всякой цели. Так, что-то необъяснимое. Очень жаль и очень неприятно за Иосифа, его это (при общих разговорах с товарищами) иногда очень задевает. Но что же делать. Особенно характерно, что Толя в Германии все-таки твердо держится, где гораздо легче оторваться». И Яков, и позднее Василий с успехом отрывались и в Москве, и в подмосковном Зубалове. Детям Сталина море было по колено!
К мачехе Яков относился далеко не так тепло, как она к нему. М. А. Сванидзе 9 мая 1935 года записала в дневнике свою беседу со Сталиным о старшем сыне: «Заговорили о Яше. Тут Иосиф опять вспомнил его отвратительное отношение к нашей Надюше, вновь его женитьбу, все его ошибки, его покушение на жизнь, и тут Иосиф сказал: «Как это Надя, так осуждавшая Яшу за этот его поступок, могла сама застрелиться. Очень она плохо сделала, она искалечила меня». Сашико вставила реплику как она могла оставить двух детей «Что дети, они ее забыли через несколько дней, а меня она искалечила на всю жизнь. Выпьем за Надю!» сказал Иосиф. И мы пили за здоровье дорогой Нади, так жестоко нас покинувшей».
В этих сталинских словах весь эгоцентризм «великого кормчего». Главным пострадавшим от самоубийства Надежды Сергеевны он считал себя, а к переживаниям детей относился
с явным пренебрежением.
Мария Анисимовна, недолюбливавшая сестер мужа, 28 июня 1935 года с удовольствием записала: «Иосиф в конце концов послал Сашико к черту: «Я знаю, она оказывала услуги мне и некоторым старым большевикам, правда, тут же нас попрекая куском, но все же она добрая женщина, я и решил ей отплатить, но она вздумала на меня обижаться, пишет письма по всякому поводу и вообще требует, чтобы я ею занимался. Мне некогда собою заняться, я женою совсем не занимался. Она всегда была обижена, так стану я ей заниматься и т. д.». Сталин в данном случае как бы бравировал собственной неустроенностью: вот посмотрите, буквально горю на работе, собой некогда заняться, а тут еще лезут со всякими малозначительными просьбами. На Надю и на детей у него никогда не находилось времени, что самым дурным образом сказалось на их воспитании. Впрочем, еще очень большой вопрос, какими бы выросли Яков и Василий, если бы отец более плотно занимался ими. Не привил ли бы Иосиф Виссарионович сыновьям жестокость и уважение к макиавеллиевскому принципу: цель оправдывает средства? А так сыновья выросли избалованными, не умеющими в нужный момент собраться, сосредоточиться на каком-нибудь одном деле, зато без присущих отцу палаческих наклонностей.
И от младшего брата Яков Джугашвили был далек. Сын первой жены Сталина, Екатерины Семеновны Сванидзе, умершей от тифа, когда ему было всего несколько месяцев, Яков сознавал себя грузином. Русский был для него неродным языком, и он до конца жизни говорил на нем не совсем правильно и с сильным грузинским акцентом. Светлана Аллилуева утверждает, что отец в Москве фактически считал себя в первую очередь русским, а не грузином: «Вообще грузинское не культивировалось у нас в доме, отец совершенно обрусел. Да и вообще в те годы «национальный вопрос» как-то не волновал людей, больше интересовались общечеловеческими качествами. Брат мой Василий как-то сказал мне: «А знаешь, наш отец раньше был грузином». Мне было лет шесть, и я не знала, что это такое быть грузином, и он пояснил: «Они ходили в черкесках и резали всех кинжалами». Вот и все, что мы знали тогда о своих национальных корнях. Отец безумно сердился, когда приезжали товарищи из Грузии и, как это принято без этого грузинам невозможно! привозили с собой щедрые дары: вино, виноград, фрукты. Все это присылалось к нам в дом и, под проклятия отца, отсылалось обратно, причем вина падала на «русскую жену» маму А мама сама выросла и родилась на Кавказе и любила Грузию и знала ее прекрасно, но, действительно, в те времена как-то не поощрялась вся эта «щедрость» за казенный счет