В 1801 году Николай Борисович Юсупов вдобавок к своему терему решил прикупить соседний особняк, принадлежавший семье колежского асессора Х. Христиана (ныне Большой Харитоньевский, 24) для размещения в нем домашнего театра и, главным образом, актрис, столь любимых князем. Дом как дом, а вот примыкавший к нему большой сад был даже более удачным приобретением, простираясь до современного Фурманного переулка. Юсупов решил сделать из него Версаль в миниатюре с регулярной планировкой, украсить его статуями древних богинь, разбить посередине круглый пруд со спускавшимися к нему двумя лестницами, устроить искусственный грот, беседки, аллеи и клумбы. Войти в него можно было через красивые ворота с Большого Харитоньевского. Юсуповский сад славился на всю Москву, усадебное садоводство на иноземный манер английский или французский было в ту пору в большой моде. Маленький Саша Пушкин много времени проводил в саду князя.
«Они жили теперь в порядочном деревянном доме, Юсуповском, рядом с домом самого князя, большого туза. Сергей Львович был доволен этим соседством. Князь, впрочем, редко показывался в Москве. Раз только летом видел Сергей Львович его приезд, видел, как суетился камердинер, открывали окна, несли вещи, и вслед за тем грузный человек с толстыми губами и печальными нерусскими глазами, не глядя по сторонам, прошел в свой дом. Потом князь как-то раз заметил Надежду Осиповну и поклонился ей широко, не то на азиатский, не то на самый европейский манер. Вслед за тем он прислал своего управителя сказать Пушкиным, что дети могут гулять в саду, когда захотят. Князь был известный женский любитель, и Надежде Осиповне было приятно его внимание. Вскоре он уехал.
Сад был великолепный. У Юсупова была татарская страсть к плющу, прохладе и фонтанам и любовь парижского жителя к правильным дорожкам, просекам и прудам. Из Венеции и Неаполя, где он долго был посланником, он привез старые статуи с обвислыми задами и почерневшими коленями. Будучи по-восточному скуп, он ничего не жалел для воображения. Так в Москве, у Харитонья в Огородниках, возник этот сад, пространством более чем на десятину. Князь разрешал ходить по саду знакомым и людям, которым хотел выказать ласковость; неохотно и редко допускал детей. Конечно, без людей сад был бы в большей сохранности, но нет ничего печальнее для суеверного человека, чем пустынный сад. Знакомые князя, сами того не зная, оживляли пейзаж. Пораженный Западом москвич шел по версальской лестнице, о которой читал или слышал, и его московская походка менялась. Сторожевые статуи встречали его. Он шел вперед и начинал, увлекаемый мерными аллеями, кружить особою стройною походкой вокруг круглого пруда, настолько круглого, что даже самая вода казалась в ней выпуклой, и, опустясь через час все той же походкой к себе в Огородники, он некоторое время воображал себя прекрасным и только потом, заслышав: Пироги! Пироги! или повстречав знакомого, догадывался, что здесь что-то неладно, что Версаль не Версаль и он не француз. Сад был открыт для няньки Арины с барчуками», писал Юрий Тынянов.
Почти через четверть века после того, как Пушкины жили у Харитонья в Огородниках, в 1830 году поэт принимается за автобиографию. Он набрасывает «Программу автобиографии», в которой описание своего детства начинает именно отсюда: «Первые впечатления. Юсупов сад». И в это же время он сочиняет стихотворение «В начале жизни школу помню я», где рисует восхитительную картину сада, на аллеях которого встречались маленькому Саше причудливые мраморные скульптуры древних богов:
И часто я украдкой убегал
В великолепный мрак чужого сада,
Под свод искусственный порфирных скал.
Там нежила меня теней прохлада;
Я предавал мечтам свой юный ум,
И праздномыслить было мне отрада.
Любил я светлых вод и листьев шум,
И белые в тени дерев кумиры,
И в ликах их печать недвижных дум.
Всё мраморные циркули и лиры,
Мечи и свитки в мраморных руках,
На главах лавры, на плечах порфиры
Всё наводило сладкий некий страх
Мне на сердце; и слезы вдохновенья,
При виде их, рождались на глазах.
()
Другие два чудесные творенья
Влекли меня волшебною красой:
То были двух бесов изображенья.
Один (Дельфийский идол) лик младой
Был гневен, полон гордости ужасной,
И весь дышал он силой неземной.
Другой женообразный, сладострастный,
Сомнительный и лживый идеал
Волшебный демон лживый, но прекрасный.
Пред ними сам себя я забывал;
В груди младое сердце билось холод
Бежал по мне и кудри подымал.
Безвестных наслаждений темный голод
Меня терзал уныние и лень
Меня сковали тщетно был я молод.
Средь отроков я молча целый день
Бродил угрюмый всё кумиры сада
На душу мне свою бросали тень.
Стихотворение это лучше, чем какая-либо из возможных иллюстраций, передает атмосферу сада с его оранжереями, фонтаном и прудом, пленившую будущего поэта. В «Программе автобиографии» Пушкин упоминает также про землетрясение, няню и «первые неприятности». Землетрясение случилось в Москве 14 октября 1802 года и вызвало большой переполох. О нем, видимо, рассказывала поэту Арина Родионовна.