Спустя год со дня окончания отделки нового дома граф Леон скончался и был погребен на кладбище Донского монастыря. Со смертью супруга в 1818 году Мария Григорьевна более в сем доме жить не захотела, уехала за границу. Дом опустел.
«Любимцы муз, изгнанники фортуны»
всякого рода затеями, со всевозможными гротами, беседками и водопадами. Парк Разумовских тянулся вплоть до Трехпрудного переулка: тут как раз и располагались три пруда настоящий каскад в миниатюре. Всякий член клуба имел полное право гулять в этом райском уголке сколько заблагорассудится.
Среди москвичей XIX века ходила такая шутка: в жизни благородного человека существует четыре основных этапа: рождение, производство в первый чин, женитьба и вступление в члены Английского клуба. Число членов было ограничено, и далеко не всякий, даже принадлежавший к знатнейшей фамилии, мог быть в него принят. Очередь ожидающих баллотировки на освободившееся место в клубе доходила до 2000 человек и растягивалась на годы. Подчас заботливые родители записывали дитя в очередь еще в младенчестве, как, бывало, в гвардейские полки. Дамы в клуб не допускались, даже в качестве гостей.
Среди членов клуба было немало колоритных личностей таких как Н. Б. Юсупов, П. В. Нащокин, А. С. Пушкин, Д. В. Давыдов и граф Ф. И. Толстой, прозванный Американцем. Поговаривали, что, будучи раненым, Федор Толстой попал в плен к французам, и на следующий день вся французская армия пировала у московских цыган под предводительством разгульного графа. По слухам, он был «выгнан из плена» самим Наполеоном, со словами: «Вон! Иначе он развратит мне всю армию».
Дуэлянт, бретер, картежник, прозвище «Американец» он получил после своего участия в кругосветном плавании адмирала И. Ф. Крузенштерна. Вскоре начала плавания в одном из портов граф Толстой купил себе самку орангутанга и, по словам его двоюродного племянника Льва Толстого, «жил с ней как с женой». Во время стоянки на Маркизских островах Толстой завел себе еще одного друга туземного царя Танега.
Граф Толстой, вождь и орангутанг, с утра запершись в каюте, целый день распивали ром, после чего царь отдал распоряжения, и к кораблю приплыли сто восхитительных женщин. Радостные матросы стали заниматься любовью прямо на палубе, а на корме стоял абсолютно голый граф Толстой, которому мастер-туземец делал замысловатую татуировку по всему телу. Затем Толстой большой любитель псовой охоты придумал себе новую забаву: он швырял с борта в море палку и кричал царю: «Апорт!» и его друг царь прыгал за ней и, радостно скалясь, ловил в воде зубами.
Однажды собутыльником разгульного графа стал корабельный священник. Граф напоил его до положения риз, и когда святой отец как мертвый лежал на палубе, припечатал его бороду сургучом к полу казенной печатью, украденной у Крузенштерна. Священник проснулся и попытался встать, но увидел над собой графа, который сурово сообщил ему, что святость казенной печати нарушать нельзя. Пришлось подстричь бороду под самый подбородок.
Командир корабля, не выдержав несносных проказ графа, поступил с ним так, как на флоте издавна поступали с преступниками: ссадил Толстого на одном из Алеутских островов. Федор Толстой сошел на пустынный берег вместе со своей любимой обезьяной. Явление на берегу русского офицера с орангутангом потрясло туземцев настолько, что они тут же покорились ему и предложили быть их вождем. Граф задумался.
Однажды ему явился во сне святой Спиридоний, покровитель рода Толстых. Во сне святой остановил графа на краю пропасти. Любой человек решил бы, что святой Спиридоний предостерегает его от окончательного падения в пропасть порока и греха; но граф Толстой, решил, что святой предостерегает его от того, чтобы быть царем алеутов, и отказался. На острове Толстой провел несколько месяцев, выиграв у местного вождя в карты весь «необитаемый» остров. Через месяц проходившее мимо острова судно подобрало графа и переправило его на Камчатку, откуда он, меняя собак на лошадей и лодки на паромы, отправился в Санкт-Петербург.
Страстью Федора Толстого были карты. Выигрывал он много, а потом кутил в своем особняке на Сивцевом Вражке. По слухам, не полагаясь на фортуну, он умело блефовал и «исправлял ошибки фортуны». Среди его друзей и карточных партнеров были Вяземский, Жуковский, Денис Давыдов и Пушкин.
Москвичи любили рассказывать про Американца были и небылицы. Один из таких анекдотов связан с Английским клубом. В нем рассказывается о том, как однажды в клубе напротив Толстого-Американца расположился барин с сизым носом, который заказал официанту сразу несколько стаканов воды. Толстой был возмущен таким поведением незнакомца. «Самозванец, воскликнул он, как смеет он носить на лице своем признаки, им незаслуженные». Вышел, как всегда, скандал.
По слухам, у легендарного дуэлянта и картежника было более 50 дуэлей, на которых он убил 11 человек.
Двенадцатым мог стать Пушкин, но друзьям их чудом удалось примирить. Вскоре Пушкин и Толстой подружились. Именно Федор ввел Пушкина в семью Гончаровых, а затем был сватом на его свадьбе.