С воцарением Павла I многие чиновники высокого ранга оставили свои посты, а император Александр I начал с того, что вновь их призывал на государеву службу. Хвостов поехал в Петербург искать себе место, пути-дороги привели его к министру внутренних дел князю В.П. Кочубею. Тот предлагал на выбор три губернии, но Василий Семенович соглашался возглавить только Томскую. Свое решение он мотивировал тем, что уже знал Сибирь, а главное, что там низкие цены на все и вся. Назначение состоялось с производством губернатора в чин действительного статского советника. Тобольский, томский и иркутский генерал-губернатор И.О. Селифонтов на эту должность представлял своих кандидатов.
Торжества по случаю открытия новой губернии проводились в Томске 6-8 августа 1804 года, ритуал торжеств разрабатывал сам губернатор. Удивительно быстро Хвостову удалось собрать нужных людей губернского уровня, подыскать здания для присутственных мест. Костяк чиновничества составили люди, которых он хорошо знал по работе на Алтае.
Процессию на богослужение к церкви, а потом и к домам присутственных мест возглавляли конные казаки по три вряд, за ними шли четыре частных с городничих, затем городской магистрат с градским головой, два губернских стряпчие с прокурором, вице-губернатор А.И. Ведищев с асессорами и советниками… Сам губернатор с двумя советниками шел далеко не первым, после него двигались губернский землемер, уездный казначей, земский исправник, губернский архитектор, лекарь и прочие чиновники.
Любопытно, что построение отличалось от военного строя: если командир всегда идет впереди подчиненных, то здесь, напротив – после, строй как бы навыворот. И губернатор шел вслед за своими советниками, но один. Все чиновничество было приведено к присяге.
10 августа деловой бумагой за № 456 В.С. Хвостов докладывал генерал-губернатору Сибири И.О. Селифонтову об открытии губернии, где, между прочим, писал: «В сей день (то есть 6 августа) угощал я обеденным столом духовенство, чиновников гражданской и военной службы, магистрат в числе 64 персон… На третий день городское купеческое общество угощало обеденным столом всех в должностях состоящих штатских и военных чиновников. Все три дня город был иллюминирован, особенно же поставленную на Воскресенской горе у Соборной церкви картиною, с коей рисунок с изъяснением и сочиненные к оной стихи (Коллежским Регистратором г. Спасским) при сем приложить честь имею».
Став полноправным хозяином огромной по территории губернии, он объезжал уезды, налаживал управление, решал различные хозяйственные вопросы. Он предохранил от голода Туруханский уезд, в Енисейске завел хлебные запасные магазины. Воспользовавшись разрешенным ему отпуском, представил в Санкт-Петербурге свои соображения о реформах в губернии.
Он предлагал город Нарым перенести на другое более удобное место, упразднить город Туруханск для «избежания расходов на содержание в нем присутственных мест». Представил соображения о суде и «доставлении некоторых средств образования», об отмене сбора ясака натурою, «как естественного для инородцев, но не приносящего пользы казне и дающего повод к злоупотреблениям», об устройстве в Сагайской степи школы для тамошних инородцев, об устройстве в верховьях Енисея солеваренного завода. Государь лично благородил его за попечение «о вверенном крае» и наградил орденом Св. Владимира III степени.
Соображения Хвостова об улучшениях в губернии послужили первой причиной негодования на него нового генерал-губернатора Ивана Пестеля, тем более что предложения эти были препровождены на разрешение Хвостову же.
В течение своего срока губернаторства Василий Семенович успел на ничтожные средства поселить в губернии 3200 семейств, при этом сберег казне 325 тысяч рублей. Он проехал свыше 20 тысяч верст, чтобы лучше знать край. Он первым по времени из всех краеведов подготовил работу «О Томской губернии и о населении большой Сибирской дороги до Иркутской границы», где собрал много данных этнографических и статистических. Она была выпущена в столице уже после отставки автора.
Один его современник рисовал такой портрет Василия Семеновича:
«Хвостов был человек тучный, степенный, рассудительный, лицо имел багровое, говорил тихо и размеренно, действовал осторожно, однако же, не медленно. Если прибавить к тому, что он был самых честных правил и исполнен человеколюбия, то надо признать, что лучших качеств для занимаемого им места требовать не можно».
В начале 1808 года Василий Семенович по представлению сибирского генерал-губернатора И.Б. Пестеля был снят с должности губернатора по доносу одного канцеляриста, а также за медленное исполнение возложенного на него генерал-губернатором поручение и судим в 5-м департаменте Сената. По первой части обвинение было снято, а при исследовании дела о несвоевременном исполнении поручения выяснился совсем незначительный срок задержки – одни сутки. Судебная тяжба длилась несколько лет, а потом еще в опале пребывал, чуть ли не столько же.
За Василия Хвостова вступился М.М. Сперанский, назначенный сибирским губернатором в марте 1819 года. Особой запиской при своем рапорте на имя императора Александра I он указал на причины не благорасположения к Хвостову И.Б. Пестеля.
– Хвостов не виновен, – писал известный реформатор, – будучи обвинен по личным неудовольствиям генерал-губернатора; служил же он в Сибири с истинным усердием и бескорыстием, оставив о себе доброе имя и лучшие отзывы… Хвостов, находившийся совершенно незаслуженно под судом 6 лет, достоин правосудного Его Величества на службу его воззрения и справедливого по примеру других вознаграждения.
Василия Семеновича оправдали и выплатили жалование за все время продолжения суда. В марте 1822 года был пожалован в тайные советники (равнялось армейскому генерал-лейтенанту) и повелено было ему присутствовать в Сенате по 1-му отделению уголовного департамента. В 1831 году он был перемещен во 2-й департамент, а в следующем году – во временное общее собрание.
Его старший брат Александр Семенович тоже стал тайным советником, при Александре I управлял Государственным банком для дворянства. Остальные братья – Петр, Павел и Яков, таких высот не достигли.
Василий Семенович Хвостов умер, состоя на службе, 27 августа 1832 года.
Незадолго до смерти он делал «Описание жизни тайного советника, сенатора и кавалера Василия Хвостова; писано в 1832 году, самим им для детей своих». Описание обрывается на самом начале XIX века. До самой кончины он писал и читал без очков, объяснял это тем, что не употреблял спиртного.
Записки В.С. Хвостова для своих детей в 1870 году появились в историко-литературном сборнике «Русский архив» (выпуск № 3), к ним приложены «Рапорт Сперанского Государю Императору 1 июня 1820 г.». (Из Иркутска), «Копия с записки Сперанского при рапорте Государю Императору» и «Записка Хвостова о Сибири». В последней он излагал свое видение будущего Сибири. Писал о целесообразности соединения рек Тобола с Чусовой и Енисея с Обью, что было бы «удобнейшее средство водяным сообщением от самого Нерчинска до С.-Петербурга доставлять серу и свинец и перевозить ясак из Иркутской губернии, а со временем и все изделия Сибири». Писал о развитии коневодства, овцеводства, о заведении суконных фабрик «для тамошних войск», фабрик «для стальных производств, как-то: клинки для сабель и шпаг, стволы и замки ружейные, все мелкие железные изделия», о заведении сахарных фабрик «из свекловицы». Но «главнейшим почитаю, – писал Василий Семенович, – чтоб нынешней цели водворения ссылаемых за вины дать лучшее и полезнейшее направление».