Хотя отец Сильвестр все еще не переставал действовать на царя Ивана Васильевича спасительным страхом, хотя все еще казался царю человеком, облеченным силою свыше, но чувство зависимости уже давно тяготило царское сердце. С молоком кормилицы всосал Иван Васильевич мысль, что он рожден поступать так, как ему захочется, а не так, как другие присоветуют; на деле же выходило, что он делал все так, как другие ему подсказывали и, главное, как захочет поп Сильвестр. Не вдруг, а мало-помалу, как капля за каплей пробивает камень, сознание своего самодержавия освобождало Ивана Васильевича от гнета, давившего его, словно домовой сонного человека. В описываемую нами пору царь Иван боялся Сильвестра, но не терпел его. Сильвестр не ладил со многим таким, что было сначала с ним заодно. Царица Анастасия, горячо и нежно любившая своего супруга, невзлюбила Сильвестра: она видела и понимала, как Сильвестр, словно дурачка, держал царя в руках страхом посылаемых ему свыше откровений; притом же Сильвестр раздражил нервную и болезненную царицу тем, что в качестве духовника государя хотел подчинить его супружескую жизнь правилам своего "Домостроя". Братья царицы, Захарьины, возненавидели Сильвестра после того, как во время опасной болезни, постигшей царя Ивана, Сильвестр, вместе с некоторыми боярами, помышлял на случай царской смерти о таком порядке правления, который бы оградил Русь от власти Захарьиных при малолетстве наследника престола. Из двух братьев царицы Никита хотя и не любил Сильвестра, но, сам по себе будучи человеком честным, воздерживался от всяких козней против него; зато другой, Григорий, злой и коварный, не останавливался ни перед какими мерами, готов был на всякую черную клевету, на всякие козни. Он нашептал царю, что Сильвестр мирволил честолюбивым затеям царского двоюродного брата, Владимира Андреевича, будто бы добивавшегося престола в ущерб правам Ивановых детей. Пользуясь набожностью сестры, Григорий Захарьин беспрестанно подбивал ее таскать с собой царя по монастырям, чего не хотел Сильвестр, вообще не любивший тогдашних монахов-тунеядцев; Григорий свел царя Ивана с иноком Григорием Топорковым, бывшим ростовским епископом, который в тайной беседе с царем пристыдил его и дал ему приятный для него совет: никого не слушаться и делать так, как ему вздумается.
Козни Григория и наговоры любимой жены хотя настроили царя Ивана враждебно к Сильвестру, но все еще не могли побудить царя к решительному разрыву с своим духовником. Иван любил жену, насколько бывают способны к любви такие эгоистические натуры. Иван колебался то туда, то сюда. Вот под влиянием жены и ее братьев он возгорался злобою против Сильвестра, а Сильвестр - напомнит царю, что муж есть глава жены, и даже еще заметит, как бы так вообще, не относя свое замечание к царю, что плохо поступает тот муж, который во всем слушается своенравной жены, тогда Иван проникнется своим достоинством супруга, начнет сердиться на жену; но жена разольется в слезах, и царь помирится с нею, а потом, ей в угоду, опять покажет злобу к Сильвестру; вслед за тем, по привычке верить в чудодейственную силу Сильвестра, сам испугается своей смелости и старается примириться с Сильвестром. Сильвестр укажет царю на что-нибудь такое, что удобно объяснить знаком божьей воли; Сильвестр что-нибудь кстати предскажет, и предсказание сбудется; Сильвестр озадачит царя каким-нибудь текстом, каким-нибудь примером из священной и византийской истории, так что царь не может против того ничего отвечать и склоняется пред мудростию духовника. Можно сказать, что все козни против Сильвестра долго бы не могли подорвать его могущества, если бы Сильвестр, как прежде, находил себе опору в боярах. Но уже некоторые бояре, прежде во всем слушавшие Сильвестра, стали, подобно царю, тяготиться нравственною зависимостью от попа, самолюбие их уязвлялось, и вот, вместо того чтобы, как прежде, принимать беспрекословно его советы, замечали они Сильвестру, что люди мирские более его, попа, смыслят в государственных и военных делах. Роковым событием для Сильвестра была представившаяся тогда необходимость выбора между Крымом и Ливонией. Отец Сильвестр советовал царю не трогать ливонских немцев, жить вообще в мире с христианскими странами и, напротив, стараться подвигнуть их вместе с Россией на бусурман, а между тем самому идти на Крым и собственноручно водрузить крест на том месте, где св. Владимир принял крещение. В царской думе не все разделяли такое мнение: одни были за войну с Крымом, другие соблазнялись легким, как им казалось, завоеванием Ливонии и приобретением моря. Сам Алексей Адашев поколебался было и не стал отклонять царя от войны с немцами; царь прельщался надеждою овладеть сильными германскими градами, о которых имел смутное представление, смешивая Колывань (Ревель) с Нюренбергом, Ригу с Регенсбургом. Духовные сановники охотно благословляли царя на брань с еретиками латинами и люто рами главным образом оттого, что знали, как это неприятно Сильвестру, а они не любили Сильвестра за то, что он, будучи не более как поп, был сильнее архиереев не только в светских, но и в духовных делах. Царица Анастасия не удерживала царя от войны с Ливонией оттого, что никто не требовал, чтобы царь сам шел в поход на немцев; а крымской войны царица очень боялась, она знала, что царя Ивана повлекут в Крым, как повлекли под Казань. Ливонская война открылась. Священник-временщик с самого своего приближения к царю не привык еще, чтобы делалось что-нибудь противное его желанию; он сильно досадовал, он выходил из себя, особенно когда злодеяния, совершенные татарами Шиг-Алея в Ливонии, давали ему благовидный повод вопиять против напущения бусурман на христианское жительство; он называл Ливонию бедной вдовицей, угрожал за нее России гневом Божиим, предсказывал неудачи… Но что же? Как бы ему в обличение, вместо неудач успех следовал за успехом! Сильвестр опускался.
Крымское дело, за которое он стоял, ограничившись неважным по своим последствиям походом дьяка Ржевского и Данила Адашева, почти совсем оставлялось. Теперь приезд князя Вишневецкого поднимал его снова. Смелый и речистый князь Димитрий Иванович обладал большим даром внушать к себе любовь и увлекать других за собою; на пире, данном Курбским, многие из бояр воодушевились уже мыслью о войне.
Вслед за тем у царя Ивана Васильевича собралась боярская дума. Люди, отличившиеся при взятии Казани, князья Серебряный, Горбатый, Воротынские, Микулинский, Щенятев, Темкин, вслед за Алексеем Адашевым и Курбским, сильно поддерживали тогда войну с Крымом. Но против них восстал князь Петр Шуйский, гордый своими успехами в Ливонии. Он стал доказывать, что неблагоразумно оставлять начатое завоевание страны и вдаваться в новую войну, которая непременно втянет Московское государство в войну с Турцией. Шуйский говорил так хладнокровно, так рассудительно, что некоторых поколебал, а других заставил призадуматься. Большинство, однако, все-таки было не на его стороне; но царь пристал к нему: у Ивана постоянно торчала в голове гвоздем мысль, что он самодержавен и потому многие должны делать так, как он хочет, а не так, как многим хочется; видя, что в думе большинство за войну с Крымом, Иван рад был, что нашелся противник этого мнения, и пристал к нему. Кроме того, Ивану Васильевичу не хотелось, по трусости, самому идти на войну: ведь и в Казань ходил он поневоле. Порешили обдумать и обождать. Между тем пришло известие из Крыма, что хан Девлет-Гирей отправляет в Москву посольство просить у царя мира и дружбы и отпускает захваченных во время набегов московских пленников. И желавшие войны с Крымом, и не желавшие войны выводили из этого благоприятные заключения. Желавшие говорили, что это посольство хана означает его бессилие, боязнь перед русским оружием, и потому следует поскорее начать с ним войну. Не желавшие войны говорили: "Вот и хорошо, значит, можно и без войны примирить хана, постановить с ним хороший мир, корыстный для московской державы". Таким образом, вопрос о войне оставался нерешенным. Сторонники войны с Крымом были сильно огорчены, но не теряли надежды и приискивали средства и меры повернуть дело на свой лад. Никто из бояр не желал так войны с Крымом, как князь Курбский: после неудачи в думе стал он тайно советоваться с Сильвестром и придумывал меры, как бы расположить царя к войне с татарами.