Огонь мгновенно распространялся по сплошь деревянному городу, уничтожая и жилые дворы, и деревянные постройки серпуховских укреплений, и верхи кремлёвских башен и стен. После пожара 1645 года починку кремля производил «горододелец, думный дьяк» Афанасий Осипович Прончищев. Но тем не менее в 1650 году воевода Андрей Оленин, осматривавший кремль, нашёл его в плохом состоянии: «Башни не покрыты, тайники утеряны». Сильный пожар 1669 года был основной причиной начала разрушения замечательного памятника. Сметный список 1681 года уже говорит о частых обвалах башен.
К концу XVII века Серпухов окончательно теряет своё военное значение. Кремль и остроги не ремонтируются. Лишь в 1708 году, опасаясь наступления Карла XII на Москву, Пётр I вспоми-нает о Серпухове и приказывает по возможности «укрепить и палисадировать» город. Но обста-новка, как известно, вскоре переменилась, и надобность в ремонте серпуховских укреплений от-пала. Их состояние постоянно беспокоит городской магистрат, так как подгнившие деревянные башни грозят обвалом, а в кремле «камни немалым числом валятся». Потому в 1767 году было принято решение «о разрытии городового вала» и разборке оставшихся деревянных стен. Вероят-но, для этих работ и был составлен первый масштабный план всех оборонительных сооружений города, хранящийся в Военно-историческом архиве. Этот документ служит пока единственным источником сведений об устройстве белокаменных укреплений замечательного русского города-крепости.
Руины Серпуховского кремля обратили на себя внимание составителей «Атласа к материа-лам для статистики Российской империи», вышедшего в Петербурге в 1839 году. На помещённых в нём двух литографиях с изображением Серпухова отмечена лишь одна юго-западная полубашня, а стены показаны с большими утратами и разрушениями. Возможно, такая печальная картина явилась помимо всего прочего ещё и следствием известного указа Павла I, предписавшего в 1797 году разобрать обветшавшие крепостные сооружения древних подмосковных городов. И тем не менее в 1852–1853 годах Серпуховский кремль как признанный «памятник древности» был укреплён и фрагментарно реставрирован. Спустя некоторое время (1888 г.) Археологическое общество добилось ассигнования денежных средств на дальнейшую реставрацию наиболее полно сохранившихся фрагментов…
Последняя страница истории каменного кремля столь же нелепа, сколь трагична. Из Москвы поступило указание, в Серпухове с энтузиазмом откликнулись, и в результате замечательный па-мятник русского крепостного зодчества зимой 1934 года был разобран на материал для строи-тельства Московского метрополитена. На покрытом снегом кремлёвском холме – тёмно-сером от каменной и известковой пыли – остались лишь два крохотных фрагмента стен, напоминающие сегодня о славной и некогда неприступной крепости.
Теперь об архитектуре Серпуховского кремля. Не имеющий прямых аналогий в практике строительства каменных укреплений на протяжении всего XVI века, кремль – интересный памят-ник русского крепостного зодчества. Прежде всего уникален его строительный материал: кремль полностью выстроен из белого камня. В других крепостях того времени белый камень уже играл вспомогательную роль. Этот материал ещё во второй половине XV века почти повсеместно сме-няется кирпичом, но в Серпухове, где белый камень находится буквально под рукой, строитель-ство из него продолжается вплоть до середины XVII столетия. К тому же в городе были соб-ственные кадры профессиональных каменщиков. «Камень тешот» – написано про жителей ивановской слободы в сотой (переписной) книге 1552 года, которая составлялась, видимо, для то-го, чтобы выявить экономические возможности города накануне строительства каменной крепо-сти.
Боевые стены охватили территорию кремля, следуя очертаниям естественного холма, а не линиям архитектурного плана, как это было характерно для крепостного зодчества времени Ивана Грозного.