Чем дальше на юг плыл корабль, тем безлюднее становились берега, меньше виднелось жилья. Спустя два месяца плавания путешественники приблизились к Черному Яру. Городок стоял на высоком правом берегу Волги, окруженный восьмью башнями и высоким дощатым забором. Против каждого угла крепости на четырех столбах высились караульни, с которых стрельцы далеко видели реку и степь.
Окрестности города казались унылыми. Из-за отсутствия влаги и постоянной угрозы от степи черноярские жители не решались приступать к земледелию. Внутри города располагалось некоторое число домов, большинство из которых были весьма неказисты на вид. Из всех зданий выделялся лишь деревянный храм Воскресения Христова с воеводскими палатами напротив.
Нелегко Ушаковым было привыкать к новому месту. В памяти оставалась многолюдная Москва с многочисленными большими и красивыми храмами и домами.
Вскоре жителей Черного Яра постигло несчастье: 25 июля 1652 г. в городе начался пожар. С дома местного священника Пафнутия он перекинулся на дом воеводы и приказную избу. За ними вслед запылал целый город. Всего несколько часов бушевало пламя, но за эти часы весь Черный Яр выгорел без остатка. Местные жители, прихватив самый необходимый скарб и спешно покинув городские пределы, в смятении смотрели со стороны на пожарище. Слышались плач, стоны, горестные восклицания.
Борис, а ему было лишь пять лет от роду, не понимал всего горя. Но вид человеческого страдания оставил самый глубокий след в душе мальчика.
В том же 1652 г. из Астрахани пришло повеление воеводы боярина князя Михаила Петровича Пронского строить Черный Яр заново, на полверсты выше по берегу. Вместе с городом была заложена и новая церковь. Усердием воеводы Ушакова она строилась больше прежней, о трех приделах: центральный Воскресения Христова, а боковые Казанской Божией Матери и святителя Николая. Воеводские палаты стояли, как прежде, напротив. Стройка шла споро, настроение жителей, как и всегда во времена общего поновления, было самое бодрое. Казалось, жизнь черноярцев налаживается, и все бедствия остались далеко позади.