На Соловках владыка был лесником, живя в Варваринской часовне; как сторож жил в Филипповской пустыни, был сетевязальщиком и рыбаком. Об этой работе он говорил с присущим ему юмором переложением слов стихиры на Троицын день: «Вся подает Дух Святый: прежде рыбари богословцы показа, а теперь наоборот богословцы рыбари показа».
Владыка Иларион смотрел на все духовными очами, и все служило ему на пользу. Он подчеркивал, что заключение бесценная школа добродетелей. Обкрадывают есть повод воспитать в себе нестяжательность, оскорбляют, бьют смирись и возлюби обидчика. Во всем владыка Иларион видел волю Божию и все принимал с благодушием.
«Как-то привезли на Соловки молодого иеромонаха из Казани, которому дали три года ссылки за то, что снял с диакона-обновленца орарь и не позволил ему служить с собой. Архиепископ одобрял иеромонаха и шутил по поводу разных сроков заключения, данных тем или иным лицам независимо от тяжести их преступлений.
Любочестив бо сый Владыка, говорил архиепископ Иларион пасхальными словами Иоанна Златоуста, приемлет последняго якоже и перваго; упокоевает в единонадесятый час пришедшаго, якоже делавшаго от перваго часа. И дела приемлет, и намерение целует, и деяние почитает, и предложение хвалит.
Слова эти звучали иронически, но давали чувство мира и заставляли принимать испытание как от руки Божией Любовь его [владыки Илариона] ко всякому человеку, внимание и интерес к каждому, общительность были просто поразительными. Он был самой популярной личностью в лагере, среди всех его слоев. Мы не говорим, что генерал, офицер, студент и профессор знали его, разговаривали с ним, находили его или он их, при всем том, что епископов было много и были старейшие и не менее образованные. Его знала шпана, уголовщина, преступный мир воров и бандитов именно как хорошего, уважаемого человека, которого нельзя не любить. На работе ли урывками или в свободный час его можно было увидеть разгуливающим под руку с каким-нибудь таким экземпляром из этой среды. Это не было снисхождением к младшему брату и погибшему, нет, владыка разговаривал с каждым как с равным, интересуясь, например, профессией, любимым делом каждого. Шпана очень горда и чутко самолюбива. Ей нельзя показать пренебрежения безнаказанно. И потому манера владыки была всепобеждающей. Он, как друг, облагораживал их своим присутствием и вниманием. Наблюдения же его в этой среде, когда он делился ими, были исключительного интереса.
Он доступен всем, он такой же, как все, с ним легко всем быть, встречаться и разговаривать. Самая обыкновенная, простая, несвятая внешность вот что был сам владыка. Но за этой заурядной формой веселости и светскости можно было постепенно усмотреть детскую чистоту, великую духовную опытность, доброту и милосердие, это сладостное безразличие к материальным благам, истинную веру, подлинное благочестие, высокое нравственное совершенство, не говоря уже об умственном, сопряженном с силой и ясностью убеждения. Этот вид [обыкновенности], юродство, личина светскости скрывали от людей внутреннее делание и спасали его самого от лицемерия и тщеславия. Он был заклятым врагом лицемерия и всякого вида благочестия, совершенно сознательным и прямым.
В артели Троицкого (так называлась рабочая группа архиепископа Илариона) духовенство прошло в Соловках хорошее воспитание. Все поняли, что называть себя грешным или только вести долгие благочестивые разговоры, показывать строгость своего быта не стоит. А тем более думать о себе больше, чем ты есть на самом деле Привезли однажды в Соловки одного игумена. Архиепископ спрашивает его:
За что же вас арестовали?
Да служил молебны у себя дома, когда монастырь закрыли, отвечает отец игумен, ну, собирался народ, и даже бывали исцеления
Ах, вот как, даже исцеления бывали Сколько же вам дали Соловков?
Три года.
Ну, это мало, за исцеления надо было дать больше, советская власть недосмотрела
Само собой понятно, что говорить об исцелениях по своим молитвам было более чем нескромно» (митрополит Иоанн (Снычев) Санкт-Петербургский и Ладожский).
Святителя Илариона уважало духовенство, уважали уголовники, уважали даже охранники. Нередко охранники как бы невзначай называли его владыкой, что на Соловках было практически исключено.
Борис Ширяев в своей книге «Неугасимая лампада» вспоминал:
«Силе, исходящей от всегда спокойного, молчаливого владыки Илариона, не могли противиться и сами тюремщики: в разговоре с ним они никогда не позволяли себе непристойных шуток, столь распространенных на Соловках