Трэба сказаць, што ў параўнанні з тутэйшымі панамі езуіты былі эксплуататары больш дасведчаныя і ўмелыя. Складзены ў 1623 годзе інвентар маёнткаў Полацкага езуіцкага калегіума налічвае 522 сялянскія гаспадаркі і 110 дамоў агароднікаў. Палова сялянаў мела валоку (20 дзесяцін, або 21 гектар) зямлі. На адну гаспадарку прыпадала ў сярэднім па два кані. Чынш (грашовы аброк) быў пяць злотых з валокі, паншчына ад аднаго да чатырох тыдняў на год. 3 валокі быў вызначаны аброк прадуктамі: паўбочкі (дваццаць вёдзер, або каля 250 л) жыта, асьміна (восьмая частка бочкі) пшаніцы, дзве асьміны ячменю, адна курыца, дзесятак яек, рабец, а з кожных дзвюх валокаў баран і заяц. Жыхары паблізных вёсак былі не супраць памяняцца месцамі з прыгоннымі езуітаў. Калі ў 1600 годзе Полаччыну напаткаў голад, ордэн карміў у сваім кляштары ад трох да чатырох сотняў сялян, што прыйшлі ў горад ратавацца ад смерці.
Спачатку айцы-езуіты меліся будавацца на дзвінскім востраве. Гарадскія ўлады адхілілі такі план: муры перашкаджалі б абароне замка ў выпадку аблогі і былі выдатным прыкрыццём непрыяцелю. Пад кляштар і касцёл манахі атрымалі месца паміж Верхнім замкам і Запалоццем. Свой першы, драўляны храм, прысвечаны нябеснаму апекуну Батуры святому Стэфану, езуіты паставілі ў Полацку праз колькі гадоў пасля іх зяўлення. Вакол яго, як на дражджах, раслі кляштарныя будынкі.
Цяжкія выпрабаванні чакалі сяброў Таварыства Ісуса ў час захопніцкіх паходаў цара Аляксея Міхайлавіча. Пяцёра манахаў трапілі ў палон, дзе іх, далікатна кажучы, не вельмі шанавалі.
За сем гадоў з 1738 да 1745-га, езуіты рукамі полацкіх муляраў ўзвялі на месцы колішняга драўлянага мураваны сабор у гонар святога Стэфана. Полацк пабагацеў на новы выдатны твор архітэктуры. Пабудаваны ў стылі позняга барока храм узнёс дзве вежы параднага фасада на 60 метраў і запанаваў над горадам. Дойліды зрабілі перад саборам пляц, адкуль, якраз насупраць парадных дзвярэй храма, пачыналася галоўная гарадская вуліца Віцебская. Адна з саборных вежаў мела гадзіннік з боем, які заводзілі на шэсць дзён з дапамогаю некалькіх пяціпудовых гіраў. Гадзіннік з датай свайго стварэння 1745-ы адбіваў чвэрці і хутка стаўся адной з полацкіх славутасцей.
Дваццаць гадоў доўжылася ўнутранае аздабленне сабора святога Стэфана, якім поруч з нашымі майстрамі займаліся мастакі і скульптары з Італіі. Вернікаў уражвалі мармуровыя калоны, цудоўныя абразы і сярод іх «Сабор святых пакутніц» і «Святая Тройца», маляваныя ў Вероне славутым Сальваторам Розам. У 1765 годзе ў храме зявіўся алтар, у стварэнні якога ёсць даробак беларуса Сымона Чаховіча, які атрымаў мастацкую адукацыю ў Рыме (пазней ён намалюе для калегіума сорак чатыры карціны). Цэнтральным алтарным абразом стаў яшчэ адзін твор італьянца Розы «Пабіццё святога першапакутніка Стэфана камянямі», або «Закаменаванне Стэфана». Праз год упершыню паспрабавалі голас саборныя арганы твор Дамініка Адама Каспарыні.
Пасля таго, як у полымі жудаснага пажару 1750 года загінулі ўсе драўляныя езуіцкія дамы, кляштар пачаў апранацца ў камень. Побач з саборам, з заходняга боку, падняўся магутны трохпавярховы будынак, парадны падезд якога выходзіў на Іллінскую (пазней Верхнепакроўскую) вуліцу. Езуіты будавалі на вякі: дрэнажавалі зямлю, стварылі складаную сістэму падземных вадасцёкаў у выглядзе галерэй, праклалі ў мурах вентыляцыйныя хады. Трохпавярховая камяніца мела прыбудову на два паверхі, але такой самай вышыні. У верхняй зале мясцілася бібліятэка, у ніжняй раскошная сталоўня. Паблізу была мураваная студня 30-метровай глыбіні. У галоўным будынку налічвалася 84 аднапакаёвыя келлі з адным вакном, сем двухпакаёвых, а таксама дванаццаць пакояў на два вакны і два пакоі на тры.
Займацца духоўнымі практыкаваннямі манахі любілі ў поўнай цішыні. Келлі аддзяляліся адна ад другой тоўстай сцяною. Над галавой іх насельнікі мелі скляпеністую столь. Грубак было небагата. У сцены паасобных келляў будаўнікі ўштукавалі каміны, а большасць, як і залы, ацяпляліся праз цагляную і кафляную падлогу, дзе ішлі цеплаправоды.
Да канца XVIII стагоддзя езуіты змуравалі каля сабора Стэфана ўжо колькі дзесяткаў будынкаў. Насупроць яго паўднёвага фасада стаяла трохпавярховая пабудова з друкарняй, кнігарняй і тэатрам. У шматлікіх флігелях асталяваліся піваварня з медаварняй, свечны заводзік, васкабойня, сукнавальня, пякарня, кузня, фарбавальня, разніца. У сутарэннях аднаго з флігеляў манахі мелі запасную студню, наверсе аптэку, фармацэўтычную лабараторыю і сушыльню для зёлак. Разам з навучальнымі карпусамі, з дамамі святароў і шпіталем, з разнастайнымі майстэрнямі і свірнамі, з багадзельняй, вяндлярняй, дзвюма стайнямі на 24 і 14 коней, з батанічным садам усё гэта было горадам у горадзе, цалкам прыстасаваным да самастойнага існавання.
Езуіты ўмелі ўладкоўваць сваё жыццё грунтоўна і прыгожа. Паўднёвы схіл пагорка, дзе знаходзілася ордэнская сядзіба, быў схаваны за сцяной, чые рэшткі можна ўбачыць з дзвінскай набярэжнай і сёння. Тэрасу за гэтым мурам упрыгожвала пара ліпавых алеяў, паміж якімі раслі фруктовыя дрэвы і ад ранняй вясны да позняе восені мяняў усе барвы прыроды вялізны кветнік.