После того, как Святой отец это обнаружил, он ограничил полномочия Родриго как вице-канцлера папской курии, и призвал его выполнять свои прямые обязанности как епископа Валенсии. А потом отправил кардинала с глаз долой подальше в Сиену присматривать за постройкой своего нового дворца, собора Вознесения Богородицы и планировкой города Пьенца. Но и тут не обошлось без неприятностей. Когда понтифик приехал лечить подагру на термальные источники Петриоло около Сиены, то обнаружил, что Родриго со своим другом французским кардиналом д'Эстутевиллем весело проводит большую часть времени в компании с местными красотками, предаваясь плотским развлечениям, танцам и вакханалиям на открытом воздухе.
На самом деле однажды состоялось крещение сына правителя Сиены, и в честь этого события был устроен праздник за пределами города. Но чтобы кардиналам не мешали крестить ребёнка, Родриго Борджа запретил всем мужчинам родственникам девушек, с которыми он развлекался, появляться как на этих крестинах, так и на всех остальных его мероприятиях. Такие вакханалии проводились с рассвета до заката за городскими стенами, где было полно прелестных полянок, скрытых деревьями, гротов и беседок, где можно было уединиться.
На празднике вино лилось рекой и слуги едва успевали наполнять закусками пустые тарелки. При этом в оргиях без стеснения принимали участие жены и дочери самых важных и родовитых горожан Сиены. А их мужья могли только наблюдать за этим безобразием издалека, если что-то можно было разглядеть, или сидеть дома и злиться. Над этим смеялись все жители Сиены, женщины которых не участвовали в этой оргии, или у которых не было женщин. Потом ещё много дней все разговоры сводились только к неуемной похоти служителей церкви. Даже шутили, что если на следующий год в городе будет всплеск рождения детей то все они появятся на свет в кардинальских мантиях.
Такое поведение сиенцев объясняется тем, что нравственный уровень духовенства в те времена ничем не отличался от нравственности мирян. Священники, епископы и кардиналы посещали бордели так же часто, как и миряне. Публичные дома процветали и платили налоги в папскую казну, или монастыри превращались в самые настоящие обители любви. Правда, иногда бесстыдство духовенства переходило все границы и приходилось предпринимать хоть что-то, чтобы вернуть уважение горожан. Папе Пию II пришлось даже издать специальную буллу, которая запрещала духовникам держать кабаки, игорные дома и бордели. Так что веселые вакханалии двух кардиналов никого не удивляли и не возмущали. Искусство лицемерия тогда ещё не достигло той высоты и мастерства, как в нынешние времена. Каждый без стеснения говорил то, что думал.
Тем не менее папа Пий II был очень огорчён и написал Родриго резкое письмо, в котором укорял его за такое неумеренное распутство и грозил изменить его фамилию с Borgia на Orgia, что означает: оргия. Для этого было достаточно лишь убрать первую букву. Следует отметить, что понтифик был именно огорчён, но никак не удивлён и не шокирован поведением своего друга. Это говорит о том, что такое поведение кардинала Родриго было неправильным и нехорошим с точки зрения морали, но в этом не было ничего удивительного в те времена. Редко кто из духовенства соблюдал обет целибата. А если и соблюдал, то по уважительной причине, далекой от истинной духовности. Например, болезнь, уродство, патология, или мужское бессилие.
Не только Родриго Борджа, но и многие другие духовные лица часто огорчали Святого отца тем же самым грехом. Известно одно высказывание папы Пия II: «Конечно, есть непререкаемо веские причины для сохранения целибата, но иногда мне кажется, что по причинам не менее основательным следовало бы ввести обязательную женитьбу для всех духовных лиц». Родриго Борджа после получения этого письма отчаянно отпирался и говорил, что все это клевета его врагов и завистников, и что во всем виноват кардинал дЭстутевилль. А сам он ничего подобного не делал и у него даже в помыслах этого не было. Отпираться и красноречиво врать Родриго умел очень хорошо, в этом у него был особый талант. Дословно, конечно, неизвестно, что он там наговорил Святому отцу, но в конце концов Пий II сделал вид, что поверил. К тому же папа до сих пор помнил своё бурное прошлое, за которое ему сейчас было очень стыдно. К тому же сам понтифик в тот момент был не без греха у Пия II было 18 близких родственников и он совершенно откровенно занимался кумовством, пристраивая их на разные высокие должности.
Особенно папа покровительствовал своему любимому племяннику Франческо Тодескини-Пикколомини, который стал кардиналом, а впоследствии и папой под именем: Пий III. Франческо Тодескини заказал в честь своего дяди построить библиотеку в кафедральном соборе Сиены, которую расписали фресками в начале XVI века художники Пинтуриккио и молодой Рафаэль Санти. Эти сцены на тему: «Истории из жизни папы Пия II» до сих пор прекрасно сохранились и являются одной из главных достопримечательностей храма.
Ещё кардинал Тодескини заказал в том же соборе мраморный алтарь, над которым работал Андреа Бренио. Потом его украсил 5-ю статуями святых 26-летний Микеланджело Буонарроти. На самом деле кардинал хотел 16 статуй, но Микеланджело так и не выполнил эту работу по уважительной причине: как только флорентийцы узнали, что их лучший скульптор работает на сиенского кардинала, они выманили молодого Буонарроти из Сиены и заказали ему изваять скульптуру Давида из куска мрамора длиной почти 5 метров. Это была давняя мечта Микеланджело ваять огромные обнаженные мускулистые мужские статуи, поэтому он все бросил и уехал из Сиены во Флоренцию.
За время своего понтификата, который длился 4 года, Пий II построил новые дворцы для себя и своей семьи в Сиене и Пьенце, много путешествовал по Европе и восхищался архитектурой австрийских готических церквей. В новом городе Пьенца Пий II заказал построить собор по подобию австрийских храмов, который спроектировал флорентийский архитектор Бернардо Роселлино, ученик более известного зодчего Леон Баттиста Альберти. Получился немного смешанный стиль: снаружи фасад эпохи Возрождения, а внутри перекрещенные готические своды. Алтарные образа для храма Пьенцы папа заказал лучшим художникам Сиены, которые писали в стиле интернациональной готики. Кроме дворца для своей семьи, который Бернардо Роселлино спроектировал в стиле Возрождения, папа Пий II позволил построить там палаццо своим друзьям кардиналам Родриго Борджа и Джулио Амманнати.
Пий II собирал древние манускрипты как знаток классической античной литературы и писал свою автобиографию. Все его труды и манускрипты пытался потом вывезти из Рима его племянник Франческо Тодескини Пикколомини, чтобы заполнить библиотеку собора Сиены, заказанную как раз с этой целью. Но ему это не удалость, поэтому в библиотеке разместили старинные антифонарии для песнопения псалмов, которые до сих пор там находятся. Папа Пий II канонизировал Святую Екатерину Сиенскую и часть её мощей голову и палец перевезли из Рима в Сиену, где они находятся в церкви Святого Доминика. Ещё понтифик привез и подарил Сиенскому храму ценную реликвию часть руки Святого Иоанна Крестителя, для которой внутри собора была построена отдельная часовня. Она украшена фресками работы Пинтуриккио и бронзовой статуей Святого Иоанна работы Донателло, флорентийского скульптора эпохи Возрождения.