Осенью 1928 года Фитин поступил на инженерный факультет Сельскохозяйственной академии имени К.А. Тимирязева в Москве как раз в первый год Первой пятилетки, когда развернулась широкая индустриализация страны Советов. Достаточно сказать, что преддипломную практику в 1932 году Павел Фитин проходил на построенном за два года до этого Сталинградском тракторном заводе. Тем самым молодой специалист шагал в ногу со временем. После окончания академии он работал инженером лаборатории сельскохозяйственных машин Московского института механизации и электрификации сельского хозяйства, который был создан в 1930 году на базе факультета механизации и электрификации Тимирязевки и факультета электрификации Московского механико-электротехнического института. С октября 1932 по октябрь 1934 года т. е. в годы Второй пятилетки Фитин работал заведующим редакцией индустриальной литературы в издательстве «Сельхозгиз», а в ноябре 1936 года, после службы в армии, стал заместителем главного редактора этого издательства.
28 марта 1938 года Фитин был зачислен на службу в органы госбезопасности и направлен на учебу в Центральную школу НКВД СССР в Большом Кисельном переулке, а осенью того же года переведен на ускоренные курсы вновь созданной Школы особого назначения (ШОН) НКВД СССР. Как отмечал сам Павел Михайлович, «в октябре 1938 года я пришел на работу в Иностранный отдел оперативным уполномоченным отделения по разработке троцкистов и правых за кордоном, однако вскоре меня назначили начальником этого отделения. В январе 1939 года (по другим данным 1 ноября 1938 года. А.В.) я стал заместителем начальника 5го отдела, а в мае 1939 года возглавил 5-ый отдел НКВД. На посту начальника внешней разведки находился до середины 1946 года».
Такая головокружительная карьера 30-летнего Павла Фитина менее чем за год он прошел путь от сельхозслужащего до начальника внешней разведки Советского Союза объясняется не недостатком кадров «расстрельной разведки», а их реформой, направленной на создание первой национальной разведывательной службы, которая 26 февраля 1941 года стала называться 1-м Управлением НКГБ СССР предшественником Первого Главного Управления (ПГУ) КГБ СССР.
Заместителем Фитина 10 мая 1939 года был назначен Павел Анатольевич Судоплатов, который с 1935 года находился на нелегальной работе в Германии, под легендой участника антисоветского националистического подполья на Украине был внедрен в Организацию украинских националистов (ОУН), проник в ближайшее окружение ее лидера Евгена Коновальца и 23 августа 1938 года по личному поручению Сталина ликвидировал Коновальца в Роттердаме, передав ему коробку конфет с заложенным в нее взрывным устройством.
Одновременно со своим назначением заместителем начальника внешней разведки Судоплатов получил задание возглавить операцию по ликвидации Троцкого. В своих воспоминаниях он пишет: «Вход в здание Кремля, где работал Сталин, был мне знаком по прошлым встречам с ним. Мы поднялись по лестнице на второй этаж и пошли по длинному безлюдному коридору, устланному красным ковром Нас с Берией пропустил тот же офицер охраны <> Сталин посуровел и, чеканя слова, словно отдавая приказ, проговорил: Троцкий должен быть устранен в течение года, прежде чем разразится неминуемая война. Без устранения Троцкого, как показывает испанский опыт, мы не можем быть уверены, в случае нападения империалистов на Советский Союз, в поддержке наших союзников по международному коммунистическому движению. Им будет очень трудно выполнить свой интернациональный долг по дестабилизации тылов противника, развернуть партизанскую войну. У нас нет исторического опыта построения мощной индустриальной и военной державы одновременно с укреплением диктатуры пролетариата, продолжил Сталин, и после оценки международной обстановки и предстоящей войны в Европе он перешел к вопросу, непосредственно касавшемуся меня. Мне надлежало возглавить группу боевиков для проведения операции по ликвидации Троцкого, находившегося в это время в изгнании в Мексике. <> Через десять минут по прямому проводу мне позвонил Берия и предложил: поскольку Эйтингон подходящая кандидатура для известного мне дела, к концу дня он ждет нас обоих с предложениями. Когда появился Эйтингон, я рассказал о замысле операции в Мексике. Ему отводилась в ней ведущая роль. Он согласился без малейших колебаний. Эйтингон был идеальной фигурой для того, чтобы возглавить специальную нелегальную резидентуру в США и Мексике. Подобраться к Троцкому можно было только через нашу агентуру, осевшую в Мексике после окончания войны в Испании. Никто лучше его не знал этих людей. Работая вместе, мы стали близкими друзьями. Приказ о ликвидации Троцкого не удивил ни его, ни меня: уже больше десяти лет ОГПУ-НКВД вели против Троцкого и его организации настоящую войну».