Вместе с тем позиции последнего в руководстве ОГПУ в период отсутствия и постепенного отхода от дел болеющего Менжинского не были прочными, а его непримиримая борьба с врагами, реальными и мнимыми, с использованием всех методов, не гнушаясь подтасовки и фабрикации дел, встречала неприятие и сопротивление со стороны части руководящих кадров ОГПУ. Под особым подозрением руководства страны находились старые военные специалисты, как те, кто еще в годы Гражданской войны сделал выбор в пользу сотрудничества с советской властью, так и те, которые вернулись в страну из-за рубежа. И подобные подозрения, и недоверие неизбежно должны были вызвать и вызывали соответствующие действия органов ОГПУ.
В серии заведенных против военспецов уголовных (а фактически политических) дел и организованных затем судебных процессов особое место по своим масштабам занимала операция «Весна», осуществляемая на Украине местными руководителями органов госбезопасности при поддержке Ягоды. Упомянем и операцию «Генштабисты». В рамках этих и других чекистских операций, проводимых в СССР в 19301932 годах, были арестованы более трех (а по другим данным, даже около десяти) тысяч бывших офицеров и генералов старой армии, служивших в РККА. Были, например, репрессированы бывшие генералы А.И. Верховский, А.А. Свечин, А.Е. Снесарев, а также вернувшиеся из эмиграции и заслужившие, казалось бы, прощение советской власти генералы Г.К. Гравицкий, Е.И. Зеленин, И.Л. Николаев, А.С. Секретев и др. Все указанные реэмигранты были приговорены Коллегией ОГПУ к смертной казни 3 апреля 1931 года в числе 31 активного участника «организации бывших белогвардейцев» и 8 апреля расстреляны. Спустя годы они были реабилитированы как необоснованно репрессированные и безвинно пострадавшие.
В связи с этими операциями и процессами, где выявились факты использования незаконных методов ведения следствия и фальсификации уголовных дел, а также в силу ряда других причин, в борьбу с Ягодой и его сподвижниками вступили такие руководящие работники ОГПУ, как второй заместитель председателя этого ведомства и по совместительству руководитель внешней разведки С.А. Мессинг, начальник Секретно-оперативного управления Е.Г. Евдокимов, начальник Организационно-административного управления И.А. Воронцов, начальник Особого отдела Я.К. Ольский, полпред ОГПУ по Московской области Л.Н. Бельский и др. Добавим, что в числе оппозиционеров были и другие известные чекисты, например, В.А. Стырне и Р.А. Пилляр. Оппоненты Ягоды видели пути повышения эффективности работы органов госбезопасности не в абсолютизации силовых и карательных методов, не в тотальном терроре, руководствуясь принципом «арестуем, а потом разберемся», но в улучшении оперативной работы.
Подобная дискуссия в высших кругах советских органов госбезопасности происходила впервые за всю их историю. Арбитром в развернувшихся в ОГПУ спорах выступило Политбюро ЦК ВКП(б). 25 июля 1931 года И.В. Сталиным был вынесен на его заседание вопрос «О кадрах ОГПУ». Постановлением Политбюро Мессинг был освобожден от работы в ОГПУ и назначен в распоряжение ЦК. От обязанностей заведующего Особым отделом был освобожден Ольский, хотя его и предполагалось, как указывалось
в этом документе, оставить на работе в ОГПУ. В отношении Евдокимова было первоначально принято предложение Менжинского о направлении его полпредом ОГПУ в Ленинградскую область. От своих обязанностей в ОГПУ был освобожден и направлен на хозяйственную работу Воронцов.
Впрочем, говорить об укреплении в ОГПУ позиций Ягоды было еще преждевременно. Напротив, тем же решением Политбюро он был переведен с должности первого заместителя на пост второго заместителя председателя ОГПУ, а на его место был назначен И.А. Акулов, работавший ранее заместителем наркома рабоче-крестьянской инспекции СССР. Правда, сподвижник Ягоды и полпред ОГПУ на Украине В.В. Балицкий был переведен в Москву и назначен третьим заместителем председателя ОГПУ. Для укрепления своих позиций, контроля и проведения в жизнь кадровой политики в этом ведомстве Политбюро поставило во главе отдела кадров ОГПУ, введя и в состав его Коллегии, Д.А Булатова, ранее занимавшего должность заведующего Организационно-инструкторским отделом ЦК. Членами Коллегии ОГПУ были также назначены: опытнейший чекист, в прошлом руководитель КРО ОГПУ, возглавлявший целый ряд его операций против военной эмиграции в 20-е годы А.Х. Артузов и Я.С. Агранов, ранее занимавший должность помощника начальника Секретно-оперативного управления ОГПУ.
В августе 1931 года по предложению Сталина было принято решение разогнать группу «гнилых либералов» в руководстве советской госбезопасности, не останавливаясь и перед увольнением тех, чья работа вела якобы к «расшатыванию железной чекистской дисциплины и ослаблению бдительности органов ОГПУ».
5 августа того же года на заседание Политбюро были вынесены, как значилось в его повестке, «Вопросы ОГПУ». Ответственными за подготовку и внесение этих вопросов являлись руководители ОГПУ, расставленные в порядке должностной иерархии: Менжинский, Акулов, Ягода. В перечне этих вопросов и принятых Политбюро решений были самые разные по характеру. Вероятно, решение об освобождении от своих должностей и перемещении группы руководящих деятелей органов госбезопасности обросло слухами и породило много вопросов. Поэтому Политбюро поручило комиссии в составе Сталина, Кагановича, Орджоникидзе, Андреева и Менжинского «составить комментарии к решениям ЦК об изменениях в составе ОГПУ и перемещении некоторых членов коллегии ОГПУ на другую работу или в другие районы». В этом же пункте постановления указывалось: «Предложить секретарям обкомов, крайкомов, нац. ЦК сообщить об этих комментариях узкому собранию актива работников ГПУ в областях, краях, республиках». Заметим, что этим же решением Политбюро в состав коллегии ОГПУ был введен его полпред в Закавказье Л.П. Берия. Через семь с лишним лет он встанет во главе НКВД, и с его именем будет связана очередная чистка этого ведомства.