После завершения войны с Японией в течение нескольких лет положение не менялось. Только в декабре 1908 г. была образована межведомственная комиссия из представителей Военного министерства и МВД под председательством директора Департамента полиции М. И. Трусевича, которой поручили разработку мер по борьбе с иностранным шпионажем. В ходе ее заседаний были рассмотрены материалы, характеризовавшие масштабы иностранного шпионажа против России, а также формы и методы работы иностранных разведок. Комиссия впервые выработала определение контрразведки как вида деятельности. По ее мнению, «контрразведка (борьба со шпионством) заключается в своевременном обнаружении лиц, занимающихся разведкой для иностранных государств, и в принятии вообще мер для воспрепятствования разведывательной работе этих государств в России. Конечная цель контрразведки есть привлечение к судебной ответственности уличенных в военном шпионаже лиц на основании статей 108119 Уголовного Уложения 1903 г. или прекращение вредной Деятельности названных лиц хотя бы административными мерами».
Комиссия разработала четыре проекта организации контрразведывательных органов. Дискуссии в основном шли о том, в состав какого ведомства МВД или Военного министерства включать создаваемые специальные подразделения по борьбе со шпионажем, а также по вопросу о комплектовании их кадрами.
В конечном итоге комиссия пришла к выводу, что шпионаж направлен преимущественно против вооруженных сил, а Департамент полиции МВД не обладает специальными знаниями об организации русской и иностранных армий. Следовательно, необходимо создать контрразведывательные отделения именно в рамках Военного министерства. При этом предусматривалось, что Департамент полиции будет оказывать всяческое содействие контрразведке, а руководить контрразведывательными органами будут прикомандированные из Отдельного корпуса жандармов опытные офицеры-розыскники.
8 июня 1911 г. военным министром В. А. Сухомлиновым были утверждены «Положение о контрразведывательных отделениях» и «Инструкция начальникам контрразведывательных отделений».
В соответствии с вышеуказанными правовыми актами к концу 1911 г. были созданы и функционировали контрразведывательные отделения (КРО) в Варшавском, Виленском, Иркутском, Кавказском, Киевском, Московском, Одесском, Петербургском, Приамурском и Туркестанском военных округах. При этом КРО штаба Московского военного округа обслуживало в оперативном плане дополнительно территорию Казанского военного округа, а КРО штаба Иркутского военного округа соответственно Омский военный округ.
Помимо десяти КРО штабов военных округов было образовано Петербургское городское контрразведывательное отделение, ставшее преемником Разведочного отделения Генерального штаба. Вместе с тем, следует подчеркнуть, что единой системы органов военной контрразведки создано не было. Все КРО действовали без единого плана и подчинялись штабам округов. Отсутствовал высший центральный орган для всех контрразведывательных отделений, который бы определял и направлял оперативную деятельность в области борьбы со шпионажем.
Лишь общее руководство работой контрразведывательных отделений военный министр возложил на Особое делопроизводство при отделе генерал-квартирмейстера Главного управления Генерального штаба (ГУГШ), созданное еще в 1910 г. и отвечавшее ранее только за организацию военной разведки При Особом делопроизводстве было образовано «Регистрационное отделение» (РООД ГУГШ), задачей которого стал учет иностранных шпионов и подозреваемых в шпионаже лиц, рассылка соответствующих ориентировок, а также ведение другой рабочей переписки с местными контрразведывательными органами. Только накануне войны в апреле 1914 г., РООД объединили с Санкт-Петербургским городским КРО и на их основе создали контрразведывательное отделение ГУГШ.
Согласно «Инструкции начальникам контрразведывательных отделений» перед органами контрразведки ставилась главная цель борьба с иностранным военным шпионажем. Контрразведывательные отделения должны были бороться также с подрывной деятельностью иностранных спецслужб, направленной на подготовку в России вооруженных восстаний, забастовок и стачек на оборонных заводах, на создание незаконных военных формирований из приграничного «инородческого» населения, на выведение из строя искусственных сооружений и сбор среди неблагонадежного населения империи денежных средств на военные надобности иностранных государств.
Однако, если проблема выработки рациональной структуры контрразведки и постановки стоящих перед ней задач в целом была решена удовлетворительно, то в вопросе о наделении новых органов полномочиями были допущены серьезные просчеты. Одним из главных пороков контрразведки того времени был и оставался их сугубо конспиративный статус. О существовании КРО не было известно не только общественности, но даже и офицерскому составу российских вооруженных сил.
Сотрудники и даже начальники КРО не имели права самостоятельно вести дознание и следствие. Выявив подозрительных лиц, контрразведчики должны были обращаться в местные охранные отделения или губернские жандармские управления МВД с просьбой провести соответствующие следственные действия (обыски, выемки, аресты и т. п.).