Структура чекистских органов в основном включала уездные ЧК на низовом уровне, а средним звеном являлись губернские ЧК. К августу 1918 г. сеть местных ЧК включала 38 губернских и 75 уездных чрезвычайных комиссий. Кроме того, в эту систему входили также и пограничные ЧК, которые организовывали работу по борьбе с контрабандистами и иностранными шпионами. К сентябрю 1918 г. на западной границе РСФСР действовало 34 пограничных ЧК.
Была упорядочена и организация войск ВЧК, в задачу которых входило военизированное обеспечение деятельности ВЧК и охрана важнейших государственных учреждений. Согласно постановлению I Всероссийской конференции ЧК, создавался Особый корпус войск ВЧК. Руководство возлагалось на председателя ВЧК и штаб. Особый корпус состоял из батальонов, которые на местах находились в распоряжении председателей губернских ЧК. К лету 1918 г. в Особый корпус входило 35 батальонов.
Между тем, образование местных органов проходило не без определенных сложностей, что проявилось не только в их названиях, но и различных вариантах организации местных ЧК. На низовом уровне они создавались не только при уездных городах, но и в волостях, и на заводах. Как показывает отчетность о деятельности Нижегородской губЧК за 1918 г., в ее подчинении было 10 ЧК, образованных в уездных городах, и 4в селах. В Пермской губернии работала ЧК Нижнетагильского завода. На среднем уровне были предприняты попытки создания областных ЧК. Так, компетенция Северной областной ЧК распространялась на территорию Союза коммун Северной области, включавшую 8 губерний. В условиях Гражданской войны и становления государственного аппарата советской власти на местах добиться единообразия в органах ЧК было крайне сложно, поэтому система органов ВЧК неоднократно изменялась. Такая ситуация не могла не сказываться на продуктивности деятельности чекистов.
С образованием ЧК стали возникать трения с различными местными властями. Иногородний отдел получал массу сведений о таких конфликтах. Приказом ВЧК от 28 августа 1918 г. 26 указывалось, что ЧК в своей работе «несомненно автономны и должны беспрекословно исполнять все распоряжения, исходящие от ВЧК». Советам же ЧК только подотчетны, но ни в коем случае советы не могут отменять или приостанавливать распоряжений ЧК, исходящих от ВЧК.
Структура центрального аппарата ВЧК на 11 июля 1918 г. состояла из Президиума, четырех линейных отделов (Иногородний, Контрреволюционный, Спекулятивный, Преступлений по должности), трех вспомогательных (Хозяйственный, Комендантский, Автомобильный), а также штаба Особого корпуса войск. К осени 1918 г. штат сотрудников, по данным переписи служащих ВЧК комиссией ВЦИК, насчитывал 589 человек.
В период становления органов ВЧК предпринимается попытка реформы управления. С одной стороны, с увеличением численности возникает очевидная проблема созыва общих собраний. С другойдля решения текущих вопросов сил Президиума в условиях расширения деятельности ВЧК становится недостаточно. Поэтому было принято решение о создании Бюро ВЧК, состоявшего из Президиума и заведующих отделами.
Реализация принципа «строгой централизации» напрямую была связана с милитаризацией Комиссии. Понимая это, на заседании ВЧК 20 марта 1918 г. Ф.Э. Дзержинский предложил безусловное и беспрекословное исполнение всех приказов, однако при обсуждении этого вопроса единогласия было мало. Поэтому смогли принять лишь постановление о контроле секретарями за своевременным исполнением всех постановлений Комиссии.
Разгоравшаяся Гражданская война и обострение внутренней политической ситуации привело, как уже отмечалось, к дальнейшему расширению задач ВЧК. В связи со стратегическим значением железных дорог постановлением СНК от 7 августа 1918 г. был организован Железнодорожный отдел при ВЧК. В стране создавалась сеть железнодорожных отделов при каждой ГубЧК, отделений на крупных стациях, узлах и конечных пунктах и комиссаров на маленьких станциях. Кроме того, вводилось деление железной дороги на 8 округов, в которых образовывались окружные железнодорожные отделы.
Особая роль в условиях военного времени отводилась обеспечению безопасности в армейских подразделениях и организации контрразведки. Еще в январе 1918 г. Ф.Э. Дзержинский поднимал вопрос о ликвидации старой контрразведки и передаче ее функций в органы ВЧК, но тогда он не нашел поддержки в руководстве Советской Республики. С весны 1918 г. контрразведка была сосредоточена в Военном контроле, который являлся преемником соответствующих структур Временного правительства. В марте 1918 г. он перешел в подчинение Революционного военного совета Республики (РВСР). Однако 9 апреля 1918 г. на заседании ВЧК было вынесено предложение выделить в Отделе по борьбе с контрреволюций специальное подразделение для такой работы в военной среде. Говорить о специальной структуре в органах ВЧК было еще рано из-за отсутствия подразделений на местах, да и сама разведка Контрреволюционного отдела не имела соответствующего аппарата. Следовательно, процесс формирования контрразведки в органах ВЧК проходил одновременно со становлением органов Военного контроля с преобладающим развитием последних. К осени 1918 г. в аппарат Военного контроля входило 8 фронтовых и окружных отделов, 13 отделений и 23 пункта .
С началом чехословацкого мятежа в июне 1918 г. часть работы по борьбе с контрреволюцией взяли на себя ЧК Поволжья. Однако жизнь скоро показала, что деятельность одних лишь местных ЧК недостаточна в деле укрепления боеспособности армии и тыла. В июле 1918 г. было принято постановление СНК «О создании Чрезвычайной комиссии на Чехословацком фронте». В «Положении-инструкции армейским чрезвычайкомам по борьбе с контрреволюцией на Чехословацком фронте» основная задача армейских ЧК формулировалась как «борьба с контрреволюцией во всех ее проявлениях, шпионажем, пьянством, преступлениями по должности и т. п. в армейской среде». С этого времени начался процесс создания фронтовых и армейских ЧК.
С сентября 1918 г. по август 1920 г. наблюдается время поиска организационных решений и места ВЧК в системе управления государством. На этот процесс оказывали влияние, с одной стороны, ситуация с местными ЧК, с другойвнутриполитическая обстановка, а также характер борьбы с контрреволюцией. Стихийная организация чекистских органов на местах привела к целому ряду проблем. В сентябре 1918 г. Иногородний отдел отмечал, что слабо налажена связь губЧК с ВЧК и еще хуже уездных ЧК с губЧК. Местные ЧК при отсутствии контроля понимали по-своему задачу проведения «красного террора», а также, с организационной точки зрения, без связи с центром чувствовали себя «очень слабо».
Неопределённость правового статуса ВЧК, имевшей большие полномочия в осуществлении «красного террора», способствовала усилению нападок на нее со стороны местных исполкомов, Наркомата юстиции (НКЮ) и Наркомата внутренних дел (НКВД). В органах центральной власти наиболее активно против ВЧК выступал НКЮ, который еще во главе с И.З. Штейнбергом встал в оппозицию чекистам. Основной причиной конфликта были слишком широкие полномочия чекистов, которые создавали массу проблем с соблюдением законности. Судя по материалам НКЮ, жалоб на неправомерность действий органов ВЧК хватало.
Определенные нападки на органы ВЧК были и со стороны НКВД, который в сентябре 1918 г. разослал всем губернским и уездным исполкомам телеграмму с предложением высказаться по вопросу подчиненности ЧК. Отмечалось, что ВЧК настаивает на самостоятельности местных ЧК, а НКВДна необходимости их включения на правах подотдела с определенной автономией в отдел управления исполкома. Большинство местных исполкомов поддержали последнюю точку зрения. В недрах НКВД в это время появился доклад начальника Центрального управления уголовно-розыскного подотдела о деятельности чекистов. В нем указывалось, что вмешательство «деятелей» ВЧК в работу этого подотдела создавало такую атмосферу, в которой «разобраться нельзя».