Одновременно Новобелянский рейд Колесникова показал всю беззащитность и уязвимость советской власти в южных уездах Воронежской губернии. Для предотвращения подобных инцидентов в будущем, ревкомы привлекают всё население "неспокойных" районов к охране своих сёл. Так, например, Погореловский сельревком Богучарского уезда издал приказ, согласно которому все мужчины села, от мала до велика, обязаны были по условному знаку – удару в большой колокол – вооружиться чем возможно и собраться к зданию сельсовета для организации отпора "бандитам". Также, следуя этому приказу, с сельского общества бралось обязательство, что оно целиком отвечает за появление в селе хотя бы одного бандита или дезертира. В подкрепление этого обязательства с каждой сотни сельчан бралось по пять заложников, которые в случае нарушения приказа должны были быть расстреляны. Кроме этого, жителям села было приказано в течение одних суток сдать всё имеющиеся у них оружие. По истечении этих суток все лица, у которых обнаруживалось оружие, предавались суду ревтрибунала.
А жители павловских сёл Пузево и Чернавки были предупреждены местными ревкомами в том, что если они и дальше будут снабжать лесные шайки продовольствием, то у них поголовно будет конфисковано всё имущество. Но деятельность сельских и волостных ревкомов в конце декабря 1920 – начале января 1921 гг. отнюдь не ограничивалась запугиванием местного населения. Регулярно эти органы власти проводят в сёлах облавы на колесниковцев и дезертиров, обыски домов подозрительных лиц. Часть задержанных в ходе облав людей отправляется на разбирательство в райревкомы или в уездные политбюро, другая часть как "злостные бандиты" тут же расстреливается. Изъятое у населения оружие часто идёт на вооружение совслужащих и отрядов при ревкомах. Особенно опасным и рискованным делом для служащих ревкомов в это время являлась "зачистка" лесов от дезертиров и колесниковцев. Нередко лесные облавы превращались в настоящие операции по ликвидации антисоветских отрядов. В ходе вооружённых стычек потери несли обе стороны. Нередко из "зачисток" ревкомовцы возвращались с трофеями в виде продуктов, лошадей и оружия.
Действия ревкомов в борьбе с дезертирством и колесниковщиной были бы более эффективны, если бы не вопиющая малочисленность их штатов. Большую часть времени ревкомы были заняты делами милицейского и военного характера: облавами, обысками, допросами, разведкой местности, перестрелками. Для подобной работы требовались хорошо вооружённые отряды в несколько десятков человек. Между тем численность штатов некоторых ревкомов составляла 4 человека. От нехватки нужных кадров в ряде сёл к охране общественного порядка стали привлекаться даже дети и старики. Естественно, что при таких условиях были нередки случаи, когда ревкомовцы обращались за военной помощью в уездный центр, не имея достаточных сил самостоятельно справиться с немногочисленными отрядами колесниковцев и дезертиров.
В начале января 1921 года воронежское губпродсовещание, решив, что восстание Колесникова подавлено, в южных уездах губернии проводит самые энергичные мероприятия по выполнению плана продразверсток, чуть не сорванного крестьянским восстанием. Из некогда мятежных волостей выводятся продотряды из центральных районов РСФСР. На их место прибывают воронежские продармейцы и продагенты. Воронежские продотряды насчитывают по 30-100 человек, они хорошо вооружены. С прибытием новых продотрядов в ряде южных волостей принимаются чрезвычайные документы. Так, например, в бывшие мятежные сёла Старокалитвенской волости направляется приказ № 5. В данном документе старокалитвенский райревком приказывал местным сельревкомам "безотлагательно принять все меры по выплнению развёрсток государственного наряда". Согласно основным положениям приказа, волревкомы и сельревкомы должны были: 1) проводить в своих селениях с местными жителями частые митинги и собеседования, 2) наладить самую тесную связь с районом и окружающими селениями; 3) организовать гражданские посты и караулы, 4) проводить самую решительную борьбу с бандитизмом и дезертирством, всех задержанных направлять в райревком или в Острогожск. Данные меры, по мнению руководства уезда должны были создать благоприятные условия для бесперебойного выполнения продразвёрстки.
Вслед за приказом № 5 Старокалитвенский райревком направляет в те же сёла приказ № 6. Этот документ содержал инструкцию о том, как надо проводить продразвёрстку. Согласно приказу № 6 сельские ревкомы должны были в срочном порядке представить сведения о количестве поступивших продуктов, фуража и прочего в счёт государственной развёрстки по 1 января 1921 года. Начиная с 1 января подобные сведения должны были поступать ежедневно к 5 часам вечера. Эти сведения должны были содержать информацию о том, что было сделано за день по выполнению государственной развёрстки и что отправлено в Россошь (где, вероятно, находился главный ссыпной пункт). Сельревкомам также предписывалось произвести развёрстку государственного наряда по отдельным домохозяевам. По окончании развёрстки, согласно этому же приказу, каждому домохозяину следовало объявить под расписку, какое количество хлеба, фуража, сырья и прочего он должен поставить в счёт следующей развёрстки, а также назначить срок, в который он должен выполнить эту развёрстку. Ответственность за выполнение данного приказа ложилась всецело на председателей сельревкомов.
В это же время ревком и продкомиссия Новолиманской волости принимают постановление, согласно которому население волости разбивалось на три категории и вся развёрстка ложилась в первую очередь на кулаков, а во вторую – на середняков. Кроме этого, организовывались особые комиссии из членов сельсоветов под руководством членов волпродкомиссии. Бедняки от выполнения продразвёрстки совершенно освобождались, с условием, если таковая будет выполнена первыми двумя категориями. Вследствие этой оговорки бедняки должны были усердно помогать продоганам изыскивать хлеб у кулаков и середняков. Данное постановление и старокалитвенский приказ № 6 должны были способствовать скорейшему выполнению плана по продразвёрстке и явно не отвечали интересам основной массы воронежского крестьянства.
Между тем разбитые и рассеянные по воронежским волостям отряды колесниковцев не собираются складывать оружия. В Богучарском уезде они всё чаще совершают налёты на сёла Бычковской, Монастырщенской, Суходонецкой волостей. В Павловском уезде повстанцы нападают на ответственных советских работников. Отчаявшись просить уездные власти о военной помощи, с конца декабря 1920 года волостные и сельские ревкомы начинают создавать из местных жителей ударгруппы. Местные коммунисты понимали, что во многих сёлах скрываются бывшие участники колесниковского восстания, и поэтому обращали особое внимание на отбор людей для этих групп. Бойцы ударгрупп должны были "стоять на стороне советской власти и быть преданными делу революции".
С первых же дней своего создания ударгруппы повели активную борьбу с колесниковцами и дезертирами. Так, ударгруппа села Сергеевка Острогожского уезда только за 3 января 1921 года поймала одного дезертира и четырёх "бандитов", у которых имелись документы за подписью Ивана Колесникова и две винтовки. Та же ударгруппа в последующие дни поймала шесть дезертиров, отбила у колесниковцев "две пары быков, одну корову, одну швейную машинку, два пуда пшеницы, три пуда проса и 100 пудов сена". Кроме ударгрупп создавались также заставы, патрули, ночные посты. Помимо этого, ревкомы по-прежнему проводили сельские и лесные облавы, в ходе которых обнаруживались запасники с оружием и уничтожались землянки "бандитских шаек". Все захваченные в облавах дезертиры и колесниковцы направлялись в уездное политбюро, где одних приговаривали к расстрелу, а других к концентрационному лагерю.