Курс на создание национальных воинских частей был составной частью политики "коренизации" в национальном вопросе, провозглашенной на X съезде РКП(б) (март 1921 г.) и перешедшей в плоскость конкретных мероприятий после XII съезда РКП(б) (апрель 1923 г.) и IV совещания ЦК РКП(б) (июнь 1923 г.). Согласно этой политике, ключевую роль в разработке которой сыграл Сталин, для завоевания симпатий к советской власти на национальных окраинах предполагалось выдвигать на первый план национальные кадры из числа местного населения, создавать национальные системы высшего, среднего и начального образования на местах, поощрять развитие национальных языков, культур и наук в национальных республиках и областях. Говоря о задачах политики "коренизации", Сталин на XII съезде отмечал, что ее главная цель заключалась в том, чтобы сделать советскую власть близкой инонациональному крестьянству на западных и восточных окраинах СССР. "Для того чтобы Советская власть стала и для инонационального крестьянства родной, – необходимо, чтобы она была понятной для него, чтобы она функционировала на родном языке, чтобы школы и органы власти строились из людей местных, знающих язык, нравы, обычаи, быт нерусских национальностей". В действительности речь шла не только о приоритетном выдвижении местных кадров и развитии национального языка и школы, но о целом комплексе мероприятий, осуществление которых должно было подтянуть уровень социально-экономического и культурного развития нерусских народов на национальных окраинах Союза ССР до положения его великорусского ядра. Современные исследователи советской культурно-национальной политики 1920-1930-х годов в связи с этим даже говорят о политике "положительной дискриминации" нерусских народов Союза ССР, а сам Советский Союз указанного периода называют "империей положительной деятельности".
Формирование национальных воинских частей проходило в рамках военной реформы, осуществленной в СССР в 1924–1925 гг. После окончания Гражданской войны в условиях экономической разрухи страна не могла содержать большую армию, поэтому с декабря 1920 г. по 1923 г. численность Красной Армии сократилась с 5,5 млн до 516 тыс. человек, т. е. более, чем в 10 раз. Одновременно происходил переход к территориально-милиционной системе комплектования армии, что должно было позволить сократить расходы на ее содержание, но в то же время обеспечить военную подготовку всего мужского населения Союза ССР и сохранение кадрового костяка Рабоче-крестьянской Красной Армии. В июне 1921 г. в Петрограде создается первая милиционная бригада, а в январе 1923 г. на территориально-милиционную основу переводится 10 кадровых дивизий. Однако наиболее активно переход на территориально-милиционный принцип организации и комплектования начался после издания 8 августа 1923 г. декрета ЦИК и СНК СССР "Об организации территориальных частей и проведении военной подготовки трудящихся". В 1925 г. в Красной Армии было уже 46 стрелковых и одна кавалерийская территориально-милиционные дивизии.
В декабре 1923 г. по решению Реввоенсовета Союза ССР армия перешла на национально-территориальный принцип комплектования. Под руководством председателя Реввоенсовета Л. Д. Троцкого была принята первая программа национального войскового строительства в СССР. "Как известно, – пишет Е. Ю. Борисёнок, специалист-историк по "советской украинизации", – Троцкий был сторонником создания в республиках национальных армий, которые должны были составить общесоюзную Красную Армию. Это должно было продемонстрировать нерусским народам последовательность советской власти в решении национального вопроса. К тому же, по мысли Троцкого, такие армии могли бы пригодиться для мировой революции".
Тем не менее центральное руководство Союза ССР во главе с И. В. Сталиным относилось к этой идее довольно настороженно, резонно видя все минусы в плане национал-сепаратизма, к которым могло привести создание национальных армий в союзных республиках. Опасаясь, что такие армии станут легкой добычей в руках националистов, оно дало согласие лишь на формирование отдельных национальных воинских частей.
Первоначальная программа 1924 г. по национально-войсковому строительству выполнена не была. Уже в марте 1924 г. она была пересмотрена в сторону сокращения, а центр тяжести в формировании национальных частей был перенесен в восточные республики Союза ССР. При непосредственном участии М. В. Фрунзе и благодаря работе специальной комиссии под руководством Ф. Э. Дзержинского был разработан и в 1924–1925 гг. осуществлен компромиссный вариант военной реформы, отходивший от крайностей построения Красной Армии по милиционно-национальной модели, принятой в 1923 г. В конце 1924 г. Реввоенсовет Союза ССР принял новый пятилетний план (1924–1929) национального строительства РККА, одобренный впоследствии III съездом Советов. В его основу был положен принцип единства Советских Вооруженных Сил. Более того, Фрунзе прямо указывал на опасность тенденции к "превращению национальных формирований в ядро национальных армий" и заявлял о несоответствии такой позиции "классовым интересам рабочих и крестьян". Уже к весне 1925 г. национальные воинские части составляли 10 % от общей численности Красной Армии. Эти воинские формирования были территориально-милиционными по своему составу, поскольку они на 70 % состояли из населения коренных народностей окраин Союза ССР. К 1928 г. территориальные части составляли свыше 70 % стрелковых войск и 12 % кавалерии РККА.