Я зі свого боку закликаю всі установи ввести у себе при спілкуванні по телеграфу і радіо мову «код». Єнукідзе».
На початку 1920-х років Спецвідділ включав 6, а пізніше – 7 відділень. Проте власне криптографічні завдання вирішували тільки три з них: 2-е, 3-є і 4-е. Так, співробітники 2 відділення займалися теоретичною розробкою питань криптографії, виробленням шифрів і кодів для ВНК і всіх інших установ країни (включаючи МЗС, Військове відомство тощо). Відділення в перші роки роботи складалося з 7 осіб, а його начальником був Федір Григорович Тіхоміров.
Перед 3 відділенням стояло завдання «ведення шифророботи та керівництво цією роботою у ВНК». Складалося воно спочатку всього з 3-х осіб, керував відділенням старий більшовик, колишній латиський стрілець Федір Іванович Ейхманс, який одночасно був заступником начальника Спецвідділу. Ейхманс організовував шифрозв'язок із закордонними представництвами СРСР, спрямовував і координував їх роботу.
Співробітники 4 відділення, а їх було 8 осіб, серед яких був і Крівош-Неманіч, займалися «відкриттям іноземних і антирадянських шифрів і кодів та дешифровкою документів». Начальниками цього відділення були: з травня по грудень 1921 року – Ященко, з січня по серпень 1922 року – Горячов, з серпня 1922 по вересень 1923 року – Ельтман.
Перші успіхи радянських криптослужб незабарилися. Уже в 1921—22 роках удалося розкрити перші дипломатичні й військові турецькі шифри, до 1925 року проводилася активна й небезуспішна робота з шифрами 15 європейських держав, у 1927 році розпочалося читання японських повідомлень, а в 1930 році були розкриті деякі шифри США.
У травні 1921 року при Штабі РСЧА був також утворений свій спецвідділ -Центральний шифрувальний відділ (далі – ЦШВ) і було затверджене Положення про нього та його штат, а також штати шифрорганів штабів фронтів, округів, армій, дивізій, бригад, Центрального управління ВОСО і дислокаційне відділення (далі – ДВ) Управління зв'язку штабу РСЧА, Управління ВОСО і ДВ зв'язку штабів фронтів і армій. ЦШВ складався з 4-х відділень загальною чисельністю 27 осіб.
В той час столицею радянської України був Харків, тому в 1921 році в складі українських органів держбезпеки був створений Загальний відділ під керівництвом Ігнатова, одним із завдань якого було забезпечення таємного телеграфного зв'язку. Пізніше при ДПУ Української Радянської Соціалістичної Республіки (далі – УРСР) було організовано Шифрувальне бюро.
Співробітниками ЦШВ були розроблені перші радянські шифри «74-й Ключ Наркомвоена», «Гелиос», «75-й Ключ Наркомвоена», «Советский» та інші. У 1921 році ними було виготовлено й розіслано у війська та на флот 54 нові шифри і 2 радіокоди.
Коди та шифри того часу – «Око», «Кулемет», «Стрілок», «Пролетар», «Іскра», «Спартаківець» – згодом були витіснені більш серйозними – «УП Третій», «АРО Перший» та іншими. Це підвищило стійкість шифрованих повідомлень і збільшило безпеку застосування наявних каналів зв'язку.
З перших місяців свого існування Спецвідділ розпочав успішно проводити дешифрування іноземного листування. Колегія ВНК робила все для того, щоб організувати справу найкращим чином і забезпечити повну таємність. Був встановлений порядок, згідно з яким про всі розкриті шифри та здобуті відомості Спецвідділ доповідав ЦК партії, Раднаркому, голові ВНК і керівникам інших зацікавлених відомств.
Колегія ВНК надавала велике значення оперативному використанню таємного листування, що дешифрувалося. Всі термінові і особливо важливі дешифровані повідомлення доповідалися негайно. Вже у той час дешифровані матеріали активно використовувала радянська розвідка, НКЗС, деякі інші організації.
Перший позитивний результат був досягнутий у «розкритті» німецького дипломатичного коду, яким користувався повноважний представник німецького уряду в Москві. Це був цифровий 5-значний код з перешифруванням гамою багатократного використання. Починаючи з червня 1921 року, розшифровувалося все листування на лінії зв'язку Москва-Берлін.
З 1922 року Німеччина ввела на дипломатичних лініях зв'язку буквений код з перешифруванням гамою багаторазового використання. Коди та велика частина перешифрувальних засобів розкривалися аналітичним шляхом у Спецвідділі. Розкриття таких шифрів дозволило контролювати листування багатьох ліній дипломатичного зв'язку Німеччини та її консульств у Ленінграді, Києві, Одесі, Харкові, Тбілісі, Новосибірську, Владивостоку аж до 1933 року, коли кількість читаного листування різко скоротилася через те, що німці почали застосовувати гаму одноразового використання.
У серпні 1921 року було здійснено дешифрування перших турецьких дипломатичних телеграм. Вже на початку 1920-х років криптологи Спецвідділу добилися можливості читати листування внутрішніх ліній зв'язку Туреччини та окремих ліній зв'язку військових аташе. Турки застосовували головним чином 4-значні коди з перешифруванням короткою гамою, змінною через дві доби, а також коди без перешифрування. Дешифроване листування містило відомості, які представляли великий інтерес для радянської сторони, та активно використовувалося. Багато дешифрованих телеграм надсилалося, наприклад, в Закавказьку НК, і це давало можливість вжити заходи з припинення шпигунських дій іноземних, а у даному випадку турецької, розвідок. У 1921 році Спецвідділ розпочав розробляти англійське шифролистування.
Велику допомогу Спецвідділу надавав Іноземний відділ ВНК, розвідники якого у період 1920-30-х років добули більше 10 англійських кодів. По цих шифрах читалася частина дипломатичного листування, проте не вся, оскільки виникали складнощі з розкриттям перешифрування.
Серед «розкритого» листування було багато матеріалів, що представляли великий інтерес для радянського уряду, органів радянської розвідки та контррозвідки. Серед таких документів були, наприклад, телеграми про радянсько-англійські відносини, про продаж англійцями зброї країнам, що мали кордон з СРСР, про діяльність англійської розвідки у Середній Азії тощо.
Хоча робота з розкриття польських шифрів почала проводитися незабаром після організації Спецвідділу, перші практичні результати були отримані лише у 1924 році, коли були розкриті 2 коди 2-го розвідувального відділу генерального штабу польської армії для зв'язку з військовими аташе в Москві, Парижі, Лондоні, Ревелі, Вашингтоні і Токіо.
Для органів державної безпеки особливу цінність мали дешифровані телеграми, що освітлювали шпигунську діяльність кадрових розвідників, що знаходилися під офіційним прикриттям іноземних дипломатичних, військових і консульських представництв у СРСР. Так, почате у 1924 році читання дешифрованого листування польських військових аташе дозволило отримувати таємні повідомлення польської розвідки, яка намагалася широко проводити шпигунську роботу на території СРСР. Радянська розвідка була дуже зацікавлена в отриманні подібної інформації.
Природно, що в початковий період своєї роботи Спецвідділу довелося зустрітися з великими труднощами. Досвідчених криптологів було мало, і кожному з них доводилося очолювати роботу по декількох напрямах. Молоді співробітники ще не володіли необхідними криптологічними та мовними знаннями. Перехоплення шифролистування по багатьох лініях зв'язку велося нерегулярно, можливості виділених технічних засобів були дуже обмежені. Всі роботи, пов'язані з аналізом шифроматериалів, проводилися тільки вручну. Були й інші труднощі. Проте у міру зміцнення Спецвідділу, зростання майстерності його співробітників обсяг криптологічних досліджень з розкриття шифрів почав неухильно зростати. До 1925 року проводилася розробка шифрів вже 15 держав. У 1927 році почалося читання японського листування, а у 1930 році – листування деяких ліній зв'язку США.