На следующем, X съезде, его вывели из состава ЦК за поддержку Троцкого по вопросу о профсоюзах. Смирнов был предложен в кандидаты в члены ЦК, но было много недовольных, что он не вошел в ЦК: 123 делегата из 479 сами вписали его фамилию в бюллетень в качестве члена ЦК. Ничего подобного не было в истории партии ни до, ни после этого.
Смирнов после съезда занимался партийной и хозяйственной работой, а в 1923 году был назначен Наркомом почт и телеграфов.
Не знаю, кто был прав Википедия или Жестяникова, которая на допросе показывала, что, когда она приехала в Москву в 1922 году поступать в МГУ, Смирнов помог ей устроиться в общежитие почтового ведомства. Возможно, Смирнов уже работал там, но еще не занимал должность Наркома. Хотя в ряде материалов упоминается, что в то время он занимал должность Наркома восточной промышленности, поэтому он вполне мог устроить бабушку в общежитие.
С 1923 года Смирнов И. Н. примкнул к левой оппозиции РКП (б) и стал одним из ее лидеров. Под левой оппозицией в 1920-е годы понималась совокупность различных оппозиционных групп. В ее состав в разное время входили Лев Троцкий, Евгений Преображенский, Тимофей Сапронов, Карл Радек, Леонид Серебряков, Иван Смирнов, Христиан Раковский, Лев Сосновский, Александр Воронский, недолгое время Григорий Зиновьев, Лев Каменев, Надежда Крупская.
15 октября 1923 года 46 видных партийных и советских работников, в том числе, И. Н. Смирнов, подписали обращение в ЦК РКП (б), известное как «Заявление 46-ти».
В Заявлении говорилось об установлении в партии режима фракционной диктатуры, о подавлении инакомыслия ради сохранения единства партии и о том, что самонадеянные узурпаторы не могут, как это доказал кризис, «свести концы с концами в экономической области». Октябрьский пленум ЦК и ЦКК РКП (б), однако, осудил это выступление.
Тем не менее, 5 декабря 1923 года общее собрание Политбюро ЦК и Президиума ЦК приняло компромиссную резолюцию «О партстроительстве», которая включала многие положения «Заявления 46-ти» и предшествовавшего ему письма Троцкого. В резолюции признавалась необходимость установления режима рабочей демократии, под которым понималась свобода открытого обсуждения всеми членами партии важнейших вопросов партийной жизни, а также выборность должностных лиц и коллегий снизу доверху».
Учившиеся в то время в Москве бабушка и дедушка не могли не принять участия в дискуссии, которая широко развернулась в стране. На партсобраниях принимались резолюции в поддержку ЦК или против. Бабушка сомневалась, но голосовала за линию ЦК, а дедушка раз или несколько раз проголосовал за резолюцию левых. Около трети участвовавших в дискуссии высказалось против, но эту статистику приводили сторонники ЦК, поэтому трудно подвести точный итог.
В январе 1924 года состоялась XIII партийная конференция, осудившая взгляды членов левой оппозиции. Их обвинили во фракционности и нарушении резолюции X съезда РКП (б) «О единстве партии», а также в «меньшевистском уклоне».
За участие в оппозиции в декабре 1927 года, на XV съезде ВКП (б), Смирнова, в числе 75 активных троцкистов, исключили из партии, а в начале 1928 года по 58-й статье за контрреволюционную деятельность приговорили к 3 годам ссылки в Закавказье. Репрессивная машина еще только набирала обороты, и приговоры были мягкими.
Смирнов не желал менять свои взгляды и капитулировать перед правящей фракцией, но пришел к выводу, что со сталинизмом можно бороться только изнутри. Поэтому он написал заявление о разрыве с оппозиций, после чего был возвращён в Москву и восстановлен в партии. Его назначили управляющим трестом «Саратовкомбайнстрой», а с 1932 года начальником Управления новостроек Наркомата тяжёлой промышленности СССР.
«Капитулянты» не отказались от борьбы. В 1931 году Иван Никитич Смирнов возглавил подпольную организацию, в которую вошли многие известные «капитулянты»: Е. А. Преображенский, И. Т. Смилга, С. В. Мрачковский, В. А. Тер-Ваганян и др. В том же году, в июле, оказавшись в командировке в Берлине, Смирнов восстановил связь с Л. Д. Троцким, которую по возвращении в СССР поддерживал с помощью тайных оппозиционеров, выезжавших за рубеж по долгу службы.
В 1932 году Смирнов даже прислал для «Бюллетеня оппозиции» статью «Хозяйственное положение Советского союза», в которой впервые были показаны размах забоя скота во время коллективизации, серьёзные диспропорции в промышленности, последствия инфляции для всей экономики и т. д.». В заключение И. Смирнов писал: «Вследствие неспособности нынешнего руководства выбраться из хозяйственно-политического тупика, в партии растет убеждение в необходимости смены партруководства». Таким выводом Смирнов подписал себе смертный приговор.
В конце 1932 года, благодаря доносу, ОГПУ вышло и на подпольную организацию И. Н. Смирнова. О том, по каким вопросам «смирновцы» расходились с генеральной линией партии, в 1936 году на допросе рассказал Е. А. Преображенский:
они были против взятых темпов коллективизации, против дискредитации середняцких хозяйств, против жестокости по отношению к кулакам: в результате такой политики возникли проблемы с продовольствием;
«смирновцы» осуждали нереальные темпы индустриализации, в результате которых срывались планы капиталовложений, сроки строек, рабочие работали на износ, а их материальное положение ухудшалось;
их не устраивало отсутствие внутрипартийной демократии, из-за чего невозможно было обсуждение важных для страны вопросов;
они чувствовали идеологический застой и критиковали политику партии в Коминтерне, в частности по вопросу участия компартии в борьбе с фашизмом в Германии.
Из этих постулатов следовал неизменный вывод о необходимости борьбы с политикой ЦК и руководством партии.
В начале 1933 года по делу о «контрреволюционной троцкистской группе Смирнова И. Н., Тер-Ваганяна В. А., Преображенского Е. А. и других» было арестовано 89 человек. У них была изъята троцкистская литература и переписка со ссыльными троцкистами.
На следствии Смирнов принадлежность к подпольной оппозиции отрицал и признался лишь в том, что имеет сомнения относительно «колхозного строительства, проводимого партией», и что делился своими сомнениями в узком кругу товарищей.
Про сомнения и узкий круг товарищей мы еще услышим в заявлении Жестяниковой в Партком ИМЛ и во время допросов, когда ее пытались выставить активной троцкисткой.
«Смирновцы» были приговорены к разным срокам заключения, а некоторых даже после покаяния Сталин временно простил (до 1936 года). Смирнова приговорили к 5 годам лишения свободы, которые он отбывал Суздальской тюрьме особого назначения. В августе 1936 года, вместе с Мрачковским, Тер-Ваганяном и Гольцманом, он стал фигурантом Первого Московского процесса по делу так называемого «антисоветского объединённого Троцкистско-Зиновьевского центра». Теперь группа Смирнова преобразовалась во время следствия в террористический центр, организовавший в конце декабря убийство С. М. Кирова и ряд других, не удавшихся, покушений.
Сталин так хотел обвинить Смирнова, что следствие даже проигнорировало его абсолютное алиби нахождение в заключении. НКВД под руководством Ягоды шантажировало заключенных судьбами их родственников. Бывшая жена Смирнова, на первом судебном процессе державшаяся мужественно, на этот раз умоляла Смирнова принять участие в фарсе ради их детей.
24 августа 1936 года Военной коллегией Верховного Суда СССР вместе с другими подсудимыми он был приговорён к высшей мере наказания и расстрелян на следующий день. Рассказывают, что, отправляясь на расстрел, И. Н. Смирнов сказал: «Мы это заслужили своим поведением на суде», хотя Троцкий именно его поведение на процессе нашёл наиболее достойным.