Махин попал на каторгу в селе Александровском Усть-Балейской волости Иркутской губернии и округа вместе с женой Агафьей. Именно там находился знаменитый Александровский централ центральная каторжная тюрьма. У них родились дети Афанасий и Федор (в приказе по войску ошибочно указано, что родились в 1880 г., а не в 1882 г., но это дает основания предполагать, что речь шла о близнецах), а 14 мая 1887 г. третий сын Константин .
Через пятнадцать лет, в 1895 г., Махины смогли вернуться домой. Евдоким Васильевич был зачислен в войсковое сословие Оренбургского войска по поселку Буранному одноименной станицы с земельным наделом из буранинских дач. Местный
журналист (по некоторым данным, это был Н.А. Ершов, но статья не подписана) отмечал, что «Махин был скорее несчастною жертвой своего времени, своего темперамента и неправильного понимания служебного долга, чем сознательным развращенным преступником.
Все это станичники знали и чувствовали, а потому и жалели его как несчастного, пока он был на каторге, и с радостью приняли в 1895 году в свою среду, когда это стало для него возможным, благодаря Высочайшей милости. Будучи человеком нравственным и всеми уважаемым до каторги, Махин остался таковым же и после нее. Возвратившись на Родину, он быстро снова снискал уважение и любовь своих станичников настолько, что был избран ими в последнее время в почетные судьи, а должность эта принадлежит к самым важным в станичной администрации, наравне с должностью станичного атамана, и на нее избираются только люди выдающиеся по своим служебным и нравственным качествам» .
Друг Ф.Е. Махина генерал П.С. Махров излагал эту историю со слов своего товарища следующим образом: «Биография Федора Евдокимовича полковника Махина была не из заурядных. Он был сын каторжника и родился где-то в местах отдаленных Сибири . Его отец до ссылки был урядник оренбургского казачества и кавалер всех четырех степеней Георгиевского креста . Эти награды он получил за бои при взятии крепости Геок-Тепе в 1881 г. , и ген[ерал] [М.Д.] Скобелев назначил его своим ординарцем .
Возвращаясь после войны в Оренбург, на одной из почтовых станций ему сделал офицер какое-то замечание. Урядник Евдоким Махин, будучи навеселе, ударил офицера по лицу. За это по суду он был лишен воинского звания, орденов и был сослан в Сибирь на каторгу. За ним последовала и его жена с двумя мальчиками. В пути один из них умер. Другой выжил. А на каторге Бог им послал сына Федора.
Через десять лет отец Махина за отличное поведение был переведен на поселение в район Иркутска, а в 1905 г. в день рождения наследника цесаревича государь император повелел восстановить Евдокима Махина в прежних правах и возвратиться в Оренбург . Вся семья Махиных были старообрядцы. До 14-летнего возраста полковник Махин познал грамоту от своего отца по Псалтыри на древнеславянском языке и знал Псалтырь наизусть.
Он часто, видя несправедливость высшего начальства, особенно из аристократов, цитировал мне: Не надейтеся на князя, на сыны человеческие в них бо несть спасения. Только в Оренбурге 14-летним мальчиком он взялся сам за учебу и чрез 4 года выдержал экзамен для поступления в Оренбургское казачье училище, откуда и был выпущен в офицеры. В 1911 году он окончил академию Генерального штаба и был причислен к Генеральному штабу» .
Детство Федор провел в Сибири, получив домашнее образование. После амнистии отца в 1895 г. Махины возвратились в родную станицу Буранную, где жили до ссылки. Через год станичники избрали отца на должность почетного станичного судьи. После ходатайства прежнего сослуживца Махина атамана 1-го военного отдела генерал-майора А.С. Мелянина в Главное управление казачьих войск в июле 1898 г. Евдоким Васильевич был полностью восстановлен в правах, ему возвратили чин урядника и награды. Это событие было столь значимым, что попало на страницы губернской печати. В газетной статье в связи с возвращением наград отмечалось, что «Махин пользуется общею любовью и уважением всего станичного общества и, благодаря своей особенной судьбе, является человеком, выдающимся из ряда обыкновенных смертных» .