Впрочем, успех к немцам пришел не сразу. На зимних Олимпийских играх в Санкт-Морице германская сборная фактически никак не проявила себя. Ей удалось завоевать лишь одну бронзовую медаль (санные гонки - прототип бобслея). Но уже в Амстердаме немцев ожидал форменный триумф. Немецкая сборная с 11 золотыми, 9 серебряными и 19 бронзовыми медалями заняла второе место, уступив пальму первенства США. Но если наметился успех немецкого спорта на международном уровне, то это не стоило воспринимать как само собой разумеющееся обстоятельство. Карл Дим полагал, что это было результатом его многолетних усилий. Немцы, побеждавшие на Олимпиадах, были для него не каким-то "чудом", а "нормальными, хорошо натренированными, талантливыми борцами с сильной волей, которые являлись естественным проявлением здорового народа". Как бы то ни было, но общественность оценила заслуги Дима. В октябре 1928 года рейхспрезидент Пауль фон Гинденбург во время официальной встречи с представителями Немецкого Олимпийского комитета выразил им признательность за успехи спортсменов. Фактически это означало, что государство было готово в полной мере поддерживать немецкий спорт. С этого момента была поставлена новая задача: добиться того, чтобы одни из Олимпийских игр были проведены в Германии.
В 1927 году во время сессии Международного олимпийского комитета, проходившего в Монако, президент Немецкого имперского комитета физической культуры Теодор Левальд внес Берлин в число городов, которые претендовали на то, чтобы принимать у себя летние Олимпийские игры 1936 года. По большому счету это была импровизация, так как немецкое спортивное руководство стало обсуждать эту идею только в 1928 году. Нельзя не отметить, что мнения по этому вопросу расходились. Если Теодор Левальд хотел во что бы то ни стало провести Олимпиаду 1936 года в Берлине, то Карл Дим считал это начинание преждевременным. Однако Левальду удалось одержать верх. Он не только смог переубедить Дима, но и сломил сопротивление "Немецкого турнершафта", для чего ему пришлось заручиться поддержкой самого Гинденбурга. С этого момента от Дима более не раздавалось ни слова критики - он полностью посвятил себя тому, чтобы содействовать "победе" германской столицы. Ведь решение было принято только Немецким Олимпийским комитетом, но МОК еще не вынес своего вердикта.
Первая реальная попытка повлиять на решение Международного олимпийского комитета была предпринята в 1930 году, когда в период с 25 по 30 мая в Берлине проходил X Олимпийский конгресс. Данное мероприятие по предложению Левальда было использовано, чтобы продемонстрировать членам МОК готовность германской столицы принять международные соревнования столь высокого уровня. В первую очередь надлежало показать организаторские способности немецкого спортивного руководства. Задача оказалась не столь простой. Проблема заключалась в том, что в самом разгаре находился мировой экономический кризис, начавшийся в 1929 году. Выделенные германским правительством на проведение конгресса 50 тысяч марок рисковали обесцениться. Но треволнения оказались напрасными - X Олимпийский конгресс прошел на очень высоком уровне. По этой причине Карл Дим и Теодор Левальд ожидали благоприятного для Германии решения членов МОК по вопросу, в каком городе должна была проводиться Олимпиада 1936 года. Всего же за эту почетную обязанность боролись четыре столицы: Берлин, Барселона, Рим и Будапешт. Окончательное принятие решения должно было произойти в апреле 1931 года в Барселоне. Позиции Берлина значительно усиливались тем, что предварительно из "гонки" выбыли Рим и Будапешт. В итоге членам Международного олимпийского комитета приходилось выбирать между Барселоной и Берлином. 43 голоса было отдано Берлину, 16 - Барселоне. Давнишняя мечта немецкого спортивного руководства стала претворяться в жизнь: Олимпиада 1936 года должна была пройти на германской земле.
Тем не менее не все немцы одинаково восторженно восприняли это решение. Многих смущало, что готовиться к Олимпиаде надо было в условиях кризиса, который традиционно сопровождался безработицей, нуждой и политическими потрясениями. Немалое количество жителей Германии полагали, что подготовка к проведению Олимпиады в подобных условиях была ничем не оправданной расточительностью. Вновь стали заявлять свои протесты представители "Немецкого турнершафта". Однако Карлу Диму удалось составить олимпийскую программу, финансирование которой не должно было нанести ущерба немецкому спорту. Но даже это не могло снять все вопросы; сопротивление со стороны некоторых спортивных объединений можно было ощущать годы спустя. Под сомнение даже ставилась необходимость участия германской сборной в Олимпийских играх 1932 года, которые проходили в Лос-Анджелесе. Но, несмотря на многочисленные протесты, у Карла Дима не было никаких колебаний. Если Берлин хотел принять Олимпиаду в 1936 году, то германская сборная непременно должна была быть в Америке в 1932 году.
И вновь Карлу Диму пришлось разрабатывать план по сбору средств. Опять проводились многочисленные рекламные и пропагандистские мероприятия, но кризис давал о себе знать. Диму удалось договориться лишь о софинансировании. Одну треть расходов, связанных с поездкой за океан, должны были взять на себя спортивные объединения. Речь шла приблизительно о 450 тысяч марок. Еще столько же были готовы выделить немецкие промышленники и представители германских финансовых кругов. И такая же сумма должна была быть выделена правительством Веймарской республики. Между тем в Германии усиливалась критика предстоящих расходов на Олимпиаду. Ее нельзя было не учитывать, а потому Карл Дим принял нелегкое решение: он существенно сократил германскую сборную, которая направлялась в Лейк-Плэсид (США, штат Нью-Йорк) на зимние игры 1932 года. Сборная была ограничена хоккейной командой, несколькими фигуристами и командой бобслеистов. В итоге не было ничего удивительного в том, что германская сборная в общекомандном зачете заняла только 9-е место, завоевав лишь две бронзовые медали. Сэкономленные деньги спонсоров и государства было решено направить на летнюю Олимпиаду. В Лос-Анджелес германская сборная направилась уже в полном составе. Несмотря на то что Карл Дим был вновь назначен "шефом миссию), успех 1928 года не удалось повторить. Германия опять заняла девятое место, завоевав всего лишь три золотые, двенадцать серебряных и пять бронзовых медалей. Первыми традиционно были американские атлеты. А второе и третье места заняли сборные Италии и Франции соответственно. Немцы уступили даже венграм и японцам, которые никогда до этого не считались особо сильными спортсменами. Как и стоило предположить, после столь неутешительного результата Немецкий Олимпийский комитет подвергся жесточайшей критике в германской прессе. Некоторые из газет требовали немедленной отставки Карла Дима и Теодора Левальда, по те никак не соглашались пойти на это, предпочитая обороняться от нападок. Карлу Диму вновь пришлось прибегнуть к "национальной" риторике, чтобы объяснить необходимость участия немецких спортсменов в международных соревнованиях. В привычно резких формулировках он заявил: "Как еще можно вдолбить в голову немецким патриотам, что германский флаг надо водружать за пределами нашей страны, а мы были только лишь передовым отрядом?"
Однако Карл Дим не был настолько самоуверенным, чтобы не видеть, что у германской сборной имелись серьезные проблемы, в итоге приведшие к провалу в Лос-Анджелесе. Главную причину неудач он видел в недостаточных тренировках и откровенном "шапкозакидательстве", присущем многим немецким атлетам. Прежде чем Олимпиада прошла бы в Германии, Дим задумал создать очень жесткую систему, которая должна была коренным образом изменить обстановку в немецком спорте. В первую очередь планировалось сделать ставку на тяжелые и регулярные тренировки. Карл Дим заявлял публике: "Будущие олимпийские победы предполагают беспощадную воспитательную работу. И от этого зависит уважение, которое будут испытывать к Германии во всем мире. Если к 1936 году мы сможем добиться этого уважения, то мы приложим руку к осуществлению нашей немецкой миссии. Эта вера будет удивительным образом расти день ото дня. Но она еще не является явленной нам действительностью в борьбе за место под солнцем".
Уже из сделанных заявлений было предельно понятно, что Левальд и Дим намеревались превратить "праздник спорта" в показательное мероприятие, в ходе которого предполагалось продемонстрировать всему миру величие и силу Германии. Однако, когда только началась реальная подготовка к Берлинской Олимпиаде, над ней вновь сгустились тучи. Это было связано с тем, что 30 января 1933 года к власти пришли национал-социалисты. Для многих было очевидным, что появление новой власти должно было отразиться на спорте в целом и подготовке и к Олимпийским играм в частности. Вопрос заключался в том, собиралось ли имперское правительство Гитлера вообще проводить Олимпиаду. В начале 1933 года многие видные национал-социалисты яростно критиковали "олимпийское примиренчество". В то же самое время Теодору Левальду удалось кое-что сделать буквально накануне прихода Гитлера к власти. 24 января 1933 года им был учрежден Организационный комитет по проведению Олимпийских игр 1936 года. Он смог сформировать состав этого комитета еще до того, как на это могло повлиять национал-социалистическое правительство. Генеральным секретарем организационного комитета Олимпиады был назначен Карл Дим. Именно он становился ответственным за организацию игр в Берлине. Однако его "олимпийская мечта" вновь оказалась под угрозой. Опять можно было вспомнить времена Первой мировой войны.