В 1931 году в Одессу в рамках гастрольного турне приехал знаменитый пианист Артур Рубинштейн. Прослушав как играет юный Гилельс, он заметил: «Я не нахожу слов, чтобы описать, как он играл. Скажу одно: если он когда-либо приедет в Соединенные Штаты, мне тут нечего будет делать».[Не очень доверяя словам, якобы сказанным, приведем написанные слова Михаила Чулаки: «Все мы, вспоминал композитор, болельщики: у каждого из нас свой самый верный кандидат в лауреаты Вот и сейчас на вокзале мы провожаем в Москву нашего товарища, талантливого пианиста, уже известного на концертной эстраде, и, конечно же, не сомневаемся, что именно он получит первую премию. Но приходит весть: имя победителя Эмиль Гилельс. Он одессит, из простой семьи, ему всего шестнадцать лет, вчера он не был известен, сегодня о нем говорят все И снова мы на вокзале встречаем нашего товарища, участника конкурса. Он очень серьезен: Это чудо! говорит он о Гилельсе». Авт.] Звёздный час для Гилельса наступил в 1933 году на Первом Всесоюзном конкурсе музыкантов-исполнителей. Эмилю тогда была всего шестнадцать лет. Его игра опрокинула все традиционные представления о виртуозности. Став безоговорочным обладателем первой премии на конкурсе, Гилельс прославился на всю страну.
С 1935 по 1938 год Эмиль Гилельс в Московской консерватории в классе гениального Генриха Густавовича Нейгауза. Ощущая уверенность в своих силах, Гилельс рвался в бой, испытать себя на большой конкурсной эстраде. Вскоре такой случай ему выпал: в 1938 году в Брюсселе проводился конкурс имени Эжена Изаи среди пианистов. В жюри сидели все великие пианисты: Робер Казадезюс, Вальтер Гизекинг, Артур Рубинштейн, Эмиль фон Зауэр. Соперники у Гилельса были сильнейшие. Одним них был Артуро Бенедетти Микеланджели. Однако первое место досталось Эмилю Гилельсу. По возвращении в Москву он начинает преподавать в Московской консерватории, что во времена Сталина было нормальным (зарубежный конкурс выиграл).
Гилельс уже распланировал свой график европейских гастролей, когда началась Вторая мировая война. К этому времени Э. Гилельс был женат на пианистке Розе Тамаркиной, которая выиграла Первую премию конкурса Ф. Шопена, была красива и моложе его на 4 года. Никто не подозревал, что через несколько лет она умрет от неизлечимой болезни. Он не остался в стороне от бедствий и потрясений войны, даже записался в народное ополчение. Часто Гилельс играл для солдат, раненых в госпиталях. Он одним из первых бесстрашно едет в блокадный Ленинград.