Непосредственная композиторская деятельность Гречанинова начинается в возрасте двадцати лет. Первыми он пишет романсы, некоторые из которых сразу позволили юному студенту консерватории заявить о себе как о талантливом сочинителе. Наиболее известным из начальных его произведений стала положенная на стихи Лермонтова «Колыбельная». Но в целом студенческий период композиторства нельзя назвать активным. Возможно, это можно объяснить разочарованием Гречанинова в оценке Римского-Корсакова, который был для начинающего музыканта настоящим кумиром. В целом в это время Гречанинов сосредотачивается на учебе и преподавательской деятельности. После окончания в 1890 году соответствующих курсов, а в 1893 году еще и консерватории в Петербурге, Гречанинов устраивается учителем в частные музыкальные школы: сначала Гнесиных, затем Беркман.
Конец 19 века знаменовался для Гречанинова окончательным творческим созреванием: начинается активный созидательный период. Впитав ортодоксальные черты стилистики «Могучей кучки», композитор пишет свои первые серьёзные произведения: оперу «Добрыня Никитич», несколько симфоний, струнный квартет g-dur. Все перечисленные сочинения полны ярких национальных оттенков и отмечены понятностью художественных образов. Вместе с тем они довольно просты и отдают явной традиционностью, вследствие чего не нашли признания в кругах сочинителей «высокого искусства», зато обрели широкую известность и популярность в народных массах. Но вот, где Гречанинов явился новатором, - так это в области музыки церковной. В своих произведениях для хора он стремился совместить знаменный стиль пения с народным фольклором, обрамленным академической культурой композиции. Также следует заметить, что, будучи человеком православным, Гречанинов, тем не менее, с большим увлечением писал католические и протестантские духовные сочинения, в том числе и на английском языке.
Октябрьская революция стала переломным моментом в жизни композитора. Подавленный беспорядком и разрухой в государстве, Гречанинов выезжает в Европу (некоторое время живет во Франции), а затем и вовсе отправляется в США. В этот период он пишет много произведений для детей, в частности оперы «Теремок», «Ёлочкин сон», создает музыку к спектаклям Островского и Толстого, а также ряд пьес для фортепиано. В целом его наследие в период эмиграции оказалось довольно обширным, пользовалось успехом. В конце концов, он-таки смог найти свой собственный путь в музыке.