Яков Чмелев родился 22 октября 1877 года в слободе Меженки Острогожского уезда Воронежской губернии в семье крестьянина. Первоначальное образование получил дома, специальное, затем учился  в Московском Хоровом Обществе, а с сентября 1906 по май 1910 - изучал музыкальные предметы при Московском Синодальном училище Хорового пения. Посещал в качестве платного вольнослушателя Синодальное Училище Церковного пения, а 10 и 29 января 1913 года сдал экзамен на звание регента частного хора. Позднее Яков Александрович управлял хором в Троицкой церкви на Грязях у Покровских ворот и в Казанской церкви у Калужских ворот. В 1920 году Я. А.Чмелев окончил музыкально-инструкторские курсы при "Художественно-педагогическом отделении",  вступил в Ленинградское Общество драматических и музыкальных писателей (Драмсоюз). Работал учителем пения в московских школах и детских садах.

В 1930-е годы Чмелев много работает со светскими хоровыми коллективами, в том числе и с детскими - в школах и Домах пионеров Москвы. В 1927 году прослушал курс хороведения при Государственной Консерватории и прошел установленный испытательный стаж педагогической работы в школе, удостоен звания учителя начальной школы.
В 1938 году Я.А.Чмелев работает в Киргизии. С 1939 года этнографическим хором г. Фрунзе(ныне Национальный хор Киргизской ССР) руководит главный хормейстер Я.А.Чмелев.Также работал с хором Киргизского музыкального театра. В 1943 году Я.А.Чмелев получил Почетную Грамоту Комитета по делам Искусств при СНК СССР и ЦК профсоюза работников искусств СССР "за отличную работу по культурно-шефскому обслуживанию частей Красной Армии и Военно-морского Флота". 18 августа того же года указом Президиума Верховного Совета Киргизской ССР он был удостоен звания Заслуженного деятеля искусств республики.
В марте 1944 года Яков Александорович тяжел заболел, возвратился в Москву, где и скончался 28 августа. Похоронен на Немецком кладбище.