М.М. Жербин родился 11 (24) декабря 1911 в Санкт-Петербурге. До 1927 года учился в Петришуле, а в 1929 году окончил Ленинградский музыкальный техникум по классу фортепиано.

В 1930 году М.М. Жербин начал трудовую деятельность в институте «Гипрошахт». В 1935 году он окончил Ленинградский инженерно-строительный институт по специальности инженер-строитель-конструктор. На то время М.М. Жербин был назначен руководителем группы металлических конструкций, а потом руководителем строительного отдела института «Гипрошахт». В 1936—1944 он работал инженером-конструктором в Ленинграде и в Кизеле (Пермская область).

В 1940 году М.М. Жербин окончил Музыкальное училище при Ленинградской консерватории по классу композиции и дирижирования (одновременно работал в институте «Гипрошахт»). В 1940—1941 учился на композиторском факультете Ленинградской консерватории.

Во время Великой Отечественной войны М.М. Жербин проектировал и принимал непосредственное участие в строительстве завода тяжелых авиационных бомб. За эту работу он был награжден первым орденом «Трудового Красного Знамени».

После освобождения Донбасса в начале 1944 года М.М. Жербин был командирован в Донецк, где ему было поручено организовать Центральное бюро копров и шахтного оборудования (ЦБКО).

В 1944—1948 М.М. Жербин - начальник Центрального бюро копров в Донецке и затем в Киеве, куда в 1947 году ЦБКО было переведено. За выдающиеся изобретения и коренные усовершенствования методов производственной работы М.М. Жербин был удостоен Сталинской премии (1948).

С 1948 года М.М. Жербин - директор Западшахтпроекта, затем Укргипрошахта и Украинского НИИ проекта в Киеве, на базе которого был создан институт «УкрНИИпроект». Директором этого института Михаил Жербин работал до 1963 года.

С 1963 г. трудовая деятельность Михаила Михайловича Жербина тесно связана с Киевским инженерно-строительным институтом (ныне Киевский национальный университет строительства и архитектуры). С 1964 он - профессор, а с 1967 года - заведующий кафедрой Киевского инженерно-строительного института.

Наряду с основной работой М.М. Жербин активно работал как композитор, и в 1945 году был принят в Союз композиторов СССР. В 1943—1946 он заведовал музыкальной частью драмтеатров в Кизеле и Донецке. Как композитор начал регулярно выступать со 2-й половины 1940-х годов.

Михаил Михайлович Жербин ушел из жизни 8 июня 2004 года. Современная строительная наука своими сегодняшними достижениями в огромной степени обязана самоотверженному труду Михаила Жербина, талантливого и беззаветно преданного своему делу ученого. Жизненный путь ученого отмечен многими наградами и почетными званиями. Он награжден 14 правительственными наградами.