Жоливье родился в семье отца-художника и матери-пианистки. Родители готовили его к карьере учителя, но уже в детстве он проявил заметный музыкальный талант. С четырнадцати лет Жоливе начал обучаться игре на виолончели, вскоре появились и его первые сочинения. В 1920 он был принят в хор одного из парижских соборов, где местный капельмейстер взялся обучать его гармонии и исполнении на органе. Вскоре Жоливе оставил школу и в течение ближайших лет подрабатывал на разных должностях. С 1928 он изучал контрапункт, гармонию и классические музыкальные формы под руководством Поля Ле Флема, познакомившего его с полифоническим письмом XV—XVI веков.

Примерно в это же время Жоливе знакомится с сочинениями, написанными в атональной технике: в 1927 он присутствует на концерте в зале Плейель, где исполняются работы Арнольда Шёнберга (среди исполнителей был пианист Эдуард Штейерманн), а два года спустя — на премьере сочинения Эдгара Вареза «Америки». Масштабные звуковые массы и широкое использование ударных инструментов произвели на молодого музыканта большое впечатление, и через некоторое время Ле Флем познакомил его с Варезом, который начал частным образом обучать Жоливе композиции. Влияние Вареза заметно в работах Жоливе этого периода с экспериментами в области оркестровки, акустики и атональности.

В 1933 Варез вернулся в США, оставив своему ученику на память шесть фигурок, которые стали для Жоливе своеобразными талисманами. Через два года он пишет сюиту «Мана» для фортепиано в шести частях, каждая из которых названа в честь одной из этих фигурок. В творчестве композитора начинается так называемый «волшебный» период, среди наиболее заметных работ которого — «Пять заклинаний» для флейты соло и Пять ритуальных танцев для оркестра. В это время Жоливе вдохновлялся традициями и культурой Африки и Восточной Азии.

Ещё в 1931 году на сочинения Жоливе обратил внимание молодой Оливье Мессиан, способствовавший исполнению некоторых из них на концертах Национального музыкального общества. В творческих взглядах двух композиторов было много общего, оба интересовались экзотическими культурами и стремились расширить эмоциональные границы музыки. В 1935 Жоливе, Мессиан и Даниэль-Лезюр создают авангардное музыкальное общество «Спираль» (La spirale), через год к ним присоединяется Ив Бодрие, в результате чего формируется группа «Молодая Франция» (La jeune France). Молодые композиторы отвергли главенствовавшие в то время в европейской музыке творческие и философские принципы Стравинского, Сати, «Шестёрки», эксперименты чешских и немецких композиторов, избрав собственный путь. Первый концерт из их сочинений, состоявшийся 3 июня 1936 года под управлением Роже Дезормьера, принёс «Молодой Франции» широкую известность. Деятельность группы была прервана началом Второй мировой войны: Мессиан попал в плен, а Жоливе призвали на службу. Военные впечатления сподвигли композитора на создание в 1940 году «Мессы на день мира» и «Трёх жалоб солдата».

Во время войны Жоливе не прекращал сочинять, однако его стиль претерпел значительные изменения. Отказавшись от атональности в пользу лиризма и ясности изложения, композитор также некоторое время продолжал «магическую» линию творчества («Песнь Линоса» для флейты и фортепиано, 1944). Около 1945 Жоливе пришёл к компромиссу между двумя этими направлениями.

В 1945—1946 Жоливе написал несколько критических статей. Дебютом стала статья в журнале «Чёрное и белое» (Noir et Blanc) под названием «Достаточно Стравинского» (Assez de Stravinsky), в которой он объявил, что творчество этого композитора не оказало на французскую музыку никакого влияния. Статья вызвала большой интерес у музыкальной общественности, в защиту Стравинского выступил Франсис Пуленк, откликнувшийся в газете «Фигаро» статьёй «Да здравствует Стравинский» (Vive Stravinsky).

С 1945 по 1959 Жоливе занимал пост музыкального руководителя театра «Комеди Франсез» и написал музыку к ряду театральных постановок. Композитор также работал на радио, сочинял музыку к кинофильмам, много путешествовал. Под впечатлением от поездок в страны Среднего Востока, Восточной Азии и Африки Жоливе вновь обратился к экзотическому музыкальному материалу, задействованному им в Фортепианном концерте (1949—1950), Первой симфонии (1953) и некоторых других сочинениях. Жоливе также интересовался французской культурой: среди его произведений 1950-х — 1960-х годов — оратория «Правда о Жанне д’Арк» (1956), «Чудесные влюблённые» для оркестра (1961) по мотивам сочинений Мольера и Люлли. В последнем произведении оригинально сочетаются барочные формы и жанры с современными приёмами оркестровки. В 1959 Жоливе основал в Экс-ан-Провансе Французский центр музыкального гуманизма, с 1961 преподавал композицию в Парижской консерватории. В последние годы жизни композитор планировал написать оперу «Неизвестный солдат», однако замысел остался неосуществлённым.

Дочь Андре Жоливе Кристин была замужем за скрипачом Деви Эрлихом.