Né à Angers le 22 janvier 1916, mort à Paris le 22 mai 2013.
L'un de ses grands-pères, Constant Dutilleux est peintre, ami avec Delacroix et Corot. Julien Koszul (1844-1927), le grand-père maternel est compositeur et organiste, proche de Gabriel Fauré. Il est directeur du Conservatoire de musique de Roubaix, où il a Roussel comme élève.
Réfugiée en Maine et Loire pendant la Première Guerre mondiale, sa famille retourne à Douai après l'armistice.
Il suit les cours de Victor Gallois au Conservatoire de Douai. En 1933 il entre au Conservatoire de Paris où il obtient le premier prix d'harmonie en 1935 dans la classe de Jean Gallon. En 1936, dans la classe de Noël Gallon il emporte de premier prix de contrepoint et de fugue.
Il suit les cours d'histoire de la musique de Maurice Emmanuel, ceux de direction d'orchestre avec Philippe Gaubert et de composition avec Henri Büsser.
En 1938, il obtient un second prix de composition et le Premier Grand Prix de Rome avec la cantate l' Anneau du Roi.
À cause de la guerre, il ne séjourne que quatre mois à la Villa Médicis de Rome. En 1941, Claude Delvincourt crée une Sarabande aux Concerts Pasdeloup. En 1942 il crée ses Quatre Mélodies et sa Danse fantastique pour orchestre. La même année il est nommé chef de chant à l'Opéra de Paris.
Pendant la guerre il étudie le traité de composition de Vincent d'Indy, et découvre les musiques de Stravinsky et de Roussel. Mais il n'adhère ni au sérialisme ni à la musique de Bartok.
En 1943 il crée la Sonatine pour flûte et piano, et jusqu'en 1944 il est chef de chant à la Radio. Il crée La Geôle, mélodie avec orchestre sur un poème de Jean Cassou.
De 1945 à 1963 il est responsable du service des illustrations musicales à la Radio. Il compose de nombreuses pièces destinées à la radio qu'il refusera de publier, ne voulant pas les sortir de leur contexte initial.
Il épouse en 1946, la pianiste Geneviève Joy, pour laquelle il compose ses œuvres pour piano.
En 1951, Roger Désormière crée sa Première symphonie à la tête de l'Orchestre national. Roland Petit crée en 1953 le ballet Le Loup sur un argument de Jean Anouilh et Georges Neveux. En 1954, il crée les Trois Sonnets de Jean Cassou, pour baryton et orchestre, et Charles Münch crée sa Seconde symphonie avec l'Orchestre symphonique de Boston qui fête son 75eanniversaire.
En 1961 il est appelé par Alfred Cortot à la classe de composition de l'École normale de musique.
En 1965, pour le 40e anniversaire de l'Orchestre de Cleveland, George Szell dirige ses Métaboles. La même année une maladie des yeux le force à ralentir sa production. En 1966 il donne des conférences au Liban.
Il reçoit en 1967 le Grand prix national de la musique pour l'ensemble de son œuvre.
En 1970, Mstislav Rostropovitch crée Tout un monde lointain... pour violoncelle et orchestre. La même année il est nommé professeur au conservatoire de Paris, poste qu'il quitte en 1984. Il est plusieurs années durant secrétaire de la section française de la Société internationale de musique contemporaine (S.I.M.C.). Il est souvent invité à enseigner dans des cours d'été.
En 1973 il est membre associé de l’Académie Royale de Belgique, en 1981, membre honoraire de l’American Academy and Institute of Arts and Letters de New York. La même année il donne des conférences au Royal College de Londres.
En 1982 il est au Japon et en Corée où il donne des conférences aux Universités de Tokyo, de Kyoto et de Séoul.
Il reçoit en 1983 le Grand Prix international du Disque à Montreux. L'année suivante il donne des cours au Conservatoire de Genève (1984)
En 1985 Lorin Maazel crée l' Arbre des Songes, concerto pour violon et orchestre au Théâtre des Champs-Élysées
En 1987, reçoit le Prix International Maurice Ravel et le Prix du Conseil International de la Musique, il intervient à l'Académie Sibelius à Helsinki et à la Juilliard School de New York.
En 1989, il donne à Zurich le Mystère de l'instant, en 1991, au Festival de Besançon, les Citations.
En 1993 il est reçu membre honoraire de l’Academia Nazionale Santa Cecilia, en 1994 il reçoit au Japon le Prix Praemium Imperial. En 1995, il est en résidence au Tanglewood Music Center. En 1996 il est reçu membre de la Royal Academy of Music de Londres. En 1997, Seiji Ozawa crée à Boston The Shadow of Time. qui est récompensé en 1998 par le « Royal Philharmonic Society Awards ». La même année il devient membre de la « Bayerishe Akademie der Schönen Künste » de Munich. La même année il est de nouveau en résidence au Tanglewood Music Center. En 1999 il reçoit le Grand Prix international de la critique musicale.
Le Prix international Ernst von Siemens lui a été attribué en janvier 2005.