Nació en París, sus e educó en Francia e Italia. Estudió ingeniería, pero se dedicó posteriormente a la música contra la voluntad de su padre. Entre 1907 y 1915 vivió en Berlín y a continuación se estableció en la ciudad de Nueva York. En 1918 comenzó su principal creación, Amériques para gran orquesta, obra que muestra una cierta influencia de Claude Debussy y de Ígor Stravinski pero que al tiempo crea un universo sonoro sin precedentes donde los acordes y las sonoridades son tratados como entidades independientes más que como parte de una secuencia melódica o armónica. En los años veinte y treinta Varèse exploró estos conceptos en otras obras suyas como Hyperprisme (1922) para viento y percusión, Arcanes (1927) para gran orquesta, Ionisation (1929-1931) para 13 percusionistas y Densité 21,5 (1935) para flauta sola compuesta para Georges Barrère. Su obra Déserts (1954, revisada 1961) integra sonidos grabados en cinta con instrumentos de viento, percusión y piano. En la exposición mundial de Bruselas se presentó la grabación de Poème électronique (1958) que fue retransmitida a través de 425 altavoces situados en diferentes puntos del Philips Pavilion (diseñado por el arquitecto y compositor griego Iannis Xenakis), utilizando así la arquitectura del edificio como parte integrante del diseño espacial de la música.

Es considerado como uno de los compositores más influyentes del siglo XX, famoso por su concepto de la música como conjunto de entidades móviles de sonido no dependientes de la melodía o de la armonía, sino del timbre (color), de la masa y de la relación espacial. Fue uno de los pioneros del desarrollo de la música electrónica.
Varèse también participó en la fundación del Gremio Internacional de Compositores en 1921 y la Asociación Panamericana de Compositores en 1927. Ambas organizaciones tuvieron un papel crucial en la difusión de la obra de Aaron Copland, Charles Ives, Carl Ruggles, Carlos Chávez y el propio Varèse. Este compositor entendía el arte musical como simple organización de sonidos y los resultados de sus teorías y de su práctica fueron extraordinariamente nuevos.