Herzl murió en Edlach, Baja Austria en 1904 por insuficiencia cardíaca a la edad de 44 años.
Su voluntad estipulaba que debía tener un entierro simple, sin discursos o flores y añadió, "Quiero ser enterrado en el panteón junto a mi padre, y descansar allí hasta que el Pueblo Judío me conduzca a Eretz Israel".
En 1949 sus restos fueron trasladados desde el cementerio de Döbling en Viena al Monte Herzl en Jerusalén.
Herzl es el principal símbolo del sionismo y el padre del Estado de Israel.
Su imagen está presente en las dependencias oficiales israelíes y su memoria se mantiene en ciudades, escuelas y calles (prácticamente cada ciudad israelí tiene una calle Herzl).