Hillel Slovak est né à Haifa en Israël, de parents rescapés de l'holocauste. Alors qu'Hillel n'a que trois ans, sa mère Esther, née en Pologne, et son mari, originaire de Serbie, émigrent à New York dans le district de Queens (où naitra en 1970 John Frusciante). En 1967, il s'installe avec ses parents en Californie.
C'est au lycée de Fairfax qu'il apprend à jouer de la guitare. A la même époque, il rencontre Anthony Kiedis et Michael Balzary (également connu sous le nom de Flea), à qui il apprend à jouer de la basse. Ensemble, ils forment un groupe qu'ils appellent "Tony Flow and the Miraculously Majestic Masters of Mayhem" et qu'ils renommeront eux-mêmes Red Hot Chili Peppers en 1983. Hillel, tout comme Anthony, est très vite devenu accro à l'héroïne.
Hillel quitte les Red Hot pour se consacrer à un autre projet avec le groupe What Is This?, les clauses de son contrat l'empêchent d'enregistrer Red Hot Chili Peppers, premier album du groupe éponyme.
Après la dissolution du groupe What Is This?, il retourne vers son premier groupe pour enregistrer les albums Freaky Styley puis The Uplift Mofo Party Plan.
Il meurt le 25 juin 1988, à l'âge de 26 ans, d'une overdose d'héroïne.