Joe Spinell nació como Joseph J. Spagnuolo en Manhattan, Nueva York, hijo de padres inmigrantes italianos, y fue el último de seis hijos. Su padre, Pelegrino Spagnuolo (n. 1892, f. 1950), murió de una enfermedad hepática y renal. Su madre, Filomena Spagnuolo (n. 1903, f. 1987), fue una actriz de reparto que actuó en algunas películas, algunas de ellas junto a su hijo. Spinell medía 5 pies y 11 pulgadas. Nació en el apartamento de su familia en el Little Italy de Manhattan, en la Segunda Avenida de Manhattan. Pocos años después de la muerte de su padre, se mudó con su madre y sus hermanos mayores a Woodside, Queens, Nueva York, donde vivió de forma intermitente durante el resto de su vida. Spinell padeció durante gran parte de su vida hemofilia, así como asma crónica. Debido a su complexión grande y corpulenta y a su imponente aspecto, Spinell fue a menudo elegido para interpretar a criminales, matones o policías corruptos. Sus papeles más notables fueron el mafioso Willi Cicci en El padrino y El padrino: Parte II, y el prestamista Tony Gazzo en Rocky y Rocky II.

Aunque era conocido principalmente como actor de carácter, Spinell coescribió y protagonizó como asesino en serie la película de 1980 Maniac. Joe Spinell murió en su apartamento el 13 de enero de 1989 a la edad de 52 años. La causa de su prematura muerte sigue siendo discutida hasta hoy. Algunos dicen que su muerte fue causada por un ataque al corazón repentino debido al consumo excesivo de drogas, alcohol y angustia emocional tras el fallecimiento de su madre dos años antes. También se especula que pudo haber muerto por complicaciones del asma, o desangrado por causas relacionadas con la hemofilia. Estaba planeando una secuela de Maniac antes de su muerte. Fue enterrado en el cementerio Calvary, Queens, cerca de su casa. Es primo lejano del entrenador en jefe de los St. Louis Rams de la liga de fútbol americano, Steve Spagnuolo. Spinell estuvo casado con la estrella del cine para adultos Jean Jennings desde febrero de 1977 hasta julio de 1979. Juntos tuvieron una hija, pero finalmente se divorciaron.