Joe Spinell, Manhattan, New York'ta İtalyan göçmen bir ailenin çocuğu olarak Joseph J. Spagnuolo adıyla ve altı çocuğun sonuncusu olarak dünyaya geldi. Babası Pelegrino Spagnuolo (d. 1892, ö. 1950), karaciğer ve böbrek hastalığından öldü. Annesi Filomena Spagnuolo (d. 1903, ö. 1987), birkaç filmde, bazılarında oğluyla birlikte rol alan küçük bir aktrisdi. Spinell 5 fit 11 inç boyundaydı. Manhattan'ın Little Italy bölgesindeki 2. Cadde'deki aile dairesinde doğdu. Babasının ölümünden birkaç yıl sonra annesi ve büyük kardeşleriyle birlikte Woodside, Queens, New York'a taşındı ve hayatının geri kalanında orada aralıklı olarak yaşadı. Spinell hayatının çoğunda hemofili yanı sıra kronik astımdan muzdaripti. Büyük, ağır yapısı ve heybetli görünümü nedeniyle Spinell sıklıkla suçlular, haydutlar veya yozlaşmış polis memurları olarak rol aldı. En dikkat çeken rolleri The Godfather ve The Godfather Part II'de mafya üyesi Willi Cicci ve Rocky ile Rocky II'de tefeci Tony Gazzo'ydu.

Öncelikle bir karakter oyuncusu olarak tanınsa da, Spinell 1980 filmi Maniac'da bir seri katil rolünü yazdı ve başrolünü oynadı. Joe Spinell 13 Ocak 1989'da 52 yaşında dairesinde öldü. Zamansız ölümünün nedeni bugüne kadar tartışmalıdır. Bazıları ölümünün annesinin iki yıl önce vefatı ışığında yoğun uyuşturucu kullanımı, içki ve duygusal sıkıntı nedeniyle ani kalp krizinden kaynaklandığını söylüyor. Ayrıca astım komplikasyonlarından veya hemofili ile ilgili nedenlerden dolayı kan kaybından ölmüş olabileceği de tahmin ediliyor. Ölümünden önce Maniac'ın devam filmi için planlar yapıyordu. Queens'teki Calvary Mezarlığı'na, evinin yakınına gömüldü. Amerikan futbol takımı St. Louis Rams'in Baş Antrenörü Steve Spagnuolo'nun uzak kuzenidir. Spinell, Şubat 1977'den Temmuz 1979'a kadar yetişkin film yıldızı Jean Jennings ile evliydi. Birlikte bir kızları oldu, ancak sonunda boşandılar.