Joe Spinell wurde als Joseph J. Spagnuolo in Manhattan, New York, als Sohn italienischer Einwanderer geboren und war das jüngste von sechs Kindern. Sein Vater, Pellegrino Spagnuolo (geb. 1892, gest. 1950), starb an einer Leber- und Nierenerkrankung. Seine Mutter Filomena Spagnuolo (geb. 1903, gest. 1987) war Schauspielerin in Nebenrollen und wirkte in mehreren Filmen mit, einige davon zusammen mit ihrem Sohn. Spinell war 5 Fuß 11 Zoll groß. Er wurde in der Wohnung seiner Familie in Manhattans Little Italy in der Second Avenue in Manhattan geboren. Einige Jahre nach dem Tod seines Vaters zog er mit seiner Mutter und seinen älteren Brüdern und Schwestern nach Woodside, Queens, New York, wo er mit Unterbrechungen bis zu seinem Lebensende lebte. Ein Großteil seines Lebens litt Spinell an Hämophilie sowie an chronischem Asthma. Aufgrund seiner großen, massigen Statur und seines imposanten Aussehens wurde Spinell oft für Rollen als Verbrecher, Gangster oder korrupte Polizisten besetzt. Seine bekanntesten Rollen waren der Mafioso Willie Cicci in „Der Pate“ und „Der Pate – Teil II“ sowie der Geldverleiher Tony Gazzo in „Rocky“ und „Rocky II“.

Obwohl er vor allem als Charakterdarsteller bekannt war, war Spinell Mitautor des Drehbuchs und spielte einen Serienmörder im Film „Maniac“ von 1980. Joe Spinell starb am 13. Januar 1989 im Alter von 52 Jahren in seiner Wohnung. Die Ursache seines frühen Todes wird bis heute diskutiert. Manche sagen, sein Tod sei durch einen plötzlichen Herzinfarkt infolge von starkem Drogen- und Alkoholkonsum sowie emotionalem Stress wegen des Todes seiner Mutter zwei Jahre zuvor verursacht worden. Es wird auch vermutet, dass er an Asthma-Komplikationen gestorben sein könnte oder aufgrund von Umständen im Zusammenhang mit seiner Hämophilie verblutet ist. Vor seinem Tod plante er eine Fortsetzung von „Maniac“. Er wurde auf dem Calvary Cemetery in Queens unweit seines Hauses beigesetzt. Er ist ein entfernter Verwandter des Cheftrainers der American-Football-Mannschaft St. Louis Rams, Steve Spagnuolo. Spinell war von Februar 1977 bis Juli 1979 mit der Pornodarstellerin Jean Jennings verheiratet. Sie hatten eine Tochter, ließen sich aber schließlich scheiden.