Joe Spinell est né Joseph J. Spagnuolo à Manhattan, New York, de parents immigrés italiens, et était le dernier de six enfants. Son père, Pelegrino Spagnuolo (né en 1892, décédé en 1950), est mort d'une maladie du foie et des reins. Sa mère Filomena Spagnuolo (née en 1903, décédée en 1987) était une actrice de petits rôles qui a joué dans quelques films, certains aux côtés de son fils. Spinell mesurait 1 mètre 80. Il est né dans l'appartement de sa famille dans la Petite Italie de Manhattan, sur la 2e Avenue. Quelques années après la mort de son père, il a déménagé avec sa mère et ses frères et sœurs aînés à Woodside, Queens, New York, où il a vécu de façon intermittente pour le reste de sa vie. Spinell a souffert la majeure partie de sa vie d'hémophilie ainsi que d'asthme chronique. En raison de sa carrure imposante et de son apparence intimidante, Spinell était souvent choisi pour incarner des criminels, des voyous ou des policiers corrompus. Ses rôles les plus notables furent celui du mafieux Willi Cicci dans Le Parrain et Le Parrain, 2e partie, et celui du prêteur sur gages Tony Gazzo dans Rocky et Rocky II.

Bien que principalement connu comme acteur de second rôle, Spinell a coécrit et interprété le rôle d'un tueur en série dans le film Maniac de 1980. Joe Spinell est mort dans son appartement le 13 janvier 1989 à l'âge de 52 ans. La cause de sa mort prématurée est encore débattue aujourd'hui. Certains disent que sa mort a été causée par une crise cardiaque soudaine due à une forte consommation de drogues, d'alcool et à une détresse émotionnelle après le décès de sa mère deux ans plus tôt. On suppose également qu'il pourrait être mort de complications liées à l'asthme, ou d'une hémorragie due à l'hémophilie. Il prévoyait une suite à Maniac avant sa mort. Il a été enterré au cimetière du Calvaire, dans le Queens, près de chez lui. Il est le cousin éloigné de l'entraîneur de l'équipe de football américain des Rams de Saint-Louis, Steve Spagnuolo. Spinell a été marié à l'actrice de films pour adultes Jean Jennings de février 1977 à juillet 1979. Ensemble, ils ont eu une fille, mais ils ont fini par divorcer.