Джо Спинелл родился как Джозеф Дж. Спаньуоло в Манхэттене, Нью-Йорк, в семье итальянских иммигрантов и был последним из шести детей. Его отец, Пелегрино Спаньуоло (род. 1892, ум. 1950), умер от болезни печени и почек. Его мать Филомена Спаньуоло (род. 1903, ум. 1987) была актрисой на эпизодических ролях, снималась в нескольких фильмах, некоторые из них вместе с сыном. Рост Спинелла составлял 5 футов 11 дюймов. Он родился в квартире своей семьи в манхэттенском Маленьком Италии на Второй авеню в Манхэттене. Через несколько лет после смерти отца он переехал с матерью и старшими братьями и сёстрами в Вудсайд, Куинс, Нью-Йорк, где жил с перерывами до конца своей жизни. Большую часть жизни Спинелл страдал гемофилией, а также хронической астмой. Из-за крупного, грузного телосложения и внушительной внешности Спинелла часто брали на роли преступников, бандитов или коррумпированных полицейских. Его наиболее заметными ролями были мафиози Вилли Чиччи в «Крёстном отце» и «Крёстном отце 2», а также ростовщик Тони Гаццо в «Рокки» и «Рокки 2».

Хотя он был известен прежде всего как характерный актёр, Спинелл стал соавтором сценария и сыграл серийного убийцу в фильме 1980 года «Маньяк». Джо Спинелл умер в своей квартире 13 января 1989 года в возрасте 52 лет. Причина его безвременной смерти обсуждается до сих пор. Некоторые говорят, что его смерть была вызвана внезапным сердечным приступом из-за тяжёлого употребления наркотиков, алкоголя и эмоционального стресса в связи со смертью матери двумя годами ранее. Также предполагается, что он мог умереть от осложнений астмы или истечь кровью из-за причин, связанных с гемофилией. Перед смертью он планировал сиквел «Маньяка». Он был похоронен на кладбище Голгофа в Куинсе недалеко от своего дома. Он дальний родственник главного тренера американской футбольной команды «Сент-Луис Рэмс» Стива Спаньуоло. Спинелл был женат на звезде взрослых фильмов Джин Дженнингс с февраля 1977 по июль 1979 года. У них родилась одна дочь, но в итоге они развелись.