Der Bassist Jerry Scheff wuchs in der San Francisco Bay Area auf, begann in der Grundschule Tuba zu spielen und beschäftigte sich in der siebten Klasse mit dem Kontrabass. Seine musikalische Neigung ging in Richtung Jazz und R&B. Mit fünfzehn spielte er in Clubs in seiner neuen Heimatstadt Sacramento und wieder in San Francisco. Als Highschool-Senior trat Scheff der U.S. Navy bei und landete in der Musikschule der Navy in Washington, D.C., wo er einen neunmonatigen Kurs in Theorie und Harmonie belegte und mit einigen großartigen Musikern spielen konnte. Nach dem Kurs blieb er, um zu unterrichten, und arbeitete nebenbei als Spieler in Jazzclubs, dann versetzte ihn die Navy nach San Diego. Einige Zeit nach seiner Entlassung aus dem Dienst zog Scheff nach Los Angeles und spielte regelmäßig in einem Club namens The Sands in Watts, wo ein jugendlicher Billy Preston oft James-Brown-Cover auftrat. Seltsamerweise begann der Bassist Scheff seine Arbeit in der L.A. Aufnahmeszene mit dem Spielen von Ventilposaune.

Die erste Hitplatte, auf der Scheff Bass spielte, war ein Album der Gruppe The Association, darunter die Singles Along Comes Mary und Cherish. Auf Mary machte Scheff einen Bassfehler, der im Stück blieb, so dass die Freude, seine Arbeit auf einem Radiohit zu hören, dadurch ausgeglichen wurde, dass er jedes Mal zusammenzuckte, wenn er den Fehler hörte. Ein paar Jahre später war es jedoch erfreulich, eine 'Fahrstuhlmusik'-Version davon zu hören, bei der der Bassist Scheffs Part kopierte, falsche Note und alles. Ein besonderer Karrierehöhepunkt war das Spielen auf dem Album LA Woman von The Doors. Im Laufe der Jahre nahm Scheff mit Bobby Sherman, Tiny Tim, Johnny Mathis, Nancy Sinatra, Sammy Davis, Jr., Bobby Vinton, The Everly Brothers, der Nitty Gritty Dirt Band, Dionne Warwick, Barbra Streisand, Linda Rondstat und vielen anderen auf.

Gegen Ende der sechziger Jahre kreuzten sich seine Wege mit dem Gitarristen James Burton, der sich an Scheffs Arbeit erinnerte und ihn anrief, als er 1969 die Band für Elvis zusammenstellte. Scheff arbeitete von 1969 bis 1973 und 1975 bis 1977 mit Elvis, auf der Bühne und bei einer Reihe von Aufnahmen. Er ist in den Dokumentarfilmen Elvis: That's The Way It Is (1970) und Elvis On Tour (1972) sowie in der ersten jemals über Satellit ausgestrahlten Show, Aloha From Hawaii (1973), zu sehen. Rückblickend auf diese Jahre sagt Scheff: 'Elvis hatte einen großen Einfluss auf meine Karriere. Es war wie zur Schule zu gehen.' In den 80er und 90er Jahren tourte er mit Elvis Costello, Sam Phillips und John Denver. Jerry trat auch mit Roy Orbison und Freunden im TV-Konzert A Black and White Night (1987) auf. Heute arbeitet er weiterhin als Sessionmusiker mit einer Vielzahl von Künstlern. Eine Leidenschaft in den letzten Jahren war das Songschreiben. Obwohl ein Großteil seiner Karriere darin bestand, mit Rock- und Popgrößen zu arbeiten, genießt er es immer noch, ab und zu ein wenig Jazz zu spielen, wie er sagt, 'um die Spinnweben klar zu halten.' Beide Söhne von Scheff, Darin und Jason, sind Musiker. Jason Scheff übernahm Pete Ceteras Platz in der Band Chicago. Er reist auch mit Elvis The Concert um die Welt.