El bajista Jerry Scheff creció en el área de la Bahía de San Francisco, comenzó a tocar la tuba en la escuela primaria y, para séptimo grado, empezó a tocar el contrabajo. Su inclinación musical era hacia el jazz y el R&B. A los quince años ya tocaba en clubes de su nueva ciudad natal, Sacramento, y de vuelta en San Francisco. En su último año de secundaria, Scheff se unió a la Marina de los EE. UU. y terminó en la escuela de música de la Marina en Washington, D.C., tomando un curso de nueve meses estudiando teoría y armonía y llegando a tocar con algunos grandes músicos. Después de que terminó el curso, se quedó para enseñar, trabajando a escondidas como músico en clubes de jazz, luego la Marina lo transfirió a San Diego. Algún tiempo después de su licenciamiento del servicio, Scheff se mudó a Los Ángeles y tocó regularmente en un club llamado The Sands en Watts, donde un adolescente Billy Preston aparecía a menudo haciendo versiones de James Brown. Curiosamente, el bajista Scheff comenzó su trabajo en la escena de sesiones de grabación de L.A. tocando el trombón de válvulas.

El primer disco exitoso en el que Scheff tocó el bajo fue un álbum del grupo The Association, que incluía los sencillos Along Comes Mary y Cherish. En Mary, Scheff cometió un error de bajo que quedó en la grabación, por lo que la emoción de escuchar su trabajo en un éxito de radio se vio contrarrestada por su gesto de incomodidad cada vez que escuchaba el error. Sin embargo, un par de años después, fue gratificante escuchar una versión de 'música de ascensor' que tenía al bajista copiando la parte de Scheff, con nota mala y todo. Un momento culminante especial de su carrera fue tocar en el álbum LA Woman de The Doors. A lo largo de los años, Scheff grabó con Bobby Sherman, Tiny Tim, Johnny Mathis, Nancy Sinatra, Sammy Davis, Jr., Bobby Vinton, The Everly Brothers, the Nitty Gritty Dirt Band, Dionne Warwick, Barbra Streisand, Linda Rondstat y muchos otros.

A finales de los sesenta se cruzó con el guitarrista James Burton, quien recordó el trabajo de Scheff y lo llamó cuando estaba formando la banda para Elvis en 1969. Scheff trabajó con Elvis desde 1969 hasta 1973 y desde 1975 hasta 1977, en el escenario y en varias grabaciones. Se le puede ver actuando en los documentales Elvis: That's The Way It Is (1970) y Elvis On Tour (1972), así como en el primer espectáculo transmitido por satélite, Aloha From Hawaii (1973). Reflexionando sobre esos años, Scheff dice: 'Elvis tuvo un gran impacto en mi carrera. Fue como ir a la escuela'. En los años 80 y 90, realizó giras con Elvis Costello, Sam Phillips y John Denver. Jerry también apareció con Roy Orbison y amigos en el concierto televisivo A Black and White Night (1987). Hoy en día, continúa trabajando como músico de sesión con una amplia variedad de artistas. Una pasión en los últimos años ha sido la composición de canciones. Aunque gran parte de su carrera ha sido trabajar con grandes del rock y el pop, todavía disfruta sentarse a tocar un poco de jazz de vez en cuando, como él dice, 'para mantener las telarañas a raya'. Ambos hijos de Scheff, Darin y Jason, son músicos. Jason Scheff asumió el puesto de Pete Cetera en la banda Chicago. También viaja por el mundo con Elvis The Concert.