Le bassiste Jerry Scheff a grandi dans la région de la baie de San Francisco, a commencé à jouer du tuba à l'école primaire et, en septième année, s'est mis à jouer de la contrebasse. Son penchant musical était le jazz et le R&B. À quinze ans, il jouait dans des clubs de sa nouvelle ville natale, Sacramento, et à San Francisco. En dernière année de lycée, Scheff s'est engagé dans la marine américaine et s'est retrouvé à l'école de musique de la marine à Washington, D.C., suivant un cours de neuf mois étudiant la théorie et l'harmonie et jouant avec d'excellents musiciens. Après la fin du cours, il est resté pour enseigner, faisant des extras comme musicien dans des clubs de jazz, puis la marine l'a transféré à San Diego. Quelque temps après sa libération, Scheff a déménagé à Los Angeles et a joué régulièrement dans un club appelé The Sands à Watts, où un adolescent Billy Preston se produisait souvent en reprenant James Brown. Curieusement, le bassiste Scheff a commencé son travail dans la scène des sessions d'enregistrement de L.A. en jouant du trombone à pistons.

Le premier disque à succès sur lequel Scheff a joué de la basse était un album du groupe The Association, incluant les singles Along Comes Mary et Cherish. Sur Mary, Scheff a fait une erreur de basse qui a été laissée, donc le frisson d'entendre son travail sur un succès radiophonique était contrebalancé par son frisson chaque fois qu'il entendait l'erreur. Cependant, quelques années plus tard, il était gratifiant d'entendre une reprise « musique d'ascenseur » qui avait le bassiste copiant la partie de Scheff, mauvaise note et tout. Un moment fort de sa carrière a été de jouer sur l'album LA Woman des Doors. Au fil des ans, Scheff a enregistré avec Bobby Sherman, Tiny Tim, Johnny Mathis, Nancy Sinatra, Sammy Davis, Jr., Bobby Vinton, The Everly Brothers, the Nitty Gritty Dirt Band, Dionne Warwick, Barbra Streisand, Linda Rondstat et bien d'autres.

À la fin des années soixante, il a croisé la route du guitariste James Burton, qui se souvenait du travail de Scheff et l'a appelé lorsqu'il a formé le groupe pour Elvis en 1969. Scheff a travaillé avec Elvis de 1969 à 1973 et de 1975 à 1977, sur scène et sur un certain nombre d'enregistrements. On peut le voir se produire dans les films documentaires Elvis: That's The Way It Is (1970) et Elvis On Tour (1972) ainsi que dans le tout premier spectacle diffusé par satellite, Aloha From Hawaii (1973). Réfléchissant à ces années, Scheff dit « Elvis a eu un grand impact sur ma carrière. C'était comme aller à l'école ». Dans les années 80 et 90, il a tourné avec Elvis Costello, Sam Phillips et John Denver. Jerry est également apparu avec Roy Orbison et ses amis lors du concert télévisé A Black and White Night (1987). Aujourd'hui, il continue de travailler comme musicien de studio avec un large éventail d'artistes. Une passion ces dernières années a été l'écriture de chansons. Bien qu'une grande partie de sa carrière ait été consacrée à travailler avec des grands du rock et de la pop, il aime toujours s'asseoir pour jouer un peu de jazz de temps en temps, comme il le dit « pour garder les toiles d'araignée claires ». Les deux fils de Scheff, Darin et Jason, sont musiciens. Jason Scheff a pris la place de Pete Cetera dans le groupe Chicago. Il voyage également à travers le monde avec Elvis The Concert.