Басист Джерри Шефф вырос в районе залива Сан-Франциско, начал играть на тубе в начальной школе, а к седьмому классу освоил контрабас. Его музыкальные склонности лежали в области джаза и ритм-энд-блюза. К пятнадцати годам он играл в клубах в своем новом родном городе Сакраменто и обратно в Сан-Франциско. Будучи старшеклассником, Шефф поступил на службу в ВМС США и оказался в школе музыки ВМС в Вашингтоне, округ Колумбия, где прошел девятимесячный курс по теории и гармонии и получил возможность играть с некоторыми выдающимися музыкантами. После окончания курса он остался преподавать, подрабатывая игрой в джазовых клубах, затем ВМС перевели его в Сан-Диего. Спустя некоторое время после увольнения со службы Шефф переехал в Лос-Анджелес и регулярно играл в клубе под названием The Sands в Уоттсе, где часто выступал подросток Билли Престон с кавер-версиями Джеймса Брауна. Как ни странно, басист Шефф начал свою работу на лос-анджелесской студийной сцене, играя на вентильном тромбоне.

Первой хитовой записью, на которой Шефф играл на басу, стал альбом группы The Association, включая синглы Along Comes Mary и Cherish. В Mary Шефф допустил ошибку на басу, которая осталась в записи, так что восторг от слышания своей работы в радиохите уравновешивался тем, что он морщился каждый раз, когда слышал эту ошибку. Однако пару лет спустя было приятно услышать «элевейтор-мьюзик» кавер-версию, в которой басист копировал партию Шеффа, включая неправильную ноту. Особой вехой в карьере стало участие в альбоме The Doors LA Woman. За годы Шефф записывался с Бобби Шерманом, Тини Тимом, Джонни Мэтисом, Нэнси Синатрой, Сэмми Дэвисом-младшим, Бобби Винтоном, The Everly Brothers, the Nitty Gritty Dirt Band, Дионн Уорвик, Барброй Стрейзанд, Линдой Ронстадт и многими другими.

К концу шестидесятых он пересекся с гитаристом Джеймсом Бертоном, который помнил работу Шеффа и позвал его, когда собирал группу для Элвиса в 1969 году. Шефф работал с Элвисом с 1969 по 1973 год и с 1975 по 1977 год, на сцене и на ряде записей. Его можно увидеть выступающим в документальных фильмах Elvis: That's The Way It Is (1970) и Elvis On Tour (1972), а также в первом в истории шоу, транслировавшемся через спутник, Aloha From Hawaii (1973). Размышляя об этих годах, Шефф говорит: «Элвис оказал большое влияние на мою карьеру. Это было как ходить в школу». В 80-х и 90-х он гастролировал с Элвисом Костелло, Сэм Филлипс и Джоном Денвером. Джерри также появлялся с Роем Орбисоном и друзьями на телевизионном концерте A Black and White Night (1987). Сегодня он продолжает работать как сессионный музыкант с широким кругом артистов. Страстью последних лет стало написание песен. Хотя большая часть его карьеры была связана с рок- и поп-звездами, он все еще любит иногда поиграть немного джаза, как он говорит, «чтобы держать паутину в голове подальше». Оба сына Шеффа, Дарин и Джейсон, являются музыкантами. Джейсон Шефф занял место Пита Сетеры в группе Chicago. Он также гастролирует по миру с Elvis The Concert.