Бас-гітарист Джеррі Шефф виріс у районі затоки Сан-Франциско, почав грати на тубі в початковій школі, а вже у сьомому класі захопився грою на струнному басі. Його музичні уподобання схилялися до джазу та ритм-енд-блюзу. У п'ятнадцять років він грав у клубах у своєму новому рідному місті Сакраменто та знову в Сан-Франциско. Будучи випускником середньої школи, Шефф вступив до ВМС США і потрапив до школи музики ВМС у Вашингтоні, округ Колумбія, де пройшов дев'ятимісячний курс з теорії та гармонії і отримав можливість грати з деякими чудовими музикантами. Після закінчення курсу він залишився викладати, підробляючи грою в джазових клубах, потім ВМС перевели його до Сан-Дієго. Через деякий час після звільнення зі служби Шефф переїхав до Лос-Анджелеса і регулярно грав у клубі під назвою The Sands у Воттсі, де часто з'являвся підліток Біллі Престон, виконуючи кавер-версії Джеймса Брауна. Як не дивно, бас-гітарист Шефф почав свою роботу на сесіях звукозапису в Лос-Анджелесі, граючи на вентильному тромбоні.

Першим хітовим записом, на якому Шефф грав на бас-гітарі, був альбом гурту The Association, включно з синглами Along Comes Mary і Cherish. У Mary Шефф припустився помилки на бас-гітарі, яка залишилася в записі, тож захоплення від почуття своєї роботи в радіохіті врівноважувалося тим, що він здригався щоразу, коли чув цю помилку. Однак через пару років було приємно почути «елеваторну музичну» кавер-версію, де бас-гітарист копіював партію Шеффа, з поганою нотою і всім іншим. Особливим моментом кар'єри була гра на альбомі The Doors LA Woman. Протягом багатьох років Шефф записувався з Боббі Шерманом, Тіні Тімом, Джонні Метісом, Ненсі Сінатрою, Семмі Девісом-молодшим, Боббі Вінтоном, The Everly Brothers, the Nitty Gritty Dirt Band, Діонн Ворвік, Барброю Стрейзанд, Ліндою Ронстадт та багатьма іншими.

До кінця шістдесятих він перетнувся з гітаристом Джеймсом Бертоном, який згадав роботу Шеффа і зателефонував йому, коли збирав гурт для Елвіса в 1969 році. Шефф працював з Елвісом з 1969 по 1973 рік і з 1975 по 1977 рік, на сцені та на численних записах. Його можна побачити у документальних фільмах Elvis: That's The Way It Is (1970) і Elvis On Tour (1972), а також у першому в історії шоу, трансльованому через супутник, Aloha From Hawaii (1973). Згадуючи ті роки, Шефф каже: «Елвіс мав великий вплив на мою кар'єру. Це було як ходити до школи». У 80-х і 90-х він гастролював з Елвісом Костелло, Сем Філліпс і Джоном Денвером. Джеррі також з'являвся з Роєм Орбісоном та друзями на телевізійному концерті A Black and White Night (1987). Сьогодні він продовжує працювати як сесійний музикант з широким колом виконавців. Пристрастю останніх років стало написання пісень. Хоча більша частина його кар'єри була пов'язана з рок- і поп-зірок, він досі із задоволенням іноді сідає пограти трохи джазу, як він каже, «щоб тримати павутиння подалі». Обидва сини Шеффа, Дарін і Джейсон, є музикантами. Джейсон Шефф зайняв місце Піта Сетери в гурті Chicago. Він також подорожує світом з Elvis The Concert.