Чарлі Карвер (Чарльз Карвер Мартенсен) народився в Сан-Франциско, Каліфорнія, у сім'ї Роберта Мартенсена, лікаря та письменника, і Енн Карвер, філантропки та громадської активістки. Макс і його брат-близнюк Чарлі мають різні дні народження; Чарлі народився 31 липня, а Макс народився на сім хвилин пізніше, 1 серпня. У ранньому віці він переїхав до маленького містечка в долині Напа, виноробному регіоні Каліфорнії.

Саме там, у школі, Чарлі вперше зіткнувся з акторською майстерністю. Згодом він вивчав акторську майстерність в ACT San Francisco, Interlochen Arts Academy, Університеті Південної Каліфорнії та в приватній студії The Imagined Life у Лос-Анджелесі.