Чарли Карвер (Чарльз Карвер Мартенсен) родился в Сан-Франциско, штат Калифорния, в семье Роберта Мартенсена, врача и писателя, и Энн Карвер, филантропа и общественного деятеля. У Макса и его брата-близнеца Чарли разные дни рождения: Чарли родился 31 июля, а Макс — на семь минут позже, 1 августа. В раннем возрасте он переехал в небольшой городок в долине Напа, в винодельческом регионе Калифорнии.

Именно там, в школе, Чарли впервые познакомился с актёрским мастерством. Позже он изучал актёрское мастерство в ACT San Francisco, Интерлохенской академии искусств, Университете Южной Калифорнии и в частной студии The Imagined Life в Лос-Анджелесе.