Charlie Carver (Charles Carver Martensen) wurde in San Francisco, Kalifornien, als Sohn von Robert Martensen, einem Arzt und Schriftsteller, und Anne Carver, einer Philanthropin und Gemeindaktivistin, geboren. Max und sein eineiiger Zwillingsbruder Charlie haben unterschiedliche Geburtstage; Charlie wurde am 31. Juli geboren, und Max wurde sieben Minuten später am 1. August geboren.

In jungen Jahren zog er in eine kleine Stadt im Napa Valley, dem Weinanbaugebiet Kaliforniens. Dort, in der Schule, hatte Charlie seinen ersten Kontakt mit der Schauspielerei. Anschließend studierte er Schauspiel am ACT San Francisco, an der Interlochen Arts Academy, an der University of Southern California und an einem privaten Studio, The Imagined Life in Los Angeles.