James May wurde in Bristol geboren. Neben ihm gab es noch drei weitere Kinder in der Familie: die ältere Schwester Jane, die jüngere Sarah sowie einen Bruder. In seiner Kindheit zog seine Familie häufig durch das Land. Zunächst besuchte er die Caerleon-Grundschule bei Newport im Süden von Wales. Seine Jugendjahre verbrachte er in South Yorkshire, wo er die Oakwood Comprehensive School in Rotherham besuchte – durch einen Zufall begann in derselben Stadt auch Jeremy Clarkson seine journalistische Karriere.

Außerdem ging er dort zur Schule mit Dean Andrews, einem Star der Serien „Life on Mars“ und „Ashes to Ashes“. Als Kind war er Chorsänger an der Whiston Parish School. Als ausgezeichneter Flötist und Pianist studierte er später Musik an der Lancaster University, wo er Mitglied des Pendle College war.