James May Bristol'da doğdu. Ailesinde onun dışında üç çocuk daha vardı: ablası Jane, küçük kız kardeşi Sarah ve bir erkek kardeşi. Çocukluğunda ailesi sık sık ülke içinde taşındı. Önce Güney Galler'de Newport yakınlarındaki Caerleon İlkokuluna gitti. Gençlik yıllarını Güney Yorkshire'da geçirdi ve Rotherham'daki Oakwood Kapsamlı Okuluna gitti; tesadüfen Jeremy Clarkson da gazetecilik kariyerine aynı kasabada başlamıştı.

Ayrıca okulda "Life on Mars" ve "Ashes to Ashes" dizilerinin yıldızı Dean Andrews ile birlikte okudu. Çocukken Wiston Parish Okulunda koro üyesiydi. Mükemmel bir flüt ve piyano çalgıcısı olarak daha sonra Lancaster Üniversitesinde müzik eğitimi aldı ve burada Pendle College üyesiydi.