Rodiče Jamese Hetfielda byli vyznavači duchovního proudu křesťanská věda a striktně odmítali medicínskou léčbu. Rozvedli se v roce 1976, když mu bylo třináct. Matka Cynthia zemřela na rakovinu v roce 1979, její smrt se stala námětem písně „The God That Failed“. Otec Virgil skonal v roce 1996 během turné k albu „Load“.

V roce 2011 se James objevil v dokumentárním snímku Absent, který režíroval Justin Hunt a zabývá se tím, jaký efekt má na děti život bez otce. Po smrti matky žil u svého staršího nevlastního bratra Davida.