Roedd Ellis James yn fab i Robert a Grace James o Dy Gwyn, Llanberis, Gwynedd, ond fe'i magwyd gan ei daid a'i nain. Fe'i ganed ar yr 21ain o Ionawr 1813 yn un o 4 o blant.
Symudodd o Lanberis i'r Faenol ger Bangor, lle'r oedd ganddo enw fel amaethwr da. Priododd gyda Jane Griffith ym 1850 a chawsant ddau o blant, Catherine a Robert.
Roedd Ellis James yn wr crefyddol ac yn aelod o Gapel M.C. y Graig, Bangor.
Ym 1870, symudodd o fferm y Faenol i Ty'n Llwyn ym Mhentir a daeth yn aelod o Gapel M.C. Pentir.
Bu farw ym 1878 yn 66 mlwydd oed.