Quarto di sei figli, James Gibbons era figlio di Thomas Gibbons e Bridget Walsh. I suoi genitori erano originari della [[Contee ddell'Irlanda|contea]] [[Irlanda|irlandese]] di [[Contea di Mayo|Mayo]] e si erano stabiliti negli [[Stati Uniti]] dopo essere emigrati in [[Canada]]. Dopo essersi ammalato di [[tubercolosi]] nel [[1839]], il padre si trasferì con la famiglia nella natia Irlanda, dalla cui aria credeva di trovare giovamento. In Irlanda, Thomas gestì un negozio di alimentari a [[Ballinrobe]], mentre il giovane James frequentava le scuole. Il padre morì nel [[1847]] e la madre decise di tornare negli Stati Uniti con la famiglia nel [[1853]], stabilendosi a [[New Orleans]], in [[Louisiana]].
