Батько Емми Луїзи Ешфорд був учителем музики, а мати мала прекрасний голос сопрано. Вона вміла співати з дитинства, ще до того, як заговорила чітко, і музика була невід’ємною частиною її домашнього життя. Коли їй було три роки, вона сольно заспівала на благодійному концерті; до п'яти років вона почала імпровізувати альтові партії пісень і гімнів. У вісім років вона приєдналася до церковного хору та клубу веселощів і, як кажуть, була найкращою читачкою в обох.