Ojciec Emmy Louise Ashford był nauczycielem muzyki, a jej matka miała piękny głos sopranowy. Śpiewała od dzieciństwa, jeszcze zanim nauczyła się mówić wyraźnie, a muzyka była integralną częścią jej życia domowego. Kiedy miała trzy lata, zaśpiewała solo na koncercie charytatywnym; w wieku pięciu lat zaczęła improwizować partie altowe do piosenek i hymnów. W wieku ośmiu lat dołączyła do chóru kościelnego i chóru i w obu przypadkach uznano ją za najlepszą czytelniczkę ze wzroku.