كان والد إيما لويز أشفورد مدرسًا للموسيقى، وكانت والدتها تتمتع بصوت سوبرانو جميل. كانت تستطيع الغناء منذ الطفولة، حتى قبل أن تتمكن من التحدث بوضوح، وكانت الموسيقى جزءًا لا يتجزأ من حياتها المنزلية. عندما كانت في الثالثة من عمرها غنت منفردة في حفل خيري؛ في سن الخامسة، بدأت في ارتجال أجزاء ألتو من الأغاني والتراتيل. في سن الثامنة، انضمت إلى جوقة الكنيسة ونادي الغبطة، وقيل إنها أفضل قارئة للبصر في كليهما.