Ґастон Луї Крістофер Борх народився 8 березня 1871 року в Гіні, Па-де-Кале, Франція, у родині француженки (Емма Луїза Софі Еннекен) і батька-норвежця (Крістофер Волнер Борх). Мадам Еннекен була чудовою піаністкою та сопрано, і, як повідомляється, колись була заручена з композитором Жюлем Массне. Відомо, що вона виступила з концертом у співпраці з Массне в 1860 році і листувалася з ним до самої смерті. Гастон Борх грав на віолончелі та вивчав композицію у Жюля Массне у Франції, Бруно Лільєфорса у Валандській школі образотворчих мистецтв у Швеції та у Свендсена в Копенгагені. З 1893 по 1899 рік диригував різними оркестрами в Норвегії. У 1898 році його опера «Сільвіо» була представлена в Крістіані. У цей момент він, можливо, мав приватні уроки з Ґріґом, який рекомендував його як «одного з найкращих керівників оркестру та найперспективніших композиторів нашого часу».