Gaston Louis Christopher Borch wurde am 8. März 1871 in Guînes, Pas-de-Calais, Frankreich, als Sohn einer Französin (Emma Louise Sophie Hennequin) und eines norwegischen Vaters (Christopher Wolner Borch) geboren. Mlle Hennequin war eine ausgezeichnete Pianistin und Sopranistin und soll einst mit dem Komponisten Jules Massenet verlobt gewesen sein. Es ist bekannt, dass sie 1860 gemeinsam mit Massenet ein Konzert gab und bis zu ihrem Tod mit ihm korrespondierte. Gaston Borch spielte Cello und studierte Komposition bei Jules Massenet in Frankreich, Bruno Liljefors an der Valands School of Fine Arts in Schweden und bei Svendsen in Kopenhagen. Von 1893 bis 1899 dirigierte er verschiedene Orchester in Norwegen. 1898 wurde seine Oper Silvio im Christiana aufgeführt. Zu diesem Zeitpunkt hatte er möglicherweise Privatunterricht bei Grieg, der ihn als „einen der besten Orchesterchefs und vielversprechendsten Komponisten unserer Zeit“ empfahl.