Zdeněk Remsa se narodil 29. prosince 1928 v krkonošské Horní Branné, jen pár kilometrů od Vrchlabí. Už v té době bylo jasné, že bude mít blízko k lyžím. Jeho dědeček totiž sloužil jako hajný u legendárního hraběte Jana Harracha, který v roce 1892 přivezl do Čech první lyže pro své lesníky. Jedny dědeček vyfasoval a jezdil na nich krmit zvěř do lesa.
Remsa to na nich zkoušel už od dvou let. „Velmi dobře si pamatuji, když jsem je v hájence, kde jsem se narodil, viděl a poprvé si na ně stoupnul. Tehdy jsem to samozřejmě ještě vůbec neuměl. Pořádně lyžovat jsem začal, až když jsme se přestěhovali do Studence, to mi bylo nějakých pět let,“ vzpomínal před lety na webových stránkách lyžařského svazu.