Karel Van den Bergh werd geboren te Hoboken op 25 mei 1935 als zoon van Josef-Louis Van den Bergh en Maria Janssens. Hij bracht zijn schitterende jeugd door te Hoboken, Brugge, Brasschaat en Leopoldsburg. Hij was de oudste zoon tussen twee zussen en een broer.

De jonge durfal liep school aan het Koninklijk Atheneum te Leopoldsburg en was er een middelmatige leerling tussen leraars met een kadaverdiscipline vlak na de tweede wereldoorlog. Daarentegen blonk hij uit als een zeer getalenteerde atleet. Met vier keer kampioen van België in atletiek bij de jeugd en talrijke overwinningen bij scholencompetities, haalde hij meermaals de kranten. Op zijn vijftiende trok de sportman gans alleen per fiets naar Parijs en terug waarop zijn vader trots was op de plantrekkerij van zijn zoon.