Son père le Lieutenant-Colonel Henry William Huggins, "Bill" pour les intimes, était un officier au valeureux passé militaire. Pour s'être distingué pendant la Première Guerre Mondiale, il fut l'un des premiers en Angleterre à recevoir la DSO (Distinguished Service Order), l'équivalent de la Médaille du Mérite, et fut décoré à deux reprises de la Croix de Guerre en reconnaissance de ses actes de bravoure exemplaires. Lui-même était issu d'un milieu militaire et Huguenot d'origine française.
Sa mère, Elisabeth Edith Butler Cadbury appartenait à la célèbre famille de chocolatiers mondialement connue. C'était une Irlandaise Quaker de Kilkenny, "un étonnant mélange" selon Jeremy. Esprit libre et réformiste, elle participa aux actions de la Croix Rouge durant la Deuxième Guerre Mondiale, en particulier lors du bombardement de Coventry, et œuvra pour la cause féminine, en présidant l'Institut des Femmes de Berkswell. Betty et Bill s'étaient rencontrés la première fois à l'occasion d'une réunion Quaker à Birmingham où ils avaient l'habitude de se retouver régulièrement. Épris l'un de l'autre, ils se marièrent en 1923.
Jeremy adorait sa mère que tout le monde appelait affectueusement "Bunny". Il lui ressemblait sur bien des points. Elle seule savait le comprendre et elle lui inculqua le principe d'aller jusqu'au bout de ses rêves. Dotée d'une forte personnalité indépendante, son altruisme et sa bonté la portaient toujours à aider les autres. Ainsi, elle hébergeait sous son toit tous ceux qui étaient dans le besoin, familles déshéritées par la guerre, vagabonds ou bohémiens.
Jeremy était un petit garçon débordant d'énergie et sans cesse en mouvement. Il avait de quoi s'occuper avec ses trois frères, dans la propriété familiale "The Grange", spacieux manoir du 17ème siècle comportant des ajouts de la fin du 19ème et dans son grand parc. On y donnait souvent de superbes réceptions et des bals, réunissant plus d'une quarantaine d'invités. L'oncle de Jeremy, le Dr Leslie Huggins, était le maître de musique de l'école Bradley à Stowe (où le propre fils de Jeremy fit lui aussi ses études). C'était un homme extraordinaire, fou de musique. Quand il venait, Jeremy avait l'habitude de le conduire jusqu'au piano à queue au fond de l'immense salon pour lui demander de jouer. La maison entière s'emplissait de musique et l'enfant l'écoutait aux anges, tapi sous l'instrument. Jeremy reconnut avoir "eu la plus merveilleuse des vies de famille."
Avec les années, des aménagements furent apportés à la maison: une salle de jeu où les enfants pouvaient peindre, dessiner, jouer de la musique, un magnifique jardin en terrasses, des terrains de tennis et de squash, un colombier, de nouvelles écuries... "The Grange" était aussi un véritable paradis pour tous les animaux, chevaux, chiens, lapins, furets et même singes, s'y ébattaient librement.
Toute la famille pratiquait le tir à l'arc et l'équitation. Le Colonel et ses quatre fils étaient membres du prestigieux club "Woodmen of Arden" de Meriden fondé en 1758. Jeremy suivit les traces de ses frères aînés et quand il eut vingt-et-un ans, fut nommé Master Forester dès son premier jour. Le jeune garçon se passionna très tôt pour l'équitation. Il avait son propre poney "Babs". Rapidement, il se révéla un cavalier émérite, participa à des concours et gagna des prix. Il caressa un temps le rêve de devenir Jockey … avant de trop grandir.
L'amour de Jeremy envers les animaux était flagrant. Il les choyait, leur murmurait à l'oreille comme à des êtres humains et trouvait du réconfort dans leur royaume. Car il était souvent seul. Sa mère se vouait aux autres, ses frères plus âgés s'intéressaient à leurs affaires et ses camarades se moquaient du défaut d'élocution dont il souffrait. Né avec une ankyloglossie, c'est à dire une malformation du frein lingual entraînant un déficit de mobilité de la langue, Jeremy ne parvenait pas à prononcer correctement les sons "R" et "S". Victime des railleries des autres enfants, son trouble s'aggravait considérablement quand il se sentait nerveux ou anxieux. Des phrases entières pouvaient devenir totalement incompréhensibles. Profondément complexé et meurtri d'être ainsi ridiculisé, Jeremy préférait s'isoler. Replié sur lui-même, sa propre imagination lui servait d'évasion. Mais avec sa détermination et sa positivité, jamais il ne renonça à son rêve de devenir un jour acteur.
Enfant déjà, Jeremy aimait capter l'intérêt des autres et tout mettre en scène. Avec son imagination débordante, son goût de la dramatisation et son comportement hyperactif, on lui reprochait souvent d'en faire trop. "Je mettais tout en scène, toutes les chansons" confia-t-il dans une interview en Juin 1992. Il était passionné de cinéma. Quatre fois par semaine, il se rendait à bicyclette au cinéma Cameo de Berkswell. Un jour, on projetta "Henry V". Bouleversé et profondément impressionné par l'interprétation de Laurence Olivier, la décision du jeune garçon de 12 ans était évidente : il serait acteur !