1880年9月11日，孔祥熙生于山西太谷县城西程家庄，字庸之，号子渊，祖籍山东曲阜，先祖孔宏开在万历年间中进士，到山西做了几任县令后落籍。民国初年，孔祥熙路过济南，结识了与孔府的八府长孙孔祥勉，请其代查族谱。
据说，孔府在乾隆年之后，一直未修族谱，所以，太谷这一枝，从孔闻美开始，就没有列入。通过孔祥熙提供的情况，最终查实，他们属于孔氏“六十户”中的“纸坊户”。孔祥熙闻之大喜，此后就以孔子七十五代孙的身份，行走于世间。
1930年，孔子奉祀官孔德成主持编修《孔子世家谱》，孔祥熙捐款1000大洋，还各处打招呼，查访孔氏族人。他本人在卷四十九“纸坊户”谱中，占了将近六面。有人说他仗势加收买，其实这是入谱费，只不过有点多了。
1943年11月1日，孔令朋在重庆举办婚礼，请孔祥熙任证婚人，他在致辞中讲了一个故事，说是1937年以特使身份参加英国国王乔治六世的加冕礼，《泰晤士报》曾刊出一幅漫画：一棵大树，旁边有一枝蘑菇。
画中有文字说明：英国王室的历史与孔子家族相比，犹如蘑菇之比大树。全场掌声雷动，觉得孔家太替中国人扬眉吐气了。学者潘光旦说，孔祥熙多次找他，甚至托人，让他从人类学角度，证明自己的孔家法统，潘先生只回了一句：“山西没有一家是孔子之后。”
他的祖父孔庆麟，因接掌二叔孔宪仁的志诚信票号，成为太谷富户。他为人勤俭，对修桥修路的公益毫不吝啬，在地方颇具名望。孔祥熙在书房挂有一副对联，正是祖父亲笔所书之家训：“做几件学吃亏事以百世使用，留一点善念心田使儿孙永耕。”横批是“虚心味道”。