写在最前
张大鹏,加拿大皇家科学院院士,加拿大工程院院士,国际电气与电子工程师协会终身会士(IEEE Fellow),国际模式识别协会会士,亚太人工智能学会会士,香港中文大学(深圳)数据科学学院校长学勤讲座教授,深圳市人工智能与机器人研究院(AIRS)计算机视觉研究中心主任,香港中文大学(深圳)—联易融计算机视觉与人工智能联合实验室主任,以及香港理工大学荣誉教授。长期担任清华大学双聘教授,以及哈尔滨工业大学、北京大学、上海交通大学及加拿大滑铁卢大学的兼职教授。
张大鹏教授本科毕业于北京大学计算机专业,硕士毕业于哈尔滨工业大学,并先后两次博士毕业于哈尔滨工业大学和加拿大滑铁卢大学。他在哈尔滨工业大学读博期间师从中国计算机科学与工程奠基人之一陈光熙教授,张大鹏教授也是新中国培养的第一位工智能研究方的博士。
张大鹏教授从事生物特征识别、图像处理等人工智能方向的研究四十余年,是掌纹识别、中医四诊量化及人脸美学客观化等研究领域的开创者和领军人。多年来出版相关专著 20 多部,发表论文 500 余篇,持有六十多项美国、日本和中国的专利。在中医领域感知特征的标准化、量化研究,以及人体美学等生物特征的体系化研究中做出了重要贡献。
生物特征识别是人工智能领域的研究方向之一,这种技术可以通过计算机利用人体的生理特征(指纹、虹膜、面相、DNA 等)或行为特征 (步态、击键习惯等) 来进行个人身份鉴定。
从今年开始,当我走进深圳街头的 7-11 便利店时,会见到很多门店都已经开始支持微信的刷掌支付。在体验便利支付方式的同时,我时常想到掌纹识别研究方向的开创者张大鹏教授。早在学校读博的时候,在我们学院历史介绍中就经常都会看到关于张大鹏的介绍。因为他是哈工大计算机专业毕业的第一位博士。
今年 75 岁的张大鹏教授依然工作在科研第一线,2024 年 8 月,我在香港中文大学深圳校区见到了百忙之中的他,听他给我讲述了他在生物特征识别领域四十多年的研究历程。
进取的下乡岁月
张大鹏,1949 年出生于黑龙江省哈尔滨市。张大鹏从小学习成绩就特别好,并且有极强的上进心。初中时期,他就读于哈尔滨市第二中学,那时候他各科考试的总分在全学年 19 个班级中排名第一。
初中阶段,他的一篇作文《我和祖国一同成长》被中央广播电台中学生节目选中,在全国播放。同时,张大鹏的思想非常积极,同时担任校学生会的团支部书记和学习委员。
在上世纪六十年代,董加耕和邢燕子的事迹传遍全国。1961 年,董加耕毅然放弃了北京大学哲学系的保送机会,回乡务农。同样在那个年代,邢燕子在初中毕业后也没有回到家乡天津市,而选择了去当时的天津市宝坻县司家庄村进行劳动。
1965 年,16 岁的张大鹏到了该初中毕业的时候,本来父母希望他继续考高中。但是董加耕和邢燕子的事迹也深深感染着张大鹏,他决心响应号召,到更广阔的天地里去经历风雨,去见世面。
当时,哈尔滨市十几所中学的毕业生里共有 38 人报名了“上山下乡”,包括 5 名高中毕业生和 33 名初中毕业生。他们当时受到了哈尔滨市市领导的接见,他们坐着大卡车环游哈尔滨的主要街道,受到全市各个中小学师生的沿途欢送。这在当时对这些立志报国的热血年轻人来说是莫大的荣耀。
张大鹏下乡的地方是松花江地区呼兰县。他提出要到最艰苦的地方接受锻炼,于是便被分配到了呼兰县莲花公社井沿大队,这里是呼兰县、阿城县和巴彦县的三县交界,当地条件十分艰苦。
张大鹏在下乡期间表现非常出色,这期间他担任了生产队队长、亚麻厂厂长以及五七农场场长等职务。有一段时间还被调到呼兰县县委工作。同时,张大鹏文采很好,当时还是《光明日报》和《黑龙江日报》的通信记者。
1970 年,清华大学和北京大学在全国招收工农兵学员,一共在呼兰县招收 3 名学生,张大鹏前往北京大学计算机专业进行本科学习。
补习基础知识的北大时光
1970 年,北京大学计算机专业招收了50多名学生,那时候的计算机专业还处于绝密阶段,大部分生源都来自军队,以定向培养为主。
张大鹏非常珍惜在北京大学学习的时光,由于初中毕业就下乡劳动五年,没有高中的学习基础,在校期间张大鹏非常刻苦,那时候每周只休息一天,这一天的时间他总会整日泡在图书馆补习高中课程。
在大学期间,他跟其他同学合作,在学校期刊上发表了一篇论文《关于计算机存储器“下雨”检测周期的新认识》。
张大鹏身高一米八五,腿也长,学校就让他加入了田径队。有一段时间,他非常刻苦的训练,在学校的很多日子,张大鹏都会早起晨跑,他腿上绑着沙袋,在北大的校园里认真准备体育比赛。后来,在北京市高校学生的田径比赛中,张大鹏分别打破了男子 200 米和 400 米的短跑高校比赛记录。他还代表学校参加了北京市运动会,并担任旗手。
因为张大鹏的文笔一直很好,经常在学校写一些报道和诗歌。毕业的时候,他还写了一部小说并入选毕业生成果展览,当时在北大师生中引起了强烈反响。
1974 年,张大鹏就要大学毕业,本来他已经内定留校,不过张铁生高考交白卷的事件导致当时的氛围很紧张,张大鹏觉得还是回到家乡更踏实一些。于是他跟学校提出了调回黑龙江的申请,大学毕业后,张大鹏被分配到黑龙江大学,那时候的黑龙江大学还没有计算机专业,于是他成为了一名数学系的大学老师。
组建黑龙江大学计算机系的前身
张大鹏的专业是计算机,除了完成数学系的正常教学任务,他还在系里组建了计算机研发小组。作为小组的负责人,张大鹏牵头研发了可以用于工业计算的微型计算机,并且得到了实际应用,这个项目后来还在 1978 年的黑龙江科学大会上获奖。这个计算机研发小组也是后来黑龙江大学计算机系的前身。
在黑龙江大学期间,张大鹏一个偶然的机会认识了黑龙江省公安厅的刑事技术专家崔道植(崔道植先生是全国公安第一代刑事技术警察、中国首席枪弹痕迹鉴定专家,被誉为中国的“福尔摩斯”)。崔道植提出希望张大鹏研发的微型计算机可以用于指纹识别技术,这对刑事案件的侦破会非常有帮助。这引发了张大鹏对生物识别技术的思考,使他产生了多年科研之路的萌芽。
1977 年,改革开放的消息传来,国家在恢复高考制度的。1980 年 2 月,新中国颁布第一个学位条例,也开始了研究生入学考试。上进的张大鹏觉得只有继续深造才能进一步提高自己,于是他全力准备考研,跟着数学系的老师学习数学,跟着英语系的老师学习英语。
1980 年,作为学位法公布后的第一批研究生,张大鹏以优异的成绩考入哈尔滨工业大学计算机专业。
哈工大,生物特征识别研究的起点
张大鹏在哈尔滨工业大学的硕士导师是李仲荣教授,因为以前就接触过指纹识别,他硕士的研究方向就选择了指纹识别。
在读期间,他在非常简陋的条件下,他完成了包括软 / 硬件在内的完整的微机指纹识别系统。
他的研究还协助大庆市公安局破获了一起盗窃案,公安机关在作案现场采集到了犯罪嫌疑人的指纹,他的算法匹配到了三个指纹细节特征,从而确定了嫌疑人。张大鹏其实当时感到了一些疑惑,不明白为什么仅仅三个特征的匹配就可以破案。公安机关解释说,以大庆市的人口基数,三个特征的匹配足以锁定罪犯。这件事让张大鹏备受鼓舞。
随后,他多次去北京参加公安部牵头的三校联席(清华大学、北京大学、哈尔滨工业大学)指纹识别工作会议,与清华大学边肇祺、北京大学石青云等高校科研人员一起讨论指纹识别系统在全国的研发和应用。
1983 年,张大鹏硕士毕业,继续在哈工大攻读博士学位,导师是中国计算机科学与工程奠基人之一的陈光熙教授,副导师是李仲荣教授。
张大鹏的博士研究方向是遥感卫星数据的实时处理,这项研究起源于中国航天科技集团公司某机构的一个项目。卫星在围绕地球旋转的时候会不断采集地面图像数据,卫星每绕一圈采集的数据量都很大,所以就需要有高速的数据处理算法来实时处理这些信息。
1984 年,第七届国际模式识别会议 (International Conference on Pattern Recognition, ICPR) 在加拿大蒙特利尔召开,张大鹏的两篇论文《A Fingerprint Recognition System with Micro-Computer》和《To Detect the Defects in Welding Seam the Pattern Recognition》被会议录用。
就在这一年,哈尔滨工业大学焊接专业吴林教授找到张大鹏所在的研究组,吴林教授在日本看到了利用计算机视觉技术自动检测焊接质量的技术,他希望和计算机系合作开发这样的技术。这个任务被分配给了张大鹏,他们合作的论文《微型机焊接缺欠自动检测系统的研究》发表在学术期刊《信息与控制》上,这是在中国知网中可以查到张大鹏最早发表的中文论文。
1985 年,张大鹏跟随中国宇航代表团赴瑞典参加国际宇航大会(International Astronautical Congress,IAC)。他在会议上介绍了他遥感卫星图像处理的研究工作。
1986 年,张大鹏硕士阶段的研究《指纹识别系统》获得了国防科学技术工业委员会科技进步三等奖。
同年,他博士阶段的研究《卫星实时遥感图像识别》获得航空航天工业部科技进步一等奖。
也是在这一年,张大鹏博士毕业。那个年代的博士毕业答辩很受重视,他的博士论文送审收到了 50 多位国内顶级专家 / 学者的评审意见。
张大鹏的毕业答辩在北京举行,答辩委员会专家云集,答辩委员会的主任由中国科学院学部委员(院士)、清华大学教授常迵担任。由于研究成果突出,答辩顺利通过。
因为张大鹏读博的工作涉及到指纹识别和遥感卫星的图像处理等相关方向,所以他是中国和哈工大培养的第一位人工智能研究方向的博士。
中国首批博士后研究员
当时,张大鹏博士毕业后有三个选择。一是留校,时任哈工大校长的杨士勤教授亲自与张大鹏谈话,希望他能留在学校,并且可以直接给他副教授的职称。
第二个选择是去公安部工作,公安部特别重视张大鹏之前关于指纹识别的研究。公安部科技司司长专门找到哈工大,希望张大鹏可以服从组织分配到公安部工作,报效国家。
第三个选择是去清华大学,1983 年至 1984 年,诺贝尔奖获得者、华裔物理学家李政道先生两次致信邓小平,建议中国实行博士后制度。1985 年,国务院正式批准设立博士后工作站。
在北京博士答辩时,常迵院士告诉张大鹏他正准备招收第一批博士后,并希望张大鹏去清华大学做博士后。
虽然对母校很留恋,但是张大鹏还是希望能够继续深造,他选择了去清华大学自动化系做常迵院士的第一个博士后,也是新中国首批博士后。
在清华常院士的教研组,张大鹏博士主要跟着边肇祺教授继续指纹识别方面的研究,同时还在公安部刑侦二所兼职做一些咨询工作,协助公安部在生物识别方面的刑侦研究。
在常院士和边教授的指导下,他还在博士后期间写完了他的第一本编著《并行图像处理与模式识别的计算机系统设计》。
1988 年 4 月,张大鹏完成了清华大学的博士后研究工作。
从第二个博士后到第二个博士学位
张大鹏博士后出站时本来有机会留在清华大学,不过,常迵院士鼓励他出国继续深造,到更好的科研环境中学习。如果留在清华,出国的机会就需要排队等待,这在当时并不是容易的事情。
当时,常迵教授也是中国科学院自动化研究所的学术委员会主席。常教授建议张大鹏入职自动化所,这样能快一些出国深造。
就这样,1988 年,张大鹏博士后出站后被聘为中科院自动化所的副研究员。
当时,国家 863 计划刚刚起步,常迵院士让张大鹏参与了 863 项目的一些前期筹备工作。常院士认为,硬件技术的发展对于国家信息技术整体的发展至关重要。他希望张大鹏能够出国从事大规模集成电路方向(VLSI)的相关研究,这是国家最需要的技术。在中科院自动化所工作 5 个月后,1988 年 10 月,张大鹏开始前往加拿大温莎大学继续进行博士后研究,研究方向为大规模集成电路。
两年后,他的两篇学术论文在国际顶级期刊《IEEE Transaction on Circuts and Systems》和《IEEE Journal of Solid-State Circuts》上发表。
经过三年的研究工作,张大鹏发现博士后的身份让他很难真正接触到研究组的核心技术。于是,张大鹏决定在加拿大滑铁卢大学攻读他的第二个博士学位,导师为穆罕默德·艾尔马斯里 (Mohamed Elmasry) 教授,研究方向为 VLSI 芯片设计。
第二次攻读博士期间,他在相关学术期刊上陆续发表了 9 篇学术论文,并亲手设计及研发了乘法以及神经元等芯片。
1994 年,张大鹏在加拿大滑铁卢大学第二次博士毕业。他攻读了一个哈工大的人工智能博士学位和一个加拿大滑铁卢大学的芯片博士学位,这在现在看来也是相当不容易的事情,然而张大鹏在 30 年前就已经做到了。
回到香港,
开启掌纹识别研究
在滑铁卢大学博士毕业后,张大鹏留校担任了一年的助理教授。但是张大鹏的初心还是回国发展。恰好在这个时候,香港的高校开始招人,香港科技大学、香港城市大学和香港理工大学对他都很感兴趣,但香港城市大学最先给张大鹏教授发了聘任 Offer。于是,1995 年 7 月 21 日,张大鹏优先选择入职香港城市大学担任副教授。
这一年开始,他与国内很多大学建立了密切合作。首先,他回到母校哈工大访问,受到了杨士勤校长和各学院院长的热烈欢迎。他也被母校哈尔滨工业大学聘任为兼职博士生导师。
一开始回到香港,由于当时国内还没有芯片相关的研发需求,张大鹏教授还是从事指纹识别方面的研究。一次在香港维多利亚港散步,他看到路边有看手相的算命先生,于是萌生了进行掌纹识别研究的想法。张大鹏教授认为,掌纹的特征足够复杂,这是可以作为防伪手段的保证。另外,掌纹的面积足够大,即使有一部分因为油渍、破损等原因无法识别,也不会影响整体识别效果。尤其是国内外最当时还没有相关研究,这是一个高精度、高防伪识别能力的新方向。
1997 年,张大鹏的团队正式开始掌纹识别的研究工作。1998 年,张大鹏团队发表了关于掌纹识别的第一篇论文《Palmprint Verification: An Implementation of Biometric Technology》在 ICPR 上发表。这也是国际上最早进行掌纹识别的研究团队。
从 1998 年至今,张大鹏教授的团队多年来发表掌纹识别相关论文 200 余篇,公开了多个掌纹数据集,同时也研发了包括 2D、3D、多光谱、接触式以及非接触式的多种掌纹识别系统并将其投入应用。
四诊量化,
人工智能与传统中医的结合
1997 年,一个偶然的机会张大鹏教授认识了哈尔滨市第 211 医院普通外科主任李乃民医生,李医生是中西医结合的专家。两个人聊起中医中脉象、舌象等传统疾病诊断方法,张大鹏教授觉得这些传统中医中的“望闻问切”特征应该也可以用计算机量化。这次相遇是引发他之后中医四诊量化研究的契机。
张大鹏教授跟我讲解了四诊量化研究的具体方向和重要性。在传统的中医诊断当中,观察体表信息只能靠人的经验,这些体表信息包括人的舌象、脉象、气味、语音和步态等。中医四诊量化,就是要获取这些体表信息数据,再把这些体表信息转换成计算机可以存储、分析的标准数据。
体表信息存储的下一步是特征的标准化,曾经有一个经验丰富的中医跟张大鹏说,他肉眼看到的舌象与手机拍摄到的舌象看起来就是不一样的,这是由于光线、观察角度等因素导致的不一致。四诊量化工作就是要把这些体表数据标准化,使同一个设备在不同条件下采集的体表数据相同,这样同一设备在不同地点、条件下采集的数据就是兼容和通用的。最后将信息提供给中医师,作为他们诊断、治疗过程中的参考。
体表信息标准化的工作完成后,张大鹏教授的团队还实现了疾病的量化。他们采集大量患者的疾病数据和体表信息数据,尝试训练算法找出西医框架下的疾病(比如高血压、糖尿病等)与中医框架下体表信息(比如舌象、脉象等)的关联。并把这种关联提供给中医师进行参考。
张大鹏教授告诉我,他们团队将中医中经典的“望闻问切”映射成人体的四种感知信息,分别是:视觉感知、嗅觉感知、听觉感知、触觉感知。
2002 年,张大鹏教授关于舌象研究的第一篇论文《On Automated Tongue lmage Segmentation in Chinese Medicine》在 ICPR 会议上发表。
2006 年,张大鹏教授关于舌象研究的第一本专著《Tongue Diagnostics》(舌象诊断)在 Academy Press(美国学术出版社)出版。
这些年他们的研究过程就是采集患者数据、算法训练、分析结果和发表论文,然后再重新循环这些步骤,一步一个脚印地深入中医四诊量化的研究。拿舌象数据来说,他们的舌象信息获取分析设备已经研发到了第七代。
多年来,他的团队跟哈尔滨市 211 医院、北京武警医院、广东省中医院、北京大学深圳医院、深圳市龙岗区医院、深圳市精神卫生中心(深圳市康宁医院)以及深圳市中医院等医疗机构密切合作。其中,他们与广东省中医院杨志敏院长合作的研究获得了国家自然科学基金重点项目的资助。
他们团队已经发表了 100 余篇中医四诊量化方面的论文,不但对器质性疾病(比如高血压、糖尿病等)进行量化,还对一些功能性疾病(比如抑郁症等)进行了四诊分析。
张大鹏教授的团队还建立了世界上最大的中医感知数据库,数据库涵盖了几万名患者的体表信息,对于每个患者,数据库采集了视觉、嗅觉、听觉、触觉以及步态等 7 种模态的信息。
建立人脸美学体系,
探索美的客观化本质
有一年,“香港小姐”选美结果揭晓,大众一片哗然,对于选美结果有很大的质疑。这时候组委会找到张大鹏,希望找到一种算法可以对候选人是否美丽进行初筛。
张大鹏教授告诉我,虽然每个人的审美观不一样,美的判断是主观的,但是有些美应该是大家公认的,比如三庭五眼、黄金规则这样的标准就长期广泛被大众接受。
张大鹏当时在调研中发现,其实美学相关的生物特征研究还很少,以色列有些学者在心理学领域进行美学探讨,也没能给出相应的量化标准。所以他决定尝试建立完善的人脸美学客观化分析体系。
2011 年,张大鹏教授人脸美学体系研究的第一篇论文《Quantitative analysis of human facial beauty using geometric features》在顶级国际期刊《Pattern Recognition》发表。
2016 年,张大鹏教授人脸美学体系研究的第一本专著《Computer Models for Facial Beauty Analysis》(人脸美学分析的计算机模型)在 Springer(施普林格出版社)出版
香港执教二十三年,
科研之路成绩斐然
1995 年 7 月从加拿大回到香港起,张大鹏教授一共在香港城市大学工作了三年。1998 年,张大鹏教授觉得香港城市大学的研究氛围更偏重底层理论,而香港理工大学相对更加重视应用研究,更适合自己的工科背景,于是便决定加入香港理工大学计算机系。从这时起,他在香港理工大学整整工作了二十年。
1998 年,张大鹏在香港理工大学创立国际上第一个生物识别研究中心。
1999 年,张大鹏晋升香港理工大学教授。
2001 年,张大鹏教授创立计算机视觉领域国际顶级期刊《国际图像和图形学报》(International Journal of Image and Graphics,IJIG)
2002 年,张大鹏教授创建 Springer 国际生物识别丛书(International Series on Biometrics,KISB)的创始人并担任主编。
2004 年,张大鹏获得香港特别行政区最高科技奖“裘槎科技工作者”。
2005 年,张大鹏担任香港理工大学讲座教授。
2014 年开始,张大鹏教授连续八年被 Clarivate Analytics(前身为汤森路透) 列为“高被引科学家”。
三十多年的时间,张大鹏为中国生物特征识别和模式识别领域培养了70余名博士、20余名硕士,他们中许多人已经成为了很优秀的学者。他们在各自的研究领域里发挥了重要作用。
2018 年,张大鹏教授从香港理工大学正式退休并继续担任荣誉教授。随后,张大鹏教授回到内地,担任香港中文大学(深圳)数据科学学院校长讲座教授。
2020 年,张大鹏教授当选加拿大科学院院士。
2021 年,张大鹏教授当选加拿大工程院院士。
同年,张大鹏教授开始担任香港中文大学(深圳)数据科学学院校长学勤讲座教授。
2022-2024 年,张大鹏连续三年获得 Research.com 评选的计算机领域 Leader Award。
现在,75 岁的张大鹏依然在香港中文大学以全职身份承担教学和科研工作,而且工作节奏非常忙碌。这次访谈我们约了好久才终于成行,采访进行的特别顺利,以至于有几个问题我还没有问,他就已经说出了答案。我丝毫感觉不出他的真实年龄,而只能感受到他对科学工作的热情,以及他对几十年研究工作积累成果的自豪和欣慰。
2015 年,中国中医科学院屠呦呦研究员获得诺贝尔生理奖,使中国的传统中医药更加被世界认可。
同样,近四十年的时间,从东半球的中国到西半球的加拿大。从中国的最北端哈尔滨到几乎是最南端的香港和深圳。张大鹏教授一直持之以恒地深耕自己的研究方向。从指纹、掌纹识别的身份鉴定工作到中医四诊量化的研究,作为中国第一位人工智能方向毕业的博士,张大鹏教授和他的团队将最先进的计算机技术和人工智能技术融入中国的传统医学,为中医的标准化和量化工作做出了重要贡献,也使中国传统医学可以走向国际,更广泛地被世界认可。
作者简介
秦海龙,香港科技大学社会科学部博士后研究员,中国中文信息学会社会媒体处理专业委会委员。主要研究方向为中国人工智能发展史和计算社会学。博士毕业于哈尔滨工业大学社会计算与信息检索研究中心,前自然语言处理研发工程师,曾就职于小米科技和三角兽科技。
文章来源于“AI前线”
【开源免费】DeepBI是一款AI原生的数据分析平台。DeepBI充分利用大语言模型的能力来探索、查询、可视化和共享来自任何数据源的数据。用户可以使用DeepBI洞察数据并做出数据驱动的决策。
项目地址:https://github.com/DeepInsight-AI/DeepBI?tab=readme-ov-file
本地安装:https://www.deepbi.com/
【开源免费】airda(Air Data Agent)是面向数据分析的AI智能体,能够理解数据开发和数据分析需求、根据用户需要让数据可视化。
项目地址:https://github.com/hitsz-ids/airda
【开源免费】graphrag是微软推出的RAG项目,与传统的通过 RAG 方法使用向量相似性作为搜索技术不同,GraphRAG是使用知识图谱在推理复杂信息时大幅提高问答性能。
项目地址:https://github.com/microsoft/graphrag
【开源免费】Dify是最早一批实现RAG,Agent,模型管理等一站式AI开发的工具平台,并且项目方一直持续维护。其中在任务编排方面相对领先对手,可以帮助研发实现像字节扣子那样的功能。
项目地址:https://github.com/langgenius/dify
【开源免费】RAGFlow是和Dify类似的开源项目,该项目在大文件解析方面做的更出色,拓展编排方面相对弱一些。
项目地址:https://github.com/infiniflow/ragflow/tree/main
【开源免费】phidata是一个可以实现将数据转化成向量存储,并通过AI实现RAG功能的项目
项目地址:https://github.com/phidatahq/phidata
【开源免费】TaskingAI 是一个提供RAG,Agent,大模型管理等AI项目开发的工具平台,比LangChain更强大的中间件AI平台工具。
项目地址:https://github.com/TaskingAI/TaskingAI