理大重塑AI训练范式 大幅降低成本并普及研究
创始人
2025-10-24 20:01:34
0

(2025年10月23日)香港理工大学(理大)人工智能高等研究院(PAAI)研究团队在生成式人工智能(GenAI)领域取得多项关键技术突破。团队创新提出“协作式生成人工智能(Co-Generative AI)”模式,将AI训练从传统集中式转向分布式,不仅大幅降低训练成本、保障数据隐私,更打破资源壁垒,让全球更多研究机构得以参与AI研发,为全球人工智能创新注入强劲动力。

当前,GenAI领域面临三重核心制约:基础模型训练需耗费巨量计算资源,仅少数机构可以负担,导致学术界难以直接参与基础模型的训练、领域专属知识与数据无法融入模型;隐私保护与版权归属问题使医疗、金融等敏感数据难以用于训练;基础模型难以及时吸收新知识,每次重新训练需“天文数字级”资源,严重阻碍技术迭代。针对这些痛点,理大PAAI团队从“低成本训练”与“分布式融合”两大方向展开攻关,在理论证明和应用落地方面取得突破性成果。

理大成为业界首个开源发布“端到端FP8低比特训练全套方案”(涵盖预训练及后训练)的大学团队,该技术打破全球基础模型以BF16精度训练的主流格局,是全球少数掌握该核心技术的研究团队之一。与BF16相比,FP8核心优势体现在多方面:训练速度提高逾两成、显存峰值占用减少逾一成、成本大幅下降;整合“持续预训练”、“监督式微调”和“强化学习”,训练效果媲美BF16模型且训练时间和显存占用进一步压缩。团队已启动更低成本的FP4精度训练探索,相关成果已发表于学术论文1;经测试,其在医疗的诊断和推理上超过目前业界发布同等尺寸最优模型领域2;在科研智能体领域(Research Agent)中的任务复杂度,泛化能力和生成报告质量上均取得重大突破3。

传统基础模型遵循“缩放定律”(参数越多、知识越广、性能越强),但集中式训练需耗费百万计GPU小时,仅少数机构可以负担。理大团队研发的“InfiFusion模型融合技术”则实现关键突破:仅需数百GPU小时,即可融合出传统需100万至200万GPU小时训练的大模型;团队更以实例验证效率——用160个GPU小时完成4个尖端模型融合4-5,不仅避免了单个尖端模型传统训练需要的百万级GPU小时,且融合后模型在多项权威测试中性能显着优于原始模型。

此外,这项由Thinking Machines Lab非常倡导模型融合的理念,被理大团队首次从理论上验证了可行性。研究团队通过严谨的数学推导,提出了“模型融合缩放定律”(Model Merging Scaling Law),这意味着通往通用人工智能(AGI)可能还有另一条途径6。理大PAAI执行院长、计算器及数学科学学院副院长(环球事务)及电子计算学系教授杨红霞教授指出:“以超低资源实现基础模型训练,加上高效模型融合,可助全球学术人员投入GenAI研究,汇聚更多力量创新。”

在技术落地层面,理大团队已取得多领域实质进展。医疗领域中,团队训练出性能领先的医疗基础大模型,并研发专属“癌症GenAI”——在同规模模型中性能最佳,可快速积累高质量医疗数据、直接对接医疗设备,用于癌症个性化治疗规划,目前正联合复旦大学附属华山医院、中山大学肿瘤防治中心、山东省肿瘤医院及香港伊利沙伯医院推动合作与临床落地。此外,团队在智能体AI(Agentic AI)领域亦有突破,该技术可作为研究生学术助手协助论文撰写与审阅,同时作为多模态专利检索引擎为创新研发提供高效支持。

理大高级副校长(研究及创新)赵汝恒教授表示:“人工智能是加速培育新质生产力的核心,理大新成立的PAAI致力加速人工智能技术在各个重点领域的深度融合,并针对不同行业开发具备专业领域知识的人工智能模型。此举不但能巩固理大在相关领域的领先地位,更将助力推动香港成为全球生成式人工智能发展的枢纽。”

杨红霞教授领导的研究项目分别获得研究资助局“2025/26年度主题研究计划”、香港特区政府创新科技署“产学研1+计划”及数码港“人工智能资助计划”资助,标志香港在全球AI创新领域迈出坚实步伐,为AI技术普惠化与产业落地注入新动能。

免责声明:本文内容与数据由观点根据公开信息整理,不构成投资建议,使用前请核实。

相关内容

热门资讯

无机房电梯楼层显示器异常解决指... 电梯 无机房电梯楼层显示器异常怎么办? 别急,本文将为您详细解答。首先,我们要了解无机房电梯楼层显示...
东风汽车集团申请阻燃柔性固态电... 金融界2025年1月31日消息,国家知识产权局信息显示,东风汽车集团股份有限公司申请一项名为“一种阻...
中端性能机大乱斗:加米耀酷真,... 近期,中端手机市场迎来了多款新品,包括一加Ace 5、REDMI K80、荣耀GT、真我Neo 7以...
我市特步5G工厂入选国家5G工... 日前,工业和信息化部发布《关于2024年5G工厂名录的公示》,我市特步5G工厂入选国家5G工厂名录,...
卫星化学获得实用新型专利授权:... 证券之星消息,根据天眼查APP数据显示卫星化学(002648)新获得一项实用新型专利授权,专利名为“...
自动驾驶+跟踪巡逻+现场抓捕 ... 近日,在浙江温州的闹市区,特警巡逻队带着一台球形机器人一起巡街,引来不少路人的关注。 球形“机器警察...
360智脑张向征:构建安全可信... 人工智能的加速发展,有力推动了社会的数智化转型;与此同时,带来的相关安全风险也日益凸显。近日,在北京...
原创 3... 一、iQOO 12 参考价格:2659元(12G+256G)。 性能强劲,游戏无忧 首先不得...
2025年消脂设备产业数据报告 消脂仪是医学美容领域的医疗器械。 它使用激光和微波等设备根据其波长向真皮/皮下平面发射能量; 通过加...
良求机械取得一种高速升降机专利... 金融界2024年12月10日消息,国家知识产权局信息显示,良求机械有限公司取得一项名为“一种高速升降...