众人顶级AI科学家许主洪加盟阿里！IEEE Fellow，五万被引论文数
白交 发自 凹非寺
量子位 | 公众号 QbitAI
AI的新进展经常，东说念主才动态也更加剧磅。
新年第一则大牛东说念主事动向，激发业内调整。
许主洪，IEEE Fellow，新加坡不休大学毕生西宾，被曝加盟阿里。
许主洪是谁？1998级清华酌量机系本科，硕博毕业于港华文，谷歌学术五万引大佬。
多篇对于多模态预测验论文，潜入影响了业内大模子研发，阿里Qwen、谷歌RT-2都曾援用过其接洽效果。
产业界，他曾担任众人最大企业软件厂商Salesforce集团副总裁、亚洲接洽院独创院长，从0到1搭建了Salesforce亚洲东说念主工智能接洽体系。
当今，阿里方面照旧说明。他将出任阿里集团副总裁，向阿里AI To C业务负责东说念主吴嘉请问，专注于AI To C业务的多模态基础模子及Agents有关基础接洽与运用科罚决策。
谁是许主洪？在加盟阿里之前，他曾在工业界和学术界均领有超20年教唆，曾在新加坡南洋理工大学、新加坡不休大学担任西宾。
接洽标的包括机器学习的基础接洽和东说念主工智能多个范畴的运用接洽，包括多媒体信息检索、酌量机视觉、大数据分析、酬酢媒体、智能集聚安全、酌量金融和聪敏城市等。
谷歌学术夸耀，其发表300余篇东说念主工智能顶级学术论文，被引五万余次，2020年于今被引近四万次。
2019年当选为IEEE Fellow，并吞年当选的还有著名大佬、CMU西宾邢波。
时候回到1998年，他来到清华大学酌量机操心书，本科毕业前去港华文攻读硕博。
2007年他来到了新加坡南洋理工大学。期间他负责开源了一个机器学习库LIBOL，内部有一大都经典和先进的在线学习算法，用于科罚大范畴机器学习任务，满足各种新兴大数据挖掘运用的需求。
能够看到的是，从那时候开动，他就照旧在深入念念考团结期间到运用之间这一桥梁。
随后他去到新加坡不休大学，2020年获毕生教职。
转机点在2019年，他负责采取踏入工业界，将自己期间积聚着实融入进产业运用当中去。
他的实战场是众人最大企业软件厂商Salesforce，匡助他们补皆AI基础接洽与运用这一板块。
他主导草创了多个行业先河的东说念主工智能技俩和产物，包括不限于多模态系列模子BLIP、代码生成神器CodeGen、通用CRM助手Einstein GPT。
（CRM是客户联系不休软件系统。Einstein GPT复古包括 Slack、销售、工作、营销、商务和运用体式构建器）
另一个实战场是2023年，乘着大模子的期间高涨，他创办了AI初创公司HyperGAI。
期间发布了多款多模态基础模子，特质是在不加多酌量老本的情况下，已矣刻下宇宙顶尖模子的水平。
在GPT-4V和Gemini Pro等大言语模子都在专注于文本确当下，他们在多模态通晓和生成上头赢得了不少突破，而且有很强的运用属性在内部。
比如像HPT 1.5 端侧多模态模子，唯有4B大小，性能却优于那时微软新推出的Phi-3-Vision（4B）多模态模子，并在多项基准测试中达到了GPT-4V的性能。
除了一些评测除外，模子还展示了出动端上的使用效果，能够识别图中的要道信息。
同期它也具备宏大的推奢睿商，不错通晓并解答几何题。
学术范畴，他凭借深厚的专科教唆和特出的接洽智商，发表了广漠顶级学术论文，接洽效果备受行业严防。
而在产业界，他将前沿期间与本色运用紧密结合，奏效股东了AI多个范畴的突破与落地，成为团结学术与产业之间的桥梁。
潜入影响多模态大模子研发问题是有了这位顶尖AI科学家的加盟，对于阿里来说意味着什么？
在许主洪的专科擅长中，不难找到足迹和谜底。
在他诸多论文中，有两篇BLIP系列论文最为严防，累计援用过万，其中BLIP-2永恒高居援用榜首。
更早之前还有期间博主特别研读了他的效果，示意GPT-4V当今还像个黑匣子，而BLIP系列接洽不仅在各种视觉任务中发达出SOTA的性能，也可能是龙套黑匣子的灵验科罚决策。
2023年，各种大言语模子刚刚兴起的时候，业内就照旧在念念考LLM夸耀的通用性和泛化智商，是否也能在视觉范畴中已矣。
一个转圜的视觉与言语的框架，以及一个能将它们与LLM结合起来的框架，成为自但是然的期间需求。
在广漠改换活动中，BLIP脱颖而出，它转圜了视觉言语任务的通晓与生成智商，并通过引入Captioner-Filter机制减少了监督文本的噪声，从而普及模子的测验质地。
模子中枢在于独到的编码器-解码器混杂架构（MED），该架构由视觉编码器、文本编码器和多模态编码器三部分构成。
每个模块都有有关的预测验筹划，通盘三个模块都证据这些预测验筹划进行接洽测验。
这系列论文所在的言语视觉智能一站式库LAVIS，GitHub非凡万颗星，足以见其在业内的影响力。在这个库里还有各种BLIP的生息，比如X-InstructBLIP、BLIP-Diffusion等等。
而将时候拉回当今，跟着大模子发展的深入，多模态智商算作中枢属性，正在重塑着AI的运用范式。
回归来说，多模态让大模子从“单一功能器用”退换为“全知万能的Agent”，其运用场景将延续地深入与拓宽。
中枢体当今两个方面：
其一，突破单模态局限，已矣更全面的瓦解与交互。多模态大模子通过会通文本、图像、音频、视频等异构数据，能够构建更接近东说念主类瓦解、近乎东说念主类水平的模子。
这种跨模态的语义对皆智商，使AI能通晓复杂场景中的隐含关联，比如识别图像中的隐喻或厚谊抒发。像夸克、通义APP这种软件，在其智能器用、ChatBot属性之上，集成更多多模态功能之后，就能已矣更多风雅化功能，成为平淡的AI万能助手。
更各种化更复杂的任务需求也将得到满足，多维之间的感知音互，能够已矣AI在更多结尾和硬件的落地，比如AI眼镜——据称是照旧明确的阿里AI to C业务异日探索标的。虽然这些还仅仅单点功能或产物花式，多模态智商还在于更多运用场景的赋能。
是以第二个方面即是：拓展更多运用场景，开释行业出产力。
比如医疗场景，多模态模子会通医学影像、基因数据和临床文本，复古个性化诊疗决策生成。训诲场景，结合图文、视频和语音的多模态教学助手，可动态适配学生学习格调，提供千里浸式学习体验。
但上述场景对阿里来说不是酌量，而是照旧部署落地的施行，而且还展现出“干中学”的期间迭代后劲。
在夸克落地的业务中，其“灵知”学习大模子在考研数学题上的正确率和得分率照旧并排OpenAI最新发布的o1模子，且远超国内其他模子。
是以了解了多模态智商与阿里AI to C业务布局的联系，不详也就看懂了许主洪的加盟。
这一次他要团结的是AI多模态智商在C端产物、运用上的端对端闭环智商。
作念面向用户的AI期间改换大模子的发展道路，目下不错回归为两条，一个是面向大模子更高档智能水平的期间演进，一个是面向运用和用户价值/体验的AI期间改换。阿里AI To C业务尤其是夸克呈现出后者的特质。
于阿里而言，许主洪是东说念主工智能学术界的会通东说念主，在产业界相通领有丰富的运用研发和产物改换教唆——尤其他不仅搭建了Salesforce亚洲东说念主工智能接洽体系，还将接洽效果转动为本色运用——主导的多个AI改换技俩，将学术效果转动为买卖运用，股东了AI期间产业化程度。
这种学术与产业的双重配景，使得许主洪不仅具备深厚的学术接洽功底，还领有将期间转动为本色产物的丰富教唆。这种智商即是阿里AI To C业务所需要的。
而以夸克为代表的阿里AI To C业务，在大模子智商上也一直贯注实用性，强调以运用产物驱动大模子的研发、升级标的。
产物追求的不是“颠覆”，而是拳拳到肉，科罚用户的中枢需求。夸克大模子的典型特质即是不卷参数和打榜，而是依据使用场景提供专科期间智商，生息出通识、医疗、训诲等垂类模子。
这种对用户价值的中枢追求，亦然AI驱动之下，夸克迅猛崛起，成为国内增长最快、势头最猛、用户使用最多的AI万能助手——莫得之一。
量子位智库统计，在APP端，前10个月国内AI APP三日留存数据夸耀，夸克是独一突破40%的产物，亦然独一突破两亿累计下载量的。
△图源：量子位智库
若是说一年前还相对低调，高速增长下的夸克当今也摊牌了，夸克照旧完成了品牌升级——2亿东说念主的AI万能助手。
虽然，这亦然期间、产物、场景等全场合成分驱动之下的规则，天时地利皆具备，当今阿里通盘AI To C业务要发力，即是时候在“东说念主和”——东说念主才上点火东风。
许主洪的加盟可能还仅仅开动的开动。有音讯称，阿里AI To C业务正在组建顶级AI算法接洽和工程团队，眩惑多量业内顶级东说念主才加盟。
而顶级科学家+顶尖团队，再加上高速前进的AI业务和场景，夸克也好，阿里AI To C业务布局也好，有契机把AI改换带入中国最熟识的范式之下——期间驱动产物，产物反哺期间，而且在范畴最大的用户阛阓迭代之下，已矣详细实力的超车。
AI不是出动互联网，但用户需乞降产物体验的价值线，正途至简，一以贯之，未始改变。
参考贯穿：
[1]https://raghul-719.medium.com/neural-networks-intuitions-17-blip-series-blip-blip-2-and-instruct-blip-papers-explanation-2378bc860d53
[2]https://github.com/salesforce/LAVIS
[3]https://www.hypergai.com/blog/hpt-1-5-edge-towards-multimodal-llms-for-edge-devices
[4]https://www.linkedin.com/in/steven-hoi-8712b41/?originalSubdomain=sg
[5]https://x.com/_akhaliq/status/1620246724672380930
[6]https://github.com/salesforce/BLIP
— 完 —
量子位 QbitAI · 头条号签
调整咱们，第一时候获知前沿科技动态约