黑科技与回忆杀：揭秘人民日报首部全民定制大片背后的京东AI黑科技
在全国人民喜迎新中国成立70周年的欢庆日子里 9月28日一部名为“70年 我是主角”的微电影瞬间刷爆朋友圈。这是中国第一部全民定制大片 在200秒时长浓缩了新中国70年的辉煌成就 风雨沧桑 网友们纷纷大呼过瘾。人民日报新媒体随即上线了由京东AI提供技术支持的15秒换脸微电影 让每位网友都可以用自己的单张照片替换电影里的主角形象 通过AI带你“跨时空光影”的走进祖国70年来的变迁。
作为此次AI技术的提供方 京东集团副总裁 京东人工智能事业部总裁 京东人工智能研究院院长周伯文博士表示 很高兴与人民日报在人工智能+融媒体方面达成全面的合作 特别是这次合作的创新项目落地让大众可以通过AI技术“跨时空光影”的感受祖国70年变迁的宏伟历程。同时 应用于此次活动的AI技术已经系统性 大规模 全流程地部署在零售 市政服务 融媒体等场景中 以AI技术为代表的前沿科技正在赋能并助力传统经济转型升级。
视频换脸背后的AI黑科技
近一段时间以来 多款AI换脸的游戏在网上出现 逼真的换脸效果不禁让人们感叹技术的神奇。在“70年 我是主角”的微电影中 主角人物通过穿越几十个不同年代的场景感受着祖国70年风雨历程 而这15秒的换脸背后到底用了哪些AI的黑科技?
不同于其他换脸应用中仅选取近景 正脸等场景 此次京东AI与人民日报合作的15秒微电影中则包含了大量的奔跑镜头和频繁的姿态变化 给脸部实时定位和渲染带来了较大的挑战 尤其是其中很多远景镜头 脸部区域较小且夹杂着运动模糊 更是给换脸带来了不小的麻烦。
AI“三板斧”护航视频换脸效果。首先 京东AI提出“基于RefineDet阶段选择性改进版人脸检测网络”的算法技术 此前该技术已在业界顶级人脸检测榜单“WIDER FACE”中的“Easy” “Medium”和“Hard”三项评测集中 以96.3%AP 95.4%AP 90.3%AP的优异性能全部获得排名第一的佳绩 在行业研究平台上展现出京东AI研究院出色的人脸检测实力。
其次 人脸3D关键点检测技术是此次AI视频换脸的关键环节。京东AI创造性地运用了一种结合人脸解析的3D模型 性能超越了目前主流的3D关键点检测算法。京东AI利用3D关键点检测技术来定位人脸区域的5万多个关键点 并基于这些关键点对人脸进行重构。由于3D数据难以获取且很难修正 京东AI提出了一种基于2D关键点辅助的3D关键点检测方法 京东AI的方法模型在公开数据集AFLW 2000-3D上测试的平均NME为3.50 性能超越了当前所有主流的3D关键点检测算法。这也使得当头部转动90度(完全侧脸)时 仍然能够进行换脸。
最后 在微电影中 男主角在火车车厢 室内 户外 夜间等不同场景中穿梭 光影变化复杂 使得脸部的明暗差异变化频繁 再次给人脸的关键点检测及渲染都带来了困难。为了保障用户换脸后的最佳效果 京东AI采用了在纹理图上进行融合处理的手法 让纹理的生成独立于头部姿态的变化 从而使换脸更加的连贯和自然。
从左到右分别是原图 人脸关键点 人脸解析 人脸解析显示在原图上
京东人工智能的“黑科技”已系统性 大规模 全流程的落地
在大规模落地应用之前 京东AI已经在技术的前沿研究中打下了扎实的基础。2018年至今 京东AI在人工智能顶级会议和期刊上累计发表论文70+篇;2018年累计发明专利申请148个。在计算机视觉顶级会议CVPR 2018 2019中 京东AI先后斩获了视频动作 商品图片 精细粒度蝶类图片识别等一系列全球竞赛的多项桂冠。在ECCV 2018开放式图像分类和物体检测竞赛单元均以大比分优势夺得头名。2019年 京东AI研究院在WikiHop机器阅读数据集与Facebook Salesforce等研究机构同台竞技 并再次斩获排行榜首位 超越竞赛给出的人类表现的精准度标准。
另一方面 京东AI的技术孵化来自京东集团丰富海量的数据和真实场景中 而选择研究的方向更是旨在产生实际的应用价值。本次与人民日报合作的AI视频换脸技术其实已经系统性 大规模 全流程地部署在零售 市政服务 融媒体等场景中 助力传统经济转型升级 让AI技术源自实战落地实战。
当前随着5G的崛起 以及技术落地需求的不断发展 京东AI的产业智能化也已经进入了两条快车道：智能交互RPA 视频物联网。其中智能交互RPA包含零售 物流智能客服 外呼/用户触达 交互式主动营销导购 运营流程自动化 职能流程自动化等领域 视频物联网则覆盖线上零售线下门店 物流站点 分拣中心 仓储全流程管理 公安和园区安防 社区管理 融媒体内容经济等多个维度。
在智能交互RPA快车道中 京东AI打造智能客服的全链条服务 并联合商务部为百姓打造政务智能问答系统 联合华西二院打造医疗智能客服机器人 以及语音终端解决方案等多个产品及解决方案。在京东内部 智能客服的全链条服务已涵盖售前 售中 售后和物流等全流程客服体验 利用业界领先的语音识别与合成技术 为用户提供有温度的智能应答 物流大件商品的预约配送等服务。除此之外 京东AI的语音终端解决方案 目前已经在人民日报 新京报 京东读书 京东听听 京鱼座智能音箱等应用及产品中大规模使用。
在视频物联网的快车道 落地了拍照购 智能结算台 超级眼镜 与中国建设银行联合打造5G银行中的蜂巢“金融太空舱”等产品及解决方案。以拍照购为例 京东AI开发的拍照购功能已在京东商城上线 覆盖商城数十亿正品商品 含自营及POP商城。它不仅支持京东APP接入 而且已经“入住”到多个新款的智能手机上 包括vivo OPPO 三星 华为 小米等 通过拍照即可实现方便便捷的购物体验。
“千锤百炼”铸造京东人工智能的实战技术IP
“实战派AI” “应用型AI” “有温度有感情的AI” “可信赖的AI”是京东AI在业内的强大优势和竞争力IP。这源于京东AI的自身基因 自诞生之日起 京东AI就成长于最复杂丰富的的零售场景中 作为全球最大B2C零售商之一 京东所有的场景和应用覆盖了供应链的各个环节 加上20年积累的经验与数字化沉淀 让京东AI在实战中快速成长 并成为了国内领先的人工智能服务商之一。
近期 上海举行的2019 WAIC世界人工智能大会 再一次对京东人工智能给予了国家级的肯定 开幕式上国家科技部公布了最新一批国家人工智能开放创新平台名单 宣布依托京东集团建设智能供应链国家新一代人工智能开放创新平台 领衔智能供应链国家战略发展。该平台将以京东AI打造的人工智能开放平台NeuHub为核心载体 依托京东零售 物流 金融 云计算 IoT 大数据等能力和资源 提升中国产业整体竞争力水平 助力中国企业参与全球人工智能及智能供应链的的竞逐。
随着入选最新一批国家人工智能开放创新平台 京东AI的技术能力将进一步飞速提升 除了在自身业务场景中“千锤百炼” 京东AI还会借助在产业伙伴中的应用 共同实现对产业伙伴产品的智能升级和科技创新 与此同时 不断打磨AI技术 形成一个良好的AI生态。
目前 京东人工智能开放平台NeuHub已吸引了超过300家的优秀合作伙伴 并与超过10家合作伙伴深度合作进行联合的产品打造 目前超级眼镜 智能睡眠舱 虚拟主播等均是借助京东人工智能开放平台NeuHub的AI技术能力打造的行业创新产品。此外 京东AI还发布了生态合作伙伴炼金计划 旨在连接AI创业伙伴 各地政府和品牌企业 深入场景 融合产品 携手生态伙伴 释放AI的价值。
关于京东人工智能
“人工智能引领美好生活” 京东人工智能持续探索前沿科技 聚焦商业应用落地 加速释放科技的商业价值。在计算机视觉 语音与声学 语义 对话 机器学习 知识图谱6个技术领域不断深耕 拓展AI 技术的边界 并通过NeuHub 京东人工智能开放平台(ai.jd.com)全面开放给行业合作伙伴 共赢生态。在视频物联网 智能交互RPA两个重点领域持续打造规模化应用落地 京东人工智能持续探索AI 商业创新模式 与实体经济相融合 释放AI 真正的产业和社会价值。
