咨询热线:00-8813511
新闻中心
当前位置: 首页 > 新闻中心

新闻中心

NEWS CENTER
新闻中心
当前位置: 首页 > 新闻中心
解密AI算法赋能平台核心技术 ——特斯联半监督CV自训练学习算法
发布时间:2021-12-02 11:38:31   作者:乐鱼体育棋牌   来源:乐鱼体育平台进入

  7月,特斯联“九章人工智能算法赋能平台”计算机视觉基础模型核心算法,在国际顶尖智能实验室、中国移动研究院、日本最大移动通信运营商NNT DOCOMO,以及清华大学、武汉大学、中国科技大学、墨尔本大学等69家国际大型企业、顶尖高校及研究机构。

  坚持深耕、不断开拓人工智能最前沿算法,是特斯联斩落豪强,载誉而归的秘笈。本期“先锋科技场”将首次揭秘该行业领先算法。

  随着全球人工智能产业高速发展, 人工智能(AI)近年被抽象成多种算法应用于不同领域。AI已全面进入机器学习时代。AI未来发展将是关键技术与产业的深入结合单纯算法已无法满足更细分领域及行业对AI的需求,尤其在万物互联的AIoT(人工智能+物联网)时代,越来越多的订制化AI需求亟需解决。

  原有开发模式实际已成为新形势下AI发展的瓶颈。当前,用户AI订制通常遵循“找公司-对需求-交付研究-算法产品化编码-上线使用”流程。这往往导致研发周期长、研发成本高,难以满足AIoT时代各行业用户AI产品开发需求。

  对此,AI开放平台应运而生。其能集成AI算法、算力与开发工具,通过接口调用,使企业、个人或开发者高效使用平台AI能力,实现AI产品开发及赋能。随着大量AI厂商高速崛起,中国在技术平台领域已逐渐摆脱对海外厂商的依赖,涌现出多家AI开放平台。

  虽然我国目前AI开放平台发展势头良好,但现有平台在用户规模、使用场景、用户技术基础等多个方面,仍然受限。这些平台均主要针对专业AI开发者设计,对AI零基础用户开发人工智能产品“不甚友好”。

  此背景下,特斯联核心算法研究团队开发出普适性AI算法开放平台“九章AI算法赋能平台”。它力克半监督、标签内容以及“联邦学习”(Federated Learning)等方面的核心技术难点,实现了CV(计算机视觉)、NLP(自然语言处理)、推荐预测、知识图谱算法的自训练。

  九章平台可针对多场景及各规模用户(尤其可针对AI零基础用户),进行零代码、低代码自有算法孵化,颠覆已有AI研发人员开发模式,显著降低AI研发成本及周期。

  在业界备受瞩目的校企合作方面,近年来各方努力已获成效,但仍有较大提升空间。目前,企业对高校研究成果颇感兴趣,需求较大;高校亦希望其研究能够解决实际行业问题,故十分渴望行业课题导入。但是,高校研究成果进行行业落地时,往往水土不服;高校产学研课题亦往往随着学生毕业被迫中断,持续性堪忧。

  特斯联“九章AI算法赋能平台“可在弱监督体系下,能够实现平台和训练模型算法有效对接。使基于训练算法模式的校企需求对接,取代“向企业提供推理算法代码”这一传统模式。不仅如此,该平台可实现算法积累与深化。

  本期“先锋科技场”就将揭秘九章AI算法赋能平台的核心技术之一基于半监督的CV自训练学习算法。

  监督学习技术通过学习大量训练样本,构建预测模型。其中每一训练样本均被贴上明确标签,显示其真值输出。尽管当前技术已取得巨大成功,高数据标注成本常导致诸多任务无法获得强监督信息(如“全部真值标签”等)。因此,采用半监督学习,通常是执行实际任务的更佳方案。

  半监督分为三类不完全监督、不确切监督、不准确监督。特斯联九章AI赋能平台致力于让AI能力偏弱或“贫乏”用户,也能拥有AI算法孵化服务能力。因此,弱化人工参与算法训练尤为重要。

  但不同半监督类型亦存在自身短板。不完全监督若只拥有少量被标注数据,不足以训练出优秀模型。不确切监督仅能满足已给定监督信息、但信息不够精确的场景。不准确监督在监督过程中,会出现被标注数据存在错误监督信息的情形。三类半监督模式人工干预较大,无法形成自训练学习算法体系,无法达到普适性AI算法开放平台需求。

  为构建基于半监督的自训练学习算法,特斯联核心算法研究团队主要采用基于Transformer模型的Swin Transformer作为骨干模型,以此搭建特征学习基础算法,进而构建自训练体系。此外,团队通过参加国际计算机视觉大会(ICCV)等国际顶尖会议,有效验证了基于半监督的CV自训练学习算法在实际产业应用中的贴合度,并载誉而归。

  特斯联核心算法团队针对上述三大半监督类型难题,将主动学习、半监督学习、多示例学习、带噪学习等技术引入自训练体系,最大限度从已知标签样本特征中,挖掘潜在内嵌信息,反哺至未知标签数据,从而减少人工干预。

  特斯联以Swin Transformer为骨干模型,针对半监督,设计可学习样本全局及局部“特征学习模块”。

  而选用Transformer为骨干网络,则可使输出的全局特征信息更为丰富,使“全局特征相似度学习模块”从样本特征中挖掘出更多信息。此外,“局部特征细粒度学习模块”聚焦样本局部特征,可与Transformer形成互补,统一对外提供基准骨干网络。

  特征学习模块方面,特斯联基于BNNeck,采用“全局+局部”模式展开研究。全局层面,通过度量学习(Circle Loss + Center Loss)提取全局特征。局部细粒度特征学习层面,则首先计算每一局部模型间相关性,随后交叉融合局部模块相关性较高的特征,输入至各局部细粒度分类器,学习相应局部细粒度特征。如图所示,交叉融合可分为如下四种:

  接下来的重点,为构建自训练体系。其主要分为两个阶段。第一阶段强监督训练:利用少部分数据,对以上特征学习算法作初步强监督训练,降低后期自训练难度,提高自训练性能。第二阶段标签内容生成:通过主动学习、半监督学习、带噪学习等技术,充分利用余下的大部分数据。

  在此,将不再赘述强监督训练。标签内容生成工作,则会从主动学习/无监督学习、半监督学习两个方面展开。

  主动学习/无监督学习分为四个步骤。旨在通过“挖掘小部分数据,带动大部分数据”,解决半监督下不完全监督短板。在有限的平台资源上,令大部分未标注数据高效得到相应标签。

  半监督学习方面,通过以上无监督学习能够获得可靠性强,且具有标签的Query子集和Gallery子集G*。但两者均仅有缺少局部细粒度标签的弱标签信息。通过半监督学习实现L、G*,以及带有局部细粒度标签的训练集数据T,可对特征学习模型作全量调优。随后,在S=[L,G*,T]上寻找更优局部细粒度学习器;并利用训练集数据分布上的局部细粒度子模型,建立多个局部细粒度学习器,对未标签样例加注标签。局部细粒度学习器可基于其未更新前对L、G*所生成的局部细粒度标签,以及更新后所预测的结果,计算损失值进行学习。这一方面使L、G*在某种层面上,补充了T可能缺失的潜在信息;另一方面可通过学习器,帮助模型在L、G*上挖掘局部特征。

  多轮、细致的实验结果证明:主动学习、半监督学习在解决半监督下的不完全监督问题中,表现稳定;多示例学习方法在不确切监督问题中表现稳定;带噪学习方法在不精确监督问题中表现稳定。

  乡村医生杨家福1989年开始从事乡村医生工作,为了方便在崎岖的山路上奔走,1996年,杨家福用好不容易积攒的钱买了一辆摩托车,从此,他骑着摩托车为村民送去安康,被乡亲们称为“摩托乡医”。

  该项目涉及41个院落、270户居民,采取货币补偿方式进行退租,项目在恢复历史风貌、织补城市功能、提升当地业态的同时,改善了周边居民的居住条件。

  近一段时间,在河南郑州第二轮核酸检测任务中,全市城区共有765万人亟待检测,医护人员必须在最短的时间内完成检测任务,和时间赛跑是白衣战士们最重要的工作。

  立秋之后,即将进入丰收的季节。我国铁路建设也将收获硕果,多条铁路预计年内开通,看看经不经过你家乡?

  湖南张家界的两位志愿者理发师组成爱心志愿小分队来到张家界一酒店外开展免费义剪活动,解决疫情防控一线工作人员的理发难题。志愿者利用汽车后挡风玻璃为镜面,为疫情防控工作者理发。


上一页:第四范式赴港IPO 人工智能企业的春天何时到来?
下一页:三门峡高新技术产业开发区高技术创业服务中心三门峡高新区智慧园区二期项目货物采购项