天之家IT资讯平台

　　阿里巴巴淘系技能部与北京大学前沿计较研究中心CVDA尝试室、英国爱丁堡大学等相助，正式开源业界首个大局限的多模态直播衣饰检索数据集(Watch and Buy)以敦促视频多模态检索技能的研究。

　　此前，依托该数据集举行的第一届淘宝直播商品识别大赛完美落幕，近2000支步队介入了角逐，涌现了一批检索创新技能，有效晋升淘宝直播场景中衣饰检索的结果，形成了必然的学术和家产影响力。

　　什么是Watch and Buy?

　　直播带货是淘宝毗连商品和消费者的重要方法，通过对直播视频中商品举办及时识别和推荐，可实现消费者边看边买的消费体验，有效提高商品购置的转化，有很是大的经济代价。凡是环境下直播对应的数百款商品之间相似水平高，且直播画面中存在大量的配景滋扰、灯光变革、商品遮挡和形变等，给直播画面中商品的匹配识别带来很大的技能挑战。

　　淘宝直播“边看边买”结果示例，借助PixelAI 商品识别算法，可以从该直播的商品库中识别出直播中主播讲授的商品，并在直播中通过商品卡片形式推荐给消费者。

　　为了晋升直播中商品匹配识此外结果，我们依托淘宝直播海量数据，构建了业界最大局限的多模态视频商品检索数据集Watch and Buy (WAB)。该数据集包括70,000个由直播视频片断和对应讲授商品组成的匹配对，具有局限大、标注全、模态多、成果广的特点。我们抽取视频片断若干要害帧和商品的全部商品图举办了实例框级标注，商品id数达82,173个，标注图像数达1,042,178张，检测框实例1,654,780个。框级标注信息富厚多样，包罗商品的检测框、种别、视角、展示方法、同款编号等。除了视觉标注，我们还对主播讲授语音举办了人工文本转录，同时提供了商品的标题文本信息。该数据集可用于物体检测的算法、商品重识别算法、主播意图识别、跨模态检索和多模态检索等多种算法的研究。

　　为什么需要Watch and Buy?

　　当前开源的衣饰检索数据集都存在一些不敷，无法满意真实视频场景中衣饰及时识此外应用和细致研究。

　　首先，已有开源数据集均为静态图片的数据集，而真实视频直播场景中还存着举动恍惚、遮挡等问题;通过针对视频场景的数据集可以或许有效对上述问题举办研究息争决。

　　其次，已有开源数据集的图片多为网上收集，数目少、噪声大且标注维度不全，我们依托淘宝网和淘宝直播的真实业务场景，可以或许获取大局限、高质量和全面的商品信息。

　　最后，现有数据集多为单一的图片数据集，我们还提供了主播语音翻译文本、商品图标题文本等多模态的信息，举办多模态商品检索的研究，可以或许越发贴近真实场景。

　　我们相信Watch and Buy 数据集的这些特性将会一连引发视频多模态检索规模的技能创新研究。

　　淘宝直播商品识别大赛简介：

　　为了利便学术界遍及参加，我们将业务问题抽象为视频库和商品库之间的多模态视觉检索问题。在评价指标上，提出了片断级、帧级和检测框级评价尺度，全面权衡选手算法结果。

　　为了担保选手算法既能快速迭代又能有效赋能线上真实业务，我们在初赛、复赛和决赛的赛题中慢慢引导选手从技能贴近业务，个中，初赛为万级视频片断的检索问题，复赛则插手了真实场景中存在的商品缺失问题，决赛则是将选手方案陈设到真实线上场景，直接评价完整直播视频的算法结果。

　　大赛由淘系技能部内容社交互动平台和天池比赛平台配合举行, 宣布了业界最富厚的7W局限多模态视频检索数据集，用于举办算法模子的练习和结果评测，而且提供了24W的角逐奖金嘉奖优秀参赛者，思量到疫情期间高校参赛者的资源坚苦，特别提供了GPU呆板举办模子在线练习，最终吸引到1945支步队参赛。选手来历中，30%的步队来自高校，26%来自公司，小我私家参赛有6%。选手学历漫衍为，40%的选手拥有硕士学历，24%的选手为本科，博士选手占6%。最终，来自中科院计较所和吉林大学的逐星团队以逾越Baseline方案20%的后果夺得本次角逐的冠军，别的多位来自高校的参赛同学暗示已经在数据集长举办算法研究，并保持于主办方密切接洽。淘系技能的算法同学对优秀方案吸纳并增补到淘宝直播线上场景中，实现更长处事于淘宝直播商品识别业务。

　　附录：

　　淘宝直播商品识别大赛链接：https://tianchi.aliyun.com/competition/entrance/231772/introduction

　　Watch and Buy数据集开源链接：https://tianchi.aliyun.com/dataset/dataDetail?dataId=75730