安防技术|基于深度学习的商品检索技术

安防技术|基于深度学习的商品检索技术

商品检索是一门综合了物体检测、图像分类以及特征学习的技术。近期，很多研究者成功地将深度学习方法应用到这个领域。本文对这些方法进行了总结，然后概括地提出了商品特征学习框架以及垂类数据挖掘方式，最后介绍了商品检索技术在服装搭配中的应用。

前言

几年前，当人们还在感叹于网页购物的快速便捷时，各大电商巨头就“悄悄地”将它们的购物应用推广到了用户的手机里。从那一刻起，用户购买的习惯也在悄悄地发生着改变：人们不再局限于时间与地点，只要拥有一部联网的手机，就能轻松获取想要的商品。发展至今，移动设备的安全、高速等特点越来越获得人们的认可，也使得移动购物行为变得更加普遍。然而目前PC和Mobile终端中，用户基本都是通过文本关键词获取目标商品，这种单一的关键词描述有时很难获取用户的真实需求。

为此，电商们也进行了很多改进。其中最有效的一些做法是构建高度结构化的后台商品数据库。其目的是能够通过分析用户的查询来推荐一些更加精细粒度、时效性好、热度高的商品品类，并提供给用户一个限定了价格、品牌、风格等等的商品候选集合。这种基于文本的由粗到精的推荐方式，能够很好的帮助用户定位到具有精细且具体标签的商品。然而，当用户需求的商品的周边信息不明确时，很难通过抽象出有限的关键词来进行检索。这类商品包括：未知品牌的化妆品，样式新颖的家具或者时尚流行的服装等(如图1)。

所见即所得

对于上述的问题，可以用一句话归结为：当需求物品难以用文本量化描述时， 给定它的一张图像，是否有可能推荐给用户相关的商品? 可以想象这样的场景： 当你看到一件喜欢的物品，只通过手机拍照将其图像上传购物网站，就能获取实物购买信息。如果商品检索能做到这样的“所见即所得”， 必将会给有购物需求的用户带来很大的便捷。

“所见”如何才能变成“所得”呢? 在回答这个问题之前， 首先需要了解商品检索中的难点问题：

商品品类繁多

小到柴米油盐，大到家具电器， 都可以称为商品。而且很多商品都包括多级且细致的分类，例如，家具可分为卧室家具、客厅家具、餐厅家具、书房家具等;服装的一级品类包括女装、男装、内衣、配饰与童装童鞋等， 女装又可分为连衣裙、T恤、雪纺衫等; 母婴中的童车童床类别可分为安全座椅、婴儿推车、婴儿床、婴儿床、垫餐、椅学步车等。由此可见， 好的检索技术不仅要识别这么多的商品类别， 并且需要区分每个类别下的不同商品实例; 同时后台商品数据库应该具有很高的覆盖面。

同款与相似款的混淆

根据多级类目或属性进行商品划分的方式，尽管区分了大多数具有精细语义的商品，但在区分同款与相似款上的作用仍然是有限的，即无法确认两件分为一个类别的商品是相同款。 举例来说，已知两个人都穿着白色短袖圆领T恤， 因为姿态、角度、光照等影响，有可能会使得相似款更像同款，或者同款被误识别为相似款。这就是计算机视觉中经常碰到的类内差异性与类间相似性问题。图3的例子可以说明这两个问题。 左侧(a)中的上衣是同一款衣服，但由于人体姿态、悬挂方式、手臂遮挡、光线等问题的存在，使得它的颜色以及长度等表观属性具有很大的差异性;三款相似的黑色印花连衣裙如(b)所示，它们拥有相似的不规则的印花图案，以及黑色的底色和A字裙摆;这些特点都让他们很相似，但从袖型可看出它们非同款。

其实，计算机视觉的各个领域都在解决这样的“所见即所得”难题， 即如何让机器能够自动准确的理解图像内容。随着深度学习的兴起， 包括人脸识别、 图像分类与物体检测在内的方向都取得了很多重要的进展， 也为深度学习在商品检索中的应用奠定了坚实的基础。