用AI技术推动西安民俗文化，斗鱼超管团队有一套

　　摘要：AI正成为传统文化发展的助推器，助力传统文化朝着大众化、数字化、个性化、精准化方向发展，赋予传统文化新的生机，延续传统文化新的生命。本文将详细介绍“斗鱼团队”如何通过五个方面的技术实现“纵横西安”这个民俗文创产品。

　　在科技引领生活日新月异的今天，新文创应运而生。随着人工智能技术不断发展，“文化+AI”成为文化与科技融合的最新亮点。AI技术不仅推动了传统文化的传播与发展，还通过大数据分析、图像处理等手段，为传统文化的传承与创新提供了强大的技术支持。

　　“冲天香阵透长安，满城尽带黄金甲。”长安即是如今的西安，这座历史悠久的城市是今人追寻遗迹的首选之地。为了帮助游客更好地了解西安，斗鱼超管团队开发了一款名为“纵横西安”的Android端APP，它能够通过图片秒速识别，显示图片内容背后的故事。

　　纵横西安APP在logo设计上采用了西安两字纵向拼接为城楼的创意，辅以“陕”字的篆书阴刻，在开屏页则采用了富有秦朝元素的暗纹，以增添庄重感。进入APP后，用户可以通过打开相册和实时拍照两种方式选择待识别的素材。选定图片后，用户可以选择是否剪裁图片以便更好地进行识别。在图片的识别动效画面、欢迎页的暗纹以及loading跳动的icon中，都融入了兵马俑、肉夹馍、景泰蓝等西安特色元素，使用户的体验更加沉浸和丰富。

　　APP的图片识别率接近99%，识别速度不到1秒。最终识别结束后，会生成一张雅致的书签，并为用户提供了一键保存、分享到微信和朋友圈的功能，满足用户获取知识、分享旅行见闻的需求。纵横西安APP识别的类别包括美食、景点、工艺品、民俗和特产五大类。斗鱼超管团队对这些类别做了区别处理：如果识别的结果是美食，用户可直接点击大众点评按钮搜索美食方位；若识别结果是景点，则可直接点击地图按钮搜索景点位置；若识别结果为工艺品、民俗或特产，则可直接点击淘宝按钮进行搜寻和购买。

　　接下来，本文将详细介绍斗鱼团队从解题思路、数据处理、模型训练、实验结果和应用介绍五个方面阐述这个民俗文创产品实现的背后技术。

　　此次项目可以看作是一个图像分类任务。面对机器学习项目，斗鱼团队首先进行了数据分析，通过分析和校验数据可能达到事半功倍的效果。他们选择了一个好的baseline模型——常用的网络结构进行结果比对，基于较优的网络进行参数调试。在模型训练过程中，斗鱼团队对badcase进行了分析，找出错误样本并分析出错原因，针对性地调整数据和算法。通过持续迭代优化和结果验证，斗鱼团队不断优化模型直至结果满意为止。

　　在数据处理方面，斗鱼团队对数据的类别进行了分析并发现类别之间存在严重的不均衡问题。他们通过数据爬取和数据增强的方式对训练集进行了均衡化处理以提升模型的泛化能力。在数据增强方面他们采用了加噪、仿射变换、翻转、颜色变换等方式以及Mixup对两个类别的图片进行混合叠加等策略来提升模型的鲁棒性。

　　在baseline模型选择方面斗鱼团队选取了最常用的resnext101系列和efficientNet系列分别尝试了不同规模的5个模型最终选择了efficientnet-b7作为最优模型但由于efficientnet-b7在线上预测时超时了因此他们决定由不同的成员分别优化resnext101 32*16d和efficientnet-b5两个模型并采用内部竞争的方式提升开发热情。简单介绍resnext网络它是resnet的升级版通过将单路卷积变成多个支路的多路卷积在不明显增加参数量级的情况下提升了模型的准确率。而efficientNets则是一种多维度混合的模型优化方法通过统一缩放模型的所有维度实现了最好的精度。

　　在训练策略方面斗鱼团队主要使用了预训练模型来加快模型的收敛速度并调整损失函数、优化器、学习率及学习率优化函数等超参数以提升模型的性能。他们还使用了标签平滑来提升模型的泛化能力通过空间注意力和通道注意力来增强模型的特征提取能力使用传统的SVM算法替换softmax层来提升分类器的效果以及通过知识蒸馏的方案使用一个较大的模型来指导较小模型的训练等策略来提升模型的性能。

　　在得到一个相对较好的模型后斗鱼团队对badcase进行了分析并发现一些鼓楼和钟楼等特征相似的类别容易混淆。通过了解类别之间的差异他们更深刻地认识了西安的景点、美食、工艺品、民俗和特产感受到了西安深厚的历史文化底蕴。在实验中有些策略的效果并不理想例如SVM和损失函数的替换但对模型提升较大的有标签平滑、知识蒸馏和Focal Training等策略。

　　最后总结在开发产品中斗鱼团队认为标签平滑可以降低噪声数据对训练精度的影响；知识蒸馏可以迁移大模型的学习能力使小模型也能达到较好的效果；而Focal Training则针对难例类别着重处理提升难例类别的准确率。正如斗鱼超管团队所说“这是一款小而美的应用希望为西安民俗文化的推动尽一份力。” AI技术的运用能够深度挖掘传统文化的内涵提高文化传播效率在用户有需求的时候把最有用的内容提供给信息接受者创造性地保护和传承文化、艺术遗产。