资讯

精准传达 • 有效沟通

从品牌网站建设到网络营销策划,从策略到执行的一站式服务

如何进行深层神经网络模型SoftmaxDNN分析

本篇文章为大家展示了如何进行深层神经网络模型Softmax DNN分析,内容简明扼要并且容易理解,绝对能使你眼前一亮,通过这篇文章的详细介绍希望你能有所收获。

鹤岗ssl适用于网站、小程序/APP、API接口等需要进行数据传输应用场景,ssl证书未来市场广阔!成为成都创新互联的ssl证书销售渠道,可以享受市场价格4-6折优惠!如果有意向欢迎电话联系或者加微信:18982081108(备注:SSL证书合作)期待与您的合作!

Softmax DNN推荐

一种可能的DNN模型是softmax,它将问题看作多类预测问题,其中:

  • 输入是用户查询。

  • 输出是一个概率向量,其大小等于语料库中的项目数,表示与每个项目交互的概率; 例如,点击或观看YouTube视频的可能性。

 

输入

DNN的输入可包括:

  • 密集特征(例如,观看自上次观看以来的时间和时间)

  • 稀疏特征(例如,观看历史记录和国家/地区)

与矩阵分解方法不同,还可以添加年龄或国家区域等侧面特征。这里用x表示输入向量。

如何进行深层神经网络模型Softmax DNN分析

图1.输入层x

模型架构

模型架构决定了模型的复杂性和表现力。通过添加隐藏层和非线性激活函数(例如,ReLU),模型可以捕获数据中更复杂的关系。然而,增加参数的数量通常也使得模型更难以训练并且计算起来更复杂。最后一个隐藏层的输出用如何进行深层神经网络模型Softmax DNN分析表示:

如何进行深层神经网络模型Softmax DNN分析

图2.隐藏层的输出, ψ(X)

 

Softmax输出:预测的概率分布

如何进行深层神经网络模型Softmax DNN分析

如何进行深层神经网络模型Softmax DNN分析

如何进行深层神经网络模型Softmax DNN分析

如何进行深层神经网络模型Softmax DNN分析

如何进行深层神经网络模型Softmax DNN分析

图4.损失函数

如何进行深层神经网络模型Softmax DNN分析

如何进行深层神经网络模型Softmax DNN分析

如何进行深层神经网络模型Softmax DNN分析

如何进行深层神经网络模型Softmax DNN分析

 

Softmax训练

上一节解释了如何将softmax层合并到推荐系统的深度神经网络中。本节将详细介绍此系统的训练数据。

 

训练数据

softmax训练数据由查询特征X以及用户与之交互的项目向量(表示为概率分布 p)组成,在下图中用蓝色标记。模型的变量是不同层中的权重,在下图中用橙色标记。通常使用随机梯度下降或其变体方法来训练模型。

如何进行深层神经网络模型Softmax DNN分析

如何进行深层神经网络模型Softmax DNN分析

如何进行深层神经网络模型Softmax DNN分析如何进行深层神经网络模型Softmax DNN分析

 

矩阵分解(FM)VS SOFTMAX

DNN模型解决了矩阵分解的许多限制,但通常训练和预测的代价更高。下表总结了两种模型之间的一些重要差异。

矩阵分解Softmax DNN
查询特征不容易包括在内可以包括在内
冷启动不容易处理词典查询或项目。可以使用一些启发式方法(例如,对于新查询,类似查询的平均嵌入)容易处理新查询
折页通过调整WALS中未观察到的重量可以轻松减少折叠容易折叠,需要使用负采样或重力等技术
训练可扩展性可轻松扩展到非常大的语料库(可能是数亿项或更多),但仅限于输入矩阵稀疏难以扩展到非常大的语料库,可以使用一些技术,例如散列,负采样等。
提供可扩展性嵌入U,V是静态的,并且可以预先计算和存储一组候选项目嵌入V是静态的并且可以存储,查询嵌入通常需要在查询时计算,使得模型的服务成本更高

矩阵分解通常是大型语料库的更好选择。它更容易扩展,查询计算量更便宜,并且不易折叠。

DNN模型可以更好地捕获个性化偏好,但是难以训练并且查询成本更高。DNN模型比评分的矩阵分解更可取,因为DNN模型可以使用更多特征来更好地捕获相关性。

上述内容就是如何进行深层神经网络模型Softmax DNN分析,你们学到知识或技能了吗?如果还想学到更多技能或者丰富自己的知识储备,欢迎关注创新互联行业资讯频道。


文章题目:如何进行深层神经网络模型SoftmaxDNN分析
文章起源:http://www.cdkjz.cn/article/pphcgo.html
多年建站经验

多一份参考,总有益处

联系快上网,免费获得专属《策划方案》及报价

咨询相关问题或预约面谈,可以通过以下方式与我们联系

大客户专线   成都:13518219792   座机:028-86922220