基于Frobenius范数的标准NMF更新公式推导-白红宇

强烈建议你试试无所不能的chatGPT，快点击我

基于Frobenius范数的标准NMF更新公式推导

阅读量：2173 次

发布时间：2019-05-01

本文共 273 字，大约阅读时间需要 1 分钟。

目标函数

在标准非负矩阵分解中，其目标函数很简单，形式为 $O(W, H)=\frac{1}{2}\left \| V-WH \right \|_{F}^{2}$ ，其中V为观测矩阵，W为基矩阵，H为系数矩阵, 这里假设V为m×n维的，W为m×l维的，H为l×n维的。

更新公式推导

其更新公式是基于梯度下降法，因此第一步就是要将目标函数分别对矩阵变量W和H求偏导，求出偏导后根据 $W_{ik}=W_{ik}-\alpha \frac{\partial O(W,H) }{\partial W_{ik}}$ 更新矩阵W，根据 $H_{kj}=H_{kj}-\beta \frac{\partial O(W,H)}{\partial H_{kj}}$ 来更新矩阵H。

矩阵W的更新

先对W中的变量求偏导

$\frac{\partial O(W,H))}{\partial W_{ik}}=\frac{\partial \frac{1}{2}\sum_{i,j}^{ }(V_{ij}-(WH)_{ij})^{2}}{\partial W_{ik}}$

$=\frac{1}{2}\sum_{j=1}^{n}2(V_{ij}-(WH)_{ij})(-H_{kj})$ （链式求导法则）

$=\sum_{j=1}^{n}((WH)_{ij}-V_{ij})H_{kj}$

$=\sum_{j=1}^{n}(WH)_{ij}H_{kj}-\sum_{j=1}^{n}V_{ij}H_{kj}$

$=\sum_{j=1}^{n}(WH)_{ij}H_{jk}^{T}-\sum_{j=1}^{n}V_{ij}H_{jk}^{T}$

$=(WHH^{T})_{ik}-(VH^{T})_{ik}$

故 $W_{ik}=W_{ik}-\alpha [(WHH^{T})_{ik}-(VH^{T})_{ik}]$

令 $\alpha =\frac{W_{ik}}{(WHH^{T})_{ik}}$ ，带入上式中可得更新公式为 $W_{ik}=W_{ik}\frac{(VH^{T})_{ik}}{(WHH^{T})_{ik}}$

可以看出W的更新为乘法更新，因此能在更新的过程中保证矩阵的非负性。

矩阵H的更新

先对H中的变量求偏导

$\frac{\partial O(W,H))}{\partial H_{kj}}=\frac{\partial \frac{1}{2}\sum_{i,j}(V_{ij}-(WH)_{ij})^{2}}{\partial H_{kj}}$

$=\frac{1}{2}\sum_{i=1}^{m}2(V_{ij}-(WH)_{ij})(-W_{ik})$ （链式求导法则）

$=\sum_{i=1}^{m}((WH)_{ij}-V_{ij})W_{ik}$

$=\sum_{i=1}^{m}W_{ik}(WH)_{ij}-\sum_{i=1}^{m}W_{ik}V_{ij}$

$=\sum_{i=1}^{m}W_{ki}^{T}(WH)_{ij}-\sum_{j=1}^{n}W_{ki}^{T}V_{ij}$

$=(W^{T}WH)_{kj}-(W^{T}V)_{kj}$

故 $H_{kj}=H_{kj}-\beta [(W^{T}WH)_{kj}-(W^{T}V)_{kj}]$

令 $\beta =\frac{H_{kj}}{(W^{T}WH)_{kj}}$ ，带入上式中可得更新公式为 $H_{kj}=H_{kj}\frac{(W^{T}V)_{kj}}{(W^{T}WH)_{kj}}$

转载地址：http://uqhzb.baihongyu.com/

你可能感兴趣的文章

TensorFlow-11-策略网络

如何选择优化器 optimizer

一文了解强化学习

CART 分类与回归树

seq2seq 的 keras 实现

什么是 Dropout

用 LSTM 做时间序列预测的一个小例子

用 LSTM 来做一个分类小问题

按时间轴简述九大卷积神经网络

详解循环神经网络(Recurrent Neural Network)

为什么要用交叉验证

用学习曲线 learning curve 来判别过拟合问题

用验证曲线 validation curve 选择超参数

用 Grid Search 对 SVM 进行调参

用 Pipeline 将训练集参数重复应用到测试集

PCA 的数学原理和可视化效果

机器学习中常用评估指标汇总

喝酒易醉，品茶养心，人生如梦，品茶悟道，何以解忧？唯有杜康！-- 愿君每日到此一游！

当前时间: 2024-05-19 15:18:41 当前IP: 18.117.186.92 联系邮箱:javaeecc@qq.com Copyright © 2020 - 2022 baihongyu.com 京ICP备2021015314号-2

强烈建议你试试无所不能的CHAT-GPT，快点击我

强烈建议你试试无所不能的CHAT-GPT，快点击我