斯坦福大学在三月份开设了一门“深度学习与自然语言处理”的课程:CS224d: Deep Learning for Natural Language Processing,授课老师是青年才俊Richard Socher,以下为相关的课程笔记。

第四讲:词窗口分类和神经网络(Word Window Classification and Neural Networks)

推荐阅读材料:

[UFLDL tutorial] [Learning Representations by Backpropogating Errors] 第四讲Slides [slides] 第四讲视频 [video] 以下是第四讲的相关笔记,主要参考自课程的slides,视频和其他相关资料。
本讲概览 分类问题背景 在分类任务中融入词向量 窗口分类和交叉熵误差推导技巧 一个单层的神经网络 最大间隔损失和反向传播

分类问题定义

一般情况下我们会有一个训练模型用的样本数据集

{xi,yi}Ni=1

其中xi是输入,例如单词(标识或者向量),窗口内容,句子,文档等 yi是我们希望预测的分类标签,例如情绪指标,命名实体,买卖决定等

分类问题直窥

训练集:{xi,yi}Ni=1 一个简单的例子 一个固定的2维词向量分类 使用逻辑回归 ->线性决策边界->
斯坦福大学深度学习与自然语言处理第四讲:词窗口分类和神经网络深度学习
从机器学习的角度来看:假设x是固定的,仅仅更新的是逻辑回归的权重W意味着仅仅修改的是决策边界
斯坦福大学深度学习与自然语言处理第四讲:词窗口分类和神经网络深度学习

分类问题符号定义

一般的机器学习问题: 仅仅更新逻辑回归的权重意味着仅仅更新的是决策边界 数据集{xi,yi}Ni=1的损失函数
斯坦福大学深度学习与自然语言处理第四讲:词窗口分类和神经网络深度学习
其中对于每一个数据对(xi,yi):
斯坦福大学深度学习与自然语言处理第四讲:词窗口分类和神经网络深度学习
我们可以将f写成矩阵符号形式:f=Wx

分类问题:正则化

通常情况下任何一个数据集上完整的损失函数都会包含一个针对所有参数的正则化因子
分享到:
QQ空间
新浪微博
腾讯微博
人人网
飞信
百度搜藏


tags: 分类,yi,xi,Ni,第四,窗口,学习,slides,#160,gt,Learning,微博,向量,课程
分页:12
转载请注明
本文标题:斯坦福大学深度学习与自然语言处理第四讲:词窗口分类和神经网络深度学习
本站链接:http://www.codesec.net/view/240456.html
分享请点击:


1.凡CodeSecTeam转载的文章,均出自其它媒体或其他官网介绍,目的在于传递更多的信息,并不代表本站赞同其观点和其真实性负责;
2.转载的文章仅代表原创作者观点,与本站无关。其原创性以及文中陈述文字和内容未经本站证实,本站对该文以及其中全部或者部分内容、文字的真实性、完整性、及时性,不作出任何保证或承若;
3.如本站转载稿涉及版权等问题,请作者及时联系本站,我们会及时处理。
登录后可拥有收藏文章、关注作者等权限...
技术大类 技术大类 | 大数据技术 | 评论(0) | 阅读(186)