第六讲-循环神经网络与语言模型 1.语言模型 1.1 语言模型 1、语言建模的任务是预测下一个单词是什么 更正式的说法是：给定一个单词序列\(x^{(1)},x^{(2)},...,x^{(t)}\)，计算下一个单词\(x^{(t+1)}\)的概率分布： \[ P(x^{(t+1)}| x^{(t)}, ..., x^{(1)}) \] 其中，\(x^{(t+1)}\)可以是词表中的任意单词\(V={w_1,.. 2022-05-12 Deep Learning NLP
第五讲-句法分析与依存解析 1.句法结构：成分与依赖 1.1 语言结构的两种观点：无上下文语法 句子是使用逐步嵌套的单元构建的 可以通过CFG（context-free grammars 无上下文语法）规则表示语法 起步单元：单词被赋予一个类别（part of speech = pos 词性） the, cat, cuddly, by, door Det, N, Adj, P, N 单词按类 2022-05-12 Deep Learning NLP
第四讲-神经网络反向传播与计算图 1.简单神经网络的梯度矩阵与建议 1.1 权重矩阵的导数 让我们仔细看看计算\(\frac{\partial s}{\partial W}\) 再次使用链式法则: \[ \frac{\partial s}{\partial W}=\frac{\partial s}{\partial h} \frac{\partial h}{\partial z} \frac{\partial z 2022-05-08 Deep Learning NLP
第三讲-神经网络知识 1 神经网络基础 1.1 分类问题基础 对于分类问题，我们有训练数据集：它由一些样本组成： \[ \{x_i,y_i\}^N_{i=1} \] \(x_i\)是输入，例如单词(索引或是向量)，句子，文档等等(维度为d) \(y_i\)是我们尝试预测的标签(C个类别中的一个)，例如： 类别：感情，命名实体，购买/售出的决定 其他单词 多词序列(之后会提到) 1. 2022-05-06 Deep Learning NLP
NLP-Assignment2 Assignment2 解答：理解词向量（23分） 我们先快速回顾一下word2vec算法，它的核心思想是“一个词的含义可以由它周围的词来表示”。具体来说，我们有一个中心词（center word） c，和这个词 c 周围上下文构成的窗口，这个窗口内的除了 c 之外的词叫做外围词（outside words）。比如下图中，中心词是“banking”，窗口大小为2，所以上下文窗口是：“t 2022-05-06 Deep Learning NLP
NLP-Assignment1 Assignment1 所有使用到的头文件如下： 12345678910111213141516171819202122232425262728# All Import Statements Defined Here# Note: Do not add to this list.# ----------------import sysassert sys.version_info[0]==3a 2022-05-05 Deep Learning NLP
第二讲-词向量进阶 1 算法优化基础 1.1 词向量梯度下降算法 问题：梯度下降会一次性使用所有数据样本进行参数更新，对应到我们当前的词向量建模问题，就是\(J(\theta)\)的计算需要基于语料库所有的样本(窗口)，数据规模非常大： 计算非常耗资源 计算时间长 解决方案：随机梯度下降算法 Stochastic Gradient Descent（SGD） 在单个样本中计算和更新参数，并遍历所 2022-05-05 Deep Learning NLP
回溯 17、电话号码的字母组合 12345678910111213141516171819202122232425262728293031class Solution: def letterCombinations(self, digits: str) -> List[str]: if digits == '': return [ 2022-05-03 LeetCode
第一讲-NLP介绍与词向量初步 1 自然语言与词汇含义 1.1 如何在计算机里表达词的意义 要使用计算机处理文本词汇，一种处理方式是WordNet：即构建一个包含同义词集和上位词(“is a”关系)的列表的辞典。英文当中确实有这样一个 wordnet，我们在安装完NLTK工具库和下载数据包后可以使用，对应的 python 代码如下： 123456789from nltk.corpus import wordnet a 2022-05-01 Deep Learning NLP
双指针 11、盛水最多的容器 我们使用双指针的思想，两个指针分别为数组的头尾结点，每轮都进行面积的计算，并且每轮只移动较小结点的指针。 123456789101112131415161718192021class Solution: def maxArea(self, height: List[int]) -> int: n = len(height) le 2022-05-01 LeetCode