算法之路 基础知识 机器学习 深度学习 模型评估 数学基础 搜索推荐 特征工程 用户特征 基础画像 实时特征（客户端提供） 准实时特征（流式处理） 离线特征 物料特征 场景特征 召回 索引召回 向量召回 双塔模型 单兴趣模型 多兴趣模型 粗排 双塔模型 三塔模型 ...

摘要​ 本文提出了一种神经网络关系抽取方法，用于处理远程监督产生的噪音训练数据。先前的研究主要通过设计具有包内注意力的神经网络，专注于句子级的降噪。本文同时考虑了包内注意力与包间注意力机制，以便分别处理语句级别和包级别的噪音。首先，通过使用包内注意力对句子嵌入进行加权来计算相关示例包的 ...

摘要（Distant supervision）远程监督的问题在于引入了大量噪声标签，即句子并不能表达标注关系。本文提出ARNOR，一种先进的基于注意力正则化的远程监督关系分类降噪框架。ARNOR假设一个可信关系标注是可被神经网络注意力模型解释的。本文首先引入注意力正则化强迫关注那些可解释关系标签的模 ...

摘要问题：生成的训练数据通常包含大量噪音，可能导致在常规的监督学习中表现不佳。 文本提出一种先进的Cross-relation Cross-bag Selective Attention ($C^2SA$）使得远程监督关系抽取器能够实现噪声鲁棒训练。具体而言，文章采用句子级选择注意力机制减少噪声以及 ...

摘要考虑到Knowledge Base（KB）包含其他side information（边界信息），例如关系别名（founded/co-founded -> founderOfCompany）。RESIDE模型的提出为了充分利用来自知识库的边界信息提高关系抽取效果。模型使用实体类型与关系别名信 ...

论文摘要现阶段关系抽取方法采用多示例学习与提供的语义与语境信息有效的确定关系类别。这样模型会识别偏向于高精确率的关系，忽略那些关系长尾句子中（in the long tail），为了解决这个问题，利用预训练语言模型Open AI Generative Pre-trained Transformer（ ...

最大似然概率以测量校园里学生身高分布为例，分为男生和女生，分别抽取100个人。假设他们的身高是服从高斯分布的，但是这个分布的均值$\mu$和方差$\sigma^2$是未知的，我们要估计这两个参数，记作$\theta=[\mu,\sigma]^T$。 我们独立地按照概率密度$p(x|\theta)$抽 ...

GBDTGBDT是集成学习Boosting的一种。Gradient Boosting的主要的思想是，每一次建立单个学习器时，是在之前建立的模型的损失函数的梯度下降方向。损失函数越大，说明模型越容易出错，如果我们的模型能够让损失函数持续下降，则说明我们的模型在不停的改进，而最好的方式就是让损失函数在其 ...

集成学习算法严格意义上来说，集成学习算法不算是一种机器学习算法，而更像是一种优化手段或者策略，它通常是结合多个简单的弱机器学习算法，去做更可靠的决策。 集成方法是由多个较弱的模型集成模型组，一般的弱分类器可以是决策树，SVM，KNN等构成。其中的模型可以单独进行训练，并且它们的预测能以某种方式结合起 ...

KNN算法原理KNN算法又称为k最近邻分类算法。所谓的k最近邻，就是指最接近的k个邻居（数据），即每个样本都可以由它的k个邻居来表达。 KNN算法的核心思想是，在一个含未知样本的空间，可以根据离这个样本最邻近的k个样本的数据类型来确定样本的数据类型。 该算法涉及3个主要因素：分类决策规则、距离与相似 ...