nuxt-typescript - 直播源相关资源汇总 📺 💯 IPTV、M3U —— 勤洗手、戴口罩，祝愿所有人百毒不侵
Created at: 2018-05-23 02:31:25
Language: JavaScript
License: MIT
ML 论文解释
ML 中关键概念的解释
语言模型
| 纸 | 日期 | 描述 |
|---|---|---|
| 变压器 | 2017年6月 | 编码器解码器模型，为语言翻译任务引入了多头注意力机制。 |
| 埃姆· | 2018年2月 | 深度上下文化的单词表示，可捕获单词用法的复杂方面和跨语言上下文的上下文变化。 |
| 全球通用技术总局 | 2018年6月 | 仅解码器转换器，它经过自回归预训练，然后使用任务感知输入转换针对特定的下游任务进行微调。 |
| 伯特 | 2018年10月 | 引入了编码器变压器的预培训。跨不同任务使用统一架构。 |
| 变压器 XL | 2019年1月 | 通过将重复引入自我注意机制，扩展原始转换器模型以处理较长的文本序列。 |
| XLNet | 2019年6月 | Transformer-XL的扩展，使用结合了AR和AE目标的想法的新方法进行预训练。 |
| 罗伯塔 | 2019年7月 | 建立在BERT的基础上，通过仔细优化超参数和训练数据大小来提高各种语言任务的性能。 |
| 句子伯特 | 2019年8月 | BERT的修改，使用连体和三重网络结构来推导出可以使用余弦相似性进行比较的句子嵌入。 |
| 小伯特 | 2019年9月 | 使用注意力转移和特定任务蒸馏来蒸馏BERT。 |
| 阿尔伯特 | 2019年9月 | 提出某些参数缩减技术，以降低内存消耗并提高BERT的训练速度。 |
| 提炼伯特 | 2019年10月 | 利用梯度累积，使用动态掩蔽并且在没有下一个句子预测目标的情况下，在非常大的批次上蒸馏BERT。 |
| T5 | 2019年10月 | 一个统一的编码器-解码器框架，可将所有基于文本的语言问题转换为文本到文本格式。 |
| 巴特 | 2019年10月 | 预训练的解码器，用于从损坏的原始文本版本重建原始文本。 |
| 快速伯特 | 2020年4月 | 具有自适应推理时间的速度可调编码器，在每个变压器输出端都有分支，以实现早期输出。 |
| 移动伯特 | 2020年4月 | BERT的压缩和更快版本，具有瓶颈结构，优化的注意力机制和知识转移。 |
| 朗弗拉特 | 2020年4月 | 引入线性可缩放的注意力机制，允许处理扩展长度的文本。 |
| 德伯特 | 2020年6月 | 通过解开注意力机制、增强的掩码解码器和虚拟对抗训练来增强 BERT 和 RoBERTa。 |
| 食品 | 2021年7月 | 一个 GPT 语言模型，根据 GitHub 的公开可用代码进行了微调。 |
| 馅饼 | 2021年9月 | 通过对自然语言指令描述的各种 NLP 数据集进行微调而开发的指令调优语言模型。 |
| 囊地鼠 | 2021年12月 | 全面分析各种变压器型号在不同规模（高达 280B）上对 152 项任务的性能。 |
| 指导 GPT | 2022 年 3 月 | 使用监督学习（指令调整）和来自人类反馈的强化学习微调 GPT，以符合用户意图。 |
| 绒鼠 | 2022 年 3 月 | 调查了在给定计算预算（缩放定律）内训练转换器LLM的最佳模型大小和令牌数量。 |
| 手掌 | 2022年4月 | 一个 540-B 参数，密集激活，变压器，使用 Pathways 进行训练，（ML 系统，可实现跨多个 TPU Pod 的高效训练）。 |
| 选择 | 2022 年 5 月 | 一套仅解码器的预训练变压器，参数范围从 125M 到 175B.OPT-175B 可与 GPT-3 相媲美。 |
| 绽放 | 2022年11月 | 由数百名研究人员合作开发的176B参数开放访问解码器专用变压器，旨在使LLM技术民主化。 |
| 卡拉狄加 | 2022年11月 | 接受过科学数据培训的法学硕士，因此专门从事科学知识。 |
| 查特 | 2022 年 11 月 | 一个旨在参与对话的交互式模型，构建在 GPT 3.5 之上。 |
| 骆马 | 2023 年 2 月 | Meta 的基础 LLM 集合，参数范围从 7B 到 65B，仅使用公开可用的数据集进行训练。 |
视觉模型
| 纸 | 日期 | 描述 |
|---|---|---|
| 视觉变压器 | 2020年10月 | 图像被分割成补丁，这些补丁被视为标记，这些补丁的线性嵌入序列被输入到转换器 |
| 代特 | 2020年12月 | 一种无卷积视觉转换器，它使用师生策略和基于注意力的蒸馏令牌。 |
| 斯威变压器 | 2021年3月 | 一种分层视觉转换器，它使用移动窗口来解决使转换器模型适应计算机视觉的挑战。 |
| 贝特 | 2021年6月 | 利用受BERT启发的遮罩图像建模任务，涉及图像补丁和视觉令牌来预训练视觉变形金刚。 |
| 移动视频 | 2021年10月 | 专为移动设备设计的轻量级视觉转换器，有效结合了 CNN 和 ViT 的优势。 |
| 屏蔽自动编码器 | 2021年11月 | 一种编码器-解码器架构，通过屏蔽随机补丁并利用高比例的屏蔽进行自我监督来重建输入图像。 |
卷积神经网络
| 纸 | 日期 | 描述 |
|---|---|---|
| 莱内特 | 1998年<>月 | 引入了卷积。 |
| 亚历克斯·内特 | 2012年<>月 | 将 ReLU 激活和辍学引入 CNN。 2012 年 ILSVRC 获奖者。 |
| VGG | 2014年<>月 | 在每层中使用大量小尺寸的过滤器来学习复杂的特征。在ILSVRC 2014中实现SOTA。 |
| 创始网 | 2014年<>月 | 引入了由多个并行卷积层组成的初始模块，旨在识别多个尺度上的不同特征。 |
| Inception Net v2 / Inception Net v3 | 2015年<>月 | 初始模块的设计优化，提高了性能和准确性。 |
| Res Net | 2015年<>月 | 引入了残差连接，这是绕过网络中一个或多个层的快捷方式。2015年ILSVRC冠军。 |
| Inception Net v4 / Inception ResNet | 2016年<>月 | 结合Inception Net和ResNet的混合方法。 |
| 密集网 | 2016年<>月 | 每一层接收来自所有前几层的输入，在各层之间创建一个密集的连接网络，从而可以学习更多样化的特征。 |
| 西西翁 | 2016年<>月 | 基于 InceptionV3，但在 inception 模块上使用深度可分离卷积。 |
| Res Next | 2016年<>月 | 基于 ResNet 构建，引入了分组卷积的概念，其中卷积层中的过滤器分为多个组。 |
| 移动网络 V1 | 2017年<>月 | 使用深度可分离卷积来减少所需的参数和计算数量。 |
| 移动网络V2 | 2018年<>月 | 基于 MobileNetv1 架构构建，使用倒置残差和线性瓶颈。 |
| 移动网络V3 | 2019 年 <> 月 | 使用 AutoML 为给定问题找到最佳的神经网络体系结构。 |
| 高效网络 | 2019 年 <> 月 | 使用复合缩放方法缩放网络的深度、宽度和分辨率，以相对较低的计算成本实现高精度。 |
| 卷积式搅拌机 | 2022年<>月 | 使用标准卷积处理图像补丁，以混合空间和通道维度。 |
单级物体检测器
| 纸 | 日期 | 描述 |
|---|---|---|
| 固态硬盘 | 2015年<>月 | 在每个特征图的各种比例和纵横比的跨度上离散化边界框输出。 |
| 特征金字塔网络 | 2016年<>月 | 利用深度卷积网络固有的多尺度层次结构来有效地构建特征金字塔。 |
| 局灶性丧失 | 2017年<>月 | 通过降低分配给分类良好的示例的损失的权重来解决密集对象检测器中的类不平衡问题。 |
基于区域的卷积神经网络
| 纸 | 日期 | 描述 |
|---|---|---|
| RCNN | 2013年<>月 | 使用选择性搜索进行区域建议，CNN进行特征提取，使用SVM进行分类，然后进行箱形偏移回归。 |
| 快速RCNN | 2015年<>月 | 通过CNN处理整个图像，使用RoI池从ROI中提取特征向量，然后进行分类和BBox回归。 |
| 更快的RCNN | 2015年<>月 | 区域建议网络 （RPN） 和快速 R-CNN 检测器通过共享卷积特征来协作预测对象区域。 |
| 面具 RCNN | 2017年<>月 | 扩展 Faster R-CNN 以解决实例分割任务，方法是添加一个分支，用于预测与现有分支并行的对象掩码。 |
文档 AI
| 纸 | 日期 | 描述 |
|---|---|---|
| 表网 | 2020年<>月 | 专为表检测和结构识别而设计的端到端深度学习模型。 |
| 甜甜圈 | 2021年<>月 | 无 OCR 编码器-解码器变压器模型。编码器接收图像，解码器接收提示和编码图像以生成所需的文本。 |
| 顺式 | 2022年<>月 | 对文档图像进行预训练（自我监督）的图像转换器 |
| UDoP | 2022年<>月 | 通过视觉-文本-布局转换器集成文本、图像和布局信息，实现统一表示。 |
布局变压器
| 纸 | 日期 | 描述 |
|---|---|---|
| 布局LM | 2019年<>月 | 利用BERT作为主干，添加两个新的输入嵌入：二维位置嵌入和图像嵌入（仅适用于下游任务）。 |
| 朗伯 | 2020 年 <> 月 | 利用 RoBERTa 作为主干，并添加布局嵌入以及相对偏差。 |
| 布局 LM v2 | 2020年<>月 | 使用多模态转换器模型，在预训练阶段集成文本、布局和图像，学习端到端的跨模态交互。 |
| 结构LM | 2021 年 <> 月 | 利用 BERT 作为主干，并将文本、一维和（二维单元级）嵌入馈送到转换器模型。 |
| 前文档 | 2021年<>月 | 仅编码器转换器，带有用于视觉特征提取的 CNN 主干，通过多模态自我注意层将文本、视觉和空间特征相结合。 |
| 利特 | 2022 年 <> 月 | 引入双向注意力互补机制（BiACM），实现文本与布局的跨模态交互。 |
| 布局 LM V3 | 2022年<>月 | 一个统一的文本-图像多模态转换器，用于学习跨模态表示，它施加了文本嵌入和图像嵌入的串联。 |
| 厄尼布局 | 2022年<>月 | 使用布局信息重新组织令牌，结合文本和视觉嵌入，利用具有空间感知解开注意力的多模态转换器。 |
表格深度学习
| 纸 | 日期 | 描述 |
|---|---|---|
| 实体嵌入 | 2016年<>月 | 通过神经网络学习将分类变量映射到连续的向量空间中，揭示内在属性。 |
| 广泛而深入的学习 | 2016年<>月 | 将特定模式的记忆与相似性的概括相结合。 |
| 深度和跨网络 | 2017年<>月 | 将新颖的交叉网络与深度神经网络 （DNN） 相结合，无需手动特征工程即可高效学习特征交互。 |
| 标签变压器 | 2020年<>月 | 采用基于多头注意力的转换器层将分类特征嵌入转换为强大的上下文嵌入。 |
| 表格 ResNet | 2021年<>月 | 具有跳过连接的 MLP。 |
| 特征分词转换器 | 2021年<>月 | 将所有特征（分类和数字）转换为嵌入，并将一堆转换器层应用于嵌入。 |
杂项
| 纸 | 日期 | 描述 |
|---|---|---|
| ColD Fusion | 2022年<>月 | 一种方法通过分布式计算实现多任务学习的好处，而无需数据共享并提高模型性能。 |
文献综述
阅读清单
如果你有兴趣做出贡献，请随时打开 PR。
