机器学习
-
2021年进入AI和ML领域之前需要了解的10件事
用新奇的人工智能算法解决复杂的问题，再加上一份不错的薪水，听起来很有吸引力。很多公司都加入了宣传的行列，现在提供在不到一年...
2021-05-01 21:44:35 -
Facebook新AI模型SEER实现自监督学习，LeCun大赞最有
无需标签，自我分析数据！Facebook的新AI模型在革计算机视觉的命？刚刚，Facebook宣布了一个在10亿张图片上训练的AI模型——SEER，是自监督（...
2021-04-16 22:02:58 -
来自Facebook AI的多任务多模态的统一Transformer：向
Transformer架构在自然语言处理和其他领域的机器学习(ML)任务中表现出了巨大的成功，但大多仅限于单个领域或特定的多模态领域的任务。例...
2021-04-16 22:02:49 -
一文详解深度学习最常用的 10 个激活函数
激活函数（Activation Function）是一种添加到人工神经网络中的函数，旨在帮助网络学习数据中的复杂模式。类似于人类大脑中基于神经元的模...
2021-04-16 22:02:39 -
增量学习(Incremental Learning)小综述
人类有终身不断获取、调整和转移知识的能力，虽然在我们的一生中，我们确实倾向于逐渐忘记之前学习过的知识，但只有在极少的情况下...
2021-04-16 22:02:29 -
更深、更轻量级的Transformer！Facebook提出：DeLigh
本文提出了一个更深更轻量的Transformer，DeLighT，DeLighT更有效地在每个Transformer Block中分配参数：1)、使用DeLighT转换进行深度和轻量级的转换...
2021-04-16 22:02:13 -
盘点近期大热对比学习模型：MoCo/SimCLR/BYOL/SimSi
很多大佬认为，深度学习的本质就是做两件事情：Representation Learning（表示学习）和 Inductive Bias Learning（归纳偏好学习）。在表示学习方面，...
2021-04-16 22:01:59 -
AAAI21最佳论文Informer：效果远超Transformer的长序列
在很多实际应用问题中，我们需要对长序列时间序列进行预测，例如用电使用规划。长序列时间序列预测（LSTF）要求模型具有很高的预测能...
2021-04-16 22:01:35 -
深度学习中的3个秘密：集成、知识蒸馏和蒸馏
在现在的标准技术下，例如过参数化、batch-normalization和添加残差连接，“现代”神经网络训练 —— 至少对于图像分类任务和许多其他任务...
2021-04-16 22:01:21 -
让研究人员绞尽脑汁的Transformer位置编码
不同于RNN、CNN等模型，对于Transformer模型来说，位置编码的加入是必不可少的，因为纯粹的Attention模块是无法捕捉输入顺序的，即无法区分不...
2021-04-16 22:01:11 -
【模型压缩】深度卷积网络的剪枝和加速
记录一下去年12月份实验室的一个工作：模型的剪枝压缩，虽然模型是基于yolov3的魔改，但是剪枝的对象还是CBL层（即Conv Layer + BN Layer + Le...
2021-04-16 22:00:52 -
堪比当年的LSTM，Transformer引燃机器学习圈：它是
谷歌研究科学家 David Ha：Transformer 是新的 LSTM。2017 年 6 月谷歌发布论文《Attention is All You Need》时，我们或许都没有意识到它提出的 Transfo...
2021-04-16 22:00:41 -
深度学习三大谜团：集成、知识蒸馏和自蒸馏
集成（Ensemble，又称模型平均）是一种「古老」而强大的方法。只需要对同一个训练数据集上，几个独立训练的神经网络的输出，简单地求平...
2021-04-16 22:00:30 -
Transformer又又来了，生成配有音乐的丝滑3D舞蹈，
来自谷歌等单位的学者提出一个基于 transformer 的学习框架，用于以音乐为条件的3D舞蹈生成。设计了一个全新的网络框架，并验证得出获得...
2021-04-16 22:00:00 -
Transformer为何能闯入CV界秒杀CNN？
在自然语言处理领域中，一个重要的技术基础就是创建合理的Embedding。Embedding是NLP系统的根基，一个好的Embedding需要能够将原始文本中尽可...
2021-04-16 21:59:31
