机器学习
-
2021年进入AI和ML领域之前需要了解的10件事
用新奇的人工智能算法解决复杂的问题，再加上一份不错的薪水，听起来很有吸引力。很多公司都加入了宣传的行列，现在提供在不到一年...
2021-05-01 21:44:35 -
Facebook新AI模型SEER实现自监督学习，LeCun大赞最有
无需标签，自我分析数据！Facebook的新AI模型在革计算机视觉的命？刚刚，Facebook宣布了一个在10亿张图片上训练的AI模型——SEER，是自监督（...
2021-04-16 22:02:58 -
来自Facebook AI的多任务多模态的统一Transformer：向
Transformer架构在自然语言处理和其他领域的机器学习(ML)任务中表现出了巨大的成功，但大多仅限于单个领域或特定的多模态领域的任务。例...
2021-04-16 22:02:49 -
一文详解深度学习最常用的 10 个激活函数
激活函数（Activation Function）是一种添加到人工神经网络中的函数，旨在帮助网络学习数据中的复杂模式。类似于人类大脑中基于神经元的模...
2021-04-16 22:02:39 -
增量学习(Incremental Learning)小综述
人类有终身不断获取、调整和转移知识的能力，虽然在我们的一生中，我们确实倾向于逐渐忘记之前学习过的知识，但只有在极少的情况下...
2021-04-16 22:02:29 -
更深、更轻量级的Transformer！Facebook提出：DeLigh
本文提出了一个更深更轻量的Transformer，DeLighT，DeLighT更有效地在每个Transformer Block中分配参数：1)、使用DeLighT转换进行深度和轻量级的转换...
2021-04-16 22:02:13 -
盘点近期大热对比学习模型：MoCo/SimCLR/BYOL/SimSi
很多大佬认为，深度学习的本质就是做两件事情：Representation Learning（表示学习）和 Inductive Bias Learning（归纳偏好学习）。在表示学习方面，...
2021-04-16 22:01:59 -
AAAI21最佳论文Informer：效果远超Transformer的长序列
在很多实际应用问题中，我们需要对长序列时间序列进行预测，例如用电使用规划。长序列时间序列预测（LSTF）要求模型具有很高的预测能...
2021-04-16 22:01:35 -
深度学习中的3个秘密：集成、知识蒸馏和蒸馏
在现在的标准技术下，例如过参数化、batch-normalization和添加残差连接，“现代”神经网络训练 —— 至少对于图像分类任务和许多其他任务...
2021-04-16 22:01:21 -
让研究人员绞尽脑汁的Transformer位置编码
不同于RNN、CNN等模型，对于Transformer模型来说，位置编码的加入是必不可少的，因为纯粹的Attention模块是无法捕捉输入顺序的，即无法区分不...
2021-04-16 22:01:11 -
【模型压缩】深度卷积网络的剪枝和加速
记录一下去年12月份实验室的一个工作：模型的剪枝压缩，虽然模型是基于yolov3的魔改，但是剪枝的对象还是CBL层（即Conv Layer + BN Layer + Le...
2021-04-16 22:00:52 -
堪比当年的LSTM，Transformer引燃机器学习圈：它是
谷歌研究科学家 David Ha：Transformer 是新的 LSTM。2017 年 6 月谷歌发布论文《Attention is All You Need》时，我们或许都没有意识到它提出的 Transfo...
2021-04-16 22:00:41 -
深度学习三大谜团：集成、知识蒸馏和自蒸馏
集成（Ensemble，又称模型平均）是一种「古老」而强大的方法。只需要对同一个训练数据集上，几个独立训练的神经网络的输出，简单地求平...
2021-04-16 22:00:30 -
Transformer又又来了，生成配有音乐的丝滑3D舞蹈，
来自谷歌等单位的学者提出一个基于 transformer 的学习框架，用于以音乐为条件的3D舞蹈生成。设计了一个全新的网络框架，并验证得出获得...
2021-04-16 22:00:00 -
Transformer为何能闯入CV界秒杀CNN？
在自然语言处理领域中，一个重要的技术基础就是创建合理的Embedding。Embedding是NLP系统的根基，一个好的Embedding需要能够将原始文本中尽可...
2021-04-16 21:59:31 -
加快PyTorch训练速度！掌握这17种方法，让你省时
近日，Reddit 上一个帖子热度爆表。主题内容是关于怎样加速 PyTorch 训练。原文作者是来自苏黎世联邦理工学院的计算机科学硕士生 LORENZ K...
2021-04-05 23:50:19 -
论机器学习领域的内卷：不读PhD，我配不配找工
机器学习内卷了吗？「没有博士学位，在机器学习领域就业会变得越来越难吗？」最近，一个 Reddit 热帖引发了大量讨论。对于单个研究者、...
2021-04-03 20:18:38 -
服务器CPU将进入SoC时代！初创公司NUVIA揭秘
高通于美国时间1月13日宣布，将以14亿美元收购由前苹果员工创办的CPU设计初创公司Nuvia，在芯片领域继续和竞争对手苹果与英特尔正面交锋...
2021-04-03 20:18:29 -
世界最大、最复杂的GPU！这颗集成1000亿个晶体管
英特尔于昨日举办了直播活动，新上任的 CEO 帕特·基辛格（Pat Gelsinger） 发表了演讲，并展示了采用 7nm 工艺的 Xe-HPC 高性能 GPU，代号 “P...
2021-04-03 20:18:15 -
ASML分享光刻机最新路线图，1.5nm指日可待
在2月举行的SPIE高级光刻会议上，ASML展示了有关其深紫外线（DUV）和极紫外线（EUV）曝光系统的最新信息。笔者最近采访了ASML的Mike Lercel，...
2021-04-03 20:17:56 -
处理器架构消亡史
新兴市场的到来对处理器提出了新的要求，处理器架构也随之发生着变化，主流处理器架构市场的变化也引起了行业的关注。最近，MIPS就成...
2021-04-03 20:17:44 -
通用处理器走向衰亡？
早期-从专用到通用。早期的电子产品并不是可以执行许多不同计算的通用计算机，而是专用于完成一项任务且仅有一项任务的专用设备，例...
2021-04-03 20:17:29 -
GPT-2大战GPT-3：OpenAI内部的一场终极对决
生成式预训练 Transformer（GPT）是 OpenAI 开发在自然语言处理（NLP）领域的创新之举。这些模型被认为是同类模型中最先进的，甚至在坏人手中...
2021-04-03 20:17:06 -
光刻机技术到底是谁发明的？
在集成电路的制造过程中，有一个重要的环节——光刻，正因为有了它，我们才能在微小的芯片上实现功能。现代光刻技术可以追溯到190年...
2021-03-10 22:43:29 -
“狂欢”的半导体设备
在2020这不平凡的一年里，在经历冠状病毒病大流行、全球经济衰退及贸易局势紧张等史无前例的挑战后，国际半导体设备大厂们似乎都平稳...
2021-03-10 22:43:20 -
ASML真的那么强大吗？
数据显示，EUV光刻机收入占ASML收入的百分比从2016年的7％增加到2020年的45％。预计到2023年，ASML公司的EUV光刻机带来的收入将比2020年的收入...
2021-03-10 22:43:11 -
芯片自主可控深度解析
如果有人跟你说：“嗨，我做的芯片实现了100%自主可控！”等等，你先不急着崇拜（相信）他，请看完此文再说...首先，什么叫自主可控，...
2021-03-10 22:42:55 -
MIPS 投敌，转向 RISC-V
MIPS Technologies 正在转变其商业模式。该公司将不再设计 MIPS 芯片，而将开发基于 RISC-V 架构的处理器。MIPS Technologies 成立于 1984 年，并于一年...
2021-03-10 22:40:44 -
Facebook新AI模型SEER实现自监督学习，LeCun大赞最有
无需标签，自我分析数据！Facebook的新AI模型在革计算机视觉的命？刚刚，Facebook宣布了一个在10亿张图片上训练的AI模型——SEER，是自监督（...
2021-03-10 22:40:34 -
这些语言习惯，可能是分手征兆？
分手从来不是一件突如其来的事情，即使一个人对此毫无防备，但另一个人却已经计划分手几个星期了，会逐渐拉开自己和对象的距离。而...
2021-03-10 22:36:29 -
来自Facebook AI的多任务多模态的统一Transformer：向
Transformer架构在自然语言处理和其他领域的机器学习(ML)任务中表现出了巨大的成功，但大多仅限于单个领域或特定的多模态领域的任务。例...
2021-03-10 22:36:19 -
当推荐遇到冷启动
冷启动问题，大家并不陌生。但是如何解决呢？加特征，加样本，加图谱，加规则？十方在做信息流广告推荐时，主要通过加一些泛化特征...
2021-03-10 22:36:08 -
巨头竞逐Chiplet
通过连接由单独的晶圆制造的芯片，形成具有某一功能的SoC技术就是“Chiplet”的概念。那么，为什么“Chiplet”越来越重要呢？其原因在于尖...
2021-03-10 22:35:54 -
一文详解深度学习最常用的 10 个激活函数
激活函数（Activation Function）是一种添加到人工神经网络中的函数，旨在帮助网络学习数据中的复杂模式。类似于人类大脑中基于神经元的模...
2021-03-10 22:35:32 -
人工智能十年回顾：CNN、AlphaGo、GAN……它们曾这
过去十年间，人工智能技术突飞猛进，最疯狂的科幻小说场景现在已经成为我们生活中不可或缺的一部分。十年前，人们在谈论 AI 的理论化...
2021-03-10 22:02:45
