人工智能从来没有像现在这么重要过!这段时间的疫情猛烈,AI每一次在医疗领域的落地都在帮助白衣天使拯救生命。从疫情预测到检测体温再到药物开发,人工智能争分夺秒,蓄势待发...
用新奇的人工智能算法解决复杂的问题,再加上一份不错的薪水,听起来很有吸引力。很多公司都加入了宣传的行列,现在提供在不到一年的时间里学习数据科学/AI/ML的新兵训练营。在...
无需标签,自我分析数据!Facebook的新AI模型在革计算机视觉的命?刚刚,Facebook宣布了一个在10亿张图片上训练的AI模型——SEER,是自监督(Self-supervised)的缩写。该模型包含10亿个参数...
Transformer架构在自然语言处理和其他领域的机器学习(ML)任务中表现出了巨大的成功,但大多仅限于单个领域或特定的多模态领域的任务。例如,ViT专门用于视觉相关的任务,BERT专注于语...
激活函数(Activation Function)是一种添加到人工神经网络中的函数,旨在帮助网络学习数据中的复杂模式。类似于人类大脑中基于神经元的模型,激活函数最终决定了要发射给下一个神经...
人类有终身不断获取、调整和转移知识的能力,虽然在我们的一生中,我们确实倾向于逐渐忘记之前学习过的知识,但只有在极少的情况下,对新知识的学习会灾难性地影响已经学到的...
本文提出了一个更深更轻量的Transformer,DeLighT,DeLighT更有效地在每个Transformer Block中分配参数:1)、使用DeLighT转换进行深度和轻量级的转换;2)、使用Block-wise Scaling进行跨Block,允许在输...
很多大佬认为,深度学习的本质就是做两件事情:Representation Learning(表示学习)和 Inductive Bias Learning(归纳偏好学习)。在表示学习方面,如果直接对语义进行监督学习,虽然表现很好...
在很多实际应用问题中,我们需要对长序列时间序列进行预测,例如用电使用规划。长序列时间序列预测(LSTF)要求模型具有很高的预测能力,即能够有效地捕捉输出和输入之间精确的...
在现在的标准技术下,例如过参数化、batch-normalization和添加残差连接,“现代”神经网络训练 —— 至少对于图像分类任务和许多其他任务来说 —— 通常是相当稳定的。使用标准的神经...
不同于RNN、CNN等模型,对于Transformer模型来说,位置编码的加入是必不可少的,因为纯粹的Attention模块是无法捕捉输入顺序的,即无法区分不同位置的Token。为此我们大体有两个选择:...
记录一下去年12月份实验室的一个工作:模型的剪枝压缩,虽然模型是基于yolov3的魔改,但是剪枝的对象还是CBL层(即Conv Layer + BN Layer + LeakyReLU Layer),主要分布在Darknet骨干网中,因此...
谷歌研究科学家 David Ha:Transformer 是新的 LSTM。2017 年 6 月谷歌发布论文《Attention is All You Need》时,我们或许都没有意识到它提出的 Transformer 架构将带来多少惊喜。在诞生至今不足四年...
集成(Ensemble,又称模型平均)是一种「古老」而强大的方法。只需要对同一个训练数据集上,几个独立训练的神经网络的输出,简单地求平均,便可以获得比原有模型更高的性能。甚至...
来自谷歌等单位的学者提出一个基于 transformer 的学习框架,用于以音乐为条件的3D舞蹈生成。设计了一个全新的网络框架,并验证得出获得高质量结果的关键。其中组件之一是深度跨模...
在自然语言处理领域中,一个重要的技术基础就是创建合理的Embedding。Embedding是NLP系统的根基,一个好的Embedding需要能够将原始文本中尽可能多的语义片段进行有效编码。这些语义信息...
近日,Reddit 上一个帖子热度爆表。主题内容是关于怎样加速 PyTorch 训练。原文作者是来自苏黎世联邦理工学院的计算机科学硕士生 LORENZ KUHN,文章向我们介绍了在使用 PyTorch 训练深度模...
机器学习内卷了吗?「没有博士学位,在机器学习领域就业会变得越来越难吗?」最近,一个 Reddit 热帖引发了大量讨论。对于单个研究者、从业者来说,毫无疑问,机器学习领域确实「...
高通于美国时间1月13日宣布,将以14亿美元收购由前苹果员工创办的CPU设计初创公司Nuvia,在芯片领域继续和竞争对手苹果与英特尔正面交锋。高通称,Nuvia在CPU设计领域的专业知识,有...
英特尔于昨日举办了直播活动,新上任的 CEO 帕特·基辛格(Pat Gelsinger) 发表了演讲,并展示了采用 7nm 工艺的 Xe-HPC 高性能 GPU,代号 “Ponte Vecchio”。这款产品封装了 47 个芯片,总计超...
在2月举行的SPIE高级光刻会议上,ASML展示了有关其深紫外线(DUV)和极紫外线(EUV)曝光系统的最新信息。笔者最近采访了ASML的Mike Lercel,就这些演示文稿进行了深入讨论。尽管EUV得到...
新兴市场的到来对处理器提出了新的要求,处理器架构也随之发生着变化,主流处理器架构市场的变化也引起了行业的关注。最近,MIPS就成为了处理器架构变革潮流中的话题主角——...
早期-从专用到通用。早期的电子产品并不是可以执行许多不同计算的通用计算机,而是专用于完成一项任务且仅有一项任务的专用设备,例如收音机或电视机。这种专用的设备具有以下...
生成式预训练 Transformer(GPT)是 OpenAI 开发在自然语言处理(NLP)领域的创新之举。这些模型被认为是同类模型中最先进的,甚至在坏人手中也可能是很危险的。它是一种无监督的生成模...
在集成电路的制造过程中,有一个重要的环节——光刻,正因为有了它,我们才能在微小的芯片上实现功能。现代光刻技术可以追溯到190年以前,1822年法国人Nicephore niepce在各种材料光照...
在2020这不平凡的一年里,在经历冠状病毒病大流行、全球经济衰退及贸易局势紧张等史无前例的挑战后,国际半导体设备大厂们似乎都平稳的渡过了。而在接下来的日子里,属于半导体...
数据显示,EUV光刻机收入占ASML收入的百分比从2016年的7%增加到2020年的45%。预计到2023年,ASML公司的EUV光刻机带来的收入将比2020年的收入翻一番。根据我们题为“ Sub 100nm光刻:市场分...
如果有人跟你说:“嗨,我做的芯片实现了100%自主可控!”等等,你先不急着崇拜(相信)他,请看完此文再说...首先,什么叫自主可控,最直观的理解就是当别人“卡脖子”的时候不...
MIPS Technologies 正在转变其商业模式。该公司将不再设计 MIPS 芯片,而将开发基于 RISC-V 架构的处理器。MIPS Technologies 成立于 1984 年,并于一年后推出了首个 MIPS 指令集。该公司以简洁高效...
无需标签,自我分析数据!Facebook的新AI模型在革计算机视觉的命?刚刚,Facebook宣布了一个在10亿张图片上训练的AI模型——SEER,是自监督(Self-supervised)的缩写。该模型包含10亿个参数...
分手从来不是一件突如其来的事情,即使一个人对此毫无防备,但另一个人却已经计划分手几个星期了,会逐渐拉开自己和对象的距离。而在这一过程中的语言变化还涉及了相当多的大...
Transformer架构在自然语言处理和其他领域的机器学习(ML)任务中表现出了巨大的成功,但大多仅限于单个领域或特定的多模态领域的任务。例如,ViT专门用于视觉相关的任务,BERT专注于语...
冷启动问题,大家并不陌生。但是如何解决呢?加特征,加样本,加图谱,加规则?十方在做信息流广告推荐时,主要通过加一些泛化特征解决冷启动问题,但是这样并不一定是最好的...
通过连接由单独的晶圆制造的芯片,形成具有某一功能的SoC技术就是“Chiplet”的概念。那么,为什么“Chiplet”越来越重要呢?其原因在于尖端半导体需要处理的数据量成指数级增长。由...
激活函数(Activation Function)是一种添加到人工神经网络中的函数,旨在帮助网络学习数据中的复杂模式。类似于人类大脑中基于神经元的模型,激活函数最终决定了要发射给下一个神经...
过去十年间,人工智能技术突飞猛进,最疯狂的科幻小说场景现在已经成为我们生活中不可或缺的一部分。十年前,人们在谈论 AI 的理论化和实验,但这些年来,AI 变得更加切实了,也...
若干年来,大脑的工作原理让AI研究者们前赴后继,而横亘在人工智能网络和大脑工作原理之间的,就是反向传播算法。反向传播是深度学习不可或缺的一部分。正是因为反向传播算法,...
人类有终身不断获取、调整和转移知识的能力,虽然在我们的一生中,我们确实倾向于逐渐忘记之前学习过的知识,但只有在极少的情况下,对新知识的学习会灾难性地影响已经学到的...
Google自研芯片已经有几年时间,Jeff Dean也已经是芯片顶会邀请的常客。2020年的Hotchips,Dan Belov(DeepMind)的keynote,阐述了Google对未来AI系统和芯片的看法,和来自Intel的keynote是完全不同的思...
2月8日,美国国防高级研究计划局(DARPA)通过官网宣布,将“远射”(LongShot)项目第一阶段初步设计工作合同授予通用原子、洛克希德·马丁和诺斯罗普·格鲁曼三家公司,用以研制一...
当注意力机制都已经变成很tasteless的手法的时候,使用或者魔改注意力机制一定要专注讲好自己的故事:即『为什么要用Attention,为什么要魔改Attention』。现阶段从传统的CF,FM等方法到...
本文提出了一个更深更轻量的Transformer,DeLighT,DeLighT更有效地在每个Transformer Block中分配参数:1)、使用DeLighT转换进行深度和轻量级的转换;2)、使用Block-wise Scaling进行跨Block,允许在输...
很多大佬认为,深度学习的本质就是做两件事情:Representation Learning(表示学习)和 Inductive Bias Learning(归纳偏好学习)。在表示学习方面,如果直接对语义进行监督学习,虽然表现很好...
首先,先得说明,所谓的AI解方程,解的可不是简单的数值方程!人家正经求解的是面对实际工程问题的偏微分方程,又称PDE。N-S方程已经被大量的应用在天气预测、洋流建模、飞行器设...
坐落在京郊凤凰岭脚下的龙泉寺,称得上全国甚至全球科研实力最强的佛教寺庙。凭借当年学诚法师的一句「佛教是古老的,但佛教徒是现代的」,推动了龙泉寺里的高僧们搞科研、写...
最近,Dropbox 优化了生成和缓存文档预览的方式,并借助机器学习的预测能力,每年为公司节省了 170 万美元的基础架构成本。Dropbox 的一些常用功能都采用了机器学习,例如搜索、文件...
2021年2月9日,高通宣布正式推出第4代5G调制解调器到天线的解决方案骁龙X65。这也是全球首个支持10Gbps 5G速率和首个符合3GPP Release 16规范的调制解调器及射频系统。此外,骁龙X65还支持...
大浪淘沙,如今全球手机芯片市场的供应商几乎只剩6家,分别是苹果、高通、联发科、华为、展锐、三星。大的变化可能大概率不会发生,偶见联发科超越高通登上2020年第三季度智能手...
自从深度学习只能识别支票和信封上的手写字母以来,它已经取得了长足的进步。今天,深度神经网络已经成为许多计算机视觉应用的关键组成部分,从照片和视频编辑器到医疗软件和...
Image by Alina Grubnyak on Unsplash 神经网络是将数据映射到信息的通用逼近器。这是什么意思?神经网络可以解决任何问题吗?神经网络是一种经过验证的解决方案,可用于按场景/逐帧分析,股...
今年开始。图神经网络(Graph Neural Networks)成为研究者讨论的焦点,作为该领域的研究人员,我甚是欣慰。记得大概三年前,图神经网络那时还受到冷落,当我和研究GAN和Transformers的同行...
一、机器学习概览 1. 什么是机器学习? 机器通过分析大量数据来进行学习。比如说,不需要通过编程来识别猫或人脸,它们可以通过使用图片来进行训练,从而归纳和识别特定的目标...
世界上的各色美食中,烘焙食品一直都占据着重要的地位。松软的面包、细腻的蛋糕、酥脆的饼干,都让人无法拒绝。 烘焙不仅是一项烹饪技术,更像是一门艺术。将面粉、鸡蛋、奶油...
您实际上是如何完成一个机器学习项目的?有哪些工具可以帮助完成每一步? Photo by Tolga Ulkan on Unsplash 在这个时代,每个人都在学习机器学习(ML)。似乎每个收集数据的公司都在尝试找出某...
物联网和机器学习是当今商业领域最具颠覆性的两项技术。另外,这两种创新都能给任何公司带来显著的好处。它们一起可以彻底改变企业业务。 物联网设备和机器学习的结合是一个自...
《机械公敌》是菜菜小时候特别喜欢的一部电影,放在现在来看也是毫不过时。小时候看电影只是看个画面,被机器人的强大所震撼,画面精彩就行了,根本不会去想更深层次的问题。...
假设您的任务是训练ML模型,以将数据点分类为一定数量的预定义类。 一旦完成分类模型的构建,下一个任务就是评估其性能。 有许多指标可以帮助您根据用例进行操作。 在此文章中...
深度学习是机器学习算法的子类,其特殊性是有更高的复杂度。因此,深度学习属于机器学习,但它们绝对不是相反的概念。我们将浅层学习称为不是深层的那些机器学习技术。 让我们...