炼数成金 商业智能
订阅

商业智能

万万没想到,BERT学会写SQL了
万万没想到,BERT学会写SQL了
文本-SQL转化任务,是将用户的自然语言转化为SQL继而完成数据库查询的工作。例如根据下表,用户输入一个问题,模型将其转换为 SQL,查询数据库得到结果:"-4.52, -9.55"。Query:新浪和人人网的周涨跌幅分别是多 ...
分类:   
全球第一架反潜无人机试飞,带声呐浮标和雷达,让潜艇无处匿踪!
全球第一架反潜无人机试飞,带声呐浮标和雷达,让潜艇无处匿踪!
根据简氏防务周刊报道,美国通用原子航空系统公司(GA-ASI)近日展示了MQ-9A“死神”和MQ-9B“海上守卫者”无人机系统的一种新的反潜战(ASW)能力,无人机可以挂载声呐浮标投放器和磁探测仪等反潜载荷进行海上巡逻,还 ...
分类:   
Transformer又又来了,生成配有音乐的丝滑3D舞蹈,开放最大规模数据集AIST++
Transformer又又来了,生成配有音乐的丝滑3D舞蹈,开放最大规模数据集AIST++
来自谷歌等单位的学者提出一个基于 transformer 的学习框架,用于以音乐为条件的3D舞蹈生成。设计了一个全新的网络框架,并验证得出获得高质量结果的关键。其中组件之一是深度跨模态 transformer,可以很好地学习音 ...
分类:   
SOTA集结,2020登顶关系抽取的3篇佳作
SOTA集结,2020登顶关系抽取的3篇佳作
2020实体关系联合抽取一片红海,各种SOTA方法你方唱罢我方登场,在一些数据集上也是不断刷出新高度,为信息抽取领域带来了新思路,推动了信息抽取领域的发展。本文梳理了实体关系联合抽取取得SOTA的三种方法,以做总 ...
分类:   
删数据,还要删AI模型:美国科技公司遭遇最严厉隐私泄露处罚
删数据,还要删AI模型:美国科技公司遭遇最严厉隐私泄露处罚
近日,美国联邦贸易委员会(Federal Trade Commission ,FTC)公布了一项特殊的处罚决定:勒令一家名为「Everalbum」的公司删除其从客户手中收集的照片,以及利用这些数据训练出的所有算法。Everalbum 成立于 2013 ...
分类:   
异构计算时代正式起飞
异构计算时代正式起飞
一个新的时代似乎已经到来。英特尔,这位CPU领域的绝对王者开始频频与“软件为先”和“XPU”等词进行捆绑。同样值得关注的是英特尔的老对手英伟达以及AMD,在过去的一年中,英伟达宣布收购Arm,AMD则提出收购赛灵思 ...
分类:   
Transformer为何能闯入CV界秒杀CNN?
Transformer为何能闯入CV界秒杀CNN?
在自然语言处理领域中,一个重要的技术基础就是创建合理的Embedding。Embedding是NLP系统的根基,一个好的Embedding需要能够将原始文本中尽可能多的语义片段进行有效编码。这些语义信息其实并不只是代表一个词的定义 ...
分类:   
加快PyTorch训练速度!掌握这17种方法,让你省时省力!
加快PyTorch训练速度!掌握这17种方法,让你省时省力!
近日,Reddit 上一个帖子热度爆表。主题内容是关于怎样加速 PyTorch 训练。原文作者是来自苏黎世联邦理工学院的计算机科学硕士生 LORENZ KUHN,文章向我们介绍了在使用 PyTorch 训练深度模型时最省力、最有效的 17 ...
分类:   
多核之后,CPU 的发展方向是什么?
多核之后,CPU 的发展方向是什么?
2020年底给某大厂做过一个报告,包含两部分内容:一部分是关于计算机体系结构,尤其是CPU结构的演变;另一部分关于处理器芯片设计方法。这里把第一部分内容贴出来回答一下这个知乎问题。首先回顾一下计算机体系结构 ...
分类:   
ASIC芯片除了用来挖矿,还能用来做什么?
ASIC芯片除了用来挖矿,还能用来做什么?
ASIC (Application Specific Integrated Circuit )芯片是专用集成电路,是针对用户对特定电子系统的需求,从根级设计、制造的专有应用程序芯片,其计算能力和计算效率可根据算法需要进行定制,是固定算法最优化设计 ...
分类:   
​AMD如何应对半路杀出的程咬金?
​AMD如何应对半路杀出的程咬金?
本周,业界关注的焦点非CES 2021莫属了,英特尔、AMD和英伟达这三家,凭借其市场影响力,以及同时具有半导体行业和消费类产品核心元器件供应商的“双重”身份,是历年CES展最受关注的厂商,今年自然也不例外。这其中 ...
分类:   
万物皆可Graph | 当推荐系统遇上图神经网络
万物皆可Graph | 当推荐系统遇上图神经网络
图神经网络可以说是现在AI领域的超级宠儿。针对推荐系统的稀疏性问题,图方法还真的很适合,主要原因有下:推荐系统中存在很多的图结构,如二部图,序列图,社交关系图,知识语义图等,GNN比传统的随机游走等能有更 ...
分类:   
1.6万亿参数,秒杀GPT-3!谷歌推出超级语言模型Switch Transformer,比T5快4倍
1.6万亿参数,秒杀GPT-3!谷歌推出超级语言模型Switch Transformer,比T5快4倍
对于机器学习来说,参数可以算得上算法的关键:他们是历史的输入数据,经过模型训练得来的结果,是模型的一部分。一般来说,在NLP领域,参数数量和复杂程度之间具有正相关性。迄今为止,OpenAI 的 GPT-3是有史以来最 ...
分类:   
Transformer家族简史(PART II)
Transformer家族简史(PART II)
Transformer 不同 head 所关注的序列长度 span 是不一样的,一些 head(如 Head A)重点关注附近较短的信息,而另外一些 head(如 Head B)则关注在范围更大的全文。如果能在训练中利用这一特性,就可以显著减少计算 ...
分类:   
Transformer家族简史(PART I)
Transformer家族简史(PART I)
经过之前一段时间的 NLP Big Bang,现在相对比较平静了,Transformer 派已经占据了绝对的主导地位,在各类应用中表现出色。看标题大家也可以猜个差不多,整理了一系列自《Attention is all you need》之后的对 Vanil ...
分类:   
步履不停:TensorFlow 2.4 新功能一览!
步履不停:TensorFlow 2.4 新功能一览!
TensorFlow 2.4 正式发布!随着对分布式训练和混合精度提供更多支持,加入新的 Numpy 前端及用于监控和诊断性能瓶颈的工具,这个版本的亮点在于推出新功能,以及对性能和扩展方面的增强。
分类:   
英特尔x86大突破!一口气发布四款CPU:10nm、大小核、睿频突破5GHz ...
英特尔x86大突破!一口气发布四款CPU:10nm、大小核、睿频突破5GHz ...
继先前推出代号为TigerLake的第11代Core笔电处理器,这次Intel在CES 2021活动中发布了增强版的Tiger Lake-H。这次发布的为H35系列为4核8线程架构,TDP为35W,目标为厚度仅有1.6公分的超可携式(Ultraportable)电竞 ...
分类:   
人工智能十年回顾:CNN、AlphaGo、GAN……它们曾这样改变世界
人工智能十年回顾:CNN、AlphaGo、GAN……它们曾这样改变世界
过去十年间,人工智能技术突飞猛进,最疯狂的科幻小说场景现在已经成为我们生活中不可或缺的一部分。十年前,人们在谈论 AI 的理论化和实验,但这些年来,AI 变得更加切实了,也变成了主流。无论是国际标准课程、平 ...
分类:   
全球半导体设备“大乱斗”
全球半导体设备“大乱斗”
本周,半导体设备市场又传来一则消息,应用材料在收购美国投资公司KKR集团旗下半导体设备供货商Kokusai Electric(原本隶属日立国际电气,在 2018 年 6 月分拆出来,之后被KKR集团纳入麾下)谈判当中,提高了价码, ...
分类:   
一文搞懂 PyTorch 内部机制
一文搞懂 PyTorch 内部机制
Tensor 是PyTorch的核心数据结构。你可能对tensor的概念已经相当了解了:它是包含若干个标量(标量可以是各种数据类型如浮点型、整形等)的n-维的数据结构。我们可以认为tensor包含了数据和元数据(metadata),元数据用 ...
分类:   
处理器游侠、前英特尔、AMD、特斯拉首席芯片架构师吉姆·凯勒加盟AI初创公司,研究类 ...
处理器游侠、前英特尔、AMD、特斯拉首席芯片架构师吉姆·凯勒加盟AI初创公司,研究类 ...
2020年6月11日,英特尔突然宣布负责硅工程部门(Silicon Engineering Group)的高级副总裁吉姆·凯勒(Jim Keller)因为个人原因辞职,辞呈立即生效。吉姆·凯勒将继续出任公司顾问六个月时间,以协助工作交接。此间很多 ...
分类:   
浅谈多核心CPU和SoC芯片及其工作原理
浅谈多核心CPU和SoC芯片及其工作原理
要说明什么是多核心CPU或SoC芯片,首先要从CPU核心(Core)说起。我们知道,CPU是中央处理器(Central Processing Unit)的英文简称,它具有控制和信息处理的能力,是电脑和智能设备的控制中枢。如果把传统CPU芯片中的封 ...
分类:   
完全图解GPT-2:看完这篇就够了(二)
完全图解GPT-2:看完这篇就够了(二)
在本节中,我们会详细介绍该过程是如何实现的。请注意,我们将会以试图弄清单个单词被如何处理的角度来看待这个问题。这也是我们会展示许多单个向量的原因。这实际上是通过将巨型矩阵相乘来实现的。但是我想直观地看 ...
分类:   
完全图解GPT-2:看完这篇就够了(一)
完全图解GPT-2:看完这篇就够了(一)
GPT-2 有着超大的规模,它是一个在海量数据集上训练的基于 transformer 的巨大模型。GPT-2 成功的背后究竟隐藏着什么秘密?本文将带你一起探索取得优异性能的 GPT-2 模型架构,重点阐释其中关键的自注意力(self-att ...
分类:   
Jürgen Schmidhuber回顾30年前旧作,称其启发了现今流行的很多概念
Jürgen Schmidhuber回顾30年前旧作,称其启发了现今流行的很多概念
现今流行的生成对抗网络(GAN)只是对抗好奇心的一种特例?在近日 Jürgen Schmidhuber 发表的博客文章中,他重申了这样一种说法。Jürgen 表示,他在 1990 年的一篇文章中详细描述了基于控制器和世界模型这两种循环 ...
分类:   
个人深度学习工作站配置指南
个人深度学习工作站配置指南
服务器的配置以个人使用性价比为主,同时考虑到以后的扩展性像是主板和机箱这些配件配置设置一些冗余。首先是CPU平台的选择,虽然AMD这两年实在是香,但是作为生产力工具考虑到软件库的兼容性问题,还是决定选择inte ...
分类:   
AI 发展方向大争论:混合AI ?强化学习 ?将实际知识和常识整合到AI中 ?
AI 发展方向大争论:混合AI ?强化学习 ?将实际知识和常识整合到AI中 ?
2010年代对于AI界来说意义重大,这归功于深度学习领域取得了惊人的进步,AI的这个分支因收集、存储和处理大量数据的能力不断增强而变得切实可行。如今,深度学习不仅是一个科学研究课题,还是许多日常应用系统的一个 ...
分类:   
Pytorch中的四种经典Loss源码解析
Pytorch中的四种经典Loss源码解析
了解过Pytorch的应该知道其历史包袱比较重,它吸收了Caffe2的底层代码,然后自己借用这部分底层代码来写各种OP的逻辑,最后再暴露出一层Python接口供用户使用。因此第一次接触Pytorch源代码可能有点不太熟悉,基本上 ...
分类:   
从GPT-3到DETR,一起来盘点2020有哪些突破?
从GPT-3到DETR,一起来盘点2020有哪些突破?
2020年是巨大飞跃的一年。从OpenAI的GPT-3,再到AlphaFold,都是令人振奋的成就。与此同时,数据科学在机器学习、自然语言处理(NLP)、计算机视觉等领域中蓬勃发展。今年2月微软才发布全球最大的深度学习模型,拥有 ...
分类:   
RealFormer:把残差转移到Attention矩阵上面去
RealFormer:把残差转移到Attention矩阵上面去
大家知道 Layer Normalization 是 Transformer 模型的重要组成之一,它的用法有 PostLN 和 PreLN 两种,论文 On Layer Normalization in the Transformer Architecture 中有对两者比较详细的分析。简单来说,就是 P ...
分类:   

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

热门文章

     

    GMT+8, 2021-5-18 13:36 , Processed in 0.288066 second(s), 19 queries .