数据挖掘
-
基于Flink+Hive构建流批一体准实时数仓
假设现在公司有一个需求，目前公司的数据量很大，需要每天出一个报表且输出到业务数据库中。首先是刚入库的业务数据，大致分为两种...
2020-09-24 00:23:49 -
微软停止更新.NET Standard，.NET 5取而代之
微软 .NET 官方博客近日发布了一篇谈论 .NET Standard 未来的文章。文章作者是 .NET 项目经理 Immo，他在文章中指出未来 .NET Standard 将会被 .NET...
2020-09-24 00:23:40 -
2021年编程语言趋势预测：Python和JavaScript仍火热，
作为开发人员，在当今这个技术更迭飞快的时代要连年吃香并非易事，很多十年开发经验以上的开发人员不知道经历了多少语言的变化，今...
2020-09-24 00:23:31 -
用图讲解 ElasticSearch 搜索原理，你就明白了！
云里面的每个白色正方形的盒子代表一个节点——Node。在一个或者多个节点直接，多个绿色小方块组合在一起形成一个ElasticSearch的索引。在...
2020-09-24 00:23:18 -
那些害死Haskell的，也会害死Rust
为什么这个时候我会提到 Haskell？好吧，Haskell 和 Rust 有着千丝万缕的联系。可以说，Rust 就是没有高阶类型（HKT）的 Hashkell。Rust 的很多风格...
2020-09-24 00:23:02 -
Uber为什么放弃Postgres选择迁移到MySQL？
Uber 的早期架构包含了一个用 Python 开发的单体后端应用程序，这个应用程序使用 Postgres 作为数据存储。从那个时候开始，Uber 的架构已经发...
2020-09-24 00:22:33 -
Java国家/地区使用限制条款引发争议
由于某些国家/地区的知识产权保护和执法有限，因此 JDK 源代码只能分发到授权的国家/地区列表中。如果要从不在此列表中的国家/地区进行...
2020-09-24 00:22:17 -
Linus 回应言行不当争议：Debian 文化问题
近日，253 封发表于 2014 年的 Debian 项目内部讨论邮件在外网被泄露并引起了诸多关注。据这些邮件内容显示，彼时，Linus Torvalds 在 DebConf 会...
2020-09-24 00:20:50 -
Oracle vs Snowflake
Snowflake 在2018年成为福布斯的云服务100 排行榜，成为全领域发展最快的云解决方案之一。Snowflake是“作为软件即服务（SaaS）提供的数据分析...
2020-09-24 00:20:34 -
Netflix是怎样做系统监控的？
监控系统某个指标超过阈值，触发告警。大半夜里，你被紧急召唤。半睁着眼，你满脸疑惑：“系统真出问题了吗，还是仅仅需要调整下告...
2020-09-11 19:51:30 -
复盘领英Hadoop数据丢失事故，我们得到的血泪教
我们发生了数据丢失的严重事件：在部分机架中，约有 2% 的设备因意外操作失误而经历了镜像重装。而问题的根源在于，我们的 Hadoop 基础...
2020-09-11 19:51:17 -
Kafka面试知识点深度剖析
kafka是一个分布式消息队列。具有高性能、持久化、多副本备份、横向扩展能力。生产者往队列里写消息，消费者从队列里取消息进行业务逻...
2020-09-11 19:51:04 -
一个高效的定时任务系统
应用程序部署在操作系统上，定时任务依赖操作系统的时钟。鉴于大部分的服务器都部署在 Linux 上，我们就只讨论 Linux 的时间系统，Windo...
2020-09-11 19:50:33 -
什么是边缘计算（Edge AI）？
边缘AI发源于边缘计算。边缘计算也称为边缘处理，是一种将服务器放置在本地设备附近网络技术, 这有助于降低系统的处理负载，解决数据...
2020-09-11 19:50:21 -
王者荣耀为什么不使用微服务架构？
微服务为了把业务完美拆解，把原来的同一个进程里的模块拆分成不同的服务，显著增加额外的网络开销。更别说什么Service Mesh，各种Gate...
2020-09-11 19:50:05 -
ClickHouse到底是什么？凭啥这么牛逼！
随着业务的迅猛增长，Yandex.Metrica目前已经成为世界第三大Web流量分析平台，每天处理超过200亿个跟踪事件。能够拥有如此惊人的体量，在它...
2020-09-11 19:49:32 -
CMOS图像传感器科普
1873年，科学家约瑟·美(Joseph May)及伟洛比·史密夫(WilloughbySmith)就发现了硒元素结晶体感光后能产生电流，由此，电子影像发展开始，随着技...
2020-09-11 19:49:19 -
揭秘3D深度传感器
感知距离和深度，对多数人的双眼来说都是轻松而自然的。但是让智能手机或者汽车上的摄像头也探测到环境深度特征，可并不容易。普通...
2020-09-11 19:49:07 -
Linux 内核对 Rust 的支持有新进展，双方进行深入
从去年九月，Linux 内核维护者 Greg 表示愿意接受用 Rust 开发 Linux 驱动，到今年七月，Linus Torvalds 回应称可以默认启用 Rust 支持，Linux 开发者...
2020-09-05 10:36:33 -
为什么我要从 Windows 切换到 Linux?
Windows 是商业软件，这使它具备易用的性质。Linux 是自由软件，这使得它拥有开源的性质。易用软件通常带来的是对用户的友好度，以致于...
2020-09-05 10:36:20 -
CTO 说公司的 ES 性能不够好、集群不够稳定！直到
Elasticsearch 默认被配置为使用单播发现，以防止节点无意中加入集群。组播发现应该永远不被使用在生产环境了，否则你得到的结果就是一个...
2020-09-03 23:19:09 -
十年后将要消失的五种编程语言
随着时间的流逝，程序员们发现了更新、更简单的工作方式，新的编程语言如雨后春笋般出现，但只有少数编程语言能成为社区的新宠。这...
2020-09-03 23:18:56 -
聊聊ZooKeeper的点
ZooKeeper 是一个开源的分布式协调服务。它是一个为分布式应用提供一致性服务的软件，分布式应用程序可以基于 ZooKeeper 实现诸如数据发布...
2020-08-30 00:03:09 -
DRAM竞争的新时代
2011年以后每个季度的DRAM出货数量基本维持在40亿个左右。然而，DRAM的出货金额在2018年第三季度达到顶峰并开始逐步下滑，且在2019年陷入“...
2020-08-30 00:02:53 -
每个大数据架构师都需要的6个基本技能
数据分为结构化和非结构化两种。尽管大数据为各种规模的组织提供了许多洞察和分析的机会，但处理起来非常困难，并且需要一系列的特...
2020-08-26 22:39:39 -
腾讯 PB 级大规模 Elasticsearch 集群运维与调优实践
某中型互联网公司的游戏业务，使用了腾讯云的 Elasticsearch 产品，采用 ELK 架构存储业务日志。因为游戏业务本身的日志数据量非常大(写入...
2020-08-26 10:10:51 -
30 个高可用 Prometheus 架构实践中的踩坑集锦
监控是基础设施，目的是为了解决问题，不要只朝着大而全去做，尤其是不必要的指标采集，浪费人力和存储资源（To B商业产品例外）。需...
2020-08-26 10:10:31 -
今天来黑一黑Intel的傲腾
存储行业的关键在于存储介质，我们有幸经历了磁介质到Flash介质的时代飞跃。Intel是业界屈指可数的几家同时拥有NAND和主控的厂商，也正因...
2020-08-26 10:10:16 -
Java、Go和Rust间的比较
Java和Go都是垃圾收集型语言，然而，Java是提前编译（AOT）为在JVM上运行的字节码。当Java应用程序启动时，会调用Just-In-Time（JIT）编译器来优...
2020-08-20 11:31:02 -
安全运维看过来！某 Nginx 后门分析与重现
前几天，接到一个 nginx 后门样本，本着就分析和复现的思路，完整的将整个过程做一次复现，不料最终还获取到了后门的核心代码部分，遂...
2020-08-20 11:30:38 -
美国如果把根域名服务器封了，中国会从网络上
自从美国宣布“清洁网络”行动后，很多懂点网络的人，第一反应是，美国人会下手根域名服务器吗？这种忧虑可不是一年两年了。2014年...
2020-08-17 23:37:22 -
滴滴ElasticSearch千万级TPS写入性能翻倍技术剖析
滴滴ElasticSearch平台承接了公司内部所有使用ElasticSearch的业务，包括核心搜索、RDS从库、日志检索、安全数据分析、指标数据分析等等。平台...
2020-08-17 21:56:14 -
Linux之父Linus Torvalds加盟微软
几个星期前，微软宣布Linux的SQL Server，这个星期前，它们宣布Windows上的Linux，微软先后宣布VC++对Linux的支持。 随后，它们宣布重磅信息——...
2020-08-17 21:56:03 -
深入了解传感器的工业用途
当今的工业格局具有前所未有的波动性，不确定性，复杂性和模糊性。结果，对于资产和人员而言，以更低的成本和更高的安全性来提高运...
2020-08-12 00:05:18 -
专为流式数据设计的另一种缓存：流式缓存技术
传统的缓存解决方案将每一个缓存项都当作一个不可变的数据块对待，这在重度追加的注入工作负载上会产生很多问题，而这种模式的负载...
2020-08-12 00:05:06
