雨果书斋

拙笔记录生活琐事 微语道出肺腑真言

大数据平台技术架构方案

大数据平台是为了计算,现今社会所产生的越来越大的数据量,以存储、运算、展现作为目的的平台。大数据技术是指从各种各样类型的数据中,快速获得有价值信息的能力。适用于大数据的技术,包括大规模并行处理(MPP)数据库,...

技术 0 评 158

大数据平台架构组件选择与运用场景

一、大数据平台 大数据在工作中的应用有三种: 与决策相关,数据科学的领域,了解统计学、算法,这是数据科学家的范畴; 与工程相关,如何实施、如何实现、解决什么业务问题,这是数据工程师的工作。 数据工程师在业务和...

技术 0 评 117

大数据组件图谱—比较齐全

文件系统 数据存储 内存技术 数据搜集 消息系统 数据处理 查询引擎 分析和报告工具 调度与管理服务 机器学习 开发平台 文件系统 HDFS Hadoop Distributed File System,简称HDFS,是一个分布式文件系统。HDFS是一个高...

技术 1 评 127

数据库和数据库实例的概念

很多人都把这两个概念弄混淆,认为MySQL是数据库,也是数据库实例。这样的理解在应用到Oracle和SQL Server的时候可能是正确的,但是再MySQL的体系结构中确是不适用的。 那么从概念上理解,该如何区分数据库和数据库实例呢?...

技术 0 评 68

什么是数据仓库?

为什么需要数据仓库? 传统的数据库中,存放的数据都是一些定制性数据较多,表是二维的,一张表可以有很多字段,字段一字排开,对应的数据就一行一行写入表中,特点就是利用二维表表现多维关系。 但这种表现关系的上限和下...

技术 0 评 124

广告

集群的基本概念

集群的定义 集群是一组协同工作的服务集合,一般由两个或者两个以上的服务器组成.在集群中,同样的服务可以由多个服务实体提供.因而当一个节点出现故障时,集群中的另外一个节点就可以自动接管故障节点的资源. 集群需要具备...

技术 0 评 190

“行式存储”和“列式存储”的区别

当今的数据处理大致可分为两大类 联机事务处理 OLTP (on-line transaction processing) 联机分析处理 OLAP (On-Line Analytical Processing) OLTP 是传统关系型数据库的主要应用 用来执行一些基本的、日常的事务...

技术 0 评 98

大数据分析之OLTP与OLAP的区别

数据从何而来? 企业日常的各个环节都会产生数据,一个企业从小到大的过程中,最初建设IT系统的时刻是一个分隔点。 在此之前,数据零散分布在邮箱、发票、单据、APP等各种地方。 零散的数据分布 企业规模达到一定程度时则...

技术 0 评 118

华为技术云名词解释

HDFSHadoop分布式文件系统(Hadoop Distributed File System),提供高吞吐量的数据访问,适合大规模数据集方面的应用。 YarnHadoop 2.0中的资源管理系统,它是一个通用的资源模块,可以为各类应用程序进行资源管理和调度...

技术 0 评 102

SaaS,PaaS,IaaS都是什么鬼?

IaaS Infrastructure as a Service,基础设施即服务。 假如你现在要做一个网站,你肯定要有一台服务器或者虚拟机,要么自己搭建,要么买服务器运营商的。说白了,IaaS就是解决企业硬件问题的,包括服务器、存储设备、网络设...

技术 0 评 78