收藏本站 | RSS订阅大数据运维|云计算|攻防安全|AI|互联网时代守护先锋
你现在的位置:首页 » 2015年4月
12月26日

[置顶] 五分钟轻松了解Hbase面向列的存储

分类:Hadoop | 超过 5506 人围观 | 已有 0 人发表了看法

五分钟轻松了解Hbase面向列的存储

说明:从严格的列式存储的定义来看,Hbase并不属于列式存储,有人称它为面向列的存储,请各位看官注意这一点。 行式存储 传统的数据库是关系型的,且是按行来存储的。如下图:其中只有张三把一行数据填满了,李四王五赵六的行都没有填满。因为这里的行结构是固定的,每一行都一样,即使你不用,也必须空到那里,而不能没有。来一张形象的图:不管你坐或不坐,...

查看全文 本文标签:Go
03月13日

[置顶] OpenTSDB/HBase的调优过程整理

分类:Hbase | 超过 6042 人围观 | 已有 0 人发表了看法

OpenTSDB/HBase的调优过程整理

背景过年前,寂寞哥给我三台机器,说搞个新的openTSDB集群。机器硬件是8核16G内存、3个146G磁盘做数据盘。我说这太抠了,寂寞哥说之前的TSDB集群运行了两年,4台同样配置的机器,目前hdfs才用了40%,所以前期先用着这三台机器,不够再加。于是我只好默默地搭好了CDH5、openTSDB(2.1版本,请注意此版本号)、bosun,并在2...

查看全文 本文标签:算法
02月02日

[置顶] 亿级 ELK 日志平台构建部署实践

分类:Hadoop | 超过 9727 人围观 | 已有 0 人发表了看法

亿级 ELK 日志平台构建实践

本篇主要讲工作中的真实经历,我们怎么打造亿级日志平台,同时手把手教大家建立起这样一套亿级 ELK 系统。日志平台具体发展历程可以参考上篇 「从 ELK 到 EFK 演进」

废话不多说,老司机们座好了,我们准备发车了~~~

整体架构

亿级 ELK 日志平台构建部署实践

本篇主要讲工作中的真实经历,我们怎么打造亿级日志平台,同时手把手教大家建立起这样一套亿级ELK系统。日志平台具体发展历程可以参考上篇 「从ELK到EFK演进」废话不多说,老司机们座好了,我们准备发车了~~~整体架构整体架构主要分为4个模块,分别提供不同的功能Filebeat:轻量级数据收集引擎。基于原先Logstash-fowar...

查看全文 本文标签:安全
04月07日

[置顶] HBase数据压缩编码探索

分类:Hbase | 超过 5634 人围观 | 已有 0 人发表了看法

HBase数据压缩编码探索

摘要: 本文主要介绍了hbase对数据压缩,编码的支持,以及云hbase在社区基础上对数据压缩率和访问速度上了进行的改进。前言你可曾遇到这种需求,只有几百qps的冷数据缓存,却因为存储水位要浪费几十台服务器?你可曾遇到这种需求,几百G的表,必须纯cache命中,性能才能满足业务需求?你可曾遇到,几十M的小表,由于qps过高,必须不停的split,b...

查看全文 本文标签:安全
01月31日

[置顶] Ambari2.7.3 和HDP3.1.0搭建Hadoop集群

分类:Hadoop | 超过 8737 人围观 | 已有 0 人发表了看法

Ambari2.7.3 和HDP3.1.0搭建Hadoop集群

一、环境及软件准备1、集群规划 hdp01/10.1.1.11hdp02/10.1.1.12hdp03/10.1.1.13hdp04/10.1.1.14hdp05/10.1.1.15ambariserver是否否否否ambariagent是是是是是namenode是是否否否datanode否否是是是resourcemanager是是否否否jou...

查看全文 本文标签:Oracle
04月18日

[置顶] Ambari2.6.2 HDP2.6.5 大数据集群搭建

分类:Hadoop | 超过 8803 人围观 | 已有 0 人发表了看法

Ambari2.6.2 HDP2.6.5 大数据集群搭建

Ambari2.6.2中HDFS-2.7.3YARN-2.7.3HIVE-1.2.1HBASE-1.1.2ZOOKEEPER-3.4.6SPARK-2.3.0注:本文基于root用户操作一、安装环境准备操作系统centos7.5hdc-data1:192.168.163.51hdc-data2:192.168.163.52hdc-da...

查看全文 本文标签:安全
05月23日

[置顶] hadoop-2.7.7 HA完全分布式集群部署详解

分类:Hadoop | 超过 7529 人围观 | 已有 0 人发表了看法

hadoop-2.7.7 HA完全分布式集群部署详解

1.HadoopHA简介及工作原理HadoopNameNode官方开始支持HA集群默认是从2.0开始,之前的版本均是不支持NameNodeHA的高可用的。1.1HadoopHA简介Hadoop-HA集群运作机制介绍HA即高可用(7*24小时不中断服务)实现高可用最关键的是消除单点故障分成各个组件的HA机制——HDFS的HA、YARN的HA...

查看全文 本文标签:Hadoop
05月23日

[置顶] 可怕的黑暗料理之暗黑谷歌搜索神器shodan

分类:Safe | 超过 7731 人围观 | 已有 0 人发表了看法

1.暗黑谷歌的由来有这么一款搜索引擎,它一刻不停的在寻找着所有和互联网关联的PLC、摄像头、红绿灯、打印机、路由器、交换机、服务器、数据库等等各种软硬件服务设施。它就是shodan,那么shodan到底是什么呢?怎么会有如此大的魔力?首先,Shodan是一个搜索引擎,但它与Google这种搜索网址的搜索引擎不同,Shodan不是在网上搜索网址,而是直接进入互联网探索其背后的信息。Shodan真正值得注意的能力就是能找...

查看全文 本文标签:安全
04月13日

MongoDB学习笔记(六) MongoDB索引用法和效率分析

分类:Nosql | 超过 271 人围观 | 已有 0 人发表了看法

MongoDB学习笔记(六) MongoDB索引用法和效率分析

  MongoDB中的索引其实类似于关系型数据库,都是为了提高查询和排序的效率的,并且实现原理也基本一致。由于集合中的键(字段)可以是普通数据类型,也可以是子文档。MongoDB可以在各种类型的键上创建索引。下面分别讲解各种类型的索引的创建,查询,以及索引的维护等。一、创建索引   1.默认索引  MongoDB有个默认的“_id”的键,他相当于...

查看全文 本文标签:Mongodb
04月13日

MongoDB学习笔记(五) MongoDB文件存取操作

分类:Nosql | 超过 352 人围观 | 已有 0 人发表了看法

  由于MongoDB的文档结构为BJSON格式(BJSON全称:BinaryJSON),而BJSON格式本身就支持保存二进制格式的数据,因此可以把文件的二进制格式的数据直接保存到MongoDB的文档结构中。但是由于一个BJSON的最大长度不能超过4M,所以限制了单个文档中能存入的最大文件不能超过4M。为了提供对大容量文件存取的支持,samus驱动提供了“GridFS”方式来支持,“GridFS”方式文件操作需要引入新的程序集“Mon...

查看全文 本文标签:Mongodb
04月13日

MongoDB学习笔记(三) 在MVC模式下通过Jqgrid表格操作MongoDB数据

分类:Nosql | 超过 1176 人围观 | 已有 0 人发表了看法

MongoDB学习笔记(三) 在MVC模式下通过Jqgrid表格操作MongoDB数据

看到下图,是通过Jqgrid实现表格数据的基本增删查改的操作。表格数据增删改是一般企业应用系统开发的常见功能,不过不同的是这个表格数据来源是非关系型的数据库MongoDB。nosql虽然概念新颖,但是MongoDB基本应用实现起来还是比较轻松的,甚至代码比基本的ADO.net访问关系数据源还要简洁。由于其本身的“非关系”的数据存储方式,使得对象关系映射这个环...

查看全文 本文标签:Nosql
04月13日

MongoDB学习笔记(二) 通过samus驱动实现基本数据操作

分类:Nosql | 超过 1570 人围观 | 已有 0 人发表了看法

 传统的关系数据库一般由数据库(database)、表(table)、记录(record)三个层次概念组成,MongoDB是由(database)、集合(collection)、文档对象(document)三个层次组成。MongoDB对于关系型数据库里的表,但是集合中没有列、行和关系概念,这体现了模式自由的特点。一、关于MongoDB的驱动  MongoDB支持多种语言的驱动,在此我们只介绍C#的驱动。仅C#驱动都有很多种,每种驱动的形...

查看全文 本文标签:Mongodb
04月13日

MongoDB学习笔记(一) MongoDB介绍及安装

分类:Nosql | 超过 710 人围观 | 已有 0 人发表了看法

MongoDB学习笔记(一) MongoDB介绍及安装

一、前言  最近开始学习非关系型数据库MongoDB,却在博客园上找不到比较系统的教程,很多资料都要去查阅英文网站,效率比较低下。本人不才,借着自学的机会把心得体会都记录下来,方便感兴趣的童鞋分享讨论。部分资源出自其他博客,旨将零散知识点集中到一起,如果有侵犯您的权利,请联系li-pan2@163.com。大部分内容均系原创,欢迎大家转载分享,但转载的同时别...

查看全文 本文标签:Nosql
04月13日

Oracle 进程 说明

分类:DBA | 超过 1645 人围观 | 已有 0 人发表了看法

Oracle 进程 说明

    Oracle中的各个进程要完成某个特定的任务或一组任务,每个进程都会分配内部内存(PGA内存)来完成它的任务。Oracle实例主要有3类进程:       (1)服务器进程(serverprocess):这些进程根据客户的请求来完成...

查看全文 本文标签:Oracle
04月13日

MySQL 启动故障处理

分类:Mysql | 超过 1156 人围观 | 已有 0 人发表了看法

    昨天启动MySQL时,就不太正常,要多重启几次,不过能启动,也就没放在心上,今天测试测试又出现了问题,MySQL启动正常,但是无法关闭: [root@rac2mysql]#servicemysqlstopMySQLserverPIDfilecouldnotbefound!       ...

查看全文 本文标签:Go
04月13日

RMAN-01009: syntax error: found "dot" 解决方法

分类:Oracle | 超过 230 人围观 | 已有 0 人发表了看法

今天调试一个RMAN的备份脚本,这个脚本以前也用过很多次,并没有什么问题,今天执行时,就是过不去。操作系统:Redhat5.8数据库:11.2.0.3错误如下:RMAN-00571:===========================================================RMAN-00569:===============ERRORMESSAGESTACKFOLLOWS=============...

查看全文 本文标签:Oracle
微信公众号
  • 关注微信公众号
«   2015年4月   »
12345
6789101112
13141516171819
20212223242526
27282930
网站分类
文章归档
网站收藏
友情链接
广告赞助
  • 点击查看详情