收藏本站 | RSS订阅大数据运维|云计算|攻防安全|AI|互联网时代守护先锋
你现在的位置:首页 » 2019年5月22日
12月26日

[置顶] 五分钟轻松了解Hbase面向列的存储

分类:Hadoop | 超过 5506 人围观 | 已有 0 人发表了看法

五分钟轻松了解Hbase面向列的存储

说明:从严格的列式存储的定义来看,Hbase并不属于列式存储,有人称它为面向列的存储,请各位看官注意这一点。 行式存储 传统的数据库是关系型的,且是按行来存储的。如下图:其中只有张三把一行数据填满了,李四王五赵六的行都没有填满。因为这里的行结构是固定的,每一行都一样,即使你不用,也必须空到那里,而不能没有。来一张形象的图:不管你坐或不坐,...

查看全文 本文标签:Go
03月13日

[置顶] OpenTSDB/HBase的调优过程整理

分类:Hbase | 超过 6042 人围观 | 已有 0 人发表了看法

OpenTSDB/HBase的调优过程整理

背景过年前,寂寞哥给我三台机器,说搞个新的openTSDB集群。机器硬件是8核16G内存、3个146G磁盘做数据盘。我说这太抠了,寂寞哥说之前的TSDB集群运行了两年,4台同样配置的机器,目前hdfs才用了40%,所以前期先用着这三台机器,不够再加。于是我只好默默地搭好了CDH5、openTSDB(2.1版本,请注意此版本号)、bosun,并在2...

查看全文 本文标签:算法
02月02日

[置顶] 亿级 ELK 日志平台构建部署实践

分类:Hadoop | 超过 9727 人围观 | 已有 0 人发表了看法

亿级 ELK 日志平台构建实践

本篇主要讲工作中的真实经历,我们怎么打造亿级日志平台,同时手把手教大家建立起这样一套亿级 ELK 系统。日志平台具体发展历程可以参考上篇 「从 ELK 到 EFK 演进」

废话不多说,老司机们座好了,我们准备发车了~~~

整体架构

亿级 ELK 日志平台构建部署实践

本篇主要讲工作中的真实经历,我们怎么打造亿级日志平台,同时手把手教大家建立起这样一套亿级ELK系统。日志平台具体发展历程可以参考上篇 「从ELK到EFK演进」废话不多说,老司机们座好了,我们准备发车了~~~整体架构整体架构主要分为4个模块,分别提供不同的功能Filebeat:轻量级数据收集引擎。基于原先Logstash-fowar...

查看全文 本文标签:安全
04月07日

[置顶] HBase数据压缩编码探索

分类:Hbase | 超过 5634 人围观 | 已有 0 人发表了看法

HBase数据压缩编码探索

摘要: 本文主要介绍了hbase对数据压缩,编码的支持,以及云hbase在社区基础上对数据压缩率和访问速度上了进行的改进。前言你可曾遇到这种需求,只有几百qps的冷数据缓存,却因为存储水位要浪费几十台服务器?你可曾遇到这种需求,几百G的表,必须纯cache命中,性能才能满足业务需求?你可曾遇到,几十M的小表,由于qps过高,必须不停的split,b...

查看全文 本文标签:安全
01月31日

[置顶] Ambari2.7.3 和HDP3.1.0搭建Hadoop集群

分类:Hadoop | 超过 8737 人围观 | 已有 0 人发表了看法

Ambari2.7.3 和HDP3.1.0搭建Hadoop集群

一、环境及软件准备1、集群规划 hdp01/10.1.1.11hdp02/10.1.1.12hdp03/10.1.1.13hdp04/10.1.1.14hdp05/10.1.1.15ambariserver是否否否否ambariagent是是是是是namenode是是否否否datanode否否是是是resourcemanager是是否否否jou...

查看全文 本文标签:Oracle
04月18日

[置顶] Ambari2.6.2 HDP2.6.5 大数据集群搭建

分类:Hadoop | 超过 8804 人围观 | 已有 0 人发表了看法

Ambari2.6.2 HDP2.6.5 大数据集群搭建

Ambari2.6.2中HDFS-2.7.3YARN-2.7.3HIVE-1.2.1HBASE-1.1.2ZOOKEEPER-3.4.6SPARK-2.3.0注:本文基于root用户操作一、安装环境准备操作系统centos7.5hdc-data1:192.168.163.51hdc-data2:192.168.163.52hdc-da...

查看全文 本文标签:安全
05月23日

[置顶] hadoop-2.7.7 HA完全分布式集群部署详解

分类:Hadoop | 超过 7529 人围观 | 已有 0 人发表了看法

hadoop-2.7.7 HA完全分布式集群部署详解

1.HadoopHA简介及工作原理HadoopNameNode官方开始支持HA集群默认是从2.0开始,之前的版本均是不支持NameNodeHA的高可用的。1.1HadoopHA简介Hadoop-HA集群运作机制介绍HA即高可用(7*24小时不中断服务)实现高可用最关键的是消除单点故障分成各个组件的HA机制——HDFS的HA、YARN的HA...

查看全文 本文标签:Hadoop
05月23日

[置顶] 可怕的黑暗料理之暗黑谷歌搜索神器shodan

分类:Safe | 超过 7731 人围观 | 已有 0 人发表了看法

1.暗黑谷歌的由来有这么一款搜索引擎,它一刻不停的在寻找着所有和互联网关联的PLC、摄像头、红绿灯、打印机、路由器、交换机、服务器、数据库等等各种软硬件服务设施。它就是shodan,那么shodan到底是什么呢?怎么会有如此大的魔力?首先,Shodan是一个搜索引擎,但它与Google这种搜索网址的搜索引擎不同,Shodan不是在网上搜索网址,而是直接进入互联网探索其背后的信息。Shodan真正值得注意的能力就是能找...

查看全文 本文标签:安全
05月22日

centos7安装oracle1201c

分类:Oracle | 超过 1348 人围观 | 已有 0 人发表了看法

centos7安装oracle1201c

root身份安装依赖包:yum-yinstallbinutilscompat-libcap1compat-libstdc++-33compat-libstdc++-33*.i686elfutils-libelf-develgccgcc-c++glibc*.i686glibc建立用户和组:groupaddoinsta...

查看全文 本文标签:安全
05月22日

Golang_互斥锁

分类:go | 超过 1037 人围观 | 已有 0 人发表了看法

为什么需要锁?在并发的情况下,多个线程或协程同时去修改一个变量。使用锁能保证在某一时间点内,只有一个协程或线程修改这一变量。锁的概念就是,我正在处理a(锁定),你们等着,等我处理完了(解锁),你们再处理。这样就实现了,同时处理a的协程只有一个,就实现了同步。GO语言标准库文档sync包提供了基本的同步基元,如互斥锁,读写锁。读写锁基于互斥锁实现的。typeMutexstruct{//包含隐藏或非导出...

查看全文 本文标签:Go
05月22日

Oracle通过正则表达式分割字符串 REGEXP_SUBSTR

分类:Oracle | 超过 812 人围观 | 已有 0 人发表了看法

REGEXP_SUBSTR函数格式如下:functionREGEXP_SUBSTR(string,pattern,position,occurrence,modifier)string:需要进行正则处理的字符串pattern:进行匹配的正则表达式position:起始位置,从第几个字符开始正则表达式匹配(默认为1)occurrence:标识第几个匹配组,默认为1modifier:模式(‘i’不区分大小写进...

查看全文 本文标签:Oracle
05月22日

Oracle中函数关键字简介

分类:Oracle | 超过 1420 人围观 | 已有 0 人发表了看法

常用的语法:select--from--where--groupby--having--orderby 1、分组子句groupby+con按什么分组2、having子句 对上面分组的数据进行再次条件过滤3、排序子句orderby orderby +conASC 升序  orderby +condescj降...

查看全文 本文标签:Oracle
05月22日

初识RedisCluster集群

分类:Nosql | 超过 1759 人围观 | 已有 0 人发表了看法

初识RedisCluster集群

为什么需要Redis集群需要提高更大的并发量Redis官方提出拥有10万QPS的请求量如果业务需要Redis拥有100万的QPS可以通过集群来提升并发量。需要存储更大的数据量一般服务器的机器内存为16G-256G如果业务需要500G的数据量...

查看全文 本文标签:Go
05月22日

MongoDB 副本集丢失数据的测试

分类:Nosql | 超过 1433 人围观 | 已有 0 人发表了看法

MongoDB 副本集丢失数据的测试

在MongoDB副本集的测试中发现了一个丢数据的案例。1.概要描述测试场景为:一主一从一验证测试案例  step1:关闭从副本;step2;向主副本中插入那条数据;step3:关闭主副本;step4:开启辅助副本,此副本升级为主副本,这是后会看到新的主副本没有刚才插入的几笔数据。----...

查看全文 本文标签:Mongodb
05月22日

Oracle 中 decode 函数用法(字段A,B, C,A不为空则取A,否则取B,B为空则取C)

分类:Oracle | 超过 1031 人围观 | 已有 0 人发表了看法

–decode(条件,值1,返回值1,值2,返回值2,…值n,返回值n,缺省值)SELECTDECODE(TEMP.SCORE,‘A’,‘90-100’,‘B’,‘80-89’,‘C’,‘70-79’,‘D’,‘60-69’,‘E’,‘0-59’,‘其他’)ASXXXFROM(SELECT‘A’SCOREFROMDUAL)TEMP–结果:’90-100’–decode(条件,比较值,值1...

查看全文 本文标签:Oracle
05月22日

MongoDB使用过程中的报错处理(持续更新)

分类:Nosql | 超过 604 人围观 | 已有 0 人发表了看法

1、连接池问题com.mongodb.DBPortPool$SemaphoresOutConcurrentrequestsfordatabaseconnectionhaveexceededlimit50#解决办法MongoDB默认的连接数一般不会低于50,先通过mongostat查看当前连接数使用情况,再通过db.serverStatus().connections查看数据库的当前和最大连接数,排除服务端问题后...

查看全文 本文标签:Mongodb
05月22日

深度解密Go语言之 map

分类:go | 超过 450 人围观 | 已有 0 人发表了看法

深度解密Go语言之 map

目录什么是map为什么要用mapmap的底层如何实现map内存模型创建map哈希函数key定位过程map的两种get操作如何进行扩容map的遍历map的赋值map的删除map进阶可...

查看全文 本文标签:安全
05月22日

Mac上go的下载安装教程

分类:go | 超过 1650 人围观 | 已有 0 人发表了看法

下载安装官网https://golang.google.cn/dl/下载,安装环境变量配置参考https://www.jianshu.com/p/5c1873eaf3caBash编辑~/.bash_profile文件(vim~/.bash_profile,进入vim的正常模式,在正常模式中按下i,I,a,A等,进入插入模式),添加以下代码exportGOROOT=/usr/local/Cell...

查看全文 本文标签:Go
微信公众号
  • 关注微信公众号
«   2019年5月   »
12345
6789101112
13141516171819
20212223242526
2728293031
网站分类
文章归档
网站收藏
友情链接
广告赞助
  • 点击查看详情