收藏本站 | RSS订阅大数据运维|云计算|攻防安全|AI|互联网时代守护先锋
  • 焦点图说明文字 111

  • 焦点图说明文字 222

12月26日

[置顶] 五分钟轻松了解Hbase面向列的存储

分类:Hadoop | 超过 5506 人围观 | 已有 0 人发表了看法

五分钟轻松了解Hbase面向列的存储

说明:从严格的列式存储的定义来看,Hbase并不属于列式存储,有人称它为面向列的存储,请各位看官注意这一点。 行式存储 传统的数据库是关系型的,且是按行来存储的。如下图:其中只有张三把一行数据填满了,李四王五赵六的行都没有填满。因为这里的行结构是固定的,每一行都一样,即使你不用,也必须空到那里,而不能没有。来一张形象的图:不管你坐或不坐,...

查看全文 本文标签:Go
03月13日

[置顶] OpenTSDB/HBase的调优过程整理

分类:Hbase | 超过 6042 人围观 | 已有 0 人发表了看法

OpenTSDB/HBase的调优过程整理

背景过年前,寂寞哥给我三台机器,说搞个新的openTSDB集群。机器硬件是8核16G内存、3个146G磁盘做数据盘。我说这太抠了,寂寞哥说之前的TSDB集群运行了两年,4台同样配置的机器,目前hdfs才用了40%,所以前期先用着这三台机器,不够再加。于是我只好默默地搭好了CDH5、openTSDB(2.1版本,请注意此版本号)、bosun,并在2...

查看全文 本文标签:算法
02月02日

[置顶] 亿级 ELK 日志平台构建部署实践

分类:Hadoop | 超过 9727 人围观 | 已有 0 人发表了看法

亿级 ELK 日志平台构建实践

本篇主要讲工作中的真实经历,我们怎么打造亿级日志平台,同时手把手教大家建立起这样一套亿级 ELK 系统。日志平台具体发展历程可以参考上篇 「从 ELK 到 EFK 演进」

废话不多说,老司机们座好了,我们准备发车了~~~

整体架构

亿级 ELK 日志平台构建部署实践

本篇主要讲工作中的真实经历,我们怎么打造亿级日志平台,同时手把手教大家建立起这样一套亿级ELK系统。日志平台具体发展历程可以参考上篇 「从ELK到EFK演进」废话不多说,老司机们座好了,我们准备发车了~~~整体架构整体架构主要分为4个模块,分别提供不同的功能Filebeat:轻量级数据收集引擎。基于原先Logstash-fowar...

查看全文 本文标签:安全
04月07日

[置顶] HBase数据压缩编码探索

分类:Hbase | 超过 5634 人围观 | 已有 0 人发表了看法

HBase数据压缩编码探索

摘要: 本文主要介绍了hbase对数据压缩,编码的支持,以及云hbase在社区基础上对数据压缩率和访问速度上了进行的改进。前言你可曾遇到这种需求,只有几百qps的冷数据缓存,却因为存储水位要浪费几十台服务器?你可曾遇到这种需求,几百G的表,必须纯cache命中,性能才能满足业务需求?你可曾遇到,几十M的小表,由于qps过高,必须不停的split,b...

查看全文 本文标签:安全
01月31日

[置顶] Ambari2.7.3 和HDP3.1.0搭建Hadoop集群

分类:Hadoop | 超过 8737 人围观 | 已有 0 人发表了看法

Ambari2.7.3 和HDP3.1.0搭建Hadoop集群

一、环境及软件准备1、集群规划 hdp01/10.1.1.11hdp02/10.1.1.12hdp03/10.1.1.13hdp04/10.1.1.14hdp05/10.1.1.15ambariserver是否否否否ambariagent是是是是是namenode是是否否否datanode否否是是是resourcemanager是是否否否jou...

查看全文 本文标签:Oracle
04月18日

[置顶] Ambari2.6.2 HDP2.6.5 大数据集群搭建

分类:Hadoop | 超过 8804 人围观 | 已有 0 人发表了看法

Ambari2.6.2 HDP2.6.5 大数据集群搭建

Ambari2.6.2中HDFS-2.7.3YARN-2.7.3HIVE-1.2.1HBASE-1.1.2ZOOKEEPER-3.4.6SPARK-2.3.0注:本文基于root用户操作一、安装环境准备操作系统centos7.5hdc-data1:192.168.163.51hdc-data2:192.168.163.52hdc-da...

查看全文 本文标签:安全
05月23日

[置顶] hadoop-2.7.7 HA完全分布式集群部署详解

分类:Hadoop | 超过 7529 人围观 | 已有 0 人发表了看法

hadoop-2.7.7 HA完全分布式集群部署详解

1.HadoopHA简介及工作原理HadoopNameNode官方开始支持HA集群默认是从2.0开始,之前的版本均是不支持NameNodeHA的高可用的。1.1HadoopHA简介Hadoop-HA集群运作机制介绍HA即高可用(7*24小时不中断服务)实现高可用最关键的是消除单点故障分成各个组件的HA机制——HDFS的HA、YARN的HA...

查看全文 本文标签:Hadoop
05月23日

[置顶] 可怕的黑暗料理之暗黑谷歌搜索神器shodan

分类:Safe | 超过 7731 人围观 | 已有 0 人发表了看法

1.暗黑谷歌的由来有这么一款搜索引擎,它一刻不停的在寻找着所有和互联网关联的PLC、摄像头、红绿灯、打印机、路由器、交换机、服务器、数据库等等各种软硬件服务设施。它就是shodan,那么shodan到底是什么呢?怎么会有如此大的魔力?首先,Shodan是一个搜索引擎,但它与Google这种搜索网址的搜索引擎不同,Shodan不是在网上搜索网址,而是直接进入互联网探索其背后的信息。Shodan真正值得注意的能力就是能找...

查看全文 本文标签:安全
06月29日

Go基础编程实践——字符串

分类:go | 超过 173 人围观 | 已有 0 人发表了看法

修剪空格strings包中的TrimSpace函数用于去掉字符串首尾的空格。packagemainimport("fmt""strings")funcmain(){helloWorld:="\tHello,World"trimHello:=strings.TrimSpace(helloWorld)fmt.Printf("%d%s\n",len...

查看全文 本文标签:
06月29日

DDL、DML、TCL

分类:Oracle | 超过 59 人围观 | 已有 0 人发表了看法

一、DDL1、创建表(CREATE)  (1)数据库对大小写不敏感,只对字符串大小写敏感。  (2)使用create关键字创建表。(--表示注释)。格式:CREATETABLE表名(字段名1字段值1,字段名2字段值2);--分号可以不加,多个字段间用逗号隔开。举例:CREATETABLEemp(nameVARCHAR2(20),bi...

查看全文 本文标签:
06月29日

【Aizu - ALDS1_1_C】Prime Numbers(素数筛法)

分类:算法 | 超过 164 人围观 | 已有 0 人发表了看法

PrimeNumbers Descriptions:Aprimenumberisanaturalnumberwhichhasexactlytwodistinctnaturalnumberdivisors:1anditself.Forexample,thefirstfourprimenumbersare:2,3,5and7.Writeaprogram...

查看全文 本文标签:
06月29日

中国剩余定理(CRT)

分类:算法 | 超过 161 人围观 | 已有 0 人发表了看法

中国剩余定理(CRT)

今有物,不知其数,三三数之,剩二;五五数之,剩三;七七数之,剩二。问物几何      ——《孙子算经》答为“23”。也就是求同余式组x≡2(mod3),x≡3(mod5),x≡2(mod7)的正整数解。不难看出,题中3,5,7分别是互质的。具体解法是这样的1、找出三个数...

查看全文 本文标签:
06月29日

双向链表和环形链表(约瑟夫问题)

分类:算法 | 超过 154 人围观 | 已有 0 人发表了看法

双向链表和环形链表(约瑟夫问题)

双向链表packagelinkedlist;publicclassDooubleLinkedListDemo{publicstaticvoidmain(String[]args){HeroNode2hero1=newHeroNode2(1,"宋江","及时雨");HeroNode...

查看全文 本文标签:
06月29日

扩展欧几里德算法

分类:算法 | 超过 142 人围观 | 已有 0 人发表了看法

扩展欧几里德算法

提到扩展欧几里德算法,先简要介绍下欧几里德算法,又称辗转相除法,用于计算两个整数a和b的最大公约数(GreatestCommonDivisor(GCD))。为证明gcd(a,b)=gcd(b,amodb),只需证明  (1)gcd(a,b)|gcd(b,amodb)    设d=gcd(a,b)则d|a且d|b    amodb=...

查看全文 本文标签:
06月29日

python3连接oracle数据库

分类:Oracle | 超过 139 人围观 | 已有 0 人发表了看法

python3连接oracle数据库

声明:python,cx_Oracle和instantclient的版本应一致我这里使用的版本是python3.664位,cx_Oracle-5.3-11g.win-amd64-py3.6-2和instantclient-basic-windows.x64-18.5.0.0.0dbru1.首先安装cx_Oracle包尽量不要直接使用pip...

查看全文 本文标签:
06月29日

LeetCode.970-强大的整数(Powerful Integers)

分类:算法 | 超过 211 人围观 | 已有 0 人发表了看法

这是悦乐书的第367次更新,第395篇原创01看题和准备今天介绍的是LeetCode算法题中Easy级别的第229题(顺位题号是970)。给定两个正整数x和y,如果对于某些整数i>=0且j>=0等于x^i+y^j,则整数是强大的。返回值小于或等于bound的所有强大整数的列表。你可以按任何顺序返回答案。在你的答案中,每个值最多应出现一次。例如:输入:x=2,y=3,bound=...

查看全文 本文标签:
06月29日

MongoDB 基本概念

分类:Nosql | 超过 198 人围观 | 已有 0 人发表了看法

 MongoDB和关系型数据库的对应关系关系数据库MongoDB数据库  database数据库  database表格 table集合 collection行 row文档  d...

查看全文 本文标签:
06月28日

单向链表的增删查改

分类:算法 | 超过 186 人围观 | 已有 0 人发表了看法

链表(LinkedList)链表是有序的列表链表是以节点的方式来存储,是链式存储每个节点包含data域,next域;指向下一个节点链表的各个节点不一定是连续存储链表分带头节点的链表和没有头节点的链表,根据实际需求来确定单链表的增删改查packagelinkedlist;importjavax.swing.plaf.synth.SynthSeparatorUI;publicclassSingl...

查看全文 本文标签:
06月28日

MongoDB 设置参数

分类:Nosql | 超过 218 人围观 | 已有 0 人发表了看法

MongoDB 设置参数

 服务器配置文件分析bin目录下的mongod.cfg是服务器的配置文件,文件中主要的配置参数:1、数据库文件的存放位置  2、服务器日志文件的存放位置  3、默认的IP地址、端口号    设置密码...

查看全文 本文标签:
06月28日

go包管理

分类:go | 超过 229 人围观 | 已有 0 人发表了看法

go包管理

摘自:http://blueskykong.com/2019/02/18/go-dep-1/https://www.cnblogs.com/apocelipes/p/10295096.html#vcs-semverGOPATH和GOROOTGOROOT的目的就是告知go当前的安装位置,默认go会安装在/usr/local/go下,但也允许自定...

查看全文 本文标签:
微信公众号
  • 关注微信公众号
«   2019年5月   »
12345
6789101112
13141516171819
20212223242526
2728293031
网站分类
文章归档
网站收藏
友情链接
广告赞助
  • 点击查看详情