收藏本站 | RSS订阅大数据运维|云计算|攻防安全|AI|互联网时代守护先锋
  • 焦点图说明文字 111

  • 焦点图说明文字 222

12月26日

[置顶] 五分钟轻松了解Hbase面向列的存储

分类:Hadoop | 超过 5506 人围观 | 已有 0 人发表了看法

五分钟轻松了解Hbase面向列的存储

说明:从严格的列式存储的定义来看,Hbase并不属于列式存储,有人称它为面向列的存储,请各位看官注意这一点。 行式存储 传统的数据库是关系型的,且是按行来存储的。如下图:其中只有张三把一行数据填满了,李四王五赵六的行都没有填满。因为这里的行结构是固定的,每一行都一样,即使你不用,也必须空到那里,而不能没有。来一张形象的图:不管你坐或不坐,...

查看全文 本文标签:Go
03月13日

[置顶] OpenTSDB/HBase的调优过程整理

分类:Hbase | 超过 6042 人围观 | 已有 0 人发表了看法

OpenTSDB/HBase的调优过程整理

背景过年前,寂寞哥给我三台机器,说搞个新的openTSDB集群。机器硬件是8核16G内存、3个146G磁盘做数据盘。我说这太抠了,寂寞哥说之前的TSDB集群运行了两年,4台同样配置的机器,目前hdfs才用了40%,所以前期先用着这三台机器,不够再加。于是我只好默默地搭好了CDH5、openTSDB(2.1版本,请注意此版本号)、bosun,并在2...

查看全文 本文标签:算法
02月02日

[置顶] 亿级 ELK 日志平台构建部署实践

分类:Hadoop | 超过 9727 人围观 | 已有 0 人发表了看法

亿级 ELK 日志平台构建实践

本篇主要讲工作中的真实经历,我们怎么打造亿级日志平台,同时手把手教大家建立起这样一套亿级 ELK 系统。日志平台具体发展历程可以参考上篇 「从 ELK 到 EFK 演进」

废话不多说,老司机们座好了,我们准备发车了~~~

整体架构

亿级 ELK 日志平台构建部署实践

本篇主要讲工作中的真实经历,我们怎么打造亿级日志平台,同时手把手教大家建立起这样一套亿级ELK系统。日志平台具体发展历程可以参考上篇 「从ELK到EFK演进」废话不多说,老司机们座好了,我们准备发车了~~~整体架构整体架构主要分为4个模块,分别提供不同的功能Filebeat:轻量级数据收集引擎。基于原先Logstash-fowar...

查看全文 本文标签:安全
04月07日

[置顶] HBase数据压缩编码探索

分类:Hbase | 超过 5634 人围观 | 已有 0 人发表了看法

HBase数据压缩编码探索

摘要: 本文主要介绍了hbase对数据压缩,编码的支持,以及云hbase在社区基础上对数据压缩率和访问速度上了进行的改进。前言你可曾遇到这种需求,只有几百qps的冷数据缓存,却因为存储水位要浪费几十台服务器?你可曾遇到这种需求,几百G的表,必须纯cache命中,性能才能满足业务需求?你可曾遇到,几十M的小表,由于qps过高,必须不停的split,b...

查看全文 本文标签:安全
01月31日

[置顶] Ambari2.7.3 和HDP3.1.0搭建Hadoop集群

分类:Hadoop | 超过 8737 人围观 | 已有 0 人发表了看法

Ambari2.7.3 和HDP3.1.0搭建Hadoop集群

一、环境及软件准备1、集群规划 hdp01/10.1.1.11hdp02/10.1.1.12hdp03/10.1.1.13hdp04/10.1.1.14hdp05/10.1.1.15ambariserver是否否否否ambariagent是是是是是namenode是是否否否datanode否否是是是resourcemanager是是否否否jou...

查看全文 本文标签:Oracle
04月18日

[置顶] Ambari2.6.2 HDP2.6.5 大数据集群搭建

分类:Hadoop | 超过 8803 人围观 | 已有 0 人发表了看法

Ambari2.6.2 HDP2.6.5 大数据集群搭建

Ambari2.6.2中HDFS-2.7.3YARN-2.7.3HIVE-1.2.1HBASE-1.1.2ZOOKEEPER-3.4.6SPARK-2.3.0注:本文基于root用户操作一、安装环境准备操作系统centos7.5hdc-data1:192.168.163.51hdc-data2:192.168.163.52hdc-da...

查看全文 本文标签:安全
05月23日

[置顶] hadoop-2.7.7 HA完全分布式集群部署详解

分类:Hadoop | 超过 7529 人围观 | 已有 0 人发表了看法

hadoop-2.7.7 HA完全分布式集群部署详解

1.HadoopHA简介及工作原理HadoopNameNode官方开始支持HA集群默认是从2.0开始,之前的版本均是不支持NameNodeHA的高可用的。1.1HadoopHA简介Hadoop-HA集群运作机制介绍HA即高可用(7*24小时不中断服务)实现高可用最关键的是消除单点故障分成各个组件的HA机制——HDFS的HA、YARN的HA...

查看全文 本文标签:Hadoop
05月23日

[置顶] 可怕的黑暗料理之暗黑谷歌搜索神器shodan

分类:Safe | 超过 7731 人围观 | 已有 0 人发表了看法

1.暗黑谷歌的由来有这么一款搜索引擎,它一刻不停的在寻找着所有和互联网关联的PLC、摄像头、红绿灯、打印机、路由器、交换机、服务器、数据库等等各种软硬件服务设施。它就是shodan,那么shodan到底是什么呢?怎么会有如此大的魔力?首先,Shodan是一个搜索引擎,但它与Google这种搜索网址的搜索引擎不同,Shodan不是在网上搜索网址,而是直接进入互联网探索其背后的信息。Shodan真正值得注意的能力就是能找...

查看全文 本文标签:安全
06月24日

LeetCode.944-删除列保证排序(Delete Columns to Make Sorted)

分类:算法 | 超过 1209 人围观 | 已有 0 人发表了看法

这是悦乐书的第362次更新,第389篇原创01看题和准备今天介绍的是LeetCode算法题中Easy级别的第224题(顺位题号是944)。我们给出了一个N个小写字母串的数组A,它们的长度都相同。现在,我们可以选择任何一组删除索引,对于每个字符串,我们删除这些索引中的所有字符。例如,如果我们有一个数组A=[“abcdef”,“uvwxyz”]和删除索引{0,2,3},那么删除后的数组变成了[“bef”,“vyz”]...

查看全文 本文标签:算法
06月24日

Redis 键相关的命令

分类:Nosql | 超过 137 人围观 | 已有 0 人发表了看法

Redis 键相关的命令

1、setkeyvalue  //设置、修改值2、getkey //如果key不存在,返回nil,表示空。  3、typekey  //返回key对应的value的数据类型  4、renamekeynewKey ...

查看全文 本文标签:
06月24日

Redis 配置

分类:Nosql | 超过 158 人围观 | 已有 0 人发表了看法

redis.windows.conf中的部分参数说明redis.windows.conf配置的是Redis服务器。bind127.0.0.1   //设置Redis服务器的ip地址port6379    //指定端口号timeout300   //当客户端闲置多长时间后关闭连接,如果指定为...

查看全文 本文标签:
06月23日

循环有序数组,查找值

分类:算法 | 超过 534 人围观 | 已有 0 人发表了看法

一、从一个循环有序数组总查找给定值  1、思路:先通过中间值和最后一个或者第一个元素比较,找出局部有序范围,再通过二分查找局部有序段  privatestaticintsortArrFindOne(intarr[],intlow,inthigh,inttarget){intmid=(high-low)/2+low;if(arr[mid]==...

查看全文 本文标签:
06月23日

数据库基本概念(二)

分类:Oracle | 超过 1154 人围观 | 已有 0 人发表了看法

一、数据库基本概念1、关系数据库(1)关系操作  关系操作所操作的对象和结果都是集合,成为一次一集合的方式。而非关系数据模型的数据库操作方式为一次一记录的方式。  关系数据模型中最重要的是关系查询操作,主要分为:选择(select)、投影(project)、连接(jion)、除(divide)、并(union)、差(except)、交(intersection)和笛卡尔积等。其中,选择、投影、并、差、笛卡尔积是5种基本的...

查看全文 本文标签:Oracle
06月23日

【Aizu - ALDS1_7_A】Rooted Trees(树的表达)

分类:算法 | 超过 502 人围观 | 已有 0 人发表了看法

RootedTreesDescriptions:Agraph G =(V, E)isadatastructurewhere V isafinitesetofverticesand E isabinaryrelationon V representedbyasetofedges.Fig.1i...

查看全文 本文标签:Go
06月23日

算法刷题笔记-stack-四则运算

分类:算法 | 超过 1686 人围观 | 已有 0 人发表了看法

题目描述:给定一个含有数字和运算符的字符串,为表达式添加括号,改变其运算优先级以求出不同的结果。你需要给出所有可能的组合的结果。有效的运算符号包含+,-以及*。示例1:输入:"2-1-1"输出:[0,2]解释:((2-1)-1)=0(2-(1-1))=2来源:力扣(LeetCode)链接:https://leetcode-cn.com/problems/different-ways-to-a...

查看全文 本文标签:算法
06月23日

LeetCode刷题笔记-递归-反转二叉树

分类:算法 | 超过 1351 人围观 | 已有 0 人发表了看法

LeetCode刷题笔记-递归-反转二叉树

题目描述:翻转一棵二叉树。解题思路:  1、对于二叉树,立马递归  2、先处理根节点,不需改动  3、处根的左子树和右子树需要交换位置  4、递归处理左子树和右子树。步骤见1-3步Java代码实现:1/**2*Definitionforabinarytreenode.3*publi...

查看全文 本文标签:
06月23日

LeetCode.942-DI字符串匹配(DI String Match)

分类:算法 | 超过 1393 人围观 | 已有 0 人发表了看法

这是悦乐书的第361次更新,第388篇原创01看题和准备今天介绍的是LeetCode算法题中Easy级别的第223题(顺位题号是942)。给定仅包含I(增加)或D(减少)的字符串S,令N=S.length。返回元素值范围为[0,1,…,N]的整型数组A,使得对于所有i=0,…,N-1:如果S[i]=='I',那么A[i]<A[i+1]。如果S[i]=='D',那么A[i]>...

查看全文 本文标签:算法
06月23日

【OpenJ_Bailian - 2795】金银岛(贪心)

分类:算法 | 超过 773 人围观 | 已有 0 人发表了看法

金银岛Descriptions:某天KID利用飞行器飞到了一个金银岛上,上面有许多珍贵的金属,KID虽然更喜欢各种宝石的艺术品,可是也不拒绝这样珍贵的金属。但是他只带着一个口袋,口袋至多只能装重量为w的物品。岛上金属有s个种类,每种金属重量不同,分别为n 1,n 2,...,n s,同时每个种类的金属总的价值也不同,分别为v 1,v 2,...,v s。K...

查看全文 本文标签:Go
06月23日

【OpenJ_Bailian - 4005】拼点游戏(贪心)

分类:算法 | 超过 1232 人围观 | 已有 0 人发表了看法

拼点游戏Descriptions:C和S两位同学一起玩拼点游戏。有一堆白色卡牌和一堆蓝色卡牌,每张卡牌上写了一个整数点数。C随机抽取n张白色卡牌,S随机抽取n张蓝色卡牌,他们进行n回合拼点,每次两人各出一张卡牌,点数大者获得三颗巧克力,小者获得一颗巧克力,如果点数相同,每人各得二颗巧克力,使用过的卡牌不得重复使用。已知C和S取到的卡牌点数,请编程计算S最多和最少能得到多少颗巧克力。Input输入包含多组测试数据。&nbs...

查看全文 本文标签:Go
06月23日

Redis 基础命令

分类:Nosql | 超过 151 人围观 | 已有 0 人发表了看法

Redis 基础命令

 Redis目录分析 Windows版的配置文件是redis.windows.conf,LInux版的配置文件redis.conf。   服务器端命令安装服务: redis-server--service-installD:\Redis-x64-3.2.10...

查看全文 本文标签:
微信公众号
  • 关注微信公众号
«   2019年5月   »
12345
6789101112
13141516171819
20212223242526
2728293031
网站分类
文章归档
网站收藏
友情链接
广告赞助
  • 点击查看详情