收藏本站 | RSS订阅大数据运维|云计算|攻防安全|AI|互联网时代守护先锋
  • 焦点图说明文字 111

  • 焦点图说明文字 222

12月26日

[置顶] 五分钟轻松了解Hbase面向列的存储

分类:Hadoop | 超过 5506 人围观 | 已有 0 人发表了看法

五分钟轻松了解Hbase面向列的存储

说明:从严格的列式存储的定义来看,Hbase并不属于列式存储,有人称它为面向列的存储,请各位看官注意这一点。 行式存储 传统的数据库是关系型的,且是按行来存储的。如下图:其中只有张三把一行数据填满了,李四王五赵六的行都没有填满。因为这里的行结构是固定的,每一行都一样,即使你不用,也必须空到那里,而不能没有。来一张形象的图:不管你坐或不坐,...

查看全文 本文标签:Go
03月13日

[置顶] OpenTSDB/HBase的调优过程整理

分类:Hbase | 超过 6042 人围观 | 已有 0 人发表了看法

OpenTSDB/HBase的调优过程整理

背景过年前,寂寞哥给我三台机器,说搞个新的openTSDB集群。机器硬件是8核16G内存、3个146G磁盘做数据盘。我说这太抠了,寂寞哥说之前的TSDB集群运行了两年,4台同样配置的机器,目前hdfs才用了40%,所以前期先用着这三台机器,不够再加。于是我只好默默地搭好了CDH5、openTSDB(2.1版本,请注意此版本号)、bosun,并在2...

查看全文 本文标签:算法
02月02日

[置顶] 亿级 ELK 日志平台构建部署实践

分类:Hadoop | 超过 9727 人围观 | 已有 0 人发表了看法

亿级 ELK 日志平台构建实践

本篇主要讲工作中的真实经历,我们怎么打造亿级日志平台,同时手把手教大家建立起这样一套亿级 ELK 系统。日志平台具体发展历程可以参考上篇 「从 ELK 到 EFK 演进」

废话不多说,老司机们座好了,我们准备发车了~~~

整体架构

亿级 ELK 日志平台构建部署实践

本篇主要讲工作中的真实经历,我们怎么打造亿级日志平台,同时手把手教大家建立起这样一套亿级ELK系统。日志平台具体发展历程可以参考上篇 「从ELK到EFK演进」废话不多说,老司机们座好了,我们准备发车了~~~整体架构整体架构主要分为4个模块,分别提供不同的功能Filebeat:轻量级数据收集引擎。基于原先Logstash-fowar...

查看全文 本文标签:安全
04月07日

[置顶] HBase数据压缩编码探索

分类:Hbase | 超过 5634 人围观 | 已有 0 人发表了看法

HBase数据压缩编码探索

摘要: 本文主要介绍了hbase对数据压缩,编码的支持,以及云hbase在社区基础上对数据压缩率和访问速度上了进行的改进。前言你可曾遇到这种需求,只有几百qps的冷数据缓存,却因为存储水位要浪费几十台服务器?你可曾遇到这种需求,几百G的表,必须纯cache命中,性能才能满足业务需求?你可曾遇到,几十M的小表,由于qps过高,必须不停的split,b...

查看全文 本文标签:安全
01月31日

[置顶] Ambari2.7.3 和HDP3.1.0搭建Hadoop集群

分类:Hadoop | 超过 8737 人围观 | 已有 0 人发表了看法

Ambari2.7.3 和HDP3.1.0搭建Hadoop集群

一、环境及软件准备1、集群规划 hdp01/10.1.1.11hdp02/10.1.1.12hdp03/10.1.1.13hdp04/10.1.1.14hdp05/10.1.1.15ambariserver是否否否否ambariagent是是是是是namenode是是否否否datanode否否是是是resourcemanager是是否否否jou...

查看全文 本文标签:Oracle
04月18日

[置顶] Ambari2.6.2 HDP2.6.5 大数据集群搭建

分类:Hadoop | 超过 8804 人围观 | 已有 0 人发表了看法

Ambari2.6.2 HDP2.6.5 大数据集群搭建

Ambari2.6.2中HDFS-2.7.3YARN-2.7.3HIVE-1.2.1HBASE-1.1.2ZOOKEEPER-3.4.6SPARK-2.3.0注:本文基于root用户操作一、安装环境准备操作系统centos7.5hdc-data1:192.168.163.51hdc-data2:192.168.163.52hdc-da...

查看全文 本文标签:安全
05月23日

[置顶] hadoop-2.7.7 HA完全分布式集群部署详解

分类:Hadoop | 超过 7529 人围观 | 已有 0 人发表了看法

hadoop-2.7.7 HA完全分布式集群部署详解

1.HadoopHA简介及工作原理HadoopNameNode官方开始支持HA集群默认是从2.0开始,之前的版本均是不支持NameNodeHA的高可用的。1.1HadoopHA简介Hadoop-HA集群运作机制介绍HA即高可用(7*24小时不中断服务)实现高可用最关键的是消除单点故障分成各个组件的HA机制——HDFS的HA、YARN的HA...

查看全文 本文标签:Hadoop
05月23日

[置顶] 可怕的黑暗料理之暗黑谷歌搜索神器shodan

分类:Safe | 超过 7731 人围观 | 已有 0 人发表了看法

1.暗黑谷歌的由来有这么一款搜索引擎,它一刻不停的在寻找着所有和互联网关联的PLC、摄像头、红绿灯、打印机、路由器、交换机、服务器、数据库等等各种软硬件服务设施。它就是shodan,那么shodan到底是什么呢?怎么会有如此大的魔力?首先,Shodan是一个搜索引擎,但它与Google这种搜索网址的搜索引擎不同,Shodan不是在网上搜索网址,而是直接进入互联网探索其背后的信息。Shodan真正值得注意的能力就是能找...

查看全文 本文标签:安全
06月25日

Oracle 函数使用记录

分类:Oracle | 超过 73 人围观 | 已有 0 人发表了看法

持续更新……参考:https://www.cnblogs.com/bbliutao/archive/2017/11/08/7804263.html   1.ADD_MONTHS语法: ADD_MONTHS(date,months)描述:添加月份,给日期date增加months个月,months可以是负数。demo:selectto_char(ADD_MONTHS(sysdate,-row...

查看全文 本文标签:
06月25日

二叉树的先中后遍历

分类:算法 | 超过 172 人围观 | 已有 0 人发表了看法

二叉树的先中后遍历

二叉树示意图 节点的数据结构:publicstaticclassNode{publicintvalue;publicNodeleft;publicNoderight;publicNode(intdata){...

查看全文 本文标签:
06月25日

LeetCode.949-给定数字的最大时间(Largest Time for Given Digits)

分类:算法 | 超过 174 人围观 | 已有 0 人发表了看法

这是悦乐书的第363次更新,第391篇原创01看题和准备今天介绍的是LeetCode算法题中Easy级别的第225题(顺位题号是949)。给定4个整数组成的数组,返回最大的24小时时间。最小的24小时时间是00:00,最大的是23:59。从00:00开始,如果从午夜开始经过更多时间,则时间会更长。将答案作为长度为5的字符串返回。如果无法生成有效时间,则返回空字符串。例如:输入:[1,2,3,4]输出:“23:...

查看全文 本文标签:
06月24日

数据库基本概念(三)

分类:Oracle | 超过 55 人围观 | 已有 0 人发表了看法

数据库基本概念(三)

一、数据库基本概念1、关系数据库规范化理论  为使数据库设计的合理可靠、简单实用,长期以来,形成了关系数据库设计理论,即规范化理论。(1)函数依赖定义:在表1.1中,描述学生信息时,包括学生的学号、姓名、性别、专业、总学分和备注属性,由于一个学号对应一名学生,确定了学生学号,一名学生的姓名、性别、专业等属性也就确定下来,这说明学生姓名、...

查看全文 本文标签:
06月24日

Redis sorted set(有序集合)相关命令

分类:Nosql | 超过 168 人围观 | 已有 0 人发表了看法

Redis有序集合是string类型元素的集合,元素不允许重复。有序集合中的每个元素都会关联一个数值型的分数。redis正是通过分数来为集合中的成员进行从小到大的排序。有序集合的成员是唯一的(不可重复),但分数(score)可以重复。  1、zadd key score1 value1 score2 value2..... ...

查看全文 本文标签:
06月24日

Redis set(集合)相关命令

分类:Nosql | 超过 175 人围观 | 已有 0 人发表了看法

Redis的Set是String类型的无序集合,元素不允许重复。Redis中集合是通过哈希表实现的,所以添加,删除,查找的复杂度都是O(1)。集合中最大的元素数为232 -1(40多亿)。  1、sadd key value1 value2......  //向集合中添加一个或多个元素。sadd即seta...

查看全文 本文标签:
06月24日

Redis list(列表)相关命令

分类:Nosql | 超过 151 人围观 | 已有 0 人发表了看法

Redis列表是简单的字符串列表,列表是有序的,列表中的元素可以重复。可以添加一个元素到列表的头部(左边)或者尾部(右边)一个列表最多可以包含232 -1个元素(40多亿)。  1、lpushkeyvalue1value2.....  //往列表的头部(左边)推入一个或多个元素,lpush的l表示left。key是列表名称,把列表中的所有元素作为一...

查看全文 本文标签:
06月24日

Report Builder 打开报错

分类:Oracle | 超过 63 人围观 | 已有 0 人发表了看法

提示:REP-0756:警告:找不到PL/SQL程序库’inv.pll’. 解决办法处理:1、运行---输入REgedit,在注册表内,查找注册表项Reports_path。 2、将下载的.pll文件放置到注册表项Reprots_Path指定的路径下;如:D:\EBSHome\Pll;D:\EBSHome\Lib;3、重新打开报表。...

查看全文 本文标签:
06月24日

Redis hash(哈希)相关命令

分类:Nosql | 超过 146 人围观 | 已有 0 人发表了看法

 Redishash可储存多个键值对,适合储存对象的属性。 1、hsetkeyfieldNamefileValue  //hset即hashset,set这里是设置的意思。往hash中添加一个字段(键值对)示例: hsetscorezhangsan90   //score是hash的名称,zhangsan90是一...

查看全文 本文标签:
06月24日

TOTP算法实现二步验证

分类:算法 | 超过 170 人围观 | 已有 0 人发表了看法

概念TOTP算法(Time-basedOne-timePasswordalgorithm)是一种从共享密钥和当前时间计算一次性密码的算法。它已被采纳为Internet工程任务组标准RFC6238,是InitiativeforOpenAuthentication(OATH)的基石,并被用于许多双因素身份验证系统。TOTP是基于散列的消息认证码(HMAC)的示例。它使用加密哈希函数将密钥与当前时间戳组合在一起以生成一...

查看全文 本文标签:
06月24日

Redis string(字符串)相关命令

分类:Nosql | 超过 174 人围观 | 已有 0 人发表了看法

1、getsetkeynewValue  //给key设置value,并返回旧的value,如果没有旧的value,返回nil。示例: setage10   getsetage20   //age的值被设置为20,并返回旧的值10  2、getrange key ...

查看全文 本文标签:
06月24日

Linux(Centos7)下redis安装、部署、开机自启

分类:Nosql | 超过 162 人围观 | 已有 0 人发表了看法

Linux(Centos7)下redis安装、部署、开机自启

1.什么是redisredis是用C语言开发的一个开源的高性能键值对(key-value)数据库。它通过提供多种键值数据类型来适应不同场景下的存储需求,目前为止redis支持的键值数据类型如下字符串、列表(lists)、集合(sets)、有序集合(sortssets)、哈希表(hashs)2.redis的应用场景 缓存(数据查询、短连接、新闻内...

查看全文 本文标签:
微信公众号
  • 关注微信公众号
«   2019年5月   »
12345
6789101112
13141516171819
20212223242526
2728293031
网站分类
文章归档
网站收藏
友情链接
广告赞助
  • 点击查看详情