收藏本站 | RSS订阅大数据运维|云计算|攻防安全|AI|互联网时代守护先锋
你现在的位置:首页 » 2019年5月14日
12月26日

[置顶] 五分钟轻松了解Hbase面向列的存储

分类:Hadoop | 超过 5506 人围观 | 已有 0 人发表了看法

五分钟轻松了解Hbase面向列的存储

说明:从严格的列式存储的定义来看,Hbase并不属于列式存储,有人称它为面向列的存储,请各位看官注意这一点。 行式存储 传统的数据库是关系型的,且是按行来存储的。如下图:其中只有张三把一行数据填满了,李四王五赵六的行都没有填满。因为这里的行结构是固定的,每一行都一样,即使你不用,也必须空到那里,而不能没有。来一张形象的图:不管你坐或不坐,...

查看全文 本文标签:Go
03月13日

[置顶] OpenTSDB/HBase的调优过程整理

分类:Hbase | 超过 6042 人围观 | 已有 0 人发表了看法

OpenTSDB/HBase的调优过程整理

背景过年前,寂寞哥给我三台机器,说搞个新的openTSDB集群。机器硬件是8核16G内存、3个146G磁盘做数据盘。我说这太抠了,寂寞哥说之前的TSDB集群运行了两年,4台同样配置的机器,目前hdfs才用了40%,所以前期先用着这三台机器,不够再加。于是我只好默默地搭好了CDH5、openTSDB(2.1版本,请注意此版本号)、bosun,并在2...

查看全文 本文标签:算法
02月02日

[置顶] 亿级 ELK 日志平台构建部署实践

分类:Hadoop | 超过 9727 人围观 | 已有 0 人发表了看法

亿级 ELK 日志平台构建实践

本篇主要讲工作中的真实经历,我们怎么打造亿级日志平台,同时手把手教大家建立起这样一套亿级 ELK 系统。日志平台具体发展历程可以参考上篇 「从 ELK 到 EFK 演进」

废话不多说,老司机们座好了,我们准备发车了~~~

整体架构

亿级 ELK 日志平台构建部署实践

本篇主要讲工作中的真实经历,我们怎么打造亿级日志平台,同时手把手教大家建立起这样一套亿级ELK系统。日志平台具体发展历程可以参考上篇 「从ELK到EFK演进」废话不多说,老司机们座好了,我们准备发车了~~~整体架构整体架构主要分为4个模块,分别提供不同的功能Filebeat:轻量级数据收集引擎。基于原先Logstash-fowar...

查看全文 本文标签:安全
04月07日

[置顶] HBase数据压缩编码探索

分类:Hbase | 超过 5634 人围观 | 已有 0 人发表了看法

HBase数据压缩编码探索

摘要: 本文主要介绍了hbase对数据压缩,编码的支持,以及云hbase在社区基础上对数据压缩率和访问速度上了进行的改进。前言你可曾遇到这种需求,只有几百qps的冷数据缓存,却因为存储水位要浪费几十台服务器?你可曾遇到这种需求,几百G的表,必须纯cache命中,性能才能满足业务需求?你可曾遇到,几十M的小表,由于qps过高,必须不停的split,b...

查看全文 本文标签:安全
01月31日

[置顶] Ambari2.7.3 和HDP3.1.0搭建Hadoop集群

分类:Hadoop | 超过 8737 人围观 | 已有 0 人发表了看法

Ambari2.7.3 和HDP3.1.0搭建Hadoop集群

一、环境及软件准备1、集群规划 hdp01/10.1.1.11hdp02/10.1.1.12hdp03/10.1.1.13hdp04/10.1.1.14hdp05/10.1.1.15ambariserver是否否否否ambariagent是是是是是namenode是是否否否datanode否否是是是resourcemanager是是否否否jou...

查看全文 本文标签:Oracle
04月18日

[置顶] Ambari2.6.2 HDP2.6.5 大数据集群搭建

分类:Hadoop | 超过 8803 人围观 | 已有 0 人发表了看法

Ambari2.6.2 HDP2.6.5 大数据集群搭建

Ambari2.6.2中HDFS-2.7.3YARN-2.7.3HIVE-1.2.1HBASE-1.1.2ZOOKEEPER-3.4.6SPARK-2.3.0注:本文基于root用户操作一、安装环境准备操作系统centos7.5hdc-data1:192.168.163.51hdc-data2:192.168.163.52hdc-da...

查看全文 本文标签:安全
05月23日

[置顶] hadoop-2.7.7 HA完全分布式集群部署详解

分类:Hadoop | 超过 7529 人围观 | 已有 0 人发表了看法

hadoop-2.7.7 HA完全分布式集群部署详解

1.HadoopHA简介及工作原理HadoopNameNode官方开始支持HA集群默认是从2.0开始,之前的版本均是不支持NameNodeHA的高可用的。1.1HadoopHA简介Hadoop-HA集群运作机制介绍HA即高可用(7*24小时不中断服务)实现高可用最关键的是消除单点故障分成各个组件的HA机制——HDFS的HA、YARN的HA...

查看全文 本文标签:Hadoop
05月23日

[置顶] 可怕的黑暗料理之暗黑谷歌搜索神器shodan

分类:Safe | 超过 7731 人围观 | 已有 0 人发表了看法

1.暗黑谷歌的由来有这么一款搜索引擎,它一刻不停的在寻找着所有和互联网关联的PLC、摄像头、红绿灯、打印机、路由器、交换机、服务器、数据库等等各种软硬件服务设施。它就是shodan,那么shodan到底是什么呢?怎么会有如此大的魔力?首先,Shodan是一个搜索引擎,但它与Google这种搜索网址的搜索引擎不同,Shodan不是在网上搜索网址,而是直接进入互联网探索其背后的信息。Shodan真正值得注意的能力就是能找...

查看全文 本文标签:安全
05月15日

【BZOJ4009_洛谷3242】[HNOI2015] 接水果(整体二分)

分类:随笔 | 超过 465 人围观 | 已有 0 人发表了看法

【BZOJ4009_洛谷3242】[HNOI2015] 接水果(整体二分)

题目:洛谷3242分析:明确题意:在一棵树上给定若干权值为\(w\)的路径\((u,v)\)(盘子),每次给定\((a,b)\)(水果),询问所有满足\((u,v)\)被\((a,b)\)完全覆盖的路径中第\(k\)小的路径的权值。先考虑如何快速判断\((u,v)\)是不是\((a,b)\)的子路径。第一反应...

查看全文 本文标签:Go
05月15日

是否二叉搜索树

分类:随笔 | 超过 367 人围观 | 已有 0 人发表了看法

6-1是否二叉搜索树(25分)本题要求实现函数,判断给定二叉树是否二叉搜索树。函数接口定义:boolIsBST(BinTreeT);其中BinTree结构定义如下:typedefstructTNode*Position;typedefPositionBinTree;structTNode{ElementTypeData;BinTreeLeft;BinTreeRight;};函数...

查看全文 本文标签:
05月14日

vue里面的this指向

分类:随笔 | 超过 1003 人围观 | 已有 0 人发表了看法

this.$http.jsonp(api).then(function(response){console.log(response);console.log(this);this.list=response.body.result},function(err){console.log(err);})这里用箭头函数和不用箭头函数th...

查看全文 本文标签:
05月14日

iOS 开发,相关网址

分类:随笔 | 超过 1428 人围观 | 已有 0 人发表了看法

iOS开发,相关网址说明网址苹果开发者中心https://developer.apple.com/account/#/welcomeAppStoreConnect帮助https://help.apple.com/app-store-connect/?lang=zh-cniTunes...

查看全文 本文标签:
05月14日

5月面试问题总结

分类:随笔 | 超过 1453 人围观 | 已有 0 人发表了看法

1.HIVE和HBASE区别1.两者分别是什么?   ApacheHive是一个构建在Hadoop基础设施之上的数据仓库。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言,这种语言最终被转化为Map/Reduce.虽然Hive提供了SQL查询功能,但是Hive不能够进行交互查询--因为它只能够在Haoop上批量的执行Hadoop。  &...

查看全文 本文标签:Nosql
05月14日

day04_review

分类:随笔 | 超过 782 人围观 | 已有 0 人发表了看法

review方法的调用:1.无返回值的调用:只能直接调用2.有返回值的调用1.直接调用2.赋值调用(建议)3.输出调用一[判断数据是否相等]packagemethod_TestWork;//导包//(2)判断两个数据是否相等(两个整数或者两个小数)publicclassCode02{publicstaticvoidm...

查看全文 本文标签:
05月14日

UML建模重点圈划

分类:随笔 | 超过 188 人围观 | 已有 0 人发表了看法

面向对象的特征*P9*>封装性>继承性>多态性>传递性建模语言的三个类别*P14*>-非形式化的、半形式化的和形式化的UML特点*15*主要有三个特点:>-1.统一了Booch、OMT和OOSE等基本概念>-2.UML吸取了面向对象技术的优点,当然也有非面向对象技术的影响>-UML还提出了许多新说法,增加了模板、职责、扩展机制、线程、过程、分布式、并发、模式、...

查看全文 本文标签:
05月14日

补题——Spring Training Series B 1st Round-A Gym - 100502A

分类:随笔 | 超过 1150 人围观 | 已有 0 人发表了看法

补题——Spring Training Series B 1st Round-A Gym - 100502A

题意:n个机场,m条关系,每个关系又a,b,c三个数,分别代表a和b两个机场间要建立c个休息室,让你求所建休息室最小的数目,如果不可能则输出impossible思路:先把两个点之间c为0和2的都确定下来,再考虑1的情况。剩下的就是判断二分图(涂色法:https://blog.csdn.net/li13168690086/article/details/8...

查看全文 本文标签:
05月14日

js 面向对象讲解

分类:随笔 | 超过 1258 人围观 | 已有 0 人发表了看法

1.面向对象概念  1)什么是面向对象: oop  是一种编程的思想,体现的是生活逻辑    2)面向对象和面向过程:    面向过程:       1:大量的全局变量    &...

查看全文 本文标签:
05月14日

python time包中的time.time()和time.clock()的区别

分类:随笔 | 超过 527 人围观 | 已有 0 人发表了看法

在统计python代码执行速度时要使用到time包,在查找相关函数时有time.time()和time.clock()两个函数可供选择。而两者是有区别的:cpu的运行机制:cpu是多任务的,例如在多进程的执行过程中,一段时间内会有对各进程被处理。一个进程从开始到结束其实是在这期间的一些列时间片断上断断续续执行的。所以这就引出了程序执行的cpu时间(该程序单纯在cpu上运行所需时间)和墙上时钟walltime。time.time...

查看全文 本文标签:Python
05月14日

虚拟化课程--命令总结

分类:随笔 | 超过 1499 人围观 | 已有 0 人发表了看法

find   【范围】如果不加,指定当前目录为查找范围   -name"xxxx"   #名字可以支持文件符号匹配               *(表示任意长度的任意字符)&nb...

查看全文 本文标签:Linux
05月14日

python 基础知识汇总—— if else while continue

分类:随笔 | 超过 1714 人围观 | 已有 0 人发表了看法

python 基础知识汇总—— if else while continue

1.if语句什么是if语句?if语句用来干什么的?if语句说通俗点,就是判断,如果判断条件为真,那么就执行语句,就像我们生活中例子,如果你饿了,判断为真,就要吃饭,于是你就会执行吃饭这个动作,如果你不饿,判断为假,就不执行这个动作,下面用的代码举例:2.if语句有哪几种表达形式?第一种:if条件: 普通版本第二种:...

查看全文 本文标签:Python
微信公众号
  • 关注微信公众号
«   2019年5月   »
12345
6789101112
13141516171819
20212223242526
2728293031
网站分类
文章归档
网站收藏
友情链接
广告赞助
  • 点击查看详情