收藏本站 | RSS订阅大数据运维|云计算|攻防安全|AI|互联网时代守护先锋
你现在的位置:首页 » 2019年5月12日
12月26日

[置顶] 五分钟轻松了解Hbase面向列的存储

分类:Hadoop | 超过 5506 人围观 | 已有 0 人发表了看法

五分钟轻松了解Hbase面向列的存储

说明:从严格的列式存储的定义来看,Hbase并不属于列式存储,有人称它为面向列的存储,请各位看官注意这一点。 行式存储 传统的数据库是关系型的,且是按行来存储的。如下图:其中只有张三把一行数据填满了,李四王五赵六的行都没有填满。因为这里的行结构是固定的,每一行都一样,即使你不用,也必须空到那里,而不能没有。来一张形象的图:不管你坐或不坐,...

查看全文 本文标签:Go
03月13日

[置顶] OpenTSDB/HBase的调优过程整理

分类:Hbase | 超过 6042 人围观 | 已有 0 人发表了看法

OpenTSDB/HBase的调优过程整理

背景过年前,寂寞哥给我三台机器,说搞个新的openTSDB集群。机器硬件是8核16G内存、3个146G磁盘做数据盘。我说这太抠了,寂寞哥说之前的TSDB集群运行了两年,4台同样配置的机器,目前hdfs才用了40%,所以前期先用着这三台机器,不够再加。于是我只好默默地搭好了CDH5、openTSDB(2.1版本,请注意此版本号)、bosun,并在2...

查看全文 本文标签:算法
02月02日

[置顶] 亿级 ELK 日志平台构建部署实践

分类:Hadoop | 超过 9727 人围观 | 已有 0 人发表了看法

亿级 ELK 日志平台构建实践

本篇主要讲工作中的真实经历,我们怎么打造亿级日志平台,同时手把手教大家建立起这样一套亿级 ELK 系统。日志平台具体发展历程可以参考上篇 「从 ELK 到 EFK 演进」

废话不多说,老司机们座好了,我们准备发车了~~~

整体架构

亿级 ELK 日志平台构建部署实践

本篇主要讲工作中的真实经历,我们怎么打造亿级日志平台,同时手把手教大家建立起这样一套亿级ELK系统。日志平台具体发展历程可以参考上篇 「从ELK到EFK演进」废话不多说,老司机们座好了,我们准备发车了~~~整体架构整体架构主要分为4个模块,分别提供不同的功能Filebeat:轻量级数据收集引擎。基于原先Logstash-fowar...

查看全文 本文标签:安全
04月07日

[置顶] HBase数据压缩编码探索

分类:Hbase | 超过 5634 人围观 | 已有 0 人发表了看法

HBase数据压缩编码探索

摘要: 本文主要介绍了hbase对数据压缩,编码的支持,以及云hbase在社区基础上对数据压缩率和访问速度上了进行的改进。前言你可曾遇到这种需求,只有几百qps的冷数据缓存,却因为存储水位要浪费几十台服务器?你可曾遇到这种需求,几百G的表,必须纯cache命中,性能才能满足业务需求?你可曾遇到,几十M的小表,由于qps过高,必须不停的split,b...

查看全文 本文标签:安全
01月31日

[置顶] Ambari2.7.3 和HDP3.1.0搭建Hadoop集群

分类:Hadoop | 超过 8737 人围观 | 已有 0 人发表了看法

Ambari2.7.3 和HDP3.1.0搭建Hadoop集群

一、环境及软件准备1、集群规划 hdp01/10.1.1.11hdp02/10.1.1.12hdp03/10.1.1.13hdp04/10.1.1.14hdp05/10.1.1.15ambariserver是否否否否ambariagent是是是是是namenode是是否否否datanode否否是是是resourcemanager是是否否否jou...

查看全文 本文标签:Oracle
04月18日

[置顶] Ambari2.6.2 HDP2.6.5 大数据集群搭建

分类:Hadoop | 超过 8804 人围观 | 已有 0 人发表了看法

Ambari2.6.2 HDP2.6.5 大数据集群搭建

Ambari2.6.2中HDFS-2.7.3YARN-2.7.3HIVE-1.2.1HBASE-1.1.2ZOOKEEPER-3.4.6SPARK-2.3.0注:本文基于root用户操作一、安装环境准备操作系统centos7.5hdc-data1:192.168.163.51hdc-data2:192.168.163.52hdc-da...

查看全文 本文标签:安全
05月23日

[置顶] hadoop-2.7.7 HA完全分布式集群部署详解

分类:Hadoop | 超过 7529 人围观 | 已有 0 人发表了看法

hadoop-2.7.7 HA完全分布式集群部署详解

1.HadoopHA简介及工作原理HadoopNameNode官方开始支持HA集群默认是从2.0开始,之前的版本均是不支持NameNodeHA的高可用的。1.1HadoopHA简介Hadoop-HA集群运作机制介绍HA即高可用(7*24小时不中断服务)实现高可用最关键的是消除单点故障分成各个组件的HA机制——HDFS的HA、YARN的HA...

查看全文 本文标签:Hadoop
05月23日

[置顶] 可怕的黑暗料理之暗黑谷歌搜索神器shodan

分类:Safe | 超过 7731 人围观 | 已有 0 人发表了看法

1.暗黑谷歌的由来有这么一款搜索引擎,它一刻不停的在寻找着所有和互联网关联的PLC、摄像头、红绿灯、打印机、路由器、交换机、服务器、数据库等等各种软硬件服务设施。它就是shodan,那么shodan到底是什么呢?怎么会有如此大的魔力?首先,Shodan是一个搜索引擎,但它与Google这种搜索网址的搜索引擎不同,Shodan不是在网上搜索网址,而是直接进入互联网探索其背后的信息。Shodan真正值得注意的能力就是能找...

查看全文 本文标签:安全
05月13日

我的python学习--Day5

分类:随笔 | 超过 1764 人围观 | 已有 0 人发表了看法

我的python学习--Day5

由于一些原因突然中午要出去,早上仅剩一点点时间学习了,要提高效率,fighting~ 今天内容:运算符、表达式、控制流、函数、docstrings#######################################################################################运算符&...

查看全文 本文标签:Python
05月13日

微信小程序前端调用后台方法并获取返回值

分类:随笔 | 超过 467 人围观 | 已有 0 人发表了看法

wxml代码<wxssrc="../../wxs/string.wxs"module="tools"/><!--调用tools.img(item.content)返回bool,也可以返回其他值--><viewclass='clearfix'wx:if="{{tools.img(item.content)}}"><viewclass='content-view'...

查看全文 本文标签:
05月12日

ARTS打卡计划第一周

分类:随笔 | 超过 1845 人围观 | 已有 0 人发表了看法

Algorithms:https://leetcode-cn.com/problems/two-sum/ Review:https://www.infoq.cn/article/EafgGJEtqQTAa_0sP62NQ版本,慢慢雏形已经出来。Tips:c++11:1.nullptr  是一种特殊类型的字面值, null指针常量,可以转换成任意其他指针类型,是...

查看全文 本文标签:Go
05月12日

对抽象函数abstract的运用

分类:随笔 | 超过 1715 人围观 | 已有 0 人发表了看法

package抽象内的运用;abstractclassanimal{ Stringname; Stringcolor; public animal(Stringname,Stringcolor){  this.name=name;  this.color=color; } publicv...

查看全文 本文标签:
05月12日

各种距离

分类:随笔 | 超过 1073 人围观 | 已有 0 人发表了看法

各种距离

 1.欧几里得距离  给定空间中两个点(x1,y1),(x2,y2);它们之间的欧几里得距离公式为:((x1-x2)2+(y1-y2)2)1/2,即两个点之间的直线距离。本质是向量的2-范数。 2.曼哈顿距离给定空间中两个点(x1,y1),(x2,y2);它们之间的曼哈顿距离公式为:|x1-x2...

查看全文 本文标签:
05月12日

20175316盛茂淞 2018-2019-2 《Java程序设计》第11周学习总结

分类:随笔 | 超过 570 人围观 | 已有 0 人发表了看法

20175316《Java程序设计》第11周学习总结教材内容学习总结第十三章URL类URL类是java.net包中的一个重要的类,URL的实例封装着一个统一资源定位符,使用URL创建对象的应用程序称作客户端程序一个URL对象通常包含最基本的三部分信息:协议地址资源构造方法publicURL(Stringspec)throwsMalformedURLExceptionpu...

查看全文 本文标签:
05月12日

第3关- input()函数

分类:随笔 | 超过 703 人围观 | 已有 0 人发表了看法

第3关- input()函数

input()函数 1.input()函数的使用input('请铲屎官输入宠物的名字:')input()函数是输入函数,当你在函数的括号内写出问题时,input()函数会将此问题原样显示在屏幕上,并在终端区域等待你针对此问题的回答。    2.数据...

查看全文 本文标签:
05月12日

参加第十次山东省“浪潮杯”赛后心得

分类:随笔 | 超过 376 人围观 | 已有 0 人发表了看法

  这个周六起了个大清早去搭寿光到潍坊火车站的车,坐上车后因为来的比较早所以到潍坊火车站的时候距离火车出发的时间还早,等了一会就上高铁了,到济南第一感觉就是这个地真热,刚一下车就出汗了,我早上看着学校这天气不是太好还多穿了几件,哎呦,我这个后悔呢,好歹到了学校领了衣服,到旅馆换上衣服算是凉快了一些。  下午去济南大学礼堂参加了开幕式,山东计算机学会理事长还是这么幽默,有才华,羡慕羡慕,他还是和去年一样有嘲讽了一下山大。结束后去学校机...

查看全文 本文标签:
05月12日

java容器集合

分类:随笔 | 超过 1483 人围观 | 已有 0 人发表了看法

java集合分为 Collection和 Map两大类Collection是 Java 集合框架的顶层接口,它是对容器类进行增、删、改、查的定义,同时继承了 Iterable接口,具有对集合或容器中的元素进行遍历的能力Collection继承了Iterable接口,具有了快速遍历的能力,Iterable接口中定义了获取集合迭代器的方法iterator(),该方...

查看全文 本文标签:
05月12日

jquery扩展方法(表单数据格式化为json对象)

分类:随笔 | 超过 1715 人围观 | 已有 0 人发表了看法

jquery扩展方法(表单数据格式化为json对象)<scripttype="text/javascript">//将表单数据序列化为一个json对象,例如{"name":"zs","age":10}//使用:varjsonObj=$("#formId").serializeObject();$.fn.serializeObject=function(){v...

查看全文 本文标签:
05月12日

Linux SUID SGID SBIT 简介和权限设定

分类:随笔 | 超过 656 人围观 | 已有 0 人发表了看法

Linux SUID SGID SBIT 简介和权限设定

SUID:SetUID1SUID权限仅对二进制程序(binaryprogram)有效2执行者对于该程序需要具有x的可执行权限3本权限仅在执行该程序的过程中有效(run-time)4执行者将具有该程序拥有者(owner)的权限SGID:SetGID1 SGID可以针对文件或目录来设定2对于文件来说,...

查看全文 本文标签:Linux
05月12日

go语言之数组

分类:随笔 | 超过 1572 人围观 | 已有 0 人发表了看法

go语言之数组

1、go语言的数组和python的列表不一样,python的列表没有限定类型,而go的数组限定的类型,理由是这样的,请看下面的图2、go语言的数组packagemainimport"fmt"//go语言的数组类似python中的列表//申明数组//var数组名[数组长度]数组类型//数组的长度定好...

查看全文 本文标签:Go
微信公众号
  • 关注微信公众号
«   2019年5月   »
12345
6789101112
13141516171819
20212223242526
2728293031
网站分类
文章归档
网站收藏
友情链接
广告赞助
  • 点击查看详情