收藏本站 | RSS订阅大数据运维|云计算|攻防安全|AI|互联网时代守护先锋
你现在的位置:首页 » 2019年1月
12月26日

[置顶] 五分钟轻松了解Hbase面向列的存储

分类:Hadoop | 超过 5506 人围观 | 已有 0 人发表了看法

五分钟轻松了解Hbase面向列的存储

说明:从严格的列式存储的定义来看,Hbase并不属于列式存储,有人称它为面向列的存储,请各位看官注意这一点。 行式存储 传统的数据库是关系型的,且是按行来存储的。如下图:其中只有张三把一行数据填满了,李四王五赵六的行都没有填满。因为这里的行结构是固定的,每一行都一样,即使你不用,也必须空到那里,而不能没有。来一张形象的图:不管你坐或不坐,...

查看全文 本文标签:Go
03月13日

[置顶] OpenTSDB/HBase的调优过程整理

分类:Hbase | 超过 6042 人围观 | 已有 0 人发表了看法

OpenTSDB/HBase的调优过程整理

背景过年前,寂寞哥给我三台机器,说搞个新的openTSDB集群。机器硬件是8核16G内存、3个146G磁盘做数据盘。我说这太抠了,寂寞哥说之前的TSDB集群运行了两年,4台同样配置的机器,目前hdfs才用了40%,所以前期先用着这三台机器,不够再加。于是我只好默默地搭好了CDH5、openTSDB(2.1版本,请注意此版本号)、bosun,并在2...

查看全文 本文标签:算法
02月02日

[置顶] 亿级 ELK 日志平台构建部署实践

分类:Hadoop | 超过 9727 人围观 | 已有 0 人发表了看法

亿级 ELK 日志平台构建实践

本篇主要讲工作中的真实经历,我们怎么打造亿级日志平台,同时手把手教大家建立起这样一套亿级 ELK 系统。日志平台具体发展历程可以参考上篇 「从 ELK 到 EFK 演进」

废话不多说,老司机们座好了,我们准备发车了~~~

整体架构

亿级 ELK 日志平台构建部署实践

本篇主要讲工作中的真实经历,我们怎么打造亿级日志平台,同时手把手教大家建立起这样一套亿级ELK系统。日志平台具体发展历程可以参考上篇 「从ELK到EFK演进」废话不多说,老司机们座好了,我们准备发车了~~~整体架构整体架构主要分为4个模块,分别提供不同的功能Filebeat:轻量级数据收集引擎。基于原先Logstash-fowar...

查看全文 本文标签:安全
04月07日

[置顶] HBase数据压缩编码探索

分类:Hbase | 超过 5634 人围观 | 已有 0 人发表了看法

HBase数据压缩编码探索

摘要: 本文主要介绍了hbase对数据压缩,编码的支持,以及云hbase在社区基础上对数据压缩率和访问速度上了进行的改进。前言你可曾遇到这种需求,只有几百qps的冷数据缓存,却因为存储水位要浪费几十台服务器?你可曾遇到这种需求,几百G的表,必须纯cache命中,性能才能满足业务需求?你可曾遇到,几十M的小表,由于qps过高,必须不停的split,b...

查看全文 本文标签:安全
01月31日

[置顶] Ambari2.7.3 和HDP3.1.0搭建Hadoop集群

分类:Hadoop | 超过 8737 人围观 | 已有 0 人发表了看法

Ambari2.7.3 和HDP3.1.0搭建Hadoop集群

一、环境及软件准备1、集群规划 hdp01/10.1.1.11hdp02/10.1.1.12hdp03/10.1.1.13hdp04/10.1.1.14hdp05/10.1.1.15ambariserver是否否否否ambariagent是是是是是namenode是是否否否datanode否否是是是resourcemanager是是否否否jou...

查看全文 本文标签:Oracle
04月18日

[置顶] Ambari2.6.2 HDP2.6.5 大数据集群搭建

分类:Hadoop | 超过 8804 人围观 | 已有 0 人发表了看法

Ambari2.6.2 HDP2.6.5 大数据集群搭建

Ambari2.6.2中HDFS-2.7.3YARN-2.7.3HIVE-1.2.1HBASE-1.1.2ZOOKEEPER-3.4.6SPARK-2.3.0注:本文基于root用户操作一、安装环境准备操作系统centos7.5hdc-data1:192.168.163.51hdc-data2:192.168.163.52hdc-da...

查看全文 本文标签:安全
05月23日

[置顶] hadoop-2.7.7 HA完全分布式集群部署详解

分类:Hadoop | 超过 7529 人围观 | 已有 0 人发表了看法

hadoop-2.7.7 HA完全分布式集群部署详解

1.HadoopHA简介及工作原理HadoopNameNode官方开始支持HA集群默认是从2.0开始,之前的版本均是不支持NameNodeHA的高可用的。1.1HadoopHA简介Hadoop-HA集群运作机制介绍HA即高可用(7*24小时不中断服务)实现高可用最关键的是消除单点故障分成各个组件的HA机制——HDFS的HA、YARN的HA...

查看全文 本文标签:Hadoop
05月23日

[置顶] 可怕的黑暗料理之暗黑谷歌搜索神器shodan

分类:Safe | 超过 7731 人围观 | 已有 0 人发表了看法

1.暗黑谷歌的由来有这么一款搜索引擎,它一刻不停的在寻找着所有和互联网关联的PLC、摄像头、红绿灯、打印机、路由器、交换机、服务器、数据库等等各种软硬件服务设施。它就是shodan,那么shodan到底是什么呢?怎么会有如此大的魔力?首先,Shodan是一个搜索引擎,但它与Google这种搜索网址的搜索引擎不同,Shodan不是在网上搜索网址,而是直接进入互联网探索其背后的信息。Shodan真正值得注意的能力就是能找...

查看全文 本文标签:安全
01月31日

剑指offer-从尾到头打印链表

分类:算法 | 超过 949 人围观 | 已有 0 人发表了看法

题目要求输入一个链表,从尾到头放入ArrayList并返回。C++实现/***structListNode{*intval;*structListNode*next;*ListNode(intx):*val(x),next(NULL){*}*};*/classSolution{publ...

查看全文 本文标签:Python
01月31日

Ubuntu—终端下重启与关机

分类:Linux | 超过 1325 人围观 | 已有 0 人发表了看法

重启命令:       1、shutdown-rnow立刻重启   2、shutdown-r10过10分钟自动重启   3、shutdown-r20:35在时间为20:35时候重启   如果是通过shutdown命令设置重启的话,可以用shutdow...

查看全文 本文标签:Linux
01月31日

用Python实现数据结构之树

分类:Python | 超过 1286 人围观 | 已有 0 人发表了看法

用Python实现数据结构之树

树树是由根结点和若干颗子树构成的。树是由一个集合以及在该集合上定义的一种关系构成的。集合中的元素称为树的结点,所定义的关系称为父子关系。父子关系在树的结点之间建立了一个层次结构。在这种层次结构中有一个结点具有特殊的地位,这个结点称为该树的根结点,或称为树根。相关概念根节点:树中最顶部的元素父节点:处了根节点都有父节点,...

查看全文 本文标签:算法
01月31日

python教程(二)·变量

分类:Python | 超过 597 人围观 | 已有 0 人发表了看法

什么是变量?在百度百科中,变量的解释是:变量来源于数学,是计算机语言中能储存计算结果或能表示值抽象概念。变量可以通过……这是一段很长很长的解释,其实,作者认为没必要这么机械式的去理解。简单说,变量就是一个“盒子”,这个“盒子”可以装一些数据,当然,这些数据的类型可以是任意的,因为归根结底,任何类型的数据在内存中的表示都是二进制0、1组合。变量的使用先从一段代码说起:a=123b=456c=...

查看全文 本文标签:Python
01月31日

python 函数(一)

分类:Python | 超过 1537 人围观 | 已有 0 人发表了看法

 一、作用:1.减少重复代码2.方便修改,更易扩展3.保持代码一致性二、命名规则:同变量,见->  python基础知识三、函数的参数:1.必需参数:必须以正确的顺序传入函数,调用时的数量必须和声明时一样defprint_info(name,age):print('Name:%s'%name)print('Age:...

查看全文 本文标签:Python
01月31日

剑指offer-替换空格

分类:算法 | 超过 433 人围观 | 已有 0 人发表了看法

剑指offer中的第二题替换空格的写法,以下给出Python、C++的写法。Python写法运行时长约30msclassSolution:#s源字符串defreplaceSpace(self,s):newstr=s.replace('','%20')returnnewstrC++写法classSolution{public:voi...

查看全文 本文标签:Python
01月31日

Oracle总结之plsql编程(基础九)

分类:Oracle | 超过 504 人围观 | 已有 0 人发表了看法

Oracle总结之plsql编程(基础九)

 原创作品,转自请注明出处:https://www.cnblogs.com/sunshine5683/p/10344302.html接着上次总结,继续今天的总结,今天主要总结plsql中控制语句,如条件语句、循环语句等一、条件语句plsql中提供了三种条件语句,如:if--then,if--then--else,if--then--...

查看全文 本文标签:Oracle
01月31日

python教程(零)·前言

分类:Python | 超过 224 人围观 | 已有 0 人发表了看法

本教程是作者根据自己学习python的经验写下的,一来是想将经验分享给对python同样感兴趣的小白(大神请忽略),二来是想借此加深本人对python的理解,温故而知新。学习基础本教程面向的读者,最好是有一定计算机基础的,或者学过其它计算机语言。如果没有基础也没多大关系,遇到不懂的,可以利用搜索引擎来学习,搜索引擎真是个好东西。如果有必要的话,也就是搜索引擎都无法解决的时候,可以发邮件向作者提问,作者一定给予令你满意的答复...

查看全文 本文标签:Python
01月31日

自学老男孩pyhton-day02,day03

分类:Python | 超过 1486 人围观 | 已有 0 人发表了看法

while循环while条件: #不满足条件直接退出  执行语句 else:#在while条件执行完之后则执行else语句。如果中途被break打断循环,则不执行else语句,else语句可有可无。  pass  break结束循环.停止当前本层循环continue结束当前本次循环.继续执行下一次循环格式化输出%d  数字的占位符%s  字符串的...

查看全文 本文标签:
01月31日

4.92Python数据类型之(7)字典

分类:Python | 超过 702 人围观 | 已有 0 人发表了看法

4.92Python数据类型之(7)字典

目录目录前言(一)字典的基本知识==1.字典的基本格式==(二)字典的操作==1.字典元素的增加====2.字典值的查找====3.字典的修改====4.字典的删除====5.字典的查看==目录前言字典是可变的无...

查看全文 本文标签:Python
01月31日

Ajax之跨域请求

分类:Python | 超过 1589 人围观 | 已有 0 人发表了看法

Ajax之跨域请求

  一、引子  我现在开启了两个django项目,分别叫Demo1和Demo2,Demo1中有一个路径‘http://127.0.0.1:8000/index/’,对应的视图是index视图返回一个index页面,页面中只有一个button按钮,按钮绑定了一个单击事件,点击之后会发送一个ajax请求,请求的路径为‘http://127.0.0.1:800...

查看全文 本文标签:安全
01月31日

golang标准库 context的使用

分类:go | 超过 1166 人围观 | 已有 0 人发表了看法

本文索引问题引入context包简介示例问题引入goroutine为我们提供了轻量级的并发实现,作为golang最大的亮点之一更是备受推崇。goroutine的简单固然有利于我们的开发,但简单总是有代价的,考虑如下例子:funchttpDo(req*http.Request,resp*http.Response){for{select{...

查看全文 本文标签:安全
微信公众号
  • 关注微信公众号
«   2019年1月   »
123456
78910111213
14151617181920
21222324252627
28293031
网站分类
文章归档
网站收藏
友情链接
广告赞助
  • 点击查看详情