收藏本站 | RSS订阅大数据运维|云计算|攻防安全|AI|互联网时代守护先锋
你现在的位置:首页 » 2019年5月11日
12月26日

[置顶] 五分钟轻松了解Hbase面向列的存储

分类:Hadoop | 超过 5506 人围观 | 已有 0 人发表了看法

五分钟轻松了解Hbase面向列的存储

说明:从严格的列式存储的定义来看,Hbase并不属于列式存储,有人称它为面向列的存储,请各位看官注意这一点。 行式存储 传统的数据库是关系型的,且是按行来存储的。如下图:其中只有张三把一行数据填满了,李四王五赵六的行都没有填满。因为这里的行结构是固定的,每一行都一样,即使你不用,也必须空到那里,而不能没有。来一张形象的图:不管你坐或不坐,...

查看全文 本文标签:Go
03月13日

[置顶] OpenTSDB/HBase的调优过程整理

分类:Hbase | 超过 6042 人围观 | 已有 0 人发表了看法

OpenTSDB/HBase的调优过程整理

背景过年前,寂寞哥给我三台机器,说搞个新的openTSDB集群。机器硬件是8核16G内存、3个146G磁盘做数据盘。我说这太抠了,寂寞哥说之前的TSDB集群运行了两年,4台同样配置的机器,目前hdfs才用了40%,所以前期先用着这三台机器,不够再加。于是我只好默默地搭好了CDH5、openTSDB(2.1版本,请注意此版本号)、bosun,并在2...

查看全文 本文标签:算法
02月02日

[置顶] 亿级 ELK 日志平台构建部署实践

分类:Hadoop | 超过 9727 人围观 | 已有 0 人发表了看法

亿级 ELK 日志平台构建实践

本篇主要讲工作中的真实经历,我们怎么打造亿级日志平台,同时手把手教大家建立起这样一套亿级 ELK 系统。日志平台具体发展历程可以参考上篇 「从 ELK 到 EFK 演进」

废话不多说,老司机们座好了,我们准备发车了~~~

整体架构

亿级 ELK 日志平台构建部署实践

本篇主要讲工作中的真实经历,我们怎么打造亿级日志平台,同时手把手教大家建立起这样一套亿级ELK系统。日志平台具体发展历程可以参考上篇 「从ELK到EFK演进」废话不多说,老司机们座好了,我们准备发车了~~~整体架构整体架构主要分为4个模块,分别提供不同的功能Filebeat:轻量级数据收集引擎。基于原先Logstash-fowar...

查看全文 本文标签:安全
04月07日

[置顶] HBase数据压缩编码探索

分类:Hbase | 超过 5634 人围观 | 已有 0 人发表了看法

HBase数据压缩编码探索

摘要: 本文主要介绍了hbase对数据压缩,编码的支持,以及云hbase在社区基础上对数据压缩率和访问速度上了进行的改进。前言你可曾遇到这种需求,只有几百qps的冷数据缓存,却因为存储水位要浪费几十台服务器?你可曾遇到这种需求,几百G的表,必须纯cache命中,性能才能满足业务需求?你可曾遇到,几十M的小表,由于qps过高,必须不停的split,b...

查看全文 本文标签:安全
01月31日

[置顶] Ambari2.7.3 和HDP3.1.0搭建Hadoop集群

分类:Hadoop | 超过 8737 人围观 | 已有 0 人发表了看法

Ambari2.7.3 和HDP3.1.0搭建Hadoop集群

一、环境及软件准备1、集群规划 hdp01/10.1.1.11hdp02/10.1.1.12hdp03/10.1.1.13hdp04/10.1.1.14hdp05/10.1.1.15ambariserver是否否否否ambariagent是是是是是namenode是是否否否datanode否否是是是resourcemanager是是否否否jou...

查看全文 本文标签:Oracle
04月18日

[置顶] Ambari2.6.2 HDP2.6.5 大数据集群搭建

分类:Hadoop | 超过 8803 人围观 | 已有 0 人发表了看法

Ambari2.6.2 HDP2.6.5 大数据集群搭建

Ambari2.6.2中HDFS-2.7.3YARN-2.7.3HIVE-1.2.1HBASE-1.1.2ZOOKEEPER-3.4.6SPARK-2.3.0注:本文基于root用户操作一、安装环境准备操作系统centos7.5hdc-data1:192.168.163.51hdc-data2:192.168.163.52hdc-da...

查看全文 本文标签:安全
05月23日

[置顶] hadoop-2.7.7 HA完全分布式集群部署详解

分类:Hadoop | 超过 7529 人围观 | 已有 0 人发表了看法

hadoop-2.7.7 HA完全分布式集群部署详解

1.HadoopHA简介及工作原理HadoopNameNode官方开始支持HA集群默认是从2.0开始,之前的版本均是不支持NameNodeHA的高可用的。1.1HadoopHA简介Hadoop-HA集群运作机制介绍HA即高可用(7*24小时不中断服务)实现高可用最关键的是消除单点故障分成各个组件的HA机制——HDFS的HA、YARN的HA...

查看全文 本文标签:Hadoop
05月23日

[置顶] 可怕的黑暗料理之暗黑谷歌搜索神器shodan

分类:Safe | 超过 7731 人围观 | 已有 0 人发表了看法

1.暗黑谷歌的由来有这么一款搜索引擎,它一刻不停的在寻找着所有和互联网关联的PLC、摄像头、红绿灯、打印机、路由器、交换机、服务器、数据库等等各种软硬件服务设施。它就是shodan,那么shodan到底是什么呢?怎么会有如此大的魔力?首先,Shodan是一个搜索引擎,但它与Google这种搜索网址的搜索引擎不同,Shodan不是在网上搜索网址,而是直接进入互联网探索其背后的信息。Shodan真正值得注意的能力就是能找...

查看全文 本文标签:安全
05月12日

Python数据分析与展示(1)-数据分析之表示(1)-NumPy数据存取与函数

分类:随笔 | 超过 397 人围观 | 已有 0 人发表了看法

Python数据分析与展示(1)-数据分析之表示(1)-NumPy数据存取与函数

NumPy数据存取与函数 数据的CSV文件存取CSV文件CSV(Comma-SeparatedValue,逗号分隔值)CSV是一种常见的文件格式,用来存储批量数据。 将数据写入CSV文件np.savetxt(frame,array,fmt='%.18e',delimiter=None)-f...

查看全文 本文标签:Python
05月11日

32、出任爬虫公司CEO(爬取职友网招聘信息)

分类:随笔 | 超过 1017 人围观 | 已有 0 人发表了看法

32、出任爬虫公司CEO(爬取职友网招聘信息)

职友集,搜索到全国上百家招聘网站的最新职位。 https://www.jobui.com/rank/company/ 打开网址后,你会发现:这是职友集网站的地区企业排行榜,里面含有    本月人气企业榜    前10家公司的招聘...

查看全文 本文标签:Python
05月11日

五. python进阶(迭代器)

分类:随笔 | 超过 521 人围观 | 已有 0 人发表了看法

一.迭代器我们已经知道,可以直接作用于for循环的数据类型有以下几种:一类是集合数据类型,如list、tuple、dict、set、str等;一类是generator,包括生成器和带yield的generatorfunction。这些可以直接作用于for循环的对象统称为可迭代对象:Iterable。可以使用isinstance()判断一个对象是否是Iterable对象:而生成器不但可以作用于for循环,还可以被next()函...

查看全文 本文标签:Python
05月11日

命令执行tips

分类:随笔 | 超过 241 人围观 | 已有 0 人发表了看法

命令执行tips

介绍:命令执行漏洞概念:当应用需要调用一些外部程序去处理内容的情况下,就会用到一些执行系统命令的函数。如PHP中的system,exec,shell_exec等,当用户可以控制命令执行函数中的参数时,将可注入恶意系统命令到正常命令中,造成命令执行攻击。 代码执行:${}执行代码evalassertpreg_replac...

查看全文 本文标签:Linux
05月11日

BZOJ_2243 [SDOI2011]染色 【树链剖分+线段树】

分类:随笔 | 超过 159 人围观 | 已有 0 人发表了看法

一 题目  [SDOI2011]染色二 分析  感觉树链剖分的这些题真的蛮考验码力的,自己的码力还是不够啊!o(╯□╰)o  还是比较常规的树链剖分,但是一定记得这里的线段树在查询的时候一定要考虑链于链相邻的两个点。  一开始自己已经把很多坑都已经注意了,包括颜色可以为0,链的相邻点,但怎么就是不正确,还是要多刷题。三 AC代码1/**********************************...

查看全文 本文标签:
05月11日

edgex简述

分类:随笔 | 超过 611 人围观 | 已有 0 人发表了看法

edgex简述

一.概述Edgexfoundry是一个Linux基金会运营的开源边缘计算物联网软件框架项目,该项目的核心是基于与硬件和操作系统完全无关的参考软件平台建立的互操作框架,使能即插即用的组件生态系统,统一市场,加速物联网方案的部署。EdgeXFoundry使有意参与的各方在开放与互操作的物联网方案中自由协作,无论他们是使用公开标准或私有方案。Edg...

查看全文 本文标签:安全
05月11日

Go:字符串操作

分类:随笔 | 超过 562 人围观 | 已有 0 人发表了看法

Packagestrings:https://golang.google.cn/pkg/strings/packagemainimport("fmt""strconv""strings")//字符串反转funcReverseStr(strstring)string{varresultstringstrLen:=len(str...

查看全文 本文标签:Go
05月11日

Third Maximum Number LT414

分类:随笔 | 超过 1331 人围观 | 已有 0 人发表了看法

Givenanon-emptyarrayofintegers,returnthethirdmaximumnumberinthisarray.Ifitdoesnotexist,returnthemaximumnumber.ThetimecomplexitymustbeinO(n).Example1:Input:[3,2,1]Output:1Exp...

查看全文 本文标签:
05月11日

概率图模型之EM算法

分类:随笔 | 超过 311 人围观 | 已有 0 人发表了看法

概率图模型之EM算法

一、EM算法概述EM算法(ExpectationMaximizationAlgorithm,期望极大算法)是一种迭代算法,用于求解含有隐变量的概率模型参数的极大似然估计(MLE)或极大后验概率估计(MAP)。EM算法是一种比较通用的参数估计算法,被广泛用于朴素贝叶斯、GMM(高斯混合模型)、K-means(K均值聚类)和HMM(隐马尔科夫模型)的参数...

查看全文 本文标签:算法
05月11日

31、当当图书榜单爬虫

分类:随笔 | 超过 550 人围观 | 已有 0 人发表了看法

31、当当图书榜单爬虫

练习介绍要求:    请使用Scrapy,爬取当当网2018年图书销售榜单前3页的数据(图书名、作者和书的价格)。       当当网2018年图书销售榜单链接:    htt...

查看全文 本文标签:Python
05月11日

使用gitbase 分析git 仓库代码

分类:随笔 | 超过 1914 人围观 | 已有 0 人发表了看法

使用gitbase 分析git 仓库代码

 gitbase是一个基于golang开发的开源git仓库sql接口查询引擎,基于此工具,我们可以方便的分析git仓库代码的情况而且可以基于源码的分析,还是很强大的安装直接使用编译的二进制文件即可https://github.com/src-d/gitbase/releases配置我使用mac系统,参考mac...

查看全文 本文标签:Go
05月11日

简单工厂模式学习

分类:随笔 | 超过 568 人围观 | 已有 0 人发表了看法

简单工厂模式简单工厂模式是由一个工厂对象决定创建出哪一种产品类的实例。//测试类,包含main方法publicclassFactoryPattern{publicstaticvoidmain(String[]args){//不使用工厂模式时,使用者和被使用者之间耦合,产生了依赖,//当被使用这改变时,会影响使用者。使用工厂模式来降低两者之间的依赖。...

查看全文 本文标签:
微信公众号
  • 关注微信公众号
«   2019年5月   »
12345
6789101112
13141516171819
20212223242526
2728293031
网站分类
文章归档
网站收藏
友情链接
广告赞助
  • 点击查看详情