收藏本站 | RSS订阅大数据运维|云计算|攻防安全|AI|互联网时代守护先锋
你现在的位置:首页 » 2019年2月
12月26日

[置顶] 五分钟轻松了解Hbase面向列的存储

分类:Hadoop | 超过 5506 人围观 | 已有 0 人发表了看法

五分钟轻松了解Hbase面向列的存储

说明:从严格的列式存储的定义来看,Hbase并不属于列式存储,有人称它为面向列的存储,请各位看官注意这一点。 行式存储 传统的数据库是关系型的,且是按行来存储的。如下图:其中只有张三把一行数据填满了,李四王五赵六的行都没有填满。因为这里的行结构是固定的,每一行都一样,即使你不用,也必须空到那里,而不能没有。来一张形象的图:不管你坐或不坐,...

查看全文 本文标签:Go
03月13日

[置顶] OpenTSDB/HBase的调优过程整理

分类:Hbase | 超过 6042 人围观 | 已有 0 人发表了看法

OpenTSDB/HBase的调优过程整理

背景过年前,寂寞哥给我三台机器,说搞个新的openTSDB集群。机器硬件是8核16G内存、3个146G磁盘做数据盘。我说这太抠了,寂寞哥说之前的TSDB集群运行了两年,4台同样配置的机器,目前hdfs才用了40%,所以前期先用着这三台机器,不够再加。于是我只好默默地搭好了CDH5、openTSDB(2.1版本,请注意此版本号)、bosun,并在2...

查看全文 本文标签:算法
02月02日

[置顶] 亿级 ELK 日志平台构建部署实践

分类:Hadoop | 超过 9727 人围观 | 已有 0 人发表了看法

亿级 ELK 日志平台构建实践

本篇主要讲工作中的真实经历,我们怎么打造亿级日志平台,同时手把手教大家建立起这样一套亿级 ELK 系统。日志平台具体发展历程可以参考上篇 「从 ELK 到 EFK 演进」

废话不多说,老司机们座好了,我们准备发车了~~~

整体架构

亿级 ELK 日志平台构建部署实践

本篇主要讲工作中的真实经历,我们怎么打造亿级日志平台,同时手把手教大家建立起这样一套亿级ELK系统。日志平台具体发展历程可以参考上篇 「从ELK到EFK演进」废话不多说,老司机们座好了,我们准备发车了~~~整体架构整体架构主要分为4个模块,分别提供不同的功能Filebeat:轻量级数据收集引擎。基于原先Logstash-fowar...

查看全文 本文标签:安全
04月07日

[置顶] HBase数据压缩编码探索

分类:Hbase | 超过 5634 人围观 | 已有 0 人发表了看法

HBase数据压缩编码探索

摘要: 本文主要介绍了hbase对数据压缩,编码的支持,以及云hbase在社区基础上对数据压缩率和访问速度上了进行的改进。前言你可曾遇到这种需求,只有几百qps的冷数据缓存,却因为存储水位要浪费几十台服务器?你可曾遇到这种需求,几百G的表,必须纯cache命中,性能才能满足业务需求?你可曾遇到,几十M的小表,由于qps过高,必须不停的split,b...

查看全文 本文标签:安全
01月31日

[置顶] Ambari2.7.3 和HDP3.1.0搭建Hadoop集群

分类:Hadoop | 超过 8737 人围观 | 已有 0 人发表了看法

Ambari2.7.3 和HDP3.1.0搭建Hadoop集群

一、环境及软件准备1、集群规划 hdp01/10.1.1.11hdp02/10.1.1.12hdp03/10.1.1.13hdp04/10.1.1.14hdp05/10.1.1.15ambariserver是否否否否ambariagent是是是是是namenode是是否否否datanode否否是是是resourcemanager是是否否否jou...

查看全文 本文标签:Oracle
04月18日

[置顶] Ambari2.6.2 HDP2.6.5 大数据集群搭建

分类:Hadoop | 超过 8803 人围观 | 已有 0 人发表了看法

Ambari2.6.2 HDP2.6.5 大数据集群搭建

Ambari2.6.2中HDFS-2.7.3YARN-2.7.3HIVE-1.2.1HBASE-1.1.2ZOOKEEPER-3.4.6SPARK-2.3.0注:本文基于root用户操作一、安装环境准备操作系统centos7.5hdc-data1:192.168.163.51hdc-data2:192.168.163.52hdc-da...

查看全文 本文标签:安全
05月23日

[置顶] hadoop-2.7.7 HA完全分布式集群部署详解

分类:Hadoop | 超过 7529 人围观 | 已有 0 人发表了看法

hadoop-2.7.7 HA完全分布式集群部署详解

1.HadoopHA简介及工作原理HadoopNameNode官方开始支持HA集群默认是从2.0开始,之前的版本均是不支持NameNodeHA的高可用的。1.1HadoopHA简介Hadoop-HA集群运作机制介绍HA即高可用(7*24小时不中断服务)实现高可用最关键的是消除单点故障分成各个组件的HA机制——HDFS的HA、YARN的HA...

查看全文 本文标签:Hadoop
05月23日

[置顶] 可怕的黑暗料理之暗黑谷歌搜索神器shodan

分类:Safe | 超过 7731 人围观 | 已有 0 人发表了看法

1.暗黑谷歌的由来有这么一款搜索引擎,它一刻不停的在寻找着所有和互联网关联的PLC、摄像头、红绿灯、打印机、路由器、交换机、服务器、数据库等等各种软硬件服务设施。它就是shodan,那么shodan到底是什么呢?怎么会有如此大的魔力?首先,Shodan是一个搜索引擎,但它与Google这种搜索网址的搜索引擎不同,Shodan不是在网上搜索网址,而是直接进入互联网探索其背后的信息。Shodan真正值得注意的能力就是能找...

查看全文 本文标签:安全
02月28日

python中的一等对象--函数

分类:Python | 超过 830 人围观 | 已有 0 人发表了看法

一等对象什么是一等对象:在运行时创建能赋值给变量或数据结构中的元素能作为参数传递给函数能作为函数的返回结果python中的字符串,列表什么的都是一等对象,但对如果之前只是使用c++、java语言的人们来说python中的函数也是一等对象,那一定会有一点不可思议接下来就介绍一下这个一等对象—函数函数是一等对象我们就马上证明一下函数是一等对象:deffunc():...

查看全文 本文标签:Python
02月28日

noip2018 D1T3 赛道修建

分类:算法 | 超过 1208 人围观 | 已有 0 人发表了看法

题目描述C城将要举办一系列的赛车比赛。在比赛前,需要在城内修建 mm 条赛道。C城一共有 nn 个路口,这些路口编号为 1,2,…,n1,2,…,n,有 n-1n−1 条适合于修建赛道的双向通行的道路,每条道路连接着两个路口。其中,第 ii 条道路连接的两个路口编号为 a_iai​ 和 b_ibi​,该道路...

查看全文 本文标签:安全
02月28日

Kafka的接口回调 +自定义分区、拦截器

分类:Hadoop | 超过 435 人围观 | 已有 0 人发表了看法

一、接口回调+自定义分区  1.接口回调:在使用消费者的send方法时添加Callback回调 producer.send(newProducerRecord<String,String>("xinnian","20"+i+"年新年好!"),newCallback(){publicvoidonCompletion(RecordMetadatarecordMetadata...

查看全文 本文标签:Linux
02月28日

cmd命令操作Mysql数据库

分类:Mysql | 超过 1401 人围观 | 已有 0 人发表了看法

cmd命令操作Mysql数据库

在一次考试中,笔者因考试的电脑上没有安装操作Mysql数据库的可视化工具而不知如何操作数据库,所以在这里可以提醒各位掌握命令行来操作数据库也是非常重要的。笔者以惨痛的教训来警惕大家。进入正题:使用命令行来操作数据库分为以下几个步骤:前提:  windows+R运行cmd.exe 步骤一:  找到安装My...

查看全文 本文标签:Mysql
02月28日

自己动手实现java数据结构(八) 优先级队列

分类:算法 | 超过 898 人围观 | 已有 0 人发表了看法

自己动手实现java数据结构(八) 优先级队列

1.优先级队列介绍1.1优先级队列  有时在调度任务时,我们会想要先处理优先级更高的任务。例如,对于同一个柜台,在决定队列中下一个服务的用户时,总是倾向于优先服务VIP用户,而让普通用户等待,即使普通的用户是先加入队列的。  优先级队列和普通的先进先出FIFO的队列类似,最大的不同在于,优先级队列中优先级最高的元素总是最先出队的,而不是遵循先进...

查看全文 本文标签:算法
02月28日

虚拟机Ubuntu18.04——gcc版本的升降

分类:Linux | 超过 659 人围观 | 已有 0 人发表了看法

虚拟机Ubuntu18.04——gcc版本的升降

致读者:这是本人第一篇博客,小试牛刀,希望能在以后的道路中分享出更多实用的技巧和知识,大家一起进步。操作环境: VMwareWorkstation14Pro、64位Ubuntu18.04系统操作步骤:(以下所有步骤都在命令行进行)1.安装所需要版本的gccsudoaptinstallgcc-x.x  ...

查看全文 本文标签:Linux
02月28日

linux 安装 node 环境

分类:Linux | 超过 35 人围观 | 已有 0 人发表了看法

本篇学习的分享主要说在linux安装node环境,个人也是在腾讯云的实验室课程学习的,这里只是个人的一个学习记录,大家也可以去腾讯的实验室来体验一下,教程十分详细易学。 1、安装Node.js环境  Node.js是运行在服务端的JavaScript,是基于ChromeJavaScriptV8引擎建立的平台。 2、下载并安装Node.js  下载最新的稳定版到...

查看全文 本文标签:Linux
02月28日

Kafka概述及安装部署

分类:Hadoop | 超过 1375 人围观 | 已有 0 人发表了看法

Kafka概述及安装部署

一、Kafka概述   1.Kafka是一个分布式流媒体平台,它有三个关键功能:   (1)发布和订阅记录流,类似于消息队列或企业消息传递系统;   (2)以容错的持久方式存储记录流;   (3)记录发送时处理流。  2.Kafka通常应用的两大类应用   (1)构建在系统或应用程序之间的可靠获取数据的实时流数据管道;...

查看全文 本文标签:Linux
02月28日

Golang之变量去哪儿

分类:go | 超过 1458 人围观 | 已有 0 人发表了看法

Golang之变量去哪儿

目录什么是逃逸分析为什么要逃逸分析逃逸分析是怎么完成的逃逸分析实例总结参考资料写过C/C++的同学都知道,调用著名的malloc和new函数可以在堆上分配一块内存,这块内存的使用和销毁的责任都在程序员。一不小心,就会发生内存泄露,搞得胆战心惊。切换到Golang后,基本不会担心内存泄露了。虽然也有ne...

查看全文 本文标签:Go
02月28日

Selenium2+python自动化-xpath定位语法

分类:Python | 超过 697 人围观 | 已有 0 人发表了看法

Selenium2+python自动化-xpath定位语法

前言      在上一篇简单的介绍了用工具查看目标元素的xpath地址,工具查看比较死板,不够灵活,有时候直接复制粘贴会定位不到。这个时候就需要自己手动的去写xpath了,这一篇详细讲解xpath的一些语法。 什么是xpath呢?官方介绍:  XPath即为XML路径语言,它是一种用来确定XM...

查看全文 本文标签:Python
02月28日

MySQL 笔记整理(5) --深入浅出索引(下)

分类:Mysql | 超过 1826 人围观 | 已有 0 人发表了看法

笔记记录自林晓斌(丁奇)老师的《MySQL实战45讲》5)--深入浅出索引(下)  这次的笔记从一个简单的查询开始:  建表语句是这样的mysql>createtableT(IDintprimarykey,kintNOTNULLDEFAULT0,svarchar(16)NOTNULLDEFAULT'',indexk(k))engine=InnoDB;inser...

查看全文 本文标签:Mysql
02月28日

对于未来学习Linux的决心书,以此为鉴

分类:Linux | 超过 1543 人围观 | 已有 0 人发表了看法

学习Linux的决心书    我叫曹佳佳,来自祖国的大西北甘肃庆阳,2016年大专毕业之后从事自己的专业风力发电行业工作了两年多在从事风电行业的过程中越来越感觉到自己的薪资待遇和以后的发展空间越来越小,而且这个行业也是一个高危行业国家对于这些行业也没有特别的重视起来安全保障并不是很到位,所以考虑转行学习一门有发展前景的技术最后选择了老男孩的Linux运维!为了完成自己的目标,在后面...

查看全文 本文标签:安全
微信公众号
  • 关注微信公众号
«   2019年2月   »
123
45678910
11121314151617
18192021222324
25262728
网站分类
文章归档
网站收藏
友情链接
广告赞助
  • 点击查看详情