收藏本站 | RSS订阅大数据运维|云计算|攻防安全|AI|互联网时代守护先锋
你现在的位置:首页 » 2019年5月1日
12月26日

[置顶] 五分钟轻松了解Hbase面向列的存储

分类:Hadoop | 超过 5506 人围观 | 已有 0 人发表了看法

五分钟轻松了解Hbase面向列的存储

说明:从严格的列式存储的定义来看,Hbase并不属于列式存储,有人称它为面向列的存储,请各位看官注意这一点。 行式存储 传统的数据库是关系型的,且是按行来存储的。如下图:其中只有张三把一行数据填满了,李四王五赵六的行都没有填满。因为这里的行结构是固定的,每一行都一样,即使你不用,也必须空到那里,而不能没有。来一张形象的图:不管你坐或不坐,...

查看全文 本文标签:Go
03月13日

[置顶] OpenTSDB/HBase的调优过程整理

分类:Hbase | 超过 6042 人围观 | 已有 0 人发表了看法

OpenTSDB/HBase的调优过程整理

背景过年前,寂寞哥给我三台机器,说搞个新的openTSDB集群。机器硬件是8核16G内存、3个146G磁盘做数据盘。我说这太抠了,寂寞哥说之前的TSDB集群运行了两年,4台同样配置的机器,目前hdfs才用了40%,所以前期先用着这三台机器,不够再加。于是我只好默默地搭好了CDH5、openTSDB(2.1版本,请注意此版本号)、bosun,并在2...

查看全文 本文标签:算法
02月02日

[置顶] 亿级 ELK 日志平台构建部署实践

分类:Hadoop | 超过 9727 人围观 | 已有 0 人发表了看法

亿级 ELK 日志平台构建实践

本篇主要讲工作中的真实经历,我们怎么打造亿级日志平台,同时手把手教大家建立起这样一套亿级 ELK 系统。日志平台具体发展历程可以参考上篇 「从 ELK 到 EFK 演进」

废话不多说,老司机们座好了,我们准备发车了~~~

整体架构

亿级 ELK 日志平台构建部署实践

本篇主要讲工作中的真实经历,我们怎么打造亿级日志平台,同时手把手教大家建立起这样一套亿级ELK系统。日志平台具体发展历程可以参考上篇 「从ELK到EFK演进」废话不多说,老司机们座好了,我们准备发车了~~~整体架构整体架构主要分为4个模块,分别提供不同的功能Filebeat:轻量级数据收集引擎。基于原先Logstash-fowar...

查看全文 本文标签:安全
04月07日

[置顶] HBase数据压缩编码探索

分类:Hbase | 超过 5634 人围观 | 已有 0 人发表了看法

HBase数据压缩编码探索

摘要: 本文主要介绍了hbase对数据压缩,编码的支持,以及云hbase在社区基础上对数据压缩率和访问速度上了进行的改进。前言你可曾遇到这种需求,只有几百qps的冷数据缓存,却因为存储水位要浪费几十台服务器?你可曾遇到这种需求,几百G的表,必须纯cache命中,性能才能满足业务需求?你可曾遇到,几十M的小表,由于qps过高,必须不停的split,b...

查看全文 本文标签:安全
01月31日

[置顶] Ambari2.7.3 和HDP3.1.0搭建Hadoop集群

分类:Hadoop | 超过 8737 人围观 | 已有 0 人发表了看法

Ambari2.7.3 和HDP3.1.0搭建Hadoop集群

一、环境及软件准备1、集群规划 hdp01/10.1.1.11hdp02/10.1.1.12hdp03/10.1.1.13hdp04/10.1.1.14hdp05/10.1.1.15ambariserver是否否否否ambariagent是是是是是namenode是是否否否datanode否否是是是resourcemanager是是否否否jou...

查看全文 本文标签:Oracle
04月18日

[置顶] Ambari2.6.2 HDP2.6.5 大数据集群搭建

分类:Hadoop | 超过 8803 人围观 | 已有 0 人发表了看法

Ambari2.6.2 HDP2.6.5 大数据集群搭建

Ambari2.6.2中HDFS-2.7.3YARN-2.7.3HIVE-1.2.1HBASE-1.1.2ZOOKEEPER-3.4.6SPARK-2.3.0注:本文基于root用户操作一、安装环境准备操作系统centos7.5hdc-data1:192.168.163.51hdc-data2:192.168.163.52hdc-da...

查看全文 本文标签:安全
05月23日

[置顶] hadoop-2.7.7 HA完全分布式集群部署详解

分类:Hadoop | 超过 7529 人围观 | 已有 0 人发表了看法

hadoop-2.7.7 HA完全分布式集群部署详解

1.HadoopHA简介及工作原理HadoopNameNode官方开始支持HA集群默认是从2.0开始,之前的版本均是不支持NameNodeHA的高可用的。1.1HadoopHA简介Hadoop-HA集群运作机制介绍HA即高可用(7*24小时不中断服务)实现高可用最关键的是消除单点故障分成各个组件的HA机制——HDFS的HA、YARN的HA...

查看全文 本文标签:Hadoop
05月23日

[置顶] 可怕的黑暗料理之暗黑谷歌搜索神器shodan

分类:Safe | 超过 7731 人围观 | 已有 0 人发表了看法

1.暗黑谷歌的由来有这么一款搜索引擎,它一刻不停的在寻找着所有和互联网关联的PLC、摄像头、红绿灯、打印机、路由器、交换机、服务器、数据库等等各种软硬件服务设施。它就是shodan,那么shodan到底是什么呢?怎么会有如此大的魔力?首先,Shodan是一个搜索引擎,但它与Google这种搜索网址的搜索引擎不同,Shodan不是在网上搜索网址,而是直接进入互联网探索其背后的信息。Shodan真正值得注意的能力就是能找...

查看全文 本文标签:安全
05月01日

LeetCode算法题-Shortest Distance to a Character(Java实现)

分类:算法 | 超过 753 人围观 | 已有 0 人发表了看法

这是悦乐书的第321次更新,第343篇原创01看题和准备今天介绍的是LeetCode算法题中Easy级别的第191题(顺位题号是821)。给定字符串S和字符C,返回一个整数数组,表示字符串中所有字符到字符C的最短距离。例如:输入:S=“loveleetcode”,C='e'输出:[3,2,1,0,1,0,0,1,2,2,1,0]注意:S字符串长度为[1,10000]。C是单个字符,存在于字符串...

查看全文 本文标签:算法
05月01日

01-Hadoop概述及基础环境搭建

分类:Hadoop | 超过 1056 人围观 | 已有 0 人发表了看法

01-Hadoop概述及基础环境搭建

1hadoop概述 1.1 为什么会有大数据处理 传统模式已经满足不了大数据的增长1)存储问题传统数据库:存储亿级别的数据,需要高性能的服务器;并且解决不了本质问题;只能存结构化数据大数据存储:通过分布式存储,将数据存到一台机器的同时,还可以备份到其他机器上,这样当某台机器挂掉了或...

查看全文 本文标签:安全
05月01日

Python基础之函数参数与返回值进阶

分类:Python | 超过 1697 人围观 | 已有 0 人发表了看法

参数作用:如果外界希望在函数内部处理数据,就可以将数据作为参数传入函数内部;返回值作用:如果希望一个函数函数执行完成后,向外界报告函数的执行结果,就可以使用函数的返回值。函数的返回值进阶利用元组返回多个函数值可以用元组让函数返回多个值;如果函数返回的类型时元组,那么小括号可以省略;比如,以下两个就相等:return(temp,humidity)=returntemp,humiditydefmeasur...

查看全文 本文标签:Python
05月01日

学习python的第六天(五一快乐内容不多哈)

分类:Python | 超过 1228 人围观 | 已有 0 人发表了看法

学习python的第六天(五一快乐内容不多哈)

5.1自学自我总结1.关于数据类型补充在整列中除了int数据类型,还要long数据数据类型ling为长数字另外还有一种未被提到的数据类型为虚数complex在python中虚数为5j来表示个个数字函数的也可以相互装换如下a=1;b=3.9;c=True#同一排多个变量可以用;分开写在同一排#int转化pri...

查看全文 本文标签:Python
05月01日

【Python实践-9】将字符串转化为浮点型

分类:Python | 超过 907 人围观 | 已有 0 人发表了看法

利用map和reduce编写一个str2float函数,把字符串'123.456'转换成浮点数123.456。思路:计算小数位数--->将字符串中的小数点去掉--->字符串转换为整数--->整数转换为浮点数1fromfunctoolsimportreduce2defstr2float(s):3DIGITS={'0':0,'1':1,'2':2,'3':3,'...

查看全文 本文标签:Python
05月01日

42行代码完成深入虎穴

分类:算法 | 超过 1456 人围观 | 已有 0 人发表了看法

42行代码完成深入虎穴

题目:7-2深入虎穴(30分)著名的王牌间谍007需要执行一次任务,获取敌方的机密情报。已知情报藏在一个地下迷宫里,迷宫只有一个入口,里面有很多条通路,每条路通向一扇门。每一扇门背后或者是一个房间,或者又有很多条路,同样是每条路通向一扇门……他的手里有一张表格,是其他间谍帮他收集到的情报,他们记下了每扇门的编号,以及这扇门背后的...

查看全文 本文标签:
05月01日

UEFI Install CentOS 7

分类:Linux | 超过 175 人围观 | 已有 0 人发表了看法

 UEFIInstallCentOS7 bios必须设置u盘为第一启动项编辑E:\EFI\BOOT\grub.cfg中所有inst.stage2=hd:LABEL=*与卷标名称一致(区分大小写)(linux系统写入镜像无需修改)inst.stage2=hd:LABEL=CentOS\x207\x20x86_64安装ntfs-3gcentos7中yum安装ntf...

查看全文 本文标签:Go
05月01日

mysql8.0入坑体验

分类:Mysql | 超过 1686 人围观 | 已有 0 人发表了看法

正常从官网下载,并且正常安装,直到安装完成。然后用navicate连接,发现报错信息如下所示Clientdoesnotsupportauthenticationprotocolrequestedbyserver;considerupgradingMySQLclientbing了一下,发现是密码加密方式不一样,然后接着更改ALTERUSER'root'@'%'IDENTIFIEDWITHmysql_...

查看全文 本文标签:Mysql
05月01日

正则表达式 整理(w s d 点 贪婪匹配 非贪婪匹配 * + ? {} | [] ^ $  单词边界 分组、re.findall()、re.split()、re.search()、re.match()、re.compile()、re.sub())

分类:Python | 超过 1076 人围观 | 已有 0 人发表了看法

re.findall  匹配到正则表达式的字符,匹配到的每个字符存入一个列表,返回一个匹配到的所有字符列表一.匹配单个字符importre#\w匹配所有字母、数字、下划线re.findall('\w','abcd_123*-')#结果为:['a','b','c','d','_','1','2','3']#\s匹配所有不可见字符#不可...

查看全文 本文标签:Python
05月01日

Python Web开发中的WSGI协议简介

分类:Python | 超过 1414 人围观 | 已有 0 人发表了看法

 在PythonWeb开发中,我们一般使用Flask、Django等web框架来开发应用程序,生产环境中将应用部署到Apache、Nginx等web服务器时,还需要uWSGI或者Gunicorn。一个完整的部署应该类似这样:WebServer(Nginx、Apache)<----->WSGIserver(uWSGI、Gunicorn)<----->App(Flask、Django)...

查看全文 本文标签:Go
05月01日

CMU-15445 LAB3:事务隔离,two-phase locking,锁管理器

分类:Mysql | 超过 1584 人围观 | 已有 0 人发表了看法

概述本lab将实现一个锁管理器,事务通过锁管理器获取锁,事务管理器根据情况决定是否授予锁,或是阻塞等待其它事务释放该锁。背景事务属性众所周知,事务具有如下属性:原子性:事务要么执行完成,要么就没有执行。一致性:事务执行完毕后,不会出现不一致的情况。隔离性:多个事务并发执行不会相互影响。持久性:事务执行成功后,所以状态将被持久化。一些定义将对数据对象Q的操作进行抽象,read(Q):...

查看全文 本文标签:安全
05月01日

java:数据结构复习(三)链表队列

分类:算法 | 超过 927 人围观 | 已有 0 人发表了看法

@TOC和栈一样,队列也是表,但是使用队列的特点是先进先出。队列模型队列的基本操作是入队,它是在表的末端插入一个元素,和出队,它是删除在表开头的一个元素graphLRA[<kbd>入队</kbd>]-->b[队列]b[队列]-->c[<kbd>出队</kbd>]队列的链表实现链表队列的实现importjava.util.EmptySt...

查看全文 本文标签:
微信公众号
  • 关注微信公众号
«   2019年5月   »
12345
6789101112
13141516171819
20212223242526
2728293031
网站分类
文章归档
网站收藏
友情链接
广告赞助
  • 点击查看详情