收藏本站 | RSS订阅大数据运维|云计算|攻防安全|AI|互联网时代守护先锋
你现在的位置:首页 » 2018年7月
12月26日

[置顶] 五分钟轻松了解Hbase面向列的存储

分类:Hadoop | 超过 5506 人围观 | 已有 0 人发表了看法

五分钟轻松了解Hbase面向列的存储

说明:从严格的列式存储的定义来看,Hbase并不属于列式存储,有人称它为面向列的存储,请各位看官注意这一点。 行式存储 传统的数据库是关系型的,且是按行来存储的。如下图:其中只有张三把一行数据填满了,李四王五赵六的行都没有填满。因为这里的行结构是固定的,每一行都一样,即使你不用,也必须空到那里,而不能没有。来一张形象的图:不管你坐或不坐,...

查看全文 本文标签:Go
03月13日

[置顶] OpenTSDB/HBase的调优过程整理

分类:Hbase | 超过 6042 人围观 | 已有 0 人发表了看法

OpenTSDB/HBase的调优过程整理

背景过年前,寂寞哥给我三台机器,说搞个新的openTSDB集群。机器硬件是8核16G内存、3个146G磁盘做数据盘。我说这太抠了,寂寞哥说之前的TSDB集群运行了两年,4台同样配置的机器,目前hdfs才用了40%,所以前期先用着这三台机器,不够再加。于是我只好默默地搭好了CDH5、openTSDB(2.1版本,请注意此版本号)、bosun,并在2...

查看全文 本文标签:算法
02月02日

[置顶] 亿级 ELK 日志平台构建部署实践

分类:Hadoop | 超过 9727 人围观 | 已有 0 人发表了看法

亿级 ELK 日志平台构建实践

本篇主要讲工作中的真实经历,我们怎么打造亿级日志平台,同时手把手教大家建立起这样一套亿级 ELK 系统。日志平台具体发展历程可以参考上篇 「从 ELK 到 EFK 演进」

废话不多说,老司机们座好了,我们准备发车了~~~

整体架构

亿级 ELK 日志平台构建部署实践

本篇主要讲工作中的真实经历,我们怎么打造亿级日志平台,同时手把手教大家建立起这样一套亿级ELK系统。日志平台具体发展历程可以参考上篇 「从ELK到EFK演进」废话不多说,老司机们座好了,我们准备发车了~~~整体架构整体架构主要分为4个模块,分别提供不同的功能Filebeat:轻量级数据收集引擎。基于原先Logstash-fowar...

查看全文 本文标签:安全
04月07日

[置顶] HBase数据压缩编码探索

分类:Hbase | 超过 5634 人围观 | 已有 0 人发表了看法

HBase数据压缩编码探索

摘要: 本文主要介绍了hbase对数据压缩,编码的支持,以及云hbase在社区基础上对数据压缩率和访问速度上了进行的改进。前言你可曾遇到这种需求,只有几百qps的冷数据缓存,却因为存储水位要浪费几十台服务器?你可曾遇到这种需求,几百G的表,必须纯cache命中,性能才能满足业务需求?你可曾遇到,几十M的小表,由于qps过高,必须不停的split,b...

查看全文 本文标签:安全
01月31日

[置顶] Ambari2.7.3 和HDP3.1.0搭建Hadoop集群

分类:Hadoop | 超过 8737 人围观 | 已有 0 人发表了看法

Ambari2.7.3 和HDP3.1.0搭建Hadoop集群

一、环境及软件准备1、集群规划 hdp01/10.1.1.11hdp02/10.1.1.12hdp03/10.1.1.13hdp04/10.1.1.14hdp05/10.1.1.15ambariserver是否否否否ambariagent是是是是是namenode是是否否否datanode否否是是是resourcemanager是是否否否jou...

查看全文 本文标签:Oracle
04月18日

[置顶] Ambari2.6.2 HDP2.6.5 大数据集群搭建

分类:Hadoop | 超过 8804 人围观 | 已有 0 人发表了看法

Ambari2.6.2 HDP2.6.5 大数据集群搭建

Ambari2.6.2中HDFS-2.7.3YARN-2.7.3HIVE-1.2.1HBASE-1.1.2ZOOKEEPER-3.4.6SPARK-2.3.0注:本文基于root用户操作一、安装环境准备操作系统centos7.5hdc-data1:192.168.163.51hdc-data2:192.168.163.52hdc-da...

查看全文 本文标签:安全
05月23日

[置顶] hadoop-2.7.7 HA完全分布式集群部署详解

分类:Hadoop | 超过 7529 人围观 | 已有 0 人发表了看法

hadoop-2.7.7 HA完全分布式集群部署详解

1.HadoopHA简介及工作原理HadoopNameNode官方开始支持HA集群默认是从2.0开始,之前的版本均是不支持NameNodeHA的高可用的。1.1HadoopHA简介Hadoop-HA集群运作机制介绍HA即高可用(7*24小时不中断服务)实现高可用最关键的是消除单点故障分成各个组件的HA机制——HDFS的HA、YARN的HA...

查看全文 本文标签:Hadoop
05月23日

[置顶] 可怕的黑暗料理之暗黑谷歌搜索神器shodan

分类:Safe | 超过 7731 人围观 | 已有 0 人发表了看法

1.暗黑谷歌的由来有这么一款搜索引擎,它一刻不停的在寻找着所有和互联网关联的PLC、摄像头、红绿灯、打印机、路由器、交换机、服务器、数据库等等各种软硬件服务设施。它就是shodan,那么shodan到底是什么呢?怎么会有如此大的魔力?首先,Shodan是一个搜索引擎,但它与Google这种搜索网址的搜索引擎不同,Shodan不是在网上搜索网址,而是直接进入互联网探索其背后的信息。Shodan真正值得注意的能力就是能找...

查看全文 本文标签:安全
07月31日

恢复误删除表黑科技之relay log大法(续)

分类:Mysql | 超过 505 人围观 | 已有 0 人发表了看法

 Preface   I'vestucktwiceinmypreviousexperimentsinbackingupdroppedtables.IamstillnotsurethatwhyIgotfailureyesterday.Therefore,Idecidetodothatagainwiththesame...

查看全文 本文标签:Oracle
07月31日

web server性能优化浅谈

分类:go | 超过 1237 人围观 | 已有 0 人发表了看法

web server性能优化浅谈

作者:ZhiYan,Jack47转载请保留作者和原文出处Update:2018.8.8在无锁小节增加了一些内容性能优化,优化的东西一定得在主路径上,结合测量的结果去优化。不然即使性能再好,逻辑相对而言执行不了几次,其实对提示性能的影响微乎其微。记得抖哥以前说多隆在帮忙查广告搜索引擎的问题,看到了一处代码,激动的说这里用他的办法,性能可以提升至...

查看全文 本文标签:安全
07月31日

微信小程序—day01

分类:随笔 | 超过 1158 人围观 | 已有 0 人发表了看法

微信小程序—day01

前言听说谷歌准备回中国了,玩了一下谷歌刚入驻微信的小程序:“猜画小歌”,又一次见识到了ai的强大魅力。看来python之路,前途还是一片光明的。因为18年初时的“跳一跳”,带火了微信小程序,一直想要写一个。所以准备开始花一周时间写个小程序。小程序功能特点准备工作微信小程序开发工具下载:https://developers.weix...

查看全文 本文标签:Python
07月31日

linux_shell_字符串

分类:Linux | 超过 1258 人围观 | 已有 0 人发表了看法

linux_shell_字符串

 字符串是shell编程中最常用最有用的数据类型(除了数字和字符串,也没啥其它类型好用了),字符串可以用单引号,也可以用双引号,也可以不用引号。但是单引号和双引号是有区别的:  单引号:单引号里的任何字符都会原样输出,单引号字符串中的变量是无效的;单引号字串中不能出现单独一个的单引号(对单引号使用转义符后也不行),但可成对...

查看全文 本文标签:Linux
07月31日

ansible自动化运维入门

分类:Linux | 超过 1383 人围观 | 已有 0 人发表了看法

1.ansible的安装1)使用源码安装Python3.5安装支持包yum-yinstalllrzszvimnet-toolsgccgcc-c++ncursesncurses-develunzipzlib-develzlibopenssl-developenssltarxfPython-3.5.2.tgz-C/usr/src/./configure--prefix=/usr/lo...

查看全文 本文标签:Mysql
07月31日

shell编程基础-01

分类:Linux | 超过 715 人围观 | 已有 0 人发表了看法

1.1 前言1.1.1 为什么学ShellShell脚本语言是实现Linux/UNIX系统管理及自动化运维所必备的重要工具Linux/UNIX系统的底层及基础应用软件的核心大都涉及Shell脚本的内容。每一个合格 的Linux系统管理员或运维工程师,都需要能够熟练地编写Shell脚本语言,并能够阅 读系统及各类软件附带的Shell脚本内容。只有这样才能提升运维人员的工作效率,适 ...

查看全文 本文标签:Python
07月31日

微信小程序发红包

分类:随笔 | 超过 1028 人围观 | 已有 0 人发表了看法

背景:    近期一个朋友公司要做活动,活动放在小程序上。小程序开发倒是不难,不过要使用小程序给微信用户发红包,这个就有点麻烦确定模式:    小程序目前没有发红包接口,要实现的话,只能是模拟红包,即小程序上做出红包的效果,实质使用别的支付方式代替    1、首先想到的是企业支付,简单...

查看全文 本文标签:
07月31日

mysql 开发进阶篇系列 11 锁问题 (恢复和复制的需要,对锁机制的影响)

分类:Mysql | 超过 961 人围观 | 已有 0 人发表了看法

1.恢复和复制的需要,对innodb锁机制的影响  mysql通过binlog文件对增删除改等更新数据的sql语句,实现数据库的恢复和主从复制。mysql的恢复机制(复制其实就是在slavemysql不断做基于binglog的恢复)特点有如下:  (1)mysql的恢复是sql语句级的,也就是重新执行binlog中的sql语句,oracle数据库则是基于数据库文件块的。  (2)mysql的binlog是按照事务...

查看全文 本文标签:Oracle
07月31日

[LTR] RankLib.jar 包介绍

分类:Hadoop | 超过 994 人围观 | 已有 0 人发表了看法

一、介绍RankLib.jar是一个学习排名(Learningtorank)算法的库,目前已经实现了如下几种算法:MARTRankNetRankBoostAdaRankCoordinateAscentLambdaMARTListNetRandomForestsLinearregression二、jar包Usage:java-jarRankLib...

查看全文 本文标签:算法
07月31日

MySql8.0后密码认证方式问题[caching-sha2-password]

分类:Mysql | 超过 1320 人围观 | 已有 0 人发表了看法

这个问题通常在laravel中表现为类似下边的异常: local.ERROR:SQLSTATE[HY000][2006]MySQLserverhasgoneaway{"exception":"[object](PDOException(code:2006):SQLSTATE[HY000][2006]MySQLserverhasgoneawayat... 找...

查看全文 本文标签:Go
07月31日

Shell的特殊变量

分类:Linux | 超过 978 人围观 | 已有 0 人发表了看法

在Shell里存在的一些特殊变量:$!、$@、$#、$$、$*、$0、$n、$_、$?[root@shell~]#shshell.shaaabbbccc$0获取当前执行的shell脚本的文件名:shell.sh$n获取当前执行的shell脚本的第n个参数值,n=1..9:$1=aaa$2=bbb$3=ccc$*获取当前shell的所有参数"$1$2$3...注意与$#的区别:"aaabbbccc$#...

查看全文 本文标签:Linux
07月31日

TCP学习总结(一)

分类:随笔 | 超过 1225 人围观 | 已有 0 人发表了看法

TCP学习总结(一)

在学习的过程中,相信大家都有过“学了就忘“这种经历,又特别是TCP/IP知识点密集的通信协议,所以在此总结一下自己学到的皮毛,希望对自己对大家也有所帮助。这篇博客主要讲运输层TCP和UDP的东西,IP层以后有时间再来补充。 TCPTCP的全称叫传输控制协议(TransmissionControlProtocol),这个协议的目的...

查看全文 本文标签:算法
微信公众号
  • 关注微信公众号
«   2018年7月   »
1
2345678
9101112131415
16171819202122
23242526272829
3031
网站分类
文章归档
网站收藏
友情链接
广告赞助
  • 点击查看详情