收藏本站 | RSS订阅大数据运维|云计算|攻防安全|AI|互联网时代守护先锋
你现在的位置:首页 » 2019年5月2日
12月26日

[置顶] 五分钟轻松了解Hbase面向列的存储

分类:Hadoop | 超过 5506 人围观 | 已有 0 人发表了看法

五分钟轻松了解Hbase面向列的存储

说明:从严格的列式存储的定义来看,Hbase并不属于列式存储,有人称它为面向列的存储,请各位看官注意这一点。 行式存储 传统的数据库是关系型的,且是按行来存储的。如下图:其中只有张三把一行数据填满了,李四王五赵六的行都没有填满。因为这里的行结构是固定的,每一行都一样,即使你不用,也必须空到那里,而不能没有。来一张形象的图:不管你坐或不坐,...

查看全文 本文标签:Go
03月13日

[置顶] OpenTSDB/HBase的调优过程整理

分类:Hbase | 超过 6042 人围观 | 已有 0 人发表了看法

OpenTSDB/HBase的调优过程整理

背景过年前,寂寞哥给我三台机器,说搞个新的openTSDB集群。机器硬件是8核16G内存、3个146G磁盘做数据盘。我说这太抠了,寂寞哥说之前的TSDB集群运行了两年,4台同样配置的机器,目前hdfs才用了40%,所以前期先用着这三台机器,不够再加。于是我只好默默地搭好了CDH5、openTSDB(2.1版本,请注意此版本号)、bosun,并在2...

查看全文 本文标签:算法
02月02日

[置顶] 亿级 ELK 日志平台构建部署实践

分类:Hadoop | 超过 9727 人围观 | 已有 0 人发表了看法

亿级 ELK 日志平台构建实践

本篇主要讲工作中的真实经历,我们怎么打造亿级日志平台,同时手把手教大家建立起这样一套亿级 ELK 系统。日志平台具体发展历程可以参考上篇 「从 ELK 到 EFK 演进」

废话不多说,老司机们座好了,我们准备发车了~~~

整体架构

亿级 ELK 日志平台构建部署实践

本篇主要讲工作中的真实经历,我们怎么打造亿级日志平台,同时手把手教大家建立起这样一套亿级ELK系统。日志平台具体发展历程可以参考上篇 「从ELK到EFK演进」废话不多说,老司机们座好了,我们准备发车了~~~整体架构整体架构主要分为4个模块,分别提供不同的功能Filebeat:轻量级数据收集引擎。基于原先Logstash-fowar...

查看全文 本文标签:安全
04月07日

[置顶] HBase数据压缩编码探索

分类:Hbase | 超过 5634 人围观 | 已有 0 人发表了看法

HBase数据压缩编码探索

摘要: 本文主要介绍了hbase对数据压缩,编码的支持,以及云hbase在社区基础上对数据压缩率和访问速度上了进行的改进。前言你可曾遇到这种需求,只有几百qps的冷数据缓存,却因为存储水位要浪费几十台服务器?你可曾遇到这种需求,几百G的表,必须纯cache命中,性能才能满足业务需求?你可曾遇到,几十M的小表,由于qps过高,必须不停的split,b...

查看全文 本文标签:安全
01月31日

[置顶] Ambari2.7.3 和HDP3.1.0搭建Hadoop集群

分类:Hadoop | 超过 8737 人围观 | 已有 0 人发表了看法

Ambari2.7.3 和HDP3.1.0搭建Hadoop集群

一、环境及软件准备1、集群规划 hdp01/10.1.1.11hdp02/10.1.1.12hdp03/10.1.1.13hdp04/10.1.1.14hdp05/10.1.1.15ambariserver是否否否否ambariagent是是是是是namenode是是否否否datanode否否是是是resourcemanager是是否否否jou...

查看全文 本文标签:Oracle
04月18日

[置顶] Ambari2.6.2 HDP2.6.5 大数据集群搭建

分类:Hadoop | 超过 8803 人围观 | 已有 0 人发表了看法

Ambari2.6.2 HDP2.6.5 大数据集群搭建

Ambari2.6.2中HDFS-2.7.3YARN-2.7.3HIVE-1.2.1HBASE-1.1.2ZOOKEEPER-3.4.6SPARK-2.3.0注:本文基于root用户操作一、安装环境准备操作系统centos7.5hdc-data1:192.168.163.51hdc-data2:192.168.163.52hdc-da...

查看全文 本文标签:安全
05月23日

[置顶] hadoop-2.7.7 HA完全分布式集群部署详解

分类:Hadoop | 超过 7529 人围观 | 已有 0 人发表了看法

hadoop-2.7.7 HA完全分布式集群部署详解

1.HadoopHA简介及工作原理HadoopNameNode官方开始支持HA集群默认是从2.0开始,之前的版本均是不支持NameNodeHA的高可用的。1.1HadoopHA简介Hadoop-HA集群运作机制介绍HA即高可用(7*24小时不中断服务)实现高可用最关键的是消除单点故障分成各个组件的HA机制——HDFS的HA、YARN的HA...

查看全文 本文标签:Hadoop
05月23日

[置顶] 可怕的黑暗料理之暗黑谷歌搜索神器shodan

分类:Safe | 超过 7731 人围观 | 已有 0 人发表了看法

1.暗黑谷歌的由来有这么一款搜索引擎,它一刻不停的在寻找着所有和互联网关联的PLC、摄像头、红绿灯、打印机、路由器、交换机、服务器、数据库等等各种软硬件服务设施。它就是shodan,那么shodan到底是什么呢?怎么会有如此大的魔力?首先,Shodan是一个搜索引擎,但它与Google这种搜索网址的搜索引擎不同,Shodan不是在网上搜索网址,而是直接进入互联网探索其背后的信息。Shodan真正值得注意的能力就是能找...

查看全文 本文标签:安全
05月02日

带小伙伴手写 golang context

分类:go | 超过 643 人围观 | 已有 0 人发表了看法

带小伙伴手写 golang context

前言-context源码  可以先了解官方 context.go 轮廓.这里捎带保存一份当前context版本备份. //Copyright2014TheGoAuthors.Allrightsreserved.//Useofthissourcecodeisgoverned...

查看全文 本文标签:安全
05月02日

LeetCode算法题-Goat Latin Easy(Java实现)

分类:算法 | 超过 1307 人围观 | 已有 0 人发表了看法

这是悦乐书的第322次更新,第344篇原创01看题和准备今天介绍的是LeetCode算法题中Easy级别的第192题(顺位题号是824)。给出句子S,由空格分隔的单词组成。每个单词仅由小写和大写字母组成。我们想将句子转换为"GoatLatin"(一种类似于PigLatin的伪造语言)。山羊拉丁的规则如下:(1)如果单词以元音(a,e,i,o或u)开头,则在单词的末尾附加"ma"。例如,"apple"这个词就变成了...

查看全文 本文标签:算法
05月02日

Liunx下安装MySql

分类:Mysql | 超过 1174 人围观 | 已有 0 人发表了看法

Liunx下安装MySql

1.安装数据库:执行命令yum-yinstallmysql-server2.启动数据库:安装完毕,执行命令servicemysqldstart3.登录数据库:mysql-uroot-p回车后输入密码(mysql的默认用户名是root,密码为空)4.使用数据库:登录成功切换到mysql数据库,输入:usemysql...

查看全文 本文标签:Mysql
05月02日

Liunx-tail命令

分类:Linux | 超过 264 人围观 | 已有 0 人发表了看法

Liunx-tail命令

1.实时刷新tail-f/var/log/messages2.实时刷新最新500条logtail-500f /var/log/messageslinux日志文件说明/var/log/message系统启动后的信息和错误日志/var/log/secure与安全相关的日志信息/var/log/maill...

查看全文 本文标签:安全
05月02日

免费开源《OdooERP应用与开发案例教程》试读:第二章-PostgreSQL概述

分类:Hadoop | 超过 1523 人围观 | 已有 0 人发表了看法

免费开源《OdooERP应用与开发案例教程》试读:第二章-PostgreSQL概述

文/开源智造联合创始人老杨本文来自《OdooERP应用与开发案例教程》的试读章节。书籍尚未出版,请勿转载。欢迎您反馈阅读意见。PostgreSQL是Odoo支持的数据库。PostgreSQL是起源于大学的一个历史很长的开源数据库系统。包括美国航天局NASA、德国证券交易中心、中国的平安、腾讯的微信支付、阿里巴巴的阿里云都在用PostgreSQL数据库...

查看全文 本文标签:安全
05月02日

day21 01 包的初识

分类:Python | 超过 253 人围观 | 已有 0 人发表了看法

 day2101包的初识     包:把解决一类问题的模块放在同一个文件夹里面-----包(一个包里面通常会含有_init_.py文件(python2里面必须有),但是后面的就没有要求一定要有了)    同样导入的时候有import和from import两种  &...

查看全文 本文标签:Python
05月02日

Python基础一: 计算机基础,Python相关介绍,变量,常量,注释,基础数据类型(int,str,bool),用户交互input,流程控制语句if

分类:Python | 超过 424 人围观 | 已有 0 人发表了看法

Python基础一: 计算机基础,Python相关介绍,变量,常量,注释,基础数据类型(int,str,bool),用户交互input,流程控制语句if

1.CPU内存硬盘操作系统CPU:计算机的运算和控制中心,相当于人类的大脑。内存:用于暂时存放CPU中的运算数据,以及与硬盘等外部存储器交换的数据。(暂时存储数据,临时加载数据及应用程序)4G,8G,16G,32G速度快,效率高,造价高断电数据丢失硬盘:磁盘,长期存储数据,存放文件,视频,音频等等。5...

查看全文 本文标签:Go
05月02日

pandas文本处理

分类:Python | 超过 1670 人围观 | 已有 0 人发表了看法

1importpandasaspd2importnumpyasnp34s=pd.Series(['A','b','c','bbhello','123',np.nan,'hj'])5df=pd.DataFrame({'key1':list('abcdef'),6'key2':['hee','fv','w',...

查看全文 本文标签:
05月02日

MySQL在command line Client下的一些命令

分类:Mysql | 超过 1311 人围观 | 已有 0 人发表了看法

MySQL在commandlineClient下的一些命令通过CMD进入到本地数据库:   mysql-hlocalhost-u-root-p参数说明:-h要连接的服务器的主机名或IP地址,也可以是远程的服务器主机,-hlocalhos也可以表示成 -hlocalhost 即:没有空格。-u是服务器要验证的用户名,这个用户名一定是数据库中存在的,并且具有连接服务器的权限。...

查看全文 本文标签:Mysql
05月02日

龟兔算法:判断链表是否有环、确定环的入口

分类:算法 | 超过 1608 人围观 | 已有 0 人发表了看法

龟兔算法:判断链表是否有环、确定环的入口

1.使用快慢指针,fast=fast.next.next,slow=slow.next,若链表存在环,那么fast和slow一定会相遇,相遇的节点在环内,接下来需要确定环的入口。2.如图,假设L= 链表总长- 环的长度c,x为slow走过的长度-L,指针在圆点相遇,slow走了L+x,fast走了L+kc+x(k为正整数),快指...

查看全文 本文标签:算法
05月02日

Ubuntu系统安装

分类:Linux | 超过 499 人围观 | 已有 0 人发表了看法

 系统安装GPT分区表磁盘下使用U盘安装linux必须使用UEFI启动方式安装系统前需要断网,不勾选安装第三方软件(否则会默认安装系统更新卡在安装界面)安装启动引导器设备:WindowsBootManager(既ufi引导分区) 安装&配置•设置国内源•更新源•安装系统更新•安装Nvdia专有显卡驱动•设置鼠标加速度为零($:xsetm0)•重启系统•安装C...

查看全文 本文标签:Go
05月02日

Mycat实现读写分离

分类:Mysql | 超过 639 人围观 | 已有 0 人发表了看法

Mycat实现读写分离

随着应用的访问量并发量的增加,应用读写分离是很有必要的。当然应用要实现读写分离,首先数据库层要先做到主从配置。应用实现读写分离至少有两种方法:应用本身通过代码实现,例如基于动态数据源、AOP的原理来实现写操作时用主数据库,读操作时用从数据库。通过中间件的方式实现,例如通过Mycat,即中间件会分析对应的SQL,写操作时会连接主数据库,读操...

查看全文 本文标签:Mysql
微信公众号
  • 关注微信公众号
«   2019年5月   »
12345
6789101112
13141516171819
20212223242526
2728293031
网站分类
文章归档
网站收藏
友情链接
广告赞助
  • 点击查看详情