收藏本站 | RSS订阅大数据运维|云计算|攻防安全|AI|互联网时代守护先锋
你现在的位置:首页 » 2019年3月
12月26日

[置顶] 五分钟轻松了解Hbase面向列的存储

分类:Hadoop | 超过 5506 人围观 | 已有 0 人发表了看法

五分钟轻松了解Hbase面向列的存储

说明:从严格的列式存储的定义来看,Hbase并不属于列式存储,有人称它为面向列的存储,请各位看官注意这一点。 行式存储 传统的数据库是关系型的,且是按行来存储的。如下图:其中只有张三把一行数据填满了,李四王五赵六的行都没有填满。因为这里的行结构是固定的,每一行都一样,即使你不用,也必须空到那里,而不能没有。来一张形象的图:不管你坐或不坐,...

查看全文 本文标签:Go
03月13日

[置顶] OpenTSDB/HBase的调优过程整理

分类:Hbase | 超过 6042 人围观 | 已有 0 人发表了看法

OpenTSDB/HBase的调优过程整理

背景过年前,寂寞哥给我三台机器,说搞个新的openTSDB集群。机器硬件是8核16G内存、3个146G磁盘做数据盘。我说这太抠了,寂寞哥说之前的TSDB集群运行了两年,4台同样配置的机器,目前hdfs才用了40%,所以前期先用着这三台机器,不够再加。于是我只好默默地搭好了CDH5、openTSDB(2.1版本,请注意此版本号)、bosun,并在2...

查看全文 本文标签:算法
02月02日

[置顶] 亿级 ELK 日志平台构建部署实践

分类:Hadoop | 超过 9727 人围观 | 已有 0 人发表了看法

亿级 ELK 日志平台构建实践

本篇主要讲工作中的真实经历,我们怎么打造亿级日志平台,同时手把手教大家建立起这样一套亿级 ELK 系统。日志平台具体发展历程可以参考上篇 「从 ELK 到 EFK 演进」

废话不多说,老司机们座好了,我们准备发车了~~~

整体架构

亿级 ELK 日志平台构建部署实践

本篇主要讲工作中的真实经历,我们怎么打造亿级日志平台,同时手把手教大家建立起这样一套亿级ELK系统。日志平台具体发展历程可以参考上篇 「从ELK到EFK演进」废话不多说,老司机们座好了,我们准备发车了~~~整体架构整体架构主要分为4个模块,分别提供不同的功能Filebeat:轻量级数据收集引擎。基于原先Logstash-fowar...

查看全文 本文标签:安全
04月07日

[置顶] HBase数据压缩编码探索

分类:Hbase | 超过 5634 人围观 | 已有 0 人发表了看法

HBase数据压缩编码探索

摘要: 本文主要介绍了hbase对数据压缩,编码的支持,以及云hbase在社区基础上对数据压缩率和访问速度上了进行的改进。前言你可曾遇到这种需求,只有几百qps的冷数据缓存,却因为存储水位要浪费几十台服务器?你可曾遇到这种需求,几百G的表,必须纯cache命中,性能才能满足业务需求?你可曾遇到,几十M的小表,由于qps过高,必须不停的split,b...

查看全文 本文标签:安全
01月31日

[置顶] Ambari2.7.3 和HDP3.1.0搭建Hadoop集群

分类:Hadoop | 超过 8737 人围观 | 已有 0 人发表了看法

Ambari2.7.3 和HDP3.1.0搭建Hadoop集群

一、环境及软件准备1、集群规划 hdp01/10.1.1.11hdp02/10.1.1.12hdp03/10.1.1.13hdp04/10.1.1.14hdp05/10.1.1.15ambariserver是否否否否ambariagent是是是是是namenode是是否否否datanode否否是是是resourcemanager是是否否否jou...

查看全文 本文标签:Oracle
04月18日

[置顶] Ambari2.6.2 HDP2.6.5 大数据集群搭建

分类:Hadoop | 超过 8804 人围观 | 已有 0 人发表了看法

Ambari2.6.2 HDP2.6.5 大数据集群搭建

Ambari2.6.2中HDFS-2.7.3YARN-2.7.3HIVE-1.2.1HBASE-1.1.2ZOOKEEPER-3.4.6SPARK-2.3.0注:本文基于root用户操作一、安装环境准备操作系统centos7.5hdc-data1:192.168.163.51hdc-data2:192.168.163.52hdc-da...

查看全文 本文标签:安全
05月23日

[置顶] hadoop-2.7.7 HA完全分布式集群部署详解

分类:Hadoop | 超过 7529 人围观 | 已有 0 人发表了看法

hadoop-2.7.7 HA完全分布式集群部署详解

1.HadoopHA简介及工作原理HadoopNameNode官方开始支持HA集群默认是从2.0开始,之前的版本均是不支持NameNodeHA的高可用的。1.1HadoopHA简介Hadoop-HA集群运作机制介绍HA即高可用(7*24小时不中断服务)实现高可用最关键的是消除单点故障分成各个组件的HA机制——HDFS的HA、YARN的HA...

查看全文 本文标签:Hadoop
05月23日

[置顶] 可怕的黑暗料理之暗黑谷歌搜索神器shodan

分类:Safe | 超过 7731 人围观 | 已有 0 人发表了看法

1.暗黑谷歌的由来有这么一款搜索引擎,它一刻不停的在寻找着所有和互联网关联的PLC、摄像头、红绿灯、打印机、路由器、交换机、服务器、数据库等等各种软硬件服务设施。它就是shodan,那么shodan到底是什么呢?怎么会有如此大的魔力?首先,Shodan是一个搜索引擎,但它与Google这种搜索网址的搜索引擎不同,Shodan不是在网上搜索网址,而是直接进入互联网探索其背后的信息。Shodan真正值得注意的能力就是能找...

查看全文 本文标签:安全
03月31日

python assert的用处

分类:Python | 超过 464 人围观 | 已有 0 人发表了看法

pythonassert句语格式及用法很简单。通常程序在运行完之后抛出异常,使用assert可以在出现有异常的代码处直接终止运行。而不用等到程序执行完毕之后抛出异常。pythonassert的作用pythonassert如果发生异常就说明表达示为假。可以理解表示式返回 值为假 时就会触发异常。assert语句的语法格式 assertexpression[,argument...

查看全文 本文标签:Python
03月31日

while应用和函数学习

分类:Python | 超过 971 人围观 | 已有 0 人发表了看法

#******************************练习****************************#在控制台中获取两个整数,作为循环开始和结束的点'''a=int(input('请输入起点:'))b=int(input('请输入终点:'))whilea<=b:print(a)a+=1'''#一张纸的厚度是0.01毫米,请问对折多次,可以超过珠穆朗玛峰8844.43米''...

查看全文 本文标签:
03月31日

图像的膨胀与腐蚀——OpenCV与C++的具体实现

分类:算法 | 超过 1099 人围观 | 已有 0 人发表了看法

图像的膨胀与腐蚀——OpenCV与C++的具体实现

目录1.膨胀与腐蚀的原理2.膨胀的具体实现1)OpenCV实现2)C/C++实现3)验证与结果3.腐蚀的具体实现1.膨胀与腐蚀的原理膨胀与腐蚀是数学形态学在图像处理中最基础的操作。在笔者之前的文章《图像的卷积(滤波)运算(一)——图像梯度》、《图像的卷积(滤波...

查看全文 本文标签:算法
03月31日

python -- 简单配置发送邮件功能

分类:Python | 超过 1626 人围观 | 已有 0 人发表了看法

python -- 简单配置发送邮件功能

本文用第三方类库:yagmail实现;以QQ邮箱作为发送邮箱为例。最终的实现效果:给指定邮箱,发送指定内容的邮件。准备工作1、用于发送邮件的账号信息  比如账号用自己的qq邮箱,但'密码'需要在邮箱:设置--账户--开启POP3/SMTP服务,开启后会获得授权码(把它理解为'密码'就行~)。2、邮件服务器的信息  需要邮件服务器的地址和端口...

查看全文 本文标签:Python
03月31日

Python开发之日志记录模块:logging

分类:Python | 超过 1704 人围观 | 已有 0 人发表了看法

Python开发之日志记录模块:logging

1引言最近在开发一个应用软件,为方便调试和后期维护,在代码中添加了日志,用的是Python内置的logging模块,看了许多博主的博文,颇有所得。不得不说,有许多博主大牛总结得确实很好。似乎我再写关于logging的博文有些多余,但不写总结又总觉得没掌握。那就写写吧,也方便日后回顾。开始总结之前,先感谢几位博主,他们的博客写得很是详尽:云游...

查看全文 本文标签:Python
03月31日

java数据结构之hashMap

分类:算法 | 超过 1796 人围观 | 已有 0 人发表了看法

java数据结构之hashMap

初学JAVA的时候,就记得有句话两个对象的hashCode相同,不一定equal,但是两个对象equal,hashCode一定相同,当时一直不理解是什么意思,最近在极客时间上学习了课程《数据结构与算法之美》中的数组、链表和散列表,突然有点明白了这个点,也明白了JAVA中的hashMap原理。数组的优点就是可以根据下标随机查询数据,散列表的底层就是用数组实...

查看全文 本文标签:算法
03月31日

Note of Jieba ( 词云图实例 )

分类:Python | 超过 1729 人围观 | 已有 0 人发表了看法

Note of Jieba ( 词云图实例 )

NoteofJiebajieba库是python一个重要的第三方中文分词函数库,但需要用户自行安装。一、jieba库简介 (1)jieba库的分词原理是利用一个中文词库,将待分词的内容与分词词库进行比对,通过图结构和动态规划方法找到最大概率的词组;除此之外,jieba库还提供了增加自定义中文单词的功能。(2)ji...

查看全文 本文标签:Python
03月31日

第四周LINUX 学习笔记

分类:Linux | 超过 1493 人围观 | 已有 0 人发表了看法

                                    &nbs...

查看全文 本文标签:安全
03月31日

TRIO-basic变量的状态位

分类:随笔 | 超过 613 人围观 | 已有 0 人发表了看法

TRIO-basic变量的状态位

TRIO运动控制器在应用中,我们一般会用一个VR寄存器的状态位来控制一些报警信号,这样有利于代码的优化,同时和触摸屏设置报警信息大大的方便和节约时间。首先测试了一下一个寄存器可以设置多少个状态位。DIMnumASINTEGER'定义一个变量FORnum=0TO53'for循环54次PRINT#0...

查看全文 本文标签:
03月31日

MySQL数据库的定时备份

分类:Linux | 超过 1287 人围观 | 已有 0 人发表了看法

1.创建shell脚本vimbackupdb.sh创建脚本内容如下:#!/bin/shdb_user="root"db_passwd="123456"db_name="userdb"name="$(date+"%Y%m%d%H%M%S")"/usr/bin/mysqldump-u$db_user-p$db_passwd$db_name>...

查看全文 本文标签:Mysql
03月31日

POJ 2431 (优先队列)

分类:算法 | 超过 1494 人围观 | 已有 0 人发表了看法

POJ 2431 (优先队列)

题目链接:https://vjudge.net/problem/POJ-2431 思路:  “在卡车行驶途中,只有经过加油站才能加油。”我们不妨转变思路,理解成“当卡车驶过加油站时就获得了加油的权利”,在之后需要加油时,就认为是在之前经过加油站时加的油即可。  那么我们何时加油呢,最好的办法当然是选择能加最多油的加油站了...

查看全文 本文标签:Go
03月31日

Linux各个文件及其含义

分类:Linux | 超过 266 人围观 | 已有 0 人发表了看法

Linux各个文件及其含义

树状目录结构:以下是对这些目录的解释:/bin:bin是Binary的缩写,这个目录存放着最经常使用的命令。/boot:这里存放的是启动Linux时使用的一些核心文件,包括一些连接文件以及镜像文件。/dev:dev是Device(设备)的缩写,该目录下存放的是Linux的外部设备,在Linux中访问设备的方式和访...

查看全文 本文标签:安全
微信公众号
  • 关注微信公众号
«   2019年3月   »
123
45678910
11121314151617
18192021222324
25262728293031
网站分类
文章归档
网站收藏
友情链接
广告赞助
  • 点击查看详情