收藏本站 | RSS订阅大数据运维|云计算|攻防安全|AI|互联网时代守护先锋
你现在的位置:首页 » 2019年5月6日
12月26日

[置顶] 五分钟轻松了解Hbase面向列的存储

分类:Hadoop | 超过 5506 人围观 | 已有 0 人发表了看法

五分钟轻松了解Hbase面向列的存储

说明:从严格的列式存储的定义来看,Hbase并不属于列式存储,有人称它为面向列的存储,请各位看官注意这一点。 行式存储 传统的数据库是关系型的,且是按行来存储的。如下图:其中只有张三把一行数据填满了,李四王五赵六的行都没有填满。因为这里的行结构是固定的,每一行都一样,即使你不用,也必须空到那里,而不能没有。来一张形象的图:不管你坐或不坐,...

查看全文 本文标签:Go
03月13日

[置顶] OpenTSDB/HBase的调优过程整理

分类:Hbase | 超过 6042 人围观 | 已有 0 人发表了看法

OpenTSDB/HBase的调优过程整理

背景过年前,寂寞哥给我三台机器,说搞个新的openTSDB集群。机器硬件是8核16G内存、3个146G磁盘做数据盘。我说这太抠了,寂寞哥说之前的TSDB集群运行了两年,4台同样配置的机器,目前hdfs才用了40%,所以前期先用着这三台机器,不够再加。于是我只好默默地搭好了CDH5、openTSDB(2.1版本,请注意此版本号)、bosun,并在2...

查看全文 本文标签:算法
02月02日

[置顶] 亿级 ELK 日志平台构建部署实践

分类:Hadoop | 超过 9727 人围观 | 已有 0 人发表了看法

亿级 ELK 日志平台构建实践

本篇主要讲工作中的真实经历,我们怎么打造亿级日志平台,同时手把手教大家建立起这样一套亿级 ELK 系统。日志平台具体发展历程可以参考上篇 「从 ELK 到 EFK 演进」

废话不多说,老司机们座好了,我们准备发车了~~~

整体架构

亿级 ELK 日志平台构建部署实践

本篇主要讲工作中的真实经历,我们怎么打造亿级日志平台,同时手把手教大家建立起这样一套亿级ELK系统。日志平台具体发展历程可以参考上篇 「从ELK到EFK演进」废话不多说,老司机们座好了,我们准备发车了~~~整体架构整体架构主要分为4个模块,分别提供不同的功能Filebeat:轻量级数据收集引擎。基于原先Logstash-fowar...

查看全文 本文标签:安全
04月07日

[置顶] HBase数据压缩编码探索

分类:Hbase | 超过 5634 人围观 | 已有 0 人发表了看法

HBase数据压缩编码探索

摘要: 本文主要介绍了hbase对数据压缩,编码的支持,以及云hbase在社区基础上对数据压缩率和访问速度上了进行的改进。前言你可曾遇到这种需求,只有几百qps的冷数据缓存,却因为存储水位要浪费几十台服务器?你可曾遇到这种需求,几百G的表,必须纯cache命中,性能才能满足业务需求?你可曾遇到,几十M的小表,由于qps过高,必须不停的split,b...

查看全文 本文标签:安全
01月31日

[置顶] Ambari2.7.3 和HDP3.1.0搭建Hadoop集群

分类:Hadoop | 超过 8737 人围观 | 已有 0 人发表了看法

Ambari2.7.3 和HDP3.1.0搭建Hadoop集群

一、环境及软件准备1、集群规划 hdp01/10.1.1.11hdp02/10.1.1.12hdp03/10.1.1.13hdp04/10.1.1.14hdp05/10.1.1.15ambariserver是否否否否ambariagent是是是是是namenode是是否否否datanode否否是是是resourcemanager是是否否否jou...

查看全文 本文标签:Oracle
04月18日

[置顶] Ambari2.6.2 HDP2.6.5 大数据集群搭建

分类:Hadoop | 超过 8804 人围观 | 已有 0 人发表了看法

Ambari2.6.2 HDP2.6.5 大数据集群搭建

Ambari2.6.2中HDFS-2.7.3YARN-2.7.3HIVE-1.2.1HBASE-1.1.2ZOOKEEPER-3.4.6SPARK-2.3.0注:本文基于root用户操作一、安装环境准备操作系统centos7.5hdc-data1:192.168.163.51hdc-data2:192.168.163.52hdc-da...

查看全文 本文标签:安全
05月23日

[置顶] hadoop-2.7.7 HA完全分布式集群部署详解

分类:Hadoop | 超过 7529 人围观 | 已有 0 人发表了看法

hadoop-2.7.7 HA完全分布式集群部署详解

1.HadoopHA简介及工作原理HadoopNameNode官方开始支持HA集群默认是从2.0开始,之前的版本均是不支持NameNodeHA的高可用的。1.1HadoopHA简介Hadoop-HA集群运作机制介绍HA即高可用(7*24小时不中断服务)实现高可用最关键的是消除单点故障分成各个组件的HA机制——HDFS的HA、YARN的HA...

查看全文 本文标签:Hadoop
05月23日

[置顶] 可怕的黑暗料理之暗黑谷歌搜索神器shodan

分类:Safe | 超过 7731 人围观 | 已有 0 人发表了看法

1.暗黑谷歌的由来有这么一款搜索引擎,它一刻不停的在寻找着所有和互联网关联的PLC、摄像头、红绿灯、打印机、路由器、交换机、服务器、数据库等等各种软硬件服务设施。它就是shodan,那么shodan到底是什么呢?怎么会有如此大的魔力?首先,Shodan是一个搜索引擎,但它与Google这种搜索网址的搜索引擎不同,Shodan不是在网上搜索网址,而是直接进入互联网探索其背后的信息。Shodan真正值得注意的能力就是能找...

查看全文 本文标签:安全
05月07日

【5月6日】最新指数基金估值表(坚持定投财务自由)

分类:随笔 | 超过 504 人围观 | 已有 0 人发表了看法

【5月6日】最新指数基金估值表(坚持定投财务自由)

(本文阅读时间约2分钟,帮助大家,分享自己)大家好,我是牛九老师,欢迎来到【牛九小课堂】。老师每天会给大家分享投资心得,发布最新的指数基金估值。老师的梦想:帮助他人,分享自己。让更多的投资者认识指数基金,从中稳健获利,实现财富自由。我们坚持在每周四(下午三点之前)进行指数基金的定投,老师会向大家推荐当期的定投组合,强烈推荐大家在支付宝中购买基金,...

查看全文 本文标签:安全
05月07日

钩子函数和回调函数的区别

分类:随笔 | 超过 481 人围观 | 已有 0 人发表了看法

钩子函数和回调函数的区别钩子实际上是一个处理消息的程序段,通过系统调用,把它挂入系统。每当特定的消息发出,在没有到达目的窗口前,钩子程序就先捕获该消息,亦即钩子函数先得到控制权。这时钩子函数即可以加工处理(改变)该消息,也可以不作处理而继续传递该消息,还可以强制结束消息的传递。回调函数其实就是调用者把回调函数的函数指针传递给调用函数,当调用函数执行完毕时,通过函数指针来调用回调函数。参考《回调函...

查看全文 本文标签:
05月07日

PTA——最长对称子串

分类:随笔 | 超过 1673 人围观 | 已有 0 人发表了看法

PTA7-64最长对称子串1//流程:2//数组存储字符串,指针i从头遍历3//str[i-2]==str[i],若相等则记录对称串的长度,同时指针j从i-2开始向后遍历4//两个指针所指内容不相等时停止遍历,更新对称串的长度5//奇数情况//6//变量:7//字符数组str8//指针i、j9//状态变量sys——当前对称串是否在增长10//tem...

查看全文 本文标签:
05月07日

操作列表-遍历

分类:随笔 | 超过 379 人围观 | 已有 0 人发表了看法

  遍历  所谓遍历,是指沿着某条搜索路线,依次对数据中的每个对象做一次且仅做一次相同的动作。1fruits=['apple','banana','orange','pineapple','muskmelon']2forfruitinfruits:3print(fruit)  1.定义一个列表。  2.定义一个for循环,从列表fruits中取出一个元素,并将其存在变量fruit中。...

查看全文 本文标签:Python
05月06日

python基础操作以及hdfs操作

分类:随笔 | 超过 592 人围观 | 已有 0 人发表了看法

一、前言    作为一个全栈工程师,必须要熟练掌握各种语言。。。HelloWorld。最近就被“逼着”走向了python开发之路,大体实现的功能是写一个通用类库将服务器本地存储的文件进行简单清洗后转储到HDFS中,所以基本上python的相关知识都涉及到了,这里对一些基础操作以及hdfs操作做一总结,以备查阅。二、基础操作2.1字符串操作  &nbs...

查看全文 本文标签:Python
05月06日

Spring Boot整合拦截器

分类:随笔 | 超过 240 人围观 | 已有 0 人发表了看法

Spring Boot整合拦截器

过滤器和监听器都属于Servlet的api,还可以使用Spring提供的拦截器(HandlerInterceptor)进行改更精细的控制。 ...

查看全文 本文标签:
05月06日

《BUG创造队》第三次作业:团队项目原型设计与开发

分类:随笔 | 超过 145 人围观 | 已有 0 人发表了看法

《BUG创造队》第三次作业:团队项目原型设计与开发

项目内容这个作业属于哪个课程2016级软件工程这个作业的要求在哪里实验六团队作业3:团队项目原型设计与开发团队名称BUG创造队作业学习目标①掌握软件原型开发技术;②学会...

查看全文 本文标签:
05月06日

opencv4.1.0 安装与vs2019环境配置

分类:随笔 | 超过 1360 人围观 | 已有 0 人发表了看法

opencv4.1.0 安装与vs2019环境配置

环境配置废话不多说,直接上图因为oprncv4.1.0只支持x64,所以务必以下选项调为x64最后用以下代码测试#include<opencv2/opencv.hpp>#include<iostream>usingnamespacecv;usingnamespacestd;intm...

查看全文 本文标签:
05月06日

Promise then中回调为什么是异步执行?Promise执行机制问题

分类:随笔 | 超过 293 人围观 | 已有 0 人发表了看法

今天发现一个问题,看下方代码letp=newPromise(function(resolve,reject){resolve(1)console.log('2222');});p.then(res=>{console.log('1111');})输出结果是22221111,而自己想的是11112222,带着问题查询之后发现.原来then后边跟的...

查看全文 本文标签:
05月06日

事后诸葛亮(追光的人)

分类:随笔 | 超过 1181 人围观 | 已有 0 人发表了看法

事后诸葛亮(追光的人)

交换组员的工作交接和培训方案工作交接新成员冯凯,考虑到项目技术不同,学习项目技术的成本过高,经过商讨让其负责对beta的成品进行验收和测试;原成员fishkk的工作均摊到其他三个后端成员上;培训方案阅读熟悉之前的项目文档,熟悉测试要求,能达到根据验收标准完成验收报告的程度;设想和目标1.我们的软件要解决什么问题?...

查看全文 本文标签:
05月06日

Python快速入门

分类:随笔 | 超过 504 人围观 | 已有 0 人发表了看法

第1部分python开发环境的安装    编程必备之一:某种语言的运行环境  python的版本:3.x 2.x还在被大量使用  两者稍有区别  Ubuntu 自带python 如需安装:到官方网站下载源码 解压源码包 编译  window系统 下载 安装 环境变量的设置在环境中的path中添加安装python的路径  开发工具...

查看全文 本文标签:Python
05月06日

狗蛋来为您通报时间啦

分类:随笔 | 超过 420 人围观 | 已有 0 人发表了看法

package时间表;importjava.util.Date;  publicclassEval{ publicstaticvoidmain(String[]args){  Datedate=newDate();  Stringyear=String.format("%tY",date);&...

查看全文 本文标签:
微信公众号
  • 关注微信公众号
«   2019年5月   »
12345
6789101112
13141516171819
20212223242526
2728293031
网站分类
文章归档
网站收藏
友情链接
广告赞助
  • 点击查看详情