收藏本站 | RSS订阅大数据运维|云计算|攻防安全|AI|互联网时代守护先锋
  • 焦点图说明文字 111

  • 焦点图说明文字 222

12月26日

[置顶] 五分钟轻松了解Hbase面向列的存储

分类:Hadoop | 超过 5506 人围观 | 已有 0 人发表了看法

五分钟轻松了解Hbase面向列的存储

说明:从严格的列式存储的定义来看,Hbase并不属于列式存储,有人称它为面向列的存储,请各位看官注意这一点。 行式存储 传统的数据库是关系型的,且是按行来存储的。如下图:其中只有张三把一行数据填满了,李四王五赵六的行都没有填满。因为这里的行结构是固定的,每一行都一样,即使你不用,也必须空到那里,而不能没有。来一张形象的图:不管你坐或不坐,...

查看全文 本文标签:Go
03月13日

[置顶] OpenTSDB/HBase的调优过程整理

分类:Hbase | 超过 6042 人围观 | 已有 0 人发表了看法

OpenTSDB/HBase的调优过程整理

背景过年前,寂寞哥给我三台机器,说搞个新的openTSDB集群。机器硬件是8核16G内存、3个146G磁盘做数据盘。我说这太抠了,寂寞哥说之前的TSDB集群运行了两年,4台同样配置的机器,目前hdfs才用了40%,所以前期先用着这三台机器,不够再加。于是我只好默默地搭好了CDH5、openTSDB(2.1版本,请注意此版本号)、bosun,并在2...

查看全文 本文标签:算法
02月02日

[置顶] 亿级 ELK 日志平台构建部署实践

分类:Hadoop | 超过 9727 人围观 | 已有 0 人发表了看法

亿级 ELK 日志平台构建实践

本篇主要讲工作中的真实经历,我们怎么打造亿级日志平台,同时手把手教大家建立起这样一套亿级 ELK 系统。日志平台具体发展历程可以参考上篇 「从 ELK 到 EFK 演进」

废话不多说,老司机们座好了,我们准备发车了~~~

整体架构

亿级 ELK 日志平台构建部署实践

本篇主要讲工作中的真实经历,我们怎么打造亿级日志平台,同时手把手教大家建立起这样一套亿级ELK系统。日志平台具体发展历程可以参考上篇 「从ELK到EFK演进」废话不多说,老司机们座好了,我们准备发车了~~~整体架构整体架构主要分为4个模块,分别提供不同的功能Filebeat:轻量级数据收集引擎。基于原先Logstash-fowar...

查看全文 本文标签:安全
04月07日

[置顶] HBase数据压缩编码探索

分类:Hbase | 超过 5634 人围观 | 已有 0 人发表了看法

HBase数据压缩编码探索

摘要: 本文主要介绍了hbase对数据压缩,编码的支持,以及云hbase在社区基础上对数据压缩率和访问速度上了进行的改进。前言你可曾遇到这种需求,只有几百qps的冷数据缓存,却因为存储水位要浪费几十台服务器?你可曾遇到这种需求,几百G的表,必须纯cache命中,性能才能满足业务需求?你可曾遇到,几十M的小表,由于qps过高,必须不停的split,b...

查看全文 本文标签:安全
01月31日

[置顶] Ambari2.7.3 和HDP3.1.0搭建Hadoop集群

分类:Hadoop | 超过 8737 人围观 | 已有 0 人发表了看法

Ambari2.7.3 和HDP3.1.0搭建Hadoop集群

一、环境及软件准备1、集群规划 hdp01/10.1.1.11hdp02/10.1.1.12hdp03/10.1.1.13hdp04/10.1.1.14hdp05/10.1.1.15ambariserver是否否否否ambariagent是是是是是namenode是是否否否datanode否否是是是resourcemanager是是否否否jou...

查看全文 本文标签:Oracle
04月18日

[置顶] Ambari2.6.2 HDP2.6.5 大数据集群搭建

分类:Hadoop | 超过 8804 人围观 | 已有 0 人发表了看法

Ambari2.6.2 HDP2.6.5 大数据集群搭建

Ambari2.6.2中HDFS-2.7.3YARN-2.7.3HIVE-1.2.1HBASE-1.1.2ZOOKEEPER-3.4.6SPARK-2.3.0注:本文基于root用户操作一、安装环境准备操作系统centos7.5hdc-data1:192.168.163.51hdc-data2:192.168.163.52hdc-da...

查看全文 本文标签:安全
05月23日

[置顶] hadoop-2.7.7 HA完全分布式集群部署详解

分类:Hadoop | 超过 7529 人围观 | 已有 0 人发表了看法

hadoop-2.7.7 HA完全分布式集群部署详解

1.HadoopHA简介及工作原理HadoopNameNode官方开始支持HA集群默认是从2.0开始,之前的版本均是不支持NameNodeHA的高可用的。1.1HadoopHA简介Hadoop-HA集群运作机制介绍HA即高可用(7*24小时不中断服务)实现高可用最关键的是消除单点故障分成各个组件的HA机制——HDFS的HA、YARN的HA...

查看全文 本文标签:Hadoop
05月23日

[置顶] 可怕的黑暗料理之暗黑谷歌搜索神器shodan

分类:Safe | 超过 7731 人围观 | 已有 0 人发表了看法

1.暗黑谷歌的由来有这么一款搜索引擎,它一刻不停的在寻找着所有和互联网关联的PLC、摄像头、红绿灯、打印机、路由器、交换机、服务器、数据库等等各种软硬件服务设施。它就是shodan,那么shodan到底是什么呢?怎么会有如此大的魔力?首先,Shodan是一个搜索引擎,但它与Google这种搜索网址的搜索引擎不同,Shodan不是在网上搜索网址,而是直接进入互联网探索其背后的信息。Shodan真正值得注意的能力就是能找...

查看全文 本文标签:安全
07月02日

LeetCode.985-查询后偶数的总和(Sum of Even Numbers After Queries)

分类:算法 | 超过 192 人围观 | 已有 0 人发表了看法

这是悦乐书的第370次更新,第398篇原创01看题和准备今天介绍的是LeetCode算法题中Easy级别的第232题(顺位题号是985)。有一个整数数组A和一个查询数组queries。对于第i个查询val=queries[i][0],index=queries[i][1],我们将val添加到A[index]。然后,第i个查询的答案是A的偶数值的总和。(这里给定的index=queries[i][1]是一个基于...

查看全文 本文标签:
07月02日

Oracle数据库---存储过程、存储函数

分类:Oracle | 超过 140 人围观 | 已有 0 人发表了看法

--创建存储过程CREATEORREPLACEPROCEDUREfirst_procISBEGINDBMS_OUTPUT.PUT_LINE('我是过程');DBMS_OUTPUT.PUT_LINE('HelloEveryone!');END;--创建函数CREATEORREPLACEFUNCTIONfirst_funcRETURNVARCHAR2ISBEGINDBMS_OUTPUT.put_line('我是...

查看全文 本文标签:
07月02日

Oracle数据库---游标

分类:Oracle | 超过 160 人围观 | 已有 0 人发表了看法

--查询所有员工的员工号、姓名和职位的信息。DECLARE--定义游标CURSORemp_cursorISSELECTempno,ename,jobFROMemp;v_empnoemp.empno%TYPE;v_enameemp.ename%TYPE;v_jobemp.job%TYPE;BEGIN--打开游标,执行查询OPENemp_cursor;--提取数据LOOPFETCHemp_curs...

查看全文 本文标签:
07月02日

CREATE TABLE——数据定义语言 (Data Definition Language, DDL)

分类:Oracle | 超过 160 人围观 | 已有 0 人发表了看法

  Sql语句分为三大类:    数据定义语言,负责创建,修改,删除表,索引和视图等对象;    数据操作语言,负责数据库中数据的插入,查询,删除等操作;    数据控制语言,用来授予和撤销用户权限。  数据定义语言 (DataDefinitionLanguage,DDL)是SQL语言集中负责数据结构定义与数据库对象定义的语言,由CREATE、ALTER与DROP三个语法所组成,最早是由Codasyl...

查看全文 本文标签:
07月02日

【FZU - 2150】Fire Game(bfs)

分类:算法 | 超过 162 人围观 | 已有 0 人发表了看法

-->FireGame直接写中文了Descriptions:两个熊孩子在n*m的平地上放火玩,#表示草,两个熊孩子分别选一个#格子点火,火可以向上向下向左向右在有草的格子蔓延,点火的地方时间为0,蔓延至下一格的时间依次加一。求烧完所有的草需要的最少时间。如不能烧完输出-1。Input第一行,输入一个T,表示有T组测试数据。每组数据由一个n,m分别表示行列1<=T<=100,1&l...

查看全文 本文标签:
07月02日

Oracle数据库---PLSQL

分类:Oracle | 超过 56 人围观 | 已有 0 人发表了看法

SETSERVEROUTPUTONBEGIN--打印输出DBMS_OUTPUT.PUT_LINE('helloeveryone!');END;DECLAREv_nameVARCHAR2(10);v_salNUMBER(7,2);v_hiredateDATE;c_tax_rateCONSTANTNUMBER(3,2):=0.02;v_tax_salNUMBER(7,2);v_validBOOLE...

查看全文 本文标签:
07月02日

并查集到带权并查集

分类:算法 | 超过 169 人围观 | 已有 0 人发表了看法

并查集到带权并查集

并查集到带权并查集合并-查找问题在说并查集之前,我们先讲一下合并-查找问题合并-查找问题。顾名思义,就是既有合并又有查找操作的问题举个例子:有一群人,他们之间有若干好友关系。如果A是B好友的好友,或者好友的好友的好友等等,即通过若干好友可以认识,那么我们说A和B是间接好友。如果两个人有直接或者间接好友关系,那么我们就说他们在同...

查看全文 本文标签:
07月01日

golang中判断两个slice是否相等

分类:go | 超过 188 人围观 | 已有 0 人发表了看法

golang中判断两个slice是否相等

在golang中我们可以轻松地通过==来判断两个数组(array)是否相等,但遗憾的是slice并没有相关的运算符,当需要判断两个slice是否相等时我们只能另寻捷径了。slice相等的定义我们选择最常见的需求,也就是当两个slice的类型和长度相同,且相等下标的值也是相等的,比如:a:=[]int{1,2,3}b:=[]int{1...

查看全文 本文标签:
07月01日

迷宫回溯和八皇后问题

分类:算法 | 超过 141 人围观 | 已有 0 人发表了看法

迷宫回溯和八皇后问题

递归的概念简单的说:递归就是方法自己调用自己,每次调用同时传入不同的变量,递归有助于编程者解决复杂的问题,同时可以让代码变得简洁packagerecusion;publicclassRecursionTest{publicstaticvoidmain(String[]args){test(5);...

查看全文 本文标签:
07月01日

POJ1083Moving Tables(简单模拟)

分类:算法 | 超过 151 人围观 | 已有 0 人发表了看法

POJ1083Moving Tables(简单模拟)

题目链接:http://poj.org/problem?id=1083 如图所示在一条走廊的两侧各有200个房间,现在给定一些成对的房间相互交换桌子,但是走廊每次只能通过一组搬运,也就是说如果两个搬运过程有交叉是不能同时搬运的,要依次来,一次搬运10min,问完成所有的搬运的最少用时。 思路:将每个左右相...

查看全文 本文标签:
07月01日

DQL---连接查询(内连接、外连接)、子查询、分页查询

分类:Oracle | 超过 81 人围观 | 已有 0 人发表了看法

DQL---连接查询(内连接、外连接)、子查询、分页查询

一、连接查询  1、连接查询建立在有相互关系的两个表间,进行两个及两个以上的表或视图的查询。  2、对n张表进行查询,至少需要n-1个连接表的条件。二、笛卡尔积(容易造成数据库宕机)  1、指表中每行元素与其他表的每行均组合,没有连接条件。  2、假设有两张表,表A有X条数据,表B有Y条数据,则笛卡尔积查询后,会得到一张X*Y条数据的表。三、...

查看全文 本文标签:
07月01日

POJ2729 Robocode(离散化与模拟-----提醒曾经爱玩游戏的自己没做出这个

分类:算法 | 超过 158 人围观 | 已有 0 人发表了看法

POJ2729 Robocode(离散化与模拟-----提醒曾经爱玩游戏的自己没做出这个

题目链接:http://poj.org/problem?id=2729题目很长,有不少也是废话。类似小时候玩的坦克大战。每个坦克速度为10,炮弹速度为20.子弹出界就消失,坦克出不了界限。相向的子弹碰撞不会消失(区别与小时候的游戏,炮弹可以抵消)。 坦克可以90转向...不少条件题目中仔细读可以知道。在这里需要注意的是,由于炮弹速度和...

查看全文 本文标签:
微信公众号
  • 关注微信公众号
«   2019年5月   »
12345
6789101112
13141516171819
20212223242526
2728293031
网站分类
文章归档
网站收藏
友情链接
广告赞助
  • 点击查看详情