收藏本站 | RSS订阅大数据运维|云计算|攻防安全|AI|互联网时代守护先锋
  • 焦点图说明文字 111

  • 焦点图说明文字 222

12月26日

[置顶] 五分钟轻松了解Hbase面向列的存储

分类:Hadoop | 超过 5506 人围观 | 已有 0 人发表了看法

五分钟轻松了解Hbase面向列的存储

说明:从严格的列式存储的定义来看,Hbase并不属于列式存储,有人称它为面向列的存储,请各位看官注意这一点。 行式存储 传统的数据库是关系型的,且是按行来存储的。如下图:其中只有张三把一行数据填满了,李四王五赵六的行都没有填满。因为这里的行结构是固定的,每一行都一样,即使你不用,也必须空到那里,而不能没有。来一张形象的图:不管你坐或不坐,...

查看全文 本文标签:Go
03月13日

[置顶] OpenTSDB/HBase的调优过程整理

分类:Hbase | 超过 6042 人围观 | 已有 0 人发表了看法

OpenTSDB/HBase的调优过程整理

背景过年前,寂寞哥给我三台机器,说搞个新的openTSDB集群。机器硬件是8核16G内存、3个146G磁盘做数据盘。我说这太抠了,寂寞哥说之前的TSDB集群运行了两年,4台同样配置的机器,目前hdfs才用了40%,所以前期先用着这三台机器,不够再加。于是我只好默默地搭好了CDH5、openTSDB(2.1版本,请注意此版本号)、bosun,并在2...

查看全文 本文标签:算法
02月02日

[置顶] 亿级 ELK 日志平台构建部署实践

分类:Hadoop | 超过 9727 人围观 | 已有 0 人发表了看法

亿级 ELK 日志平台构建实践

本篇主要讲工作中的真实经历,我们怎么打造亿级日志平台,同时手把手教大家建立起这样一套亿级 ELK 系统。日志平台具体发展历程可以参考上篇 「从 ELK 到 EFK 演进」

废话不多说,老司机们座好了,我们准备发车了~~~

整体架构

亿级 ELK 日志平台构建部署实践

本篇主要讲工作中的真实经历,我们怎么打造亿级日志平台,同时手把手教大家建立起这样一套亿级ELK系统。日志平台具体发展历程可以参考上篇 「从ELK到EFK演进」废话不多说,老司机们座好了,我们准备发车了~~~整体架构整体架构主要分为4个模块,分别提供不同的功能Filebeat:轻量级数据收集引擎。基于原先Logstash-fowar...

查看全文 本文标签:安全
04月07日

[置顶] HBase数据压缩编码探索

分类:Hbase | 超过 5634 人围观 | 已有 0 人发表了看法

HBase数据压缩编码探索

摘要: 本文主要介绍了hbase对数据压缩,编码的支持,以及云hbase在社区基础上对数据压缩率和访问速度上了进行的改进。前言你可曾遇到这种需求,只有几百qps的冷数据缓存,却因为存储水位要浪费几十台服务器?你可曾遇到这种需求,几百G的表,必须纯cache命中,性能才能满足业务需求?你可曾遇到,几十M的小表,由于qps过高,必须不停的split,b...

查看全文 本文标签:安全
01月31日

[置顶] Ambari2.7.3 和HDP3.1.0搭建Hadoop集群

分类:Hadoop | 超过 8737 人围观 | 已有 0 人发表了看法

Ambari2.7.3 和HDP3.1.0搭建Hadoop集群

一、环境及软件准备1、集群规划 hdp01/10.1.1.11hdp02/10.1.1.12hdp03/10.1.1.13hdp04/10.1.1.14hdp05/10.1.1.15ambariserver是否否否否ambariagent是是是是是namenode是是否否否datanode否否是是是resourcemanager是是否否否jou...

查看全文 本文标签:Oracle
04月18日

[置顶] Ambari2.6.2 HDP2.6.5 大数据集群搭建

分类:Hadoop | 超过 8804 人围观 | 已有 0 人发表了看法

Ambari2.6.2 HDP2.6.5 大数据集群搭建

Ambari2.6.2中HDFS-2.7.3YARN-2.7.3HIVE-1.2.1HBASE-1.1.2ZOOKEEPER-3.4.6SPARK-2.3.0注:本文基于root用户操作一、安装环境准备操作系统centos7.5hdc-data1:192.168.163.51hdc-data2:192.168.163.52hdc-da...

查看全文 本文标签:安全
05月23日

[置顶] hadoop-2.7.7 HA完全分布式集群部署详解

分类:Hadoop | 超过 7529 人围观 | 已有 0 人发表了看法

hadoop-2.7.7 HA完全分布式集群部署详解

1.HadoopHA简介及工作原理HadoopNameNode官方开始支持HA集群默认是从2.0开始,之前的版本均是不支持NameNodeHA的高可用的。1.1HadoopHA简介Hadoop-HA集群运作机制介绍HA即高可用(7*24小时不中断服务)实现高可用最关键的是消除单点故障分成各个组件的HA机制——HDFS的HA、YARN的HA...

查看全文 本文标签:Hadoop
05月23日

[置顶] 可怕的黑暗料理之暗黑谷歌搜索神器shodan

分类:Safe | 超过 7731 人围观 | 已有 0 人发表了看法

1.暗黑谷歌的由来有这么一款搜索引擎,它一刻不停的在寻找着所有和互联网关联的PLC、摄像头、红绿灯、打印机、路由器、交换机、服务器、数据库等等各种软硬件服务设施。它就是shodan,那么shodan到底是什么呢?怎么会有如此大的魔力?首先,Shodan是一个搜索引擎,但它与Google这种搜索网址的搜索引擎不同,Shodan不是在网上搜索网址,而是直接进入互联网探索其背后的信息。Shodan真正值得注意的能力就是能找...

查看全文 本文标签:安全
06月27日

LeetCode.961-2N数组中N次重复的元素(N-Repeated Element in Size 2N Array)

分类:算法 | 超过 177 人围观 | 已有 0 人发表了看法

这是悦乐书的第365次更新,第393篇原创01看题和准备今天介绍的是LeetCode算法题中Easy级别的第227题(顺位题号是961)。在大小为2N的数组A中,存在N+1个唯一元素,并且这些元素中的一个重复N次。返回重复N次的元素。例如:输入:[1,2,3,3]输出:3输入:[2,1,2,5,3,2]输出:2输入:[5,1,5,2,5,3,5,4]输出:5注意:4<=A.len...

查看全文 本文标签:
06月26日

Linux(Centos7)下redis5集群搭建和使用

分类:Nosql | 超过 145 人围观 | 已有 0 人发表了看法

Linux(Centos7)下redis5集群搭建和使用

 1、简要说明 2018年十月Redis发布了稳定版本的5.0版本,推出了各种新特性,其中一点是放弃Ruby的集群方式,改为使用C语言编写的redis-cli的方式,是集群的构建方式复杂度大大降低。关于集群的更新可以在Redis5的版本说明中看到,如下:Theclustermanagerwas...

查看全文 本文标签:
06月26日

(11)《数据结构与算法》之赫夫曼树

分类:算法 | 超过 144 人围观 | 已有 0 人发表了看法

(11)《数据结构与算法》之赫夫曼树

在我们开始介绍赫夫曼树之前,我们先带入一个情景。你想发送一个文件给你朋友,但是文件太大,所以你决定将文件压缩,变小再发送。你有没有考虑文件是怎么压缩呢?作为程序员,没有考虑过这里使用的什么算法呢?赫夫曼编码就是其中的一种解决方法。在介绍赫夫曼编码之前,我们先介绍先导知识——赫夫曼树赫夫曼树赫夫曼树,又称最优树,是一类带权路径长度最短的树。定义...

查看全文 本文标签:
06月26日

人工智能-动物识别专家系统算法Python + Pyqt 实现

分类:算法 | 超过 154 人围观 | 已有 0 人发表了看法

人工智能-动物识别专家系统算法Python + Pyqt 实现

一、基础知识库有毛发哺乳动物-有奶哺乳动物-有羽毛鸟-会飞会下蛋鸟-吃肉食肉动物-有犬齿有爪眼盯前方食肉动物-哺乳动物有蹄有蹄类动物-哺乳动物反刍动物有蹄类动物-哺乳动物食肉动物黄褐色身上有暗斑点金钱豹*哺乳动物食肉动物黄褐色身上有黑色条纹虎*有蹄类动...

查看全文 本文标签:
06月26日

ORACLE等待事件:read by other session

分类:Oracle | 超过 65 人围观 | 已有 0 人发表了看法

ORACLE等待事件:read by other session

readbyothersession简介 官方关于readbyothersession的介绍如下: Wheninformationisrequestedfromthedatabase,Oraclewillfirstreadthedatafromdiskintothedataba...

查看全文 本文标签:
06月26日

Go grpc 与 protobuf

分类:go | 超过 158 人围观 | 已有 0 人发表了看法

Go grpc 与 protobuf

现在很多微服务内部的通信协议都采用rpc,性能高,安全。而grpc则是google退出的rpcplus。protobuf是传输协议,性能高,强大。来一个serverclient的通信demo,感受一下这2个的魅力。首先,我们要约定好接口和数据结构,起名helloworld.proto:goget-ugithub.com/gola...

查看全文 本文标签:
06月26日

oracle数据库用户之间授权

分类:Oracle | 超过 73 人围观 | 已有 0 人发表了看法

oracle数据库用户之间授权

 今天遇到一个数据库的问题:  系统数据库用户下创建了几个视图用于外部系统开发报表使用,当外部系统提取视图数据时,需要通过一个只能访问需要视图权限的用户,于是想到给他创建一个新的用户,并给这个用户分配只能访问这几个视图的权限。  使用oraclesqldeveloper客户端登陆数据库。  查看当前数据库用户权限:&nbs...

查看全文 本文标签:
06月26日

JS数据结构第三篇---双向链表和循环链表之约瑟夫问题

分类:算法 | 超过 157 人围观 | 已有 0 人发表了看法

JS数据结构第三篇---双向链表和循环链表之约瑟夫问题

一、双向链表在上文《JS数据结构第二篇---链表》中描述的是单向链表。单向链表是指每个节点都存有指向下一个节点的地址,双向链表则是在单向链表的基础上,给每个节点增加一个指向上一个节点的地址。然后头结点的上一个节点,和尾结点的下一个节点都指向null。同时LinkedList类中再增加一个last内部属性,一直指向链表中最后一个节点。结构模拟如图:...

查看全文 本文标签:
06月26日

A1082 Read Number in Chinese

分类:算法 | 超过 175 人围观 | 已有 0 人发表了看法

1082ReadNumberinChinese(25分) Givenanintegerwithnomorethan9digits,youaresupposedtoreaditinthetraditionalChineseway.OutputFufirstifitisnegative.Forexample,-123456789isrea...

查看全文 本文标签:
06月26日

Oracle 11g 总结篇2

分类:Oracle | 超过 77 人围观 | 已有 0 人发表了看法

Oracle 11g 总结篇2

字段名的别名用“”括起来,如:last_nameas“姓名”。去除重复:在投影的字段名前加上distinct就可以了。比如:selectdistinctem.last_name"姓名"fromemployeesem;日期格式的查询语句:‘00-0月-00’ 分别对应的是日、月、年。例如select*...

查看全文 本文标签:
06月26日

Mongodb 学习笔记(三) .net core SDK

分类:Nosql | 超过 144 人围观 | 已有 0 人发表了看法

 首先添加Nuget包 MongoDB.Driver 创建一个Model。publicclassStudent{publicObjectId_id{get;set;}publicstringname{get;set;}publicintage{get;set;}publicAddressaddress{...

查看全文 本文标签:
06月26日

JS数据结构第二篇---链表

分类:算法 | 超过 179 人围观 | 已有 0 人发表了看法

JS数据结构第二篇---链表

一、什么是链表 链表是一种链式存储的线性表,是由一组节点组成的集合,每一个节点都存储了下一个节点的地址;指向另一个节点的引用叫链;和数组中的元素内存地址是连续的相比,链表中的所有元素的内存地址不一定是连续的。结构模拟如图:一般来说,说到链表,就要提下数组,一般链表都是和数组进行对比。在很多编程语言中,数组的长度时固定的,所以数组中的增加和删除...

查看全文 本文标签:
微信公众号
  • 关注微信公众号
«   2019年5月   »
12345
6789101112
13141516171819
20212223242526
2728293031
网站分类
文章归档
网站收藏
友情链接
广告赞助
  • 点击查看详情