收藏本站 | RSS订阅大数据运维|云计算|攻防安全|AI|互联网时代守护先锋
你现在的位置:首页 » 2018年10月
12月26日

[置顶] 五分钟轻松了解Hbase面向列的存储

分类:Hadoop | 超过 5506 人围观 | 已有 0 人发表了看法

五分钟轻松了解Hbase面向列的存储

说明:从严格的列式存储的定义来看,Hbase并不属于列式存储,有人称它为面向列的存储,请各位看官注意这一点。 行式存储 传统的数据库是关系型的,且是按行来存储的。如下图:其中只有张三把一行数据填满了,李四王五赵六的行都没有填满。因为这里的行结构是固定的,每一行都一样,即使你不用,也必须空到那里,而不能没有。来一张形象的图:不管你坐或不坐,...

查看全文 本文标签:Go
03月13日

[置顶] OpenTSDB/HBase的调优过程整理

分类:Hbase | 超过 6042 人围观 | 已有 0 人发表了看法

OpenTSDB/HBase的调优过程整理

背景过年前,寂寞哥给我三台机器,说搞个新的openTSDB集群。机器硬件是8核16G内存、3个146G磁盘做数据盘。我说这太抠了,寂寞哥说之前的TSDB集群运行了两年,4台同样配置的机器,目前hdfs才用了40%,所以前期先用着这三台机器,不够再加。于是我只好默默地搭好了CDH5、openTSDB(2.1版本,请注意此版本号)、bosun,并在2...

查看全文 本文标签:算法
02月02日

[置顶] 亿级 ELK 日志平台构建部署实践

分类:Hadoop | 超过 9727 人围观 | 已有 0 人发表了看法

亿级 ELK 日志平台构建实践

本篇主要讲工作中的真实经历,我们怎么打造亿级日志平台,同时手把手教大家建立起这样一套亿级 ELK 系统。日志平台具体发展历程可以参考上篇 「从 ELK 到 EFK 演进」

废话不多说,老司机们座好了,我们准备发车了~~~

整体架构

亿级 ELK 日志平台构建部署实践

本篇主要讲工作中的真实经历,我们怎么打造亿级日志平台,同时手把手教大家建立起这样一套亿级ELK系统。日志平台具体发展历程可以参考上篇 「从ELK到EFK演进」废话不多说,老司机们座好了,我们准备发车了~~~整体架构整体架构主要分为4个模块,分别提供不同的功能Filebeat:轻量级数据收集引擎。基于原先Logstash-fowar...

查看全文 本文标签:安全
04月07日

[置顶] HBase数据压缩编码探索

分类:Hbase | 超过 5634 人围观 | 已有 0 人发表了看法

HBase数据压缩编码探索

摘要: 本文主要介绍了hbase对数据压缩,编码的支持,以及云hbase在社区基础上对数据压缩率和访问速度上了进行的改进。前言你可曾遇到这种需求,只有几百qps的冷数据缓存,却因为存储水位要浪费几十台服务器?你可曾遇到这种需求,几百G的表,必须纯cache命中,性能才能满足业务需求?你可曾遇到,几十M的小表,由于qps过高,必须不停的split,b...

查看全文 本文标签:安全
01月31日

[置顶] Ambari2.7.3 和HDP3.1.0搭建Hadoop集群

分类:Hadoop | 超过 8737 人围观 | 已有 0 人发表了看法

Ambari2.7.3 和HDP3.1.0搭建Hadoop集群

一、环境及软件准备1、集群规划 hdp01/10.1.1.11hdp02/10.1.1.12hdp03/10.1.1.13hdp04/10.1.1.14hdp05/10.1.1.15ambariserver是否否否否ambariagent是是是是是namenode是是否否否datanode否否是是是resourcemanager是是否否否jou...

查看全文 本文标签:Oracle
04月18日

[置顶] Ambari2.6.2 HDP2.6.5 大数据集群搭建

分类:Hadoop | 超过 8804 人围观 | 已有 0 人发表了看法

Ambari2.6.2 HDP2.6.5 大数据集群搭建

Ambari2.6.2中HDFS-2.7.3YARN-2.7.3HIVE-1.2.1HBASE-1.1.2ZOOKEEPER-3.4.6SPARK-2.3.0注:本文基于root用户操作一、安装环境准备操作系统centos7.5hdc-data1:192.168.163.51hdc-data2:192.168.163.52hdc-da...

查看全文 本文标签:安全
05月23日

[置顶] hadoop-2.7.7 HA完全分布式集群部署详解

分类:Hadoop | 超过 7529 人围观 | 已有 0 人发表了看法

hadoop-2.7.7 HA完全分布式集群部署详解

1.HadoopHA简介及工作原理HadoopNameNode官方开始支持HA集群默认是从2.0开始,之前的版本均是不支持NameNodeHA的高可用的。1.1HadoopHA简介Hadoop-HA集群运作机制介绍HA即高可用(7*24小时不中断服务)实现高可用最关键的是消除单点故障分成各个组件的HA机制——HDFS的HA、YARN的HA...

查看全文 本文标签:Hadoop
05月23日

[置顶] 可怕的黑暗料理之暗黑谷歌搜索神器shodan

分类:Safe | 超过 7731 人围观 | 已有 0 人发表了看法

1.暗黑谷歌的由来有这么一款搜索引擎,它一刻不停的在寻找着所有和互联网关联的PLC、摄像头、红绿灯、打印机、路由器、交换机、服务器、数据库等等各种软硬件服务设施。它就是shodan,那么shodan到底是什么呢?怎么会有如此大的魔力?首先,Shodan是一个搜索引擎,但它与Google这种搜索网址的搜索引擎不同,Shodan不是在网上搜索网址,而是直接进入互联网探索其背后的信息。Shodan真正值得注意的能力就是能找...

查看全文 本文标签:安全
10月31日

Kali Linux ——在无网络情况下安装无线网卡驱动

分类:Linux | 超过 1638 人围观 | 已有 0 人发表了看法

Kali Linux ——在无网络情况下安装无线网卡驱动

1、背景:  今日刚刚开始学习kalilinux,众所周知,安装完成后,系统是没有无线网卡驱动的,这就对学生党造成相当的困扰:校园网要连接有线是需要认证客户端的,而认证客户端只有windows端,如此一来,无线网也连不上,有线网也连不上,这就......很尴尬。  因此我走访各大博客,虽然没能直接解决问题,但也给了我一定的启发,最终摸索出一条不难实...

查看全文 本文标签:Linux
10月31日

linux chattr用法

分类:Linux | 超过 243 人围观 | 已有 0 人发表了看法

linux chattr用法

  在linux中,我们有的时候发现linux无法删除一个文件或者目录。  huskiesir第一次遇见这个问题还是在一次服务器被不法分子入侵之后的事情,我就发现某个进程很多,根据进程的名字,我搜索关键字找到了某个a.sh文件。  于是huskiesir就用rm-rfa.sh,结果居然是显示 rm:无法删除"a.sh":不允许的操作,最后小白...

查看全文 本文标签:Linux
10月31日

POJ 3481 Double Queue(set实现)

分类:算法 | 超过 341 人围观 | 已有 0 人发表了看法

DoubleQueue  ThenewfoundedBalkanInvestmentGroupBank(BIG-Bank)openedanewofficeinBucharest,equippedwithamoderncomputingenvironmentprovidedbyIBMRomania,andusingmoderninformationtechnologies.A...

查看全文 本文标签:
10月31日

12 认识进程与线程 (进阶)

分类:Python | 超过 1141 人围观 | 已有 0 人发表了看法

12 认识进程与线程 (进阶)

认识进程与线程(python)  一段时间没有更新博客了,今天和大家讲讲关于python进程和线程的知识点。(个人心得,多多指教!)阶段一:并发与并行的深入理解​并行一定是并发,但并发不一定是并行。​并行是相对的,并行是绝对的。1、关于并行与并发的问题引入:问题一:计算机是如何执行程序指令的?问题二:计算机如何模拟出并...

查看全文 本文标签:安全
10月31日

LeetCode 102. Binary Tree Level Order Traversal

分类:算法 | 超过 784 人围观 | 已有 0 人发表了看法

分析难度中来源https://leetcode.com/problems/binary-tree-level-order-traversal/ 题目Givenabinarytree,returnthelevelordertraversalofitsnodes'values.(ie,fromlefttoright,levelbylevel).Forexample...

查看全文 本文标签:
10月31日

LeetCode 107. Binary Tree Level Order Traversal II

分类:算法 | 超过 1698 人围观 | 已有 0 人发表了看法

分析难度易来源https://leetcode.com/problems/binary-tree-level-order-traversal-ii/题目Givenabinarytree,returnthebottom-uplevelordertraversalofitsnodes'values.(ie,fromlefttoright,levelbylevelfromle...

查看全文 本文标签:
10月31日

day08 文件操作

分类:Python | 超过 1241 人围观 | 已有 0 人发表了看法

  1.文件操作open()文件句柄       open()打开一个文件,获取的是文件句柄       read()#读取全部内容     read(n)#读取前n个字符 &...

查看全文 本文标签:
10月31日

python-字符串

分类:Python | 超过 473 人围观 | 已有 0 人发表了看法

 ·字符串(string)笔记:在Python中用引号括起来的都是字符串,可以是单引号也可以是双引号。‘ Thisisastring’“ Thisisastring” @字符串的基本操作在序列中所有标准操作(索引、乘法、成员资格、长度、最小值、最大值)都适用字符串,然而,字符串是不可变的,所以赋值是非法的。h='hello,world...

查看全文 本文标签:Python
10月31日

python学习笔记:第11天 闭包及迭代器

分类:Python | 超过 1457 人围观 | 已有 0 人发表了看法

目录1.函数名的使用2.闭包3.迭代器1.函数名的使用其实函数名也是一个变量,但它是一个比较特殊的变量,与小括号配合可以执行函数的变量:函数名其实和内存一样,也可以使用print查看它的内存地址:In[22]:deffunc1():...:pass...:In[23]:print(func1)<functionfunc1at...

查看全文 本文标签:Python
10月31日

Linux基础命令---dump

分类:Linux | 超过 1352 人围观 | 已有 0 人发表了看法

dump   检查ext2/3/4文件系统,确定哪些文件需要备份,这些需要备份的文件将会被复制到指定的磁盘或者其他存储介质。dump检查Ext2/3/4文件系统上的文件,并确定哪些文件需要备份。这些文件被复制到给定的磁盘、磁带或其他存储介质中以确保安全保存(请参阅下面的-f选项以进行远程备份)。大于输出介质的转储被分解为多个卷。在大多数媒体上,大小是通过写入来确定的,直到返回媒体结束指示为止。...

查看全文 本文标签:安全
10月31日

Oracle条件查询

分类:Oracle | 超过 1041 人围观 | 已有 0 人发表了看法

  Oracle条件查询参考网址:http://www.oraclejsq.com/article/010100259.htmlOracle条件查询时经常使用=、IN、LIKE、BETWEEN...AND来作为条件查询的操作符。在Oracleselect查询中where条件经常使用到这几个操作符。下列案例所需表结构参考:学生系统表结构。 =操作符 在条件查询语句中“=”表示列值等于一个固定...

查看全文 本文标签:Oracle
10月31日

【PyQt5 学习记录】010:QSplitter

分类:Python | 超过 1113 人围观 | 已有 0 人发表了看法

【PyQt5 学习记录】010:QSplitter

1importsys2fromPyQt5.QtWidgetsimport(QApplication,3QWidget,4QSplitter,5...

查看全文 本文标签:
微信公众号
  • 关注微信公众号
«   2018年10月   »
1234567
891011121314
15161718192021
22232425262728
293031
网站分类
文章归档
网站收藏
友情链接
广告赞助
  • 点击查看详情