收藏本站 | RSS订阅大数据运维|云计算|攻防安全|AI|互联网时代守护先锋
你现在的位置:首页 » 2019年5月8日
12月26日

[置顶] 五分钟轻松了解Hbase面向列的存储

分类:Hadoop | 超过 5506 人围观 | 已有 0 人发表了看法

五分钟轻松了解Hbase面向列的存储

说明:从严格的列式存储的定义来看,Hbase并不属于列式存储,有人称它为面向列的存储,请各位看官注意这一点。 行式存储 传统的数据库是关系型的,且是按行来存储的。如下图:其中只有张三把一行数据填满了,李四王五赵六的行都没有填满。因为这里的行结构是固定的,每一行都一样,即使你不用,也必须空到那里,而不能没有。来一张形象的图:不管你坐或不坐,...

查看全文 本文标签:Go
03月13日

[置顶] OpenTSDB/HBase的调优过程整理

分类:Hbase | 超过 6042 人围观 | 已有 0 人发表了看法

OpenTSDB/HBase的调优过程整理

背景过年前,寂寞哥给我三台机器,说搞个新的openTSDB集群。机器硬件是8核16G内存、3个146G磁盘做数据盘。我说这太抠了,寂寞哥说之前的TSDB集群运行了两年,4台同样配置的机器,目前hdfs才用了40%,所以前期先用着这三台机器,不够再加。于是我只好默默地搭好了CDH5、openTSDB(2.1版本,请注意此版本号)、bosun,并在2...

查看全文 本文标签:算法
02月02日

[置顶] 亿级 ELK 日志平台构建部署实践

分类:Hadoop | 超过 9727 人围观 | 已有 0 人发表了看法

亿级 ELK 日志平台构建实践

本篇主要讲工作中的真实经历,我们怎么打造亿级日志平台,同时手把手教大家建立起这样一套亿级 ELK 系统。日志平台具体发展历程可以参考上篇 「从 ELK 到 EFK 演进」

废话不多说,老司机们座好了,我们准备发车了~~~

整体架构

亿级 ELK 日志平台构建部署实践

本篇主要讲工作中的真实经历,我们怎么打造亿级日志平台,同时手把手教大家建立起这样一套亿级ELK系统。日志平台具体发展历程可以参考上篇 「从ELK到EFK演进」废话不多说,老司机们座好了,我们准备发车了~~~整体架构整体架构主要分为4个模块,分别提供不同的功能Filebeat:轻量级数据收集引擎。基于原先Logstash-fowar...

查看全文 本文标签:安全
04月07日

[置顶] HBase数据压缩编码探索

分类:Hbase | 超过 5634 人围观 | 已有 0 人发表了看法

HBase数据压缩编码探索

摘要: 本文主要介绍了hbase对数据压缩,编码的支持,以及云hbase在社区基础上对数据压缩率和访问速度上了进行的改进。前言你可曾遇到这种需求,只有几百qps的冷数据缓存,却因为存储水位要浪费几十台服务器?你可曾遇到这种需求,几百G的表,必须纯cache命中,性能才能满足业务需求?你可曾遇到,几十M的小表,由于qps过高,必须不停的split,b...

查看全文 本文标签:安全
01月31日

[置顶] Ambari2.7.3 和HDP3.1.0搭建Hadoop集群

分类:Hadoop | 超过 8737 人围观 | 已有 0 人发表了看法

Ambari2.7.3 和HDP3.1.0搭建Hadoop集群

一、环境及软件准备1、集群规划 hdp01/10.1.1.11hdp02/10.1.1.12hdp03/10.1.1.13hdp04/10.1.1.14hdp05/10.1.1.15ambariserver是否否否否ambariagent是是是是是namenode是是否否否datanode否否是是是resourcemanager是是否否否jou...

查看全文 本文标签:Oracle
04月18日

[置顶] Ambari2.6.2 HDP2.6.5 大数据集群搭建

分类:Hadoop | 超过 8804 人围观 | 已有 0 人发表了看法

Ambari2.6.2 HDP2.6.5 大数据集群搭建

Ambari2.6.2中HDFS-2.7.3YARN-2.7.3HIVE-1.2.1HBASE-1.1.2ZOOKEEPER-3.4.6SPARK-2.3.0注:本文基于root用户操作一、安装环境准备操作系统centos7.5hdc-data1:192.168.163.51hdc-data2:192.168.163.52hdc-da...

查看全文 本文标签:安全
05月23日

[置顶] hadoop-2.7.7 HA完全分布式集群部署详解

分类:Hadoop | 超过 7529 人围观 | 已有 0 人发表了看法

hadoop-2.7.7 HA完全分布式集群部署详解

1.HadoopHA简介及工作原理HadoopNameNode官方开始支持HA集群默认是从2.0开始,之前的版本均是不支持NameNodeHA的高可用的。1.1HadoopHA简介Hadoop-HA集群运作机制介绍HA即高可用(7*24小时不中断服务)实现高可用最关键的是消除单点故障分成各个组件的HA机制——HDFS的HA、YARN的HA...

查看全文 本文标签:Hadoop
05月23日

[置顶] 可怕的黑暗料理之暗黑谷歌搜索神器shodan

分类:Safe | 超过 7731 人围观 | 已有 0 人发表了看法

1.暗黑谷歌的由来有这么一款搜索引擎,它一刻不停的在寻找着所有和互联网关联的PLC、摄像头、红绿灯、打印机、路由器、交换机、服务器、数据库等等各种软硬件服务设施。它就是shodan,那么shodan到底是什么呢?怎么会有如此大的魔力?首先,Shodan是一个搜索引擎,但它与Google这种搜索网址的搜索引擎不同,Shodan不是在网上搜索网址,而是直接进入互联网探索其背后的信息。Shodan真正值得注意的能力就是能找...

查看全文 本文标签:安全
05月09日

GIL全局解释器锁

分类:随笔 | 超过 1523 人围观 | 已有 0 人发表了看法

InCPython,theglobalinterpreterlock,orGIL,isamutexthatpreventsmultiplenativethreadsfromexecutingPythonbytecodesatonce.ThislockisnecessarymainlybecauseCPython’smemorymanagementisnotthre...

查看全文 本文标签:安全
05月09日

博客背景随着鼠标动的效果实现

分类:随笔 | 超过 1726 人围观 | 已有 0 人发表了看法

在博客侧边栏公告中加上如下这段js:<!---导入js库---><scriptsrc="//cdn.bootcss.com/canvas-nest.js/1.0.0/canvas-nest.min.js"><canvasid="c_n4"width="860"height="958"style="position:fixed;top:0px;left:0px;...

查看全文 本文标签:
05月09日

VirtualBox:无法访问共享文件夹

分类:随笔 | 超过 1786 人围观 | 已有 0 人发表了看法

造冰箱的大熊猫@cnblogs2019/5/9 问题:VirtualBox中安装Linux虚拟机,设置宿主机某个文件夹为虚拟机的共享文件夹。在虚拟机中,该共享文件夹显示为“sf_×××”,打开该文件夹时显示无权限。解决方法:在虚拟机中将当前用户添加到vboxsf用户组(OnLinuxdistributions,sharedfoldersaremountedwith770filepermissi...

查看全文 本文标签:Linux
05月08日

VM Storage Policies深度解析

分类:随笔 | 超过 1658 人围观 | 已有 0 人发表了看法

VM Storage Policies深度解析

   ...

查看全文 本文标签:
05月08日

数据库的事务日志已满,起因为"LOG_BACKUP"。

分类:随笔 | 超过 719 人围观 | 已有 0 人发表了看法

数据库的事务日志已满,起因为

问题描述:数据库的事务日志已满,起因为"LOG_BACKUP"。问题截图:解决方法:1).选择数据库–属性—选项—恢复模式–选择简单。2).收缩数据库后,再调回完整。1USE[master]2GO3ALTERDATABASE要清理的数据库名称SETRECOVERYSIMPLEWITHNO_W...

查看全文 本文标签:Go
05月08日

部署前端

分类:随笔 | 超过 1551 人围观 | 已有 0 人发表了看法

部署前端

命令!1.将项目前端打包,形成静态文件。cnpmrunbuild在打包的过程中,不能报错,如果报错在你本地的项目中找错,或者你之前已经打包,在修改本地的项目后又重新打包报错,可以选在删除之前已经打包好的。再重新打包。2.创建文件。将打包好的前端复制这一个文件夹中,并且把主应用中的index.html和src中的static(需要在这个...

查看全文 本文标签:Go
05月08日

5月8号打卡

分类:随笔 | 超过 627 人围观 | 已有 0 人发表了看法

数据结构矩阵的简单输出#include<stdio.h>intmain(){inta[100][100];intm,n;//表示数组的行和列printf("请输入行数m:");scanf("%d",&m);printf("请输入列数n:");scanf("%d",&n);for(inti=0;i<m;i++){for(intj=0;j<n;j++){prin...

查看全文 本文标签:
05月08日

pycharm 调用turtle模块时,窗口闪屏不能显示

分类:随笔 | 超过 1106 人围观 | 已有 0 人发表了看法

#如下代码时,在pycharm中运行时,窗口在程序结束后,直接关闭,不能看到绘制的图像.#在python自带的IDE中,在执行代码后,可以看到窗口的显示。importturtlet=turtle.Pen()t.forward(50)#百度了一下:发现要想让窗口在pycharm中显示,不关闭,需要在最后加一句:turtle.done(),即可,代码如下:importturtle...

查看全文 本文标签:Python
05月08日

Kettle-使用简介

分类:随笔 | 超过 1527 人围观 | 已有 0 人发表了看法

Kettle-使用简介

            ...

查看全文 本文标签:
05月08日

web 项目结构

分类:随笔 | 超过 1561 人围观 | 已有 0 人发表了看法

WEB项目结构                                     -->js                                                     --jsptomcat/webapps/webproject  ---...

查看全文 本文标签:
05月08日

Redis持久化有几种类型?他们之间的区别

分类:随笔 | 超过 893 人围观 | 已有 0 人发表了看法

两种类型分别为RDB和AOF一。RDB优缺点  在一定时间内写入磁盘,全量存储(备份文件完全替换原先的文件)  创建fork子进程  优点:1.节省磁盘空间。2.恢复速度快  缺点:1.在fork时使用了写时拷贝技术,数据庞大时消耗性能     2.容易丢失最后一次快照的修改二。AOF  以日志形式记录每个写操作  优点:1.备份数据更稳健,丢失数据概率更低     2.可以处理日志文件,通过操...

查看全文 本文标签:
05月08日

第四次作业——李丽欣

分类:随笔 | 超过 382 人围观 | 已有 0 人发表了看法

第四次作业——李丽欣

设计题1:设计一个本月份日历,输出格式如下:要求:1.初始化start_day,end_day两个日期fromdatetimeimportdatetimestart_day=datetime(2019,4,1)end_day=datetime(2019,4,30)其它时间数据生成要用datetime或date模块的方法编程实现2.不能使用calen...

查看全文 本文标签:
微信公众号
  • 关注微信公众号
«   2019年5月   »
12345
6789101112
13141516171819
20212223242526
2728293031
网站分类
文章归档
网站收藏
友情链接
广告赞助
  • 点击查看详情