收藏本站 | RSS订阅大数据运维|云计算|攻防安全|AI|互联网时代守护先锋
你现在的位置:首页 » 2015年7月
12月26日

[置顶] 五分钟轻松了解Hbase面向列的存储

分类:Hadoop | 超过 5506 人围观 | 已有 0 人发表了看法

五分钟轻松了解Hbase面向列的存储

说明:从严格的列式存储的定义来看,Hbase并不属于列式存储,有人称它为面向列的存储,请各位看官注意这一点。 行式存储 传统的数据库是关系型的,且是按行来存储的。如下图:其中只有张三把一行数据填满了,李四王五赵六的行都没有填满。因为这里的行结构是固定的,每一行都一样,即使你不用,也必须空到那里,而不能没有。来一张形象的图:不管你坐或不坐,...

查看全文 本文标签:Go
03月13日

[置顶] OpenTSDB/HBase的调优过程整理

分类:Hbase | 超过 6042 人围观 | 已有 0 人发表了看法

OpenTSDB/HBase的调优过程整理

背景过年前,寂寞哥给我三台机器,说搞个新的openTSDB集群。机器硬件是8核16G内存、3个146G磁盘做数据盘。我说这太抠了,寂寞哥说之前的TSDB集群运行了两年,4台同样配置的机器,目前hdfs才用了40%,所以前期先用着这三台机器,不够再加。于是我只好默默地搭好了CDH5、openTSDB(2.1版本,请注意此版本号)、bosun,并在2...

查看全文 本文标签:算法
02月02日

[置顶] 亿级 ELK 日志平台构建部署实践

分类:Hadoop | 超过 9727 人围观 | 已有 0 人发表了看法

亿级 ELK 日志平台构建实践

本篇主要讲工作中的真实经历,我们怎么打造亿级日志平台,同时手把手教大家建立起这样一套亿级 ELK 系统。日志平台具体发展历程可以参考上篇 「从 ELK 到 EFK 演进」

废话不多说,老司机们座好了,我们准备发车了~~~

整体架构

亿级 ELK 日志平台构建部署实践

本篇主要讲工作中的真实经历,我们怎么打造亿级日志平台,同时手把手教大家建立起这样一套亿级ELK系统。日志平台具体发展历程可以参考上篇 「从ELK到EFK演进」废话不多说,老司机们座好了,我们准备发车了~~~整体架构整体架构主要分为4个模块,分别提供不同的功能Filebeat:轻量级数据收集引擎。基于原先Logstash-fowar...

查看全文 本文标签:安全
04月07日

[置顶] HBase数据压缩编码探索

分类:Hbase | 超过 5634 人围观 | 已有 0 人发表了看法

HBase数据压缩编码探索

摘要: 本文主要介绍了hbase对数据压缩,编码的支持,以及云hbase在社区基础上对数据压缩率和访问速度上了进行的改进。前言你可曾遇到这种需求,只有几百qps的冷数据缓存,却因为存储水位要浪费几十台服务器?你可曾遇到这种需求,几百G的表,必须纯cache命中,性能才能满足业务需求?你可曾遇到,几十M的小表,由于qps过高,必须不停的split,b...

查看全文 本文标签:安全
01月31日

[置顶] Ambari2.7.3 和HDP3.1.0搭建Hadoop集群

分类:Hadoop | 超过 8737 人围观 | 已有 0 人发表了看法

Ambari2.7.3 和HDP3.1.0搭建Hadoop集群

一、环境及软件准备1、集群规划 hdp01/10.1.1.11hdp02/10.1.1.12hdp03/10.1.1.13hdp04/10.1.1.14hdp05/10.1.1.15ambariserver是否否否否ambariagent是是是是是namenode是是否否否datanode否否是是是resourcemanager是是否否否jou...

查看全文 本文标签:Oracle
04月18日

[置顶] Ambari2.6.2 HDP2.6.5 大数据集群搭建

分类:Hadoop | 超过 8803 人围观 | 已有 0 人发表了看法

Ambari2.6.2 HDP2.6.5 大数据集群搭建

Ambari2.6.2中HDFS-2.7.3YARN-2.7.3HIVE-1.2.1HBASE-1.1.2ZOOKEEPER-3.4.6SPARK-2.3.0注:本文基于root用户操作一、安装环境准备操作系统centos7.5hdc-data1:192.168.163.51hdc-data2:192.168.163.52hdc-da...

查看全文 本文标签:安全
05月23日

[置顶] hadoop-2.7.7 HA完全分布式集群部署详解

分类:Hadoop | 超过 7529 人围观 | 已有 0 人发表了看法

hadoop-2.7.7 HA完全分布式集群部署详解

1.HadoopHA简介及工作原理HadoopNameNode官方开始支持HA集群默认是从2.0开始,之前的版本均是不支持NameNodeHA的高可用的。1.1HadoopHA简介Hadoop-HA集群运作机制介绍HA即高可用(7*24小时不中断服务)实现高可用最关键的是消除单点故障分成各个组件的HA机制——HDFS的HA、YARN的HA...

查看全文 本文标签:Hadoop
05月23日

[置顶] 可怕的黑暗料理之暗黑谷歌搜索神器shodan

分类:Safe | 超过 7731 人围观 | 已有 0 人发表了看法

1.暗黑谷歌的由来有这么一款搜索引擎,它一刻不停的在寻找着所有和互联网关联的PLC、摄像头、红绿灯、打印机、路由器、交换机、服务器、数据库等等各种软硬件服务设施。它就是shodan,那么shodan到底是什么呢?怎么会有如此大的魔力?首先,Shodan是一个搜索引擎,但它与Google这种搜索网址的搜索引擎不同,Shodan不是在网上搜索网址,而是直接进入互联网探索其背后的信息。Shodan真正值得注意的能力就是能找...

查看全文 本文标签:安全
07月23日

开始—运行—命令大全

分类:Safe | 超过 894 人围观 | 已有 0 人发表了看法

%temp%           打开零时文件夹.                  C:...

查看全文 本文标签:Go
07月23日

oracle查询表信息(索引,外键,列等)

分类:DBA | 超过 1472 人围观 | 已有 0 人发表了看法

oracle中查询表的信息,包括表名,字段名,字段类型,主键,外键唯一性约束信息,索引信息查询SQL如下,希望对大家有所帮助:1、查询出所有的用户表select*fromuser_tables可以查询出所有的用户表selectowner,table_namefromall_tables;查询所有表,包括其他用户表通过表名过滤需要将字母作如下处理select*fromuser_tableswheretable_n...

查看全文 本文标签:Oracle
07月16日

ORACLE 管理 安全与审计

分类:DBA | 超过 343 人围观 | 已有 0 人发表了看法

    口令安全和资源的管理查看当前profile文件信息:select*fromdba_profilesorderby1;口令管理风格:FAILED_LOGIN_ATTEMPTSPASSWORD10--指定在锁定帐户之前试图登录用户帐户的失败次数PASSWORD_LIFE_TIMEPASSWORDUNLIMITED--生存期,过期失效2/1440PASSWORD_...

查看全文 本文标签:安全
07月16日

Oracle11gr2 AUDIT清除功能增强(四)

分类:DBA | 超过 1155 人围观 | 已有 0 人发表了看法

审计信息可以保存在数据库中,也可以保存在操作系统中,这是由初始化参数AUDIT_TRAIL决定的:SQL>showparameteraudit_trailNAME                      &...

查看全文 本文标签:Oracle
07月16日

Oracle11gr2 AUDIT清除功能增强(三)

分类:DBA | 超过 1718 人围观 | 已有 0 人发表了看法

在清除AUDIT的时候,为了避免一次完全清理导致的性能问题,可以设置批量清除的数量:SQL>SELECT*FROMV$VERSION;BANNER--------------------------------------------------------------------------------OracleDatabase11gEnterpriseEditionRelease11.2.0.1.0-...

查看全文 本文标签:Oracle
07月16日

Oracle11gr2 AUDIT清除功能增强(二)

分类:DBA | 超过 1354 人围观 | 已有 0 人发表了看法

Oracle提供的DBMS_AUDIT_MGMT包对于AUDIT记录的清除和管理提供了强大的功能:SQL>SELECTCOUNT(*)FROMAUD$; COUNT(*)----------      580SQL>SETSERVEROUTONSQL>BEGIN 2 IFDBMS_AUDIT_MGMT.I...

查看全文 本文标签:Oracle
07月16日

Oracle11gr2 AUDIT清除功能增强(一)

分类:DBA | 超过 1013 人围观 | 已有 0 人发表了看法

在11.2中,Oracle对于AUDIT记录的清除工作进行了增强。这一篇介绍将AUDIT记录迁移出SYSTEM表空间。 从Oracle提供了AUDIT功能以来,存在两种AUDIT记录的存储方式,操作系统存储或数据库存储,如果采用数据库存储,那么AUDIT记录被存放在SYSTEM表空间的AUD$系统表中。但是如果系统使用审计功能很频繁,就会产生大量的审计信息,从而给SYSTEM表空间带来压力。从11.2开始,Oracle终于可以...

查看全文 本文标签:Oracle
07月02日

Oracle冷备份

分类:未命名 | 超过 1100 人围观 | 已有 0 人发表了看法

冷备份前提:操作系统相同,可以Win32到Win64,Win32到Win64要执行脚本。操作步骤:a,查看两个实例的控制文件、数据文件、日志文件b,关闭两个实例c,覆盖对应文件d,开启实例常见问题:a,如果控制文件的数目不一致。答:减少控制文件多的实例的控制文件。altersystemsetcontrol_files='/u02/flash_recovery_area/bkt/control02.ctl'scop...

查看全文 本文标签:Oracle
07月02日

Oracle dba操作常用命令

分类:DBA | 超过 385 人围观 | 已有 0 人发表了看法

DBA操作常用命令一、ORACLE的启动和关闭 1、在单机环境下 要想启动或关闭ORACLE系统必须首先切换到ORACLE用户,如下 su-oracle a、启动ORACLE系统 oracle>svrmgrl SVRMGR>connectinternal SVRMGR>startup SVRMGR>quit&n...

查看全文 本文标签:Oracle
07月01日

CentOS 6.3下Samba服务器的安装与配置

分类:Linux | 超过 1145 人围观 | 已有 0 人发表了看法

CentOS 6.3下Samba服务器的安装与配置

一、简介  Samba是一个能让Linux系统应用Microsoft网络通讯协议的软件,而SMB是ServerMessageBlock的缩写,即为服务器消息块,SMB主要是作为Microsoft的网络通讯协议,后来Samba将SMB通信协议应用到了Linux系统上,就形成了现在的Samba软件。后来微软又把SMB改名为CIFS(CommonIn...

查看全文 本文标签:安全
微信公众号
  • 关注微信公众号
«   2015年7月   »
12345
6789101112
13141516171819
20212223242526
2728293031
网站分类
文章归档
网站收藏
友情链接
广告赞助
  • 点击查看详情