收藏本站 | RSS订阅大数据运维|云计算|攻防安全|AI|互联网时代守护先锋
你现在的位置:首页 » 2014年11月
12月26日

[置顶] 五分钟轻松了解Hbase面向列的存储

分类:Hadoop | 超过 5506 人围观 | 已有 0 人发表了看法

五分钟轻松了解Hbase面向列的存储

说明:从严格的列式存储的定义来看,Hbase并不属于列式存储,有人称它为面向列的存储,请各位看官注意这一点。 行式存储 传统的数据库是关系型的,且是按行来存储的。如下图:其中只有张三把一行数据填满了,李四王五赵六的行都没有填满。因为这里的行结构是固定的,每一行都一样,即使你不用,也必须空到那里,而不能没有。来一张形象的图:不管你坐或不坐,...

查看全文 本文标签:Go
03月13日

[置顶] OpenTSDB/HBase的调优过程整理

分类:Hbase | 超过 6042 人围观 | 已有 0 人发表了看法

OpenTSDB/HBase的调优过程整理

背景过年前,寂寞哥给我三台机器,说搞个新的openTSDB集群。机器硬件是8核16G内存、3个146G磁盘做数据盘。我说这太抠了,寂寞哥说之前的TSDB集群运行了两年,4台同样配置的机器,目前hdfs才用了40%,所以前期先用着这三台机器,不够再加。于是我只好默默地搭好了CDH5、openTSDB(2.1版本,请注意此版本号)、bosun,并在2...

查看全文 本文标签:算法
02月02日

[置顶] 亿级 ELK 日志平台构建部署实践

分类:Hadoop | 超过 9727 人围观 | 已有 0 人发表了看法

亿级 ELK 日志平台构建实践

本篇主要讲工作中的真实经历,我们怎么打造亿级日志平台,同时手把手教大家建立起这样一套亿级 ELK 系统。日志平台具体发展历程可以参考上篇 「从 ELK 到 EFK 演进」

废话不多说,老司机们座好了,我们准备发车了~~~

整体架构

亿级 ELK 日志平台构建部署实践

本篇主要讲工作中的真实经历,我们怎么打造亿级日志平台,同时手把手教大家建立起这样一套亿级ELK系统。日志平台具体发展历程可以参考上篇 「从ELK到EFK演进」废话不多说,老司机们座好了,我们准备发车了~~~整体架构整体架构主要分为4个模块,分别提供不同的功能Filebeat:轻量级数据收集引擎。基于原先Logstash-fowar...

查看全文 本文标签:安全
04月07日

[置顶] HBase数据压缩编码探索

分类:Hbase | 超过 5634 人围观 | 已有 0 人发表了看法

HBase数据压缩编码探索

摘要: 本文主要介绍了hbase对数据压缩,编码的支持,以及云hbase在社区基础上对数据压缩率和访问速度上了进行的改进。前言你可曾遇到这种需求,只有几百qps的冷数据缓存,却因为存储水位要浪费几十台服务器?你可曾遇到这种需求,几百G的表,必须纯cache命中,性能才能满足业务需求?你可曾遇到,几十M的小表,由于qps过高,必须不停的split,b...

查看全文 本文标签:安全
01月31日

[置顶] Ambari2.7.3 和HDP3.1.0搭建Hadoop集群

分类:Hadoop | 超过 8737 人围观 | 已有 0 人发表了看法

Ambari2.7.3 和HDP3.1.0搭建Hadoop集群

一、环境及软件准备1、集群规划 hdp01/10.1.1.11hdp02/10.1.1.12hdp03/10.1.1.13hdp04/10.1.1.14hdp05/10.1.1.15ambariserver是否否否否ambariagent是是是是是namenode是是否否否datanode否否是是是resourcemanager是是否否否jou...

查看全文 本文标签:Oracle
04月18日

[置顶] Ambari2.6.2 HDP2.6.5 大数据集群搭建

分类:Hadoop | 超过 8803 人围观 | 已有 0 人发表了看法

Ambari2.6.2 HDP2.6.5 大数据集群搭建

Ambari2.6.2中HDFS-2.7.3YARN-2.7.3HIVE-1.2.1HBASE-1.1.2ZOOKEEPER-3.4.6SPARK-2.3.0注:本文基于root用户操作一、安装环境准备操作系统centos7.5hdc-data1:192.168.163.51hdc-data2:192.168.163.52hdc-da...

查看全文 本文标签:安全
05月23日

[置顶] hadoop-2.7.7 HA完全分布式集群部署详解

分类:Hadoop | 超过 7529 人围观 | 已有 0 人发表了看法

hadoop-2.7.7 HA完全分布式集群部署详解

1.HadoopHA简介及工作原理HadoopNameNode官方开始支持HA集群默认是从2.0开始,之前的版本均是不支持NameNodeHA的高可用的。1.1HadoopHA简介Hadoop-HA集群运作机制介绍HA即高可用(7*24小时不中断服务)实现高可用最关键的是消除单点故障分成各个组件的HA机制——HDFS的HA、YARN的HA...

查看全文 本文标签:Hadoop
05月23日

[置顶] 可怕的黑暗料理之暗黑谷歌搜索神器shodan

分类:Safe | 超过 7731 人围观 | 已有 0 人发表了看法

1.暗黑谷歌的由来有这么一款搜索引擎,它一刻不停的在寻找着所有和互联网关联的PLC、摄像头、红绿灯、打印机、路由器、交换机、服务器、数据库等等各种软硬件服务设施。它就是shodan,那么shodan到底是什么呢?怎么会有如此大的魔力?首先,Shodan是一个搜索引擎,但它与Google这种搜索网址的搜索引擎不同,Shodan不是在网上搜索网址,而是直接进入互联网探索其背后的信息。Shodan真正值得注意的能力就是能找...

查看全文 本文标签:安全
11月12日

oracle创建表空间

分类:Oracle | 超过 953 人围观 | 已有 0 人发表了看法

SYS用户在CMD下以DBA身份登陆:  在CMD中打sqlplus/nolog  然后再  conn/assysdba  //创建临时表空间   createtemporarytablespaceuser_temp    tempfile'D:\oracle\or...

查看全文 本文标签:Oracle
11月12日

Oracle建立表空间和用户

分类:Oracle | 超过 463 人围观 | 已有 0 人发表了看法

Oracle建立表空间和用户

注意点:1.如果在PL/SQL等工具里打开的话,直接修改下面的代码中[斜体加粗部分]执行2.确保路径存在,比如【D:\oracle\oradata\Oracle9i\】也就是你要保存文件的路径存在/*分为四步 *//*第1步:创建临时表空间  */createtemporarytablespace user_te...

查看全文 本文标签:Oracle
11月06日

百度也作孽!hao123protect.sys导致系统蓝屏

分类:Safe | 超过 256 人围观 | 已有 0 人发表了看法

客户WindowsXP系统今天突然频繁蓝屏,一开始怀疑是温度过高或者内存问题,后来一一排除,最后通过分析蓝屏转储文件C:/Windows/Minidump/xxx.dmp得知导致蓝屏的罪魁祸首竟是一个名为hao123protect.sys的驱动文件,显然这是hao123网页绑定用的,hao123早就被百度收购,所以这也就是百度公司的产品了。见下图:解决方法就是把这个C:\Windows\system32\drivers\hao123p...

查看全文 本文标签:
11月01日

ORA-01220: file based sort illegal before database is open

分类:Oracle | 超过 915 人围观 | 已有 0 人发表了看法

RMAN使用nocatalog的模式,备份信息存储在控制文件中,现备份控制文件,还原到异机上并startup mount,再使用RMANRMAN>rman nocatalog target sys/abc123RMAN>list backup;则出现如下错误:ORA-01220: file based sort illegal ...

查看全文 本文标签:
11月01日

oracle简易笔记

分类:Oracle | 超过 162 人围观 | 已有 0 人发表了看法

//删除用户dropusertestcascade//创建用户createuser test identifiedbypassword//给用户授DBA权限grantdbato test//导入数据$imp test/password@server file=e:back312.dmpfromuser=lc0019999touser=lc0019999//导出数据$e...

查看全文 本文标签:Oracle
11月01日

用Linux命令行生成随机密码的十种方法

分类:Linux | 超过 1079 人围观 | 已有 0 人发表了看法

Linux操作系统的一大优点是对于同样一件事情,你可以使用高达数百种方法来实现它。例如,你可以通过数十种方法来生成随机密码。本文将介绍生成随机密码的十种方法。这些方法均收集于Command-LineFu,并且在我们自己的LinuxPC机上测试过。这十种方法的一些在安装了Cygwin的Windows下也是可以运行的,特别是最后一种方法。[root@mytest~]#date|md5sum2bed83df049d73017f1c...

查看全文 本文标签:算法
11月01日

Linux Crond执行计划任务详解

分类:Linux | 超过 665 人围观 | 已有 0 人发表了看法

1、循环执行的计划任务linux下面有atd和crond两种计划任务,其中,atd服务使用的at命令只能执行一次,而crond服务使用的crontab定义的命令,是循环作用的,所以crond才符合我们的要求。crontab支持两种状态:一、直接编写计划任务;二、使用目录的方式,放在目录里面的都会定时执行。2、可以使用的用户默认情况下,系统中可以登陆的用户,都可以使用crontab定义计划任务。不过,可以通过下面两个文件限制权限:/etc...

查看全文 本文标签:Linux
11月01日

Linux selinux关闭方法和防火墙关闭方法

分类:Linux | 超过 1147 人围观 | 已有 0 人发表了看法

Linux selinux关闭方法和防火墙关闭方法

在Linux下设置selinux有三种方法。一、在图形界面中:   桌面-->管理-->安全级别和防火墙,设置为disable。二、在命令模式下:   修改文件:/etc/selinux/config,然后重启系统。具体修改如图:三、运行命令:setup,进入”防火墙配置“,在sel...

查看全文 本文标签:安全
11月01日

查看Linux版本系统信息方法汇总

分类:Linux | 超过 337 人围观 | 已有 0 人发表了看法

 Linux下如何查看版本信息,包括位数、版本信息以及CPU内核信息、CPU具体型号等等,整个CPU信息一目了然。   1、#uname-a  (Linux查看版本当前操作系统内核信息)   Linuxlocalhost.localdomain2.4.20-8#1ThuMar1317:54:28EST2003i686athloni386GNU/Linux...

查看全文 本文标签:Go
11月01日

linux创建swap交换分区

分类:Linux | 超过 1251 人围观 | 已有 0 人发表了看法

   在linux下有些东西很久不用就忘记了,今天再创建swap的时候发现还是挺有趣的,就写了点东西玩玩。接下来是两种不同的方式创建swap分区,环境为rhel5.3。第一种方法:1.fdisk/dev/sda2.n(新建一个分区为/dev/sda6)3.t(修改分区的id)4.82(swap的id为82)5.w(重写分区表)6.partprobe(同步内存和分区表信息)7.mkswap/...

查看全文 本文标签:Linux
11月01日

释放Linux磁盘空间的一种方法

分类:Linux | 超过 313 人围观 | 已有 0 人发表了看法

释放Linux磁盘空间的一种方法 1、用df检查发现/根目录可用空间为0   [root@/]#df-h 2、用du检查发现各目录占用的空间都很少,有约3G的空间莫名其妙地丢了。   [root@/]#du-m–max-depth=1|sort-gr www.2cto.com 3、用lsof检查后才发现原因是,有文件被删除,而进程还活着,因而造成还...

查看全文 本文标签:Linux
微信公众号
  • 关注微信公众号
«   2014年11月   »
12
3456789
10111213141516
17181920212223
24252627282930
网站分类
文章归档
网站收藏
友情链接
广告赞助
  • 点击查看详情