收藏本站 | RSS订阅大数据运维|云计算|攻防安全|AI|互联网时代守护先锋
你现在的位置:首页 » 2018年11月
12月26日

[置顶] 五分钟轻松了解Hbase面向列的存储

分类:Hadoop | 超过 5506 人围观 | 已有 0 人发表了看法

五分钟轻松了解Hbase面向列的存储

说明:从严格的列式存储的定义来看,Hbase并不属于列式存储,有人称它为面向列的存储,请各位看官注意这一点。 行式存储 传统的数据库是关系型的,且是按行来存储的。如下图:其中只有张三把一行数据填满了,李四王五赵六的行都没有填满。因为这里的行结构是固定的,每一行都一样,即使你不用,也必须空到那里,而不能没有。来一张形象的图:不管你坐或不坐,...

查看全文 本文标签:Go
03月13日

[置顶] OpenTSDB/HBase的调优过程整理

分类:Hbase | 超过 6042 人围观 | 已有 0 人发表了看法

OpenTSDB/HBase的调优过程整理

背景过年前,寂寞哥给我三台机器,说搞个新的openTSDB集群。机器硬件是8核16G内存、3个146G磁盘做数据盘。我说这太抠了,寂寞哥说之前的TSDB集群运行了两年,4台同样配置的机器,目前hdfs才用了40%,所以前期先用着这三台机器,不够再加。于是我只好默默地搭好了CDH5、openTSDB(2.1版本,请注意此版本号)、bosun,并在2...

查看全文 本文标签:算法
02月02日

[置顶] 亿级 ELK 日志平台构建部署实践

分类:Hadoop | 超过 9727 人围观 | 已有 0 人发表了看法

亿级 ELK 日志平台构建实践

本篇主要讲工作中的真实经历,我们怎么打造亿级日志平台,同时手把手教大家建立起这样一套亿级 ELK 系统。日志平台具体发展历程可以参考上篇 「从 ELK 到 EFK 演进」

废话不多说,老司机们座好了,我们准备发车了~~~

整体架构

亿级 ELK 日志平台构建部署实践

本篇主要讲工作中的真实经历,我们怎么打造亿级日志平台,同时手把手教大家建立起这样一套亿级ELK系统。日志平台具体发展历程可以参考上篇 「从ELK到EFK演进」废话不多说,老司机们座好了,我们准备发车了~~~整体架构整体架构主要分为4个模块,分别提供不同的功能Filebeat:轻量级数据收集引擎。基于原先Logstash-fowar...

查看全文 本文标签:安全
04月07日

[置顶] HBase数据压缩编码探索

分类:Hbase | 超过 5634 人围观 | 已有 0 人发表了看法

HBase数据压缩编码探索

摘要: 本文主要介绍了hbase对数据压缩,编码的支持,以及云hbase在社区基础上对数据压缩率和访问速度上了进行的改进。前言你可曾遇到这种需求,只有几百qps的冷数据缓存,却因为存储水位要浪费几十台服务器?你可曾遇到这种需求,几百G的表,必须纯cache命中,性能才能满足业务需求?你可曾遇到,几十M的小表,由于qps过高,必须不停的split,b...

查看全文 本文标签:安全
01月31日

[置顶] Ambari2.7.3 和HDP3.1.0搭建Hadoop集群

分类:Hadoop | 超过 8737 人围观 | 已有 0 人发表了看法

Ambari2.7.3 和HDP3.1.0搭建Hadoop集群

一、环境及软件准备1、集群规划 hdp01/10.1.1.11hdp02/10.1.1.12hdp03/10.1.1.13hdp04/10.1.1.14hdp05/10.1.1.15ambariserver是否否否否ambariagent是是是是是namenode是是否否否datanode否否是是是resourcemanager是是否否否jou...

查看全文 本文标签:Oracle
04月18日

[置顶] Ambari2.6.2 HDP2.6.5 大数据集群搭建

分类:Hadoop | 超过 8803 人围观 | 已有 0 人发表了看法

Ambari2.6.2 HDP2.6.5 大数据集群搭建

Ambari2.6.2中HDFS-2.7.3YARN-2.7.3HIVE-1.2.1HBASE-1.1.2ZOOKEEPER-3.4.6SPARK-2.3.0注:本文基于root用户操作一、安装环境准备操作系统centos7.5hdc-data1:192.168.163.51hdc-data2:192.168.163.52hdc-da...

查看全文 本文标签:安全
05月23日

[置顶] hadoop-2.7.7 HA完全分布式集群部署详解

分类:Hadoop | 超过 7529 人围观 | 已有 0 人发表了看法

hadoop-2.7.7 HA完全分布式集群部署详解

1.HadoopHA简介及工作原理HadoopNameNode官方开始支持HA集群默认是从2.0开始,之前的版本均是不支持NameNodeHA的高可用的。1.1HadoopHA简介Hadoop-HA集群运作机制介绍HA即高可用(7*24小时不中断服务)实现高可用最关键的是消除单点故障分成各个组件的HA机制——HDFS的HA、YARN的HA...

查看全文 本文标签:Hadoop
05月23日

[置顶] 可怕的黑暗料理之暗黑谷歌搜索神器shodan

分类:Safe | 超过 7731 人围观 | 已有 0 人发表了看法

1.暗黑谷歌的由来有这么一款搜索引擎,它一刻不停的在寻找着所有和互联网关联的PLC、摄像头、红绿灯、打印机、路由器、交换机、服务器、数据库等等各种软硬件服务设施。它就是shodan,那么shodan到底是什么呢?怎么会有如此大的魔力?首先,Shodan是一个搜索引擎,但它与Google这种搜索网址的搜索引擎不同,Shodan不是在网上搜索网址,而是直接进入互联网探索其背后的信息。Shodan真正值得注意的能力就是能找...

查看全文 本文标签:安全
11月30日

【原】Oracle EBS 11无法打开Form及Form显示乱码的解决

分类:Oracle | 超过 1027 人围观 | 已有 0 人发表了看法

问题:OracleEBS11无法打开Form及Form显示乱码解决:1、尝试使用jre1.5或1.6安装目录下jre/bin/server目录里的jvm.dll替换JInitiator安装目录里的bin/hotspot目录下的jvm.dll文件,如果替换后,后续操作提示错误,不妨再换为默认的jvm.dll试试2、使用IE浏览器打开,如果是64位系统,选择InternetExplorer不带64位字样的那个。3、IE...

查看全文 本文标签:安全
11月30日

etc/skel目录介绍

分类:Linux | 超过 172 人围观 | 已有 0 人发表了看法

etc/skel目录介绍

/etc/skel目录的作用:/etc/skel目录是用来存放新用户配置文件的目录,当我们添加新用户时,这个目录下的所有文件会自动被复制到新添加的用户家目录下,默认情况下,/etc/skel目录下的所有文件都是隐藏文件(以.点开头的文件);通过修改、添加、删除/etc/skel目录下的文件,我们可以为新创建的用户提供统一、标准的、初始化用户环境。&...

查看全文 本文标签:
11月30日

Linux学习-Ubuntu 18.04-安装图文教程

分类:Linux | 超过 444 人围观 | 已有 0 人发表了看法

Linux学习-Ubuntu 18.04-安装图文教程

Ubuntu(友帮拓、优般图、乌班图)是一个以桌面应用为主的开源GNU/Linux操作系统,Ubuntu是基于DebianGNU/Linux,支持x86、amd64(即x64)和ppc架构,由全球化的专业开发团队(CanonicalLtd)打造的。接下来介绍在Windows10系统下VMware14虚拟机中安装Ubuntu18.04的安装过程...

查看全文 本文标签:Linux
11月30日

Ubuntu 16.04 Server 设置静态IP

分类:Linux | 超过 31 人围观 | 已有 0 人发表了看法

一、前言最近需要在虚拟机当中装个UbuntuServer16.04的系统,但是在虚拟机安装的时候,并不像UbuntuServer18.04那样能一步步的进行配置,因此导致装好后的虚拟机是动态IP地址。而该虚拟机要作为测试服务器来使用,所以要将IP地址设置为静态IP。二、环境系统:UbuntuServer16.04虚拟机:VM15.X三、解决方案1.查看IP信息通过命令行查看当前IP...

查看全文 本文标签:Linux
11月30日

python项目1:自动解压并删除压缩包

分类:Python | 超过 136 人围观 | 已有 0 人发表了看法

目的:实现压缩包的自动解压及删除。思路:获取压缩包>解压>删除压缩包代码实现:此处代码实现前提为.py文件和压缩包在同一文件夹#导入需要的包importosimportshutilimporttime#定义查找函数defscan_file():files=os.listdir()forfinfiles:iff.e...

查看全文 本文标签:Python
11月30日

文件默认权限umask掩码

分类:Linux | 超过 508 人围观 | 已有 0 人发表了看法

文件默认权限umask掩码

umask命令  作用:用于显示、设置文件的缺省权限  格式:umask  [-S]  -S表示以rwx形式显示新建文件缺省权限  系统的默认掩码是0022  文件创建时的默认权限=0666-umask  目录创建时的默认权限= 0777-umask  所以创建文件的权限是0666-...

查看全文 本文标签:安全
11月30日

MySQL丨01丨数据库基本概念

分类:Mysql | 超过 1509 人围观 | 已有 0 人发表了看法

以前记录数据可能很少也很简单,比如说老王借了老李半斤肉,这样的数据老李直接就写到墙上就行了。后来数据多了人们就以表格的方式开始记录,写到一张A4纸上,比如学生的档案,有表头和序号等。表头里有姓名、性别、年龄、籍贯等等,有横向的信息有竖向的信息。这样的A4纸散放在那里肯定是不行的。于是人们把它们按班级装到档案袋里,这些档案袋都交给刘大婶保管。这里面对应到数据库的概念上就是:A4纸 ··...

查看全文 本文标签:Mysql
11月30日

05,.字典,集合

分类:Python | 超过 566 人围观 | 已有 0 人发表了看法

1.什么是字典字典是以key:value的形式来保存数据,用{}表示.  存储的是key:value坑:字典存储数据的时候是用的hash值来存储.算法不能变(python的)#数据必须是不可变的(可哈希).字典的key必须是可哈希的(不可变).dic={"jay":"周杰伦","jj":"林俊杰","jolin":"蔡依林"}print(dic['jay'...

查看全文 本文标签:算法
11月30日

oracle中scott用户的创建

分类:Oracle | 超过 526 人围观 | 已有 0 人发表了看法

oracle中scott用户的创建

 原创作品,转载请在文章开头显眼位置注明出处:https://www.cnblogs.com/sunshine5683/p/10046716.html今天,接着上次的学习进度继续前进,在此过程中,使用scott用户登录时候显示scott用户不存在,于是进行scott用户的解锁操作SQL>alteruserscottacco...

查看全文 本文标签:Oracle
11月30日

Scrapy爬取博客园精华区内容

分类:Python | 超过 1195 人围观 | 已有 0 人发表了看法

Scrapy爬取博客园精华区内容

程序爬取目标获取博客园精华区文章的标题、标题链接、作者、作者博客主页链接、摘要、发布时间、评论数、阅读数和推荐数,并存储到MongoDB中。程序环境已安装scrapy已安装MongoDB创建工程scrapystartprojectcnblogs在命令提示符中执行上述命令后,会建立一个名为cnblogs的文件夹。...

查看全文 本文标签:Mongodb
11月30日

20181130(装饰器补充,叠加多个装饰器,有参装饰器,三元表达式,生成式,匿名函数,内置函数)

分类:Python | 超过 1547 人围观 | 已有 0 人发表了看法

20181130(装饰器补充,叠加多个装饰器,有参装饰器,三元表达式,生成式,匿名函数,内置函数)

 一、装饰器的补充1、函数属性的传递Python装饰器(decorator)在实现的时候,被装饰后的函数其实已经是另外一个函数了(函数名等函数属性会发生改变),为了不影响,Python的functools包中提供了一个叫wraps的decorator来消除这样的副作用。写一个decorator的时候,最好在实现之前加上functools...

查看全文 本文标签:Go
11月30日

字典和集合

分类:Python | 超过 1301 人围观 | 已有 0 人发表了看法

1.什么是字典  字典是用{}表示,以key:value的形式来保存数据的,其查找效率比较高  坑:    字典存储数据时是用哈希值来存储的,算法不能变(python的)  数据必须是可哈希的(不可变的),字典中的key必须是可哈希的(不可变的)dic={"jay":"周杰伦","jj":"林俊杰","jolin":"蔡依林"}print(dic['jay'])#周杰伦dic['jay']=...

查看全文 本文标签:算法
微信公众号
  • 关注微信公众号
«   2018年11月   »
1234
567891011
12131415161718
19202122232425
2627282930
网站分类
文章归档
网站收藏
友情链接
广告赞助
  • 点击查看详情