收藏本站 | RSS订阅大数据运维|云计算|攻防安全|AI|互联网时代守护先锋
你现在的位置:首页 » 2019年5月23日
12月26日

[置顶] 五分钟轻松了解Hbase面向列的存储

分类:Hadoop | 超过 5506 人围观 | 已有 0 人发表了看法

五分钟轻松了解Hbase面向列的存储

说明:从严格的列式存储的定义来看,Hbase并不属于列式存储,有人称它为面向列的存储,请各位看官注意这一点。 行式存储 传统的数据库是关系型的,且是按行来存储的。如下图:其中只有张三把一行数据填满了,李四王五赵六的行都没有填满。因为这里的行结构是固定的,每一行都一样,即使你不用,也必须空到那里,而不能没有。来一张形象的图:不管你坐或不坐,...

查看全文 本文标签:Go
03月13日

[置顶] OpenTSDB/HBase的调优过程整理

分类:Hbase | 超过 6042 人围观 | 已有 0 人发表了看法

OpenTSDB/HBase的调优过程整理

背景过年前,寂寞哥给我三台机器,说搞个新的openTSDB集群。机器硬件是8核16G内存、3个146G磁盘做数据盘。我说这太抠了,寂寞哥说之前的TSDB集群运行了两年,4台同样配置的机器,目前hdfs才用了40%,所以前期先用着这三台机器,不够再加。于是我只好默默地搭好了CDH5、openTSDB(2.1版本,请注意此版本号)、bosun,并在2...

查看全文 本文标签:算法
02月02日

[置顶] 亿级 ELK 日志平台构建部署实践

分类:Hadoop | 超过 9727 人围观 | 已有 0 人发表了看法

亿级 ELK 日志平台构建实践

本篇主要讲工作中的真实经历,我们怎么打造亿级日志平台,同时手把手教大家建立起这样一套亿级 ELK 系统。日志平台具体发展历程可以参考上篇 「从 ELK 到 EFK 演进」

废话不多说,老司机们座好了,我们准备发车了~~~

整体架构

亿级 ELK 日志平台构建部署实践

本篇主要讲工作中的真实经历,我们怎么打造亿级日志平台,同时手把手教大家建立起这样一套亿级ELK系统。日志平台具体发展历程可以参考上篇 「从ELK到EFK演进」废话不多说,老司机们座好了,我们准备发车了~~~整体架构整体架构主要分为4个模块,分别提供不同的功能Filebeat:轻量级数据收集引擎。基于原先Logstash-fowar...

查看全文 本文标签:安全
04月07日

[置顶] HBase数据压缩编码探索

分类:Hbase | 超过 5634 人围观 | 已有 0 人发表了看法

HBase数据压缩编码探索

摘要: 本文主要介绍了hbase对数据压缩,编码的支持,以及云hbase在社区基础上对数据压缩率和访问速度上了进行的改进。前言你可曾遇到这种需求,只有几百qps的冷数据缓存,却因为存储水位要浪费几十台服务器?你可曾遇到这种需求,几百G的表,必须纯cache命中,性能才能满足业务需求?你可曾遇到,几十M的小表,由于qps过高,必须不停的split,b...

查看全文 本文标签:安全
01月31日

[置顶] Ambari2.7.3 和HDP3.1.0搭建Hadoop集群

分类:Hadoop | 超过 8737 人围观 | 已有 0 人发表了看法

Ambari2.7.3 和HDP3.1.0搭建Hadoop集群

一、环境及软件准备1、集群规划 hdp01/10.1.1.11hdp02/10.1.1.12hdp03/10.1.1.13hdp04/10.1.1.14hdp05/10.1.1.15ambariserver是否否否否ambariagent是是是是是namenode是是否否否datanode否否是是是resourcemanager是是否否否jou...

查看全文 本文标签:Oracle
04月18日

[置顶] Ambari2.6.2 HDP2.6.5 大数据集群搭建

分类:Hadoop | 超过 8803 人围观 | 已有 0 人发表了看法

Ambari2.6.2 HDP2.6.5 大数据集群搭建

Ambari2.6.2中HDFS-2.7.3YARN-2.7.3HIVE-1.2.1HBASE-1.1.2ZOOKEEPER-3.4.6SPARK-2.3.0注:本文基于root用户操作一、安装环境准备操作系统centos7.5hdc-data1:192.168.163.51hdc-data2:192.168.163.52hdc-da...

查看全文 本文标签:安全
05月23日

[置顶] hadoop-2.7.7 HA完全分布式集群部署详解

分类:Hadoop | 超过 7529 人围观 | 已有 0 人发表了看法

hadoop-2.7.7 HA完全分布式集群部署详解

1.HadoopHA简介及工作原理HadoopNameNode官方开始支持HA集群默认是从2.0开始,之前的版本均是不支持NameNodeHA的高可用的。1.1HadoopHA简介Hadoop-HA集群运作机制介绍HA即高可用(7*24小时不中断服务)实现高可用最关键的是消除单点故障分成各个组件的HA机制——HDFS的HA、YARN的HA...

查看全文 本文标签:Hadoop
05月23日

[置顶] 可怕的黑暗料理之暗黑谷歌搜索神器shodan

分类:Safe | 超过 7731 人围观 | 已有 0 人发表了看法

1.暗黑谷歌的由来有这么一款搜索引擎,它一刻不停的在寻找着所有和互联网关联的PLC、摄像头、红绿灯、打印机、路由器、交换机、服务器、数据库等等各种软硬件服务设施。它就是shodan,那么shodan到底是什么呢?怎么会有如此大的魔力?首先,Shodan是一个搜索引擎,但它与Google这种搜索网址的搜索引擎不同,Shodan不是在网上搜索网址,而是直接进入互联网探索其背后的信息。Shodan真正值得注意的能力就是能找...

查看全文 本文标签:安全
05月23日

蜂窝网络TDOA定位方法的Fang算法研究及仿真纠错

分类:算法 | 超过 1013 人围观 | 已有 0 人发表了看法

蜂窝网络TDOA定位方法的Fang算法研究及仿真纠错

科学论文为我们提供科学方法,在解决实际问题中,能极大提高生产效率。但论文中一些失误则可能让使用者浪费大量时间。自己全部再推导那真不容易,怀疑的成本特别高,通常不会选择这条路。而如果真是它的问题,其它所有过程真可能都是实实在在的浪费生命。发表在中国科技论文在线的《蜂窝网络TDOA定位方法的Fang算法研究及仿真》(百度链接),提供了很好的Fang...

查看全文 本文标签:算法
05月23日

oracle学习笔记(十四) 数据库对象 索引 视图 序列 同义词

分类:Oracle | 超过 922 人围观 | 已有 0 人发表了看法

数据库对象用户模式:指数据库用户所创建和存储数据对象的统称。在访问其它用户模式的数据库对象时需加上用户模式。如:scott.emp,scott.dept等。数据库对象包括:表、视图、索引、序列、目录、同义词、数据库用户、存储过程、函数、触发器等。同义词同义词是现有数据库对象的一个别名。简化SQL语句隐藏对象的名称和所有者同义词分为私有和公有的--创建同义词得通过sys进行授权grantc...

查看全文 本文标签:安全
05月23日

Oracle开启和关闭的四种模式

分类:Oracle | 超过 583 人围观 | 已有 0 人发表了看法

  >1启动数据库  在cmd命令窗口,直接输入"sqlplus",直接进入oracle管理界面,输入用户名和密码后,开始启动数据库,启动数据库三个步骤:启动实例、加载数据库、打开数据库  命令格式:  startup[nomount|mount|open|force][restrict][pfile=filename]  nomount:表示启动实例不加载数据库  mount:表示启动实例、加载数据库并保...

查看全文 本文标签:Oracle
05月23日

【刷题笔记】LeetCode 606. Construct String from Binary Tree

分类:算法 | 超过 1175 人围观 | 已有 0 人发表了看法

【刷题笔记】LeetCode 606. Construct String from Binary Tree

题意给一棵二叉树,把它转化为字符串返回。转化字符串的要求如下:1.  null 直接转化为  () ;(这个要求其实有点误导人~)2.子节点用 () 包裹起来;(这是我自己根据例子添加的要求)3.省略所有不影响二叉树与字符串之间一对一关系的&nbs...

查看全文 本文标签:
05月23日

缓存设计与优化

分类:Nosql | 超过 1083 人围观 | 已有 0 人发表了看法

缓存的受益与成本1.受益加速读写CPUL1/L2/L3Cache、浏览器缓存、Ehcache缓存数据库结果降低后端负载后端服务器通过前端缓存降低负载:业务端使用Redis降低后端MySQL的负载2.成本数据不一致:缓存层和数据层有时间窗口不一致问题,和更新策略有关代码维护成本:多了一层缓存逻辑运维成本:例如...

查看全文 本文标签:算法
05月23日

row_number()、rank()、dense_rank()排序方式的区别

分类:Oracle | 超过 726 人围观 | 已有 0 人发表了看法

row_number()、rank()、dense_rank()排序方式的区别

1.row_number()排序策略,连续排序,它会为查询出来的每一行记录生成一个序号,依次排序且不会重复,例如1,2,3,4 SELECTnames,dept,row_number()OVER(PARTITIONBYdeptORDERBYageDESC)rankFROMworkers; &nbs...

查看全文 本文标签:Oracle
05月23日

11gr2 alert日志中报TNS-12535 TNS-00505原因及解决方法

分类:Oracle | 超过 726 人围观 | 已有 0 人发表了看法

前面新装了11GR2RAC,某天在做巡检的时候发现alert日志中存在如下报错FatalNIconnecterror12170.VERSIONINFORMATION:TNSforLinux:Version11.2.0.4.0-ProductionOracleBequeathNTProtocolAdapterforLinux:Version11.2.0.4.0-ProductionT...

查看全文 本文标签:Oracle
05月23日

Go语言中的代码重用 - 继承还是组合?

分类:go | 超过 1326 人围观 | 已有 0 人发表了看法

故事要从我在一个项目中,想要假装的专业一点而遇到的一个陷阱说起。代码重用在这个项目中,我们已经有了类似如下的代码:packagemainimport("fmt")funcmain(){user:=&User{name:"Chris"}user.sayHi()}typeUserstruct{namestring}func(u...

查看全文 本文标签:Go
05月23日

关于Oracle MAX()KEEP(DENSE_RANK LAST/FIRST ORDER BY ) 函数的使用分析

分类:Oracle | 超过 385 人围观 | 已有 0 人发表了看法

关于Oracle MAX()KEEP(DENSE_RANK LAST/FIRST ORDER BY ) 函数的使用分析

MAX()/MIN()KEEP(DENSE_RANKLAST/FIRST)函数解释:1. max() 获取最大值;2.min() 获取最小值;3. keep 保持满足括号内条件的内容;4.dense_rank 排序策略,连续排序,如果有两个同一级别时,接下来是第二级别...

查看全文 本文标签:Oracle
05月23日

堆排序和选择排序

分类:算法 | 超过 871 人围观 | 已有 0 人发表了看法

堆排序和选择排序

   选择排序的执行过程为每次循环遍历数组找出最小(或最大)的数,将其放在数组的有序数列的最后面,每次第i次遍历查找要执行N-i个单位时间,然后要执行N次,故时间复杂度为O(N^2),很简单,比较适合较小的数列的排序。   选择排序的代码selection_sort.cpp会在下面的完整代码...

查看全文 本文标签:算法
微信公众号
  • 关注微信公众号
«   2019年5月   »
12345
6789101112
13141516171819
20212223242526
2728293031
网站分类
文章归档
网站收藏
友情链接
广告赞助
  • 点击查看详情