收藏本站 | RSS订阅大数据运维|云计算|攻防安全|AI|互联网时代守护先锋
你现在的位置:首页 » 随笔
12月26日

[置顶] 五分钟轻松了解Hbase面向列的存储

分类:Hadoop | 超过 5506 人围观 | 已有 0 人发表了看法

五分钟轻松了解Hbase面向列的存储

说明:从严格的列式存储的定义来看,Hbase并不属于列式存储,有人称它为面向列的存储,请各位看官注意这一点。 行式存储 传统的数据库是关系型的,且是按行来存储的。如下图:其中只有张三把一行数据填满了,李四王五赵六的行都没有填满。因为这里的行结构是固定的,每一行都一样,即使你不用,也必须空到那里,而不能没有。来一张形象的图:不管你坐或不坐,...

查看全文 本文标签:Go
03月13日

[置顶] OpenTSDB/HBase的调优过程整理

分类:Hbase | 超过 6042 人围观 | 已有 0 人发表了看法

OpenTSDB/HBase的调优过程整理

背景过年前,寂寞哥给我三台机器,说搞个新的openTSDB集群。机器硬件是8核16G内存、3个146G磁盘做数据盘。我说这太抠了,寂寞哥说之前的TSDB集群运行了两年,4台同样配置的机器,目前hdfs才用了40%,所以前期先用着这三台机器,不够再加。于是我只好默默地搭好了CDH5、openTSDB(2.1版本,请注意此版本号)、bosun,并在2...

查看全文 本文标签:算法
02月02日

[置顶] 亿级 ELK 日志平台构建部署实践

分类:Hadoop | 超过 9727 人围观 | 已有 0 人发表了看法

亿级 ELK 日志平台构建实践

本篇主要讲工作中的真实经历,我们怎么打造亿级日志平台,同时手把手教大家建立起这样一套亿级 ELK 系统。日志平台具体发展历程可以参考上篇 「从 ELK 到 EFK 演进」

废话不多说,老司机们座好了,我们准备发车了~~~

整体架构

亿级 ELK 日志平台构建部署实践

本篇主要讲工作中的真实经历,我们怎么打造亿级日志平台,同时手把手教大家建立起这样一套亿级ELK系统。日志平台具体发展历程可以参考上篇 「从ELK到EFK演进」废话不多说,老司机们座好了,我们准备发车了~~~整体架构整体架构主要分为4个模块,分别提供不同的功能Filebeat:轻量级数据收集引擎。基于原先Logstash-fowar...

查看全文 本文标签:安全
04月07日

[置顶] HBase数据压缩编码探索

分类:Hbase | 超过 5634 人围观 | 已有 0 人发表了看法

HBase数据压缩编码探索

摘要: 本文主要介绍了hbase对数据压缩,编码的支持,以及云hbase在社区基础上对数据压缩率和访问速度上了进行的改进。前言你可曾遇到这种需求,只有几百qps的冷数据缓存,却因为存储水位要浪费几十台服务器?你可曾遇到这种需求,几百G的表,必须纯cache命中,性能才能满足业务需求?你可曾遇到,几十M的小表,由于qps过高,必须不停的split,b...

查看全文 本文标签:安全
01月31日

[置顶] Ambari2.7.3 和HDP3.1.0搭建Hadoop集群

分类:Hadoop | 超过 8737 人围观 | 已有 0 人发表了看法

Ambari2.7.3 和HDP3.1.0搭建Hadoop集群

一、环境及软件准备1、集群规划 hdp01/10.1.1.11hdp02/10.1.1.12hdp03/10.1.1.13hdp04/10.1.1.14hdp05/10.1.1.15ambariserver是否否否否ambariagent是是是是是namenode是是否否否datanode否否是是是resourcemanager是是否否否jou...

查看全文 本文标签:Oracle
04月18日

[置顶] Ambari2.6.2 HDP2.6.5 大数据集群搭建

分类:Hadoop | 超过 8804 人围观 | 已有 0 人发表了看法

Ambari2.6.2 HDP2.6.5 大数据集群搭建

Ambari2.6.2中HDFS-2.7.3YARN-2.7.3HIVE-1.2.1HBASE-1.1.2ZOOKEEPER-3.4.6SPARK-2.3.0注:本文基于root用户操作一、安装环境准备操作系统centos7.5hdc-data1:192.168.163.51hdc-data2:192.168.163.52hdc-da...

查看全文 本文标签:安全
05月23日

[置顶] hadoop-2.7.7 HA完全分布式集群部署详解

分类:Hadoop | 超过 7529 人围观 | 已有 0 人发表了看法

hadoop-2.7.7 HA完全分布式集群部署详解

1.HadoopHA简介及工作原理HadoopNameNode官方开始支持HA集群默认是从2.0开始,之前的版本均是不支持NameNodeHA的高可用的。1.1HadoopHA简介Hadoop-HA集群运作机制介绍HA即高可用(7*24小时不中断服务)实现高可用最关键的是消除单点故障分成各个组件的HA机制——HDFS的HA、YARN的HA...

查看全文 本文标签:Hadoop
05月23日

[置顶] 可怕的黑暗料理之暗黑谷歌搜索神器shodan

分类:Safe | 超过 7731 人围观 | 已有 0 人发表了看法

1.暗黑谷歌的由来有这么一款搜索引擎,它一刻不停的在寻找着所有和互联网关联的PLC、摄像头、红绿灯、打印机、路由器、交换机、服务器、数据库等等各种软硬件服务设施。它就是shodan,那么shodan到底是什么呢?怎么会有如此大的魔力?首先,Shodan是一个搜索引擎,但它与Google这种搜索网址的搜索引擎不同,Shodan不是在网上搜索网址,而是直接进入互联网探索其背后的信息。Shodan真正值得注意的能力就是能找...

查看全文 本文标签:安全
05月17日

整理的 linux常用发行版 openstack images 下载地址

分类:随笔 | 超过 885 人围观 | 已有 0 人发表了看法

常见的Linux发行版本官方都提供了用于云环境(如OpenStack)的Image的下载.发行版下载地址fedora30http://mirrors.ustc.edu.cn/fedora/releases/30/Cloud/x86_64/images/ubuntu18.04http://cloud-images....

查看全文 本文标签:Linux
05月17日

235. 二叉搜索树的最近公共祖先

分类:随笔 | 超过 465 人围观 | 已有 0 人发表了看法

235. 二叉搜索树的最近公共祖先

给定一个二叉搜索树,找到该树中两个指定节点的最近公共祖先。百度百科中最近公共祖先的定义为:“对于有根树T的两个结点p、q,最近公共祖先表示为一个结点x,满足x是p、q的祖先且x的深度尽可能大(一个节点也可以是它自己的祖先)。”例如,给定如下二叉搜索树: root= [6,2,8,0,4,7,9,null,...

查看全文 本文标签:
05月17日

【AMAD】Stream-Framework -- 让你可以使用Cassandra和Redis构建新闻feed,活动流(activity stream)以及通知系统。

分类:随笔 | 超过 1591 人围观 | 已有 0 人发表了看法

动机简介个人评分动机你曾经是否想为你自己的网站构建Facebook,Github那种feed流.简介通过Stream-Framework1你可以做到:Github那种活动流Twitter形式的newsfeedInstagram/Pinterest形式的feedFacebook形式的feed通知系统个人评分类型评分...

查看全文 本文标签:
05月17日

Angular 如何修改启动的端口

分类:随笔 | 超过 1847 人围观 | 已有 0 人发表了看法

在默认的情况下 Angular启动使用的是端口4200。如果修改这个启动的端口,比如说我们希望再 4100端口上启动?可以在启动的时候添加端口参数--port。例如使用下面的启动命令:ng serve --open --port 4100就可以让你的Angular应用在4100端口上启动。 ...

查看全文 本文标签:
05月17日

openstack 无法创建新虚拟机报错 openstack报错:Host is not mapped to any cell

分类:随笔 | 超过 819 人围观 | 已有 0 人发表了看法

关联错误提示:Hostisnotmappedtoanycell控制节点上执行:root@ubsv:/home/makeit#nova-managecell_v2discover_hosts--verboseFound2cellmappings.Skippingcell0sinceitdoesnotcontainhosts.Gettingcomputesfromcell'cel...

查看全文 本文标签:
05月17日

devstack 使用openstack命令报错 The request you have made requires authentication. (HTTP 401) Missing value auth-url required for auth plugin password

分类:随笔 | 超过 1905 人围观 | 已有 0 人发表了看法

关联错误:Therequestyouhavemaderequiresauthentication.(HTTP401)(Request-ID:req-88ad2cba-0f2d-499f-a179-f4abc3e120c3)Missingvalueauth-urlrequiredforauthpluginpasswordcd/opt/stack/devstacksourceopenrc用户...

查看全文 本文标签:
05月17日

[LeetCode] Two Sum

分类:随笔 | 超过 1484 人围观 | 已有 0 人发表了看法

[LeetCode] Two Sum

 一刷: importjava.util.Arrays;publicclassSolution1{publicint[]twoSum(int[]nums,inttarget){int[]index=newint[2];intsum=0;for(int...

查看全文 本文标签:
05月17日

Angular CLI 创建你的第一个 Angular 示例程序

分类:随笔 | 超过 1228 人围观 | 已有 0 人发表了看法

Angular CLI 创建你的第一个 Angular 示例程序

第一步:安装AngularCLI你要使用AngularCLI来创建项目、创建应用和库代码,并执行多种开发任务,比如测试、打包和发布。全局安装AngularCLI。要想使用 npm 来安装CLI,请打开终端/控制台窗口,并输入下列命令:npminstall-g@angular/cli第二步:创建一个...

查看全文 本文标签:
05月17日

python网络爬虫基础day03

分类:随笔 | 超过 971 人围观 | 已有 0 人发表了看法

python网络爬虫基础day03

  2019.5.17,不知不觉搞到这个点了。搞得有点晚,总结一下就睡觉:今天主要学了验证码识别和requests模块高级操作:验证码识别  验证码和爬虫之间的爱恨情仇?  反爬机制:验证码。识别验证码图片中的数据,用于模拟登陆操作。  识别验证码的操作:  -人工肉眼识别。(不推荐)  -第三方自动识别(推荐)  ...

查看全文 本文标签:Go
05月17日

数字计数

分类:随笔 | 超过 746 人围观 | 已有 0 人发表了看法

传送门:#include<cstdio>#include<cstring>#include<cstdlib>#include<iostream>usingnamespacestd;#definelllonglong#definereregisterinlinevoidread(int&a){a=0;...

查看全文 本文标签:
05月17日

jvm进行系统调用和JNI有什么关系?

分类:随笔 | 超过 1283 人围观 | 已有 0 人发表了看法

jvm进行系统调用和JNI有什么关系?JVM是java虚拟机(可以了解下虚拟机是什),它对操作系统进行了很好的抽象,而JNI是java语言进行调用非java语言的一种实现方式;想要使用jni,那么有他的一套规范,按照规范来尽可以使用了JNI了。...

查看全文 本文标签:
05月17日

.net Core 相关问题

分类:随笔 | 超过 280 人围观 | 已有 0 人发表了看法

1.Vs中注释生成xml文档文件项目->属性->生成->输出->勾选“XML文档文件”->保存 就完成。保存后出现没有勾选情况,直接用txt打开.csproj文件加入<PropertyGroupCondition="'$(Configuration)|$(Platform)'=='Debug|AnyCPU'"><DocumentationFile&...

查看全文 本文标签:
微信公众号
  • 关注微信公众号
«   2019年5月   »
12345
6789101112
13141516171819
20212223242526
2728293031
网站分类
文章归档
网站收藏
友情链接
广告赞助
  • 点击查看详情