收藏本站 | RSS订阅大数据运维|云计算|攻防安全|AI|互联网时代守护先锋
你现在的位置:首页 » 2019年5月17日
12月26日

[置顶] 五分钟轻松了解Hbase面向列的存储

分类:Hadoop | 超过 5506 人围观 | 已有 0 人发表了看法

五分钟轻松了解Hbase面向列的存储

说明:从严格的列式存储的定义来看,Hbase并不属于列式存储,有人称它为面向列的存储,请各位看官注意这一点。 行式存储 传统的数据库是关系型的,且是按行来存储的。如下图:其中只有张三把一行数据填满了,李四王五赵六的行都没有填满。因为这里的行结构是固定的,每一行都一样,即使你不用,也必须空到那里,而不能没有。来一张形象的图:不管你坐或不坐,...

查看全文 本文标签:Go
03月13日

[置顶] OpenTSDB/HBase的调优过程整理

分类:Hbase | 超过 6042 人围观 | 已有 0 人发表了看法

OpenTSDB/HBase的调优过程整理

背景过年前,寂寞哥给我三台机器,说搞个新的openTSDB集群。机器硬件是8核16G内存、3个146G磁盘做数据盘。我说这太抠了,寂寞哥说之前的TSDB集群运行了两年,4台同样配置的机器,目前hdfs才用了40%,所以前期先用着这三台机器,不够再加。于是我只好默默地搭好了CDH5、openTSDB(2.1版本,请注意此版本号)、bosun,并在2...

查看全文 本文标签:算法
02月02日

[置顶] 亿级 ELK 日志平台构建部署实践

分类:Hadoop | 超过 9727 人围观 | 已有 0 人发表了看法

亿级 ELK 日志平台构建实践

本篇主要讲工作中的真实经历,我们怎么打造亿级日志平台,同时手把手教大家建立起这样一套亿级 ELK 系统。日志平台具体发展历程可以参考上篇 「从 ELK 到 EFK 演进」

废话不多说,老司机们座好了,我们准备发车了~~~

整体架构

亿级 ELK 日志平台构建部署实践

本篇主要讲工作中的真实经历,我们怎么打造亿级日志平台,同时手把手教大家建立起这样一套亿级ELK系统。日志平台具体发展历程可以参考上篇 「从ELK到EFK演进」废话不多说,老司机们座好了,我们准备发车了~~~整体架构整体架构主要分为4个模块,分别提供不同的功能Filebeat:轻量级数据收集引擎。基于原先Logstash-fowar...

查看全文 本文标签:安全
04月07日

[置顶] HBase数据压缩编码探索

分类:Hbase | 超过 5634 人围观 | 已有 0 人发表了看法

HBase数据压缩编码探索

摘要: 本文主要介绍了hbase对数据压缩,编码的支持,以及云hbase在社区基础上对数据压缩率和访问速度上了进行的改进。前言你可曾遇到这种需求,只有几百qps的冷数据缓存,却因为存储水位要浪费几十台服务器?你可曾遇到这种需求,几百G的表,必须纯cache命中,性能才能满足业务需求?你可曾遇到,几十M的小表,由于qps过高,必须不停的split,b...

查看全文 本文标签:安全
01月31日

[置顶] Ambari2.7.3 和HDP3.1.0搭建Hadoop集群

分类:Hadoop | 超过 8737 人围观 | 已有 0 人发表了看法

Ambari2.7.3 和HDP3.1.0搭建Hadoop集群

一、环境及软件准备1、集群规划 hdp01/10.1.1.11hdp02/10.1.1.12hdp03/10.1.1.13hdp04/10.1.1.14hdp05/10.1.1.15ambariserver是否否否否ambariagent是是是是是namenode是是否否否datanode否否是是是resourcemanager是是否否否jou...

查看全文 本文标签:Oracle
04月18日

[置顶] Ambari2.6.2 HDP2.6.5 大数据集群搭建

分类:Hadoop | 超过 8803 人围观 | 已有 0 人发表了看法

Ambari2.6.2 HDP2.6.5 大数据集群搭建

Ambari2.6.2中HDFS-2.7.3YARN-2.7.3HIVE-1.2.1HBASE-1.1.2ZOOKEEPER-3.4.6SPARK-2.3.0注:本文基于root用户操作一、安装环境准备操作系统centos7.5hdc-data1:192.168.163.51hdc-data2:192.168.163.52hdc-da...

查看全文 本文标签:安全
05月23日

[置顶] hadoop-2.7.7 HA完全分布式集群部署详解

分类:Hadoop | 超过 7529 人围观 | 已有 0 人发表了看法

hadoop-2.7.7 HA完全分布式集群部署详解

1.HadoopHA简介及工作原理HadoopNameNode官方开始支持HA集群默认是从2.0开始,之前的版本均是不支持NameNodeHA的高可用的。1.1HadoopHA简介Hadoop-HA集群运作机制介绍HA即高可用(7*24小时不中断服务)实现高可用最关键的是消除单点故障分成各个组件的HA机制——HDFS的HA、YARN的HA...

查看全文 本文标签:Hadoop
05月23日

[置顶] 可怕的黑暗料理之暗黑谷歌搜索神器shodan

分类:Safe | 超过 7731 人围观 | 已有 0 人发表了看法

1.暗黑谷歌的由来有这么一款搜索引擎,它一刻不停的在寻找着所有和互联网关联的PLC、摄像头、红绿灯、打印机、路由器、交换机、服务器、数据库等等各种软硬件服务设施。它就是shodan,那么shodan到底是什么呢?怎么会有如此大的魔力?首先,Shodan是一个搜索引擎,但它与Google这种搜索网址的搜索引擎不同,Shodan不是在网上搜索网址,而是直接进入互联网探索其背后的信息。Shodan真正值得注意的能力就是能找...

查看全文 本文标签:安全
05月17日

自定义模块

分类:Python | 超过 1722 人围观 | 已有 0 人发表了看法

自定义模块

自定义模块自定义模块:什么是模块:本质就是.py文件,是封装语句的最小单位。自定义模块:实际上就是定义.py,其中可以包含:变量定义,可执行语句,if结构,for循环,函数定义等等,他们统称模块的成员。模块的运行方式:脚本方式:直接用解释器执行。或者PyCharm中右键运行。#自定义模块:(a1.py)--->以脚本方...

查看全文 本文标签:Python
05月17日

python logging with yaml

分类:Python | 超过 515 人围观 | 已有 0 人发表了看法

Recently,Iwasmadeaservicewhichcanprovideasimplewaytogetbestmodel.so,ispentlotoftimetoreadsourcecodeofauto-sklearn,auto-sklearnis anautomatedmachinelearningtoolkitandadrop-inrepla...

查看全文 本文标签:Python
05月17日

Liunx-ls命令

分类:Linux | 超过 746 人围观 | 已有 0 人发表了看法

Liunx-ls命令

ls:查看目录及文件1.列出当前目录中所有的子目录和文件。ls2.列出目录下的所有文件(包含隐**件)ls-a 3.列出文件的详细信息(包括权限、所有者、文件大小等)ls-l(别名ll) 4.列出当前目录中所有以“install.log”开头的详细内容...

查看全文 本文标签:
05月17日

又面试了Python爬虫工程师,碰到这么几道面试题,Python面试题No9

分类:Python | 超过 1161 人围观 | 已有 0 人发表了看法

第1题:动态加载又对及时性要求很高怎么处理?如何知道一个网站是动态加载的数据?用火狐或者谷歌浏览器打开你网页,右键查看页面源代码,ctrl+F查询输入内容,源代码里面并没有这个值,说明是动态加载数据。Selenium+Phantomjs尽量不使用sleep而使用WebDriverWait第2题:python爬虫有哪些常用框架?序号框架名称...

查看全文 本文标签:Python
05月17日

Oracle - 数据库对象

分类:Oracle | 超过 1195 人围观 | 已有 0 人发表了看法

Oracle - 数据库对象

1权限管理权限性操作都要以sysdba什么来操作。如何创建一个用户并授予一定权限?1--创建用户2createusertest01identifiedby12334--查看是否创建成功5select*fromdba_users6whereusername='T...

查看全文 本文标签:Oracle
05月17日

MySQL知识篇-nmon监控

分类:Mysql | 超过 979 人围观 | 已有 0 人发表了看法

MySQL知识篇-nmon监控

说明1:监控MySQL服务器资源不止一种方式,这种nmon监控图形化、历史记录查询笔记方便,便于MySQL优化后,对比其效率不同,资源利用率不同。说明2:摘抄自https://www.cnblogs.com/wnfindbug/p/5719181.html 对奉献着予以感谢!一、检查安装环境#uname–a(查看操作系统信息,所...

查看全文 本文标签:Mysql
05月17日

python学习第二天

分类:Python | 超过 1073 人围观 | 已有 0 人发表了看法

python学习第二天

目录操作系统操作系统干了什么为什么要有操作系统操作系统有什么用应用程序的启动和操作系统的启动汇编语言(了解)高级语言解释型(同声传译)编译型(谷歌翻译)安装python解释器操作系统听到...

查看全文 本文标签:Python
05月17日

本地安装Mysql后,navicat链接异常:Clinet dose not support authentication protocol request by server ; consider upgrading MySQL client

分类:Mysql | 超过 1940 人围观 | 已有 0 人发表了看法

第一步:首先通过cmd进入mysql  在命令窗口输入:mysql-uroot-p; 第二步:更改加密方式   mysql> ALTER USER 'root'@'localhost' IDENTIFIED BY 'password' PASSWORD EXPIRE...

查看全文 本文标签:Mysql
05月17日

leepcode(斐波那契数列与float("inf")无穷大)解析

分类:Python | 超过 1461 人围观 | 已有 0 人发表了看法

12、加一给定一个由整数组成的非空数组所表示的非负整数,在该数的基础上加一。最高位数字存放在数组的首位,数组中每个元素只存储一个数字。你可以假设除了整数0之外,这个整数不会以零开头。示例1:输入:[1,2,3]输出:[1,2,4]解释:输入数组表示数字123。解答:a=''lis1=[]##定义一个空字符串和一个空列表foriindigits:a+=...

查看全文 本文标签:算法
05月17日

一行命令杀掉defunct进程

分类:Linux | 超过 1000 人围观 | 已有 0 人发表了看法

一行命令杀掉defun进程今天在杀掉defunc过程中一直搞不完,索性写一行命令,注意先看懂谨慎使用ps-ef|grepdefun|awk'{print"ps-ef|egrep\47"$2"|"$3"\47"}'|sh|sort-r|awk'{print"kill-9"$2}'|sh注意该命令执行会退出当前shell...

查看全文 本文标签:Linux
05月17日

Google实践中总结的Python规范,get了吗?

分类:Python | 超过 1144 人围观 | 已有 0 人发表了看法

好的代码风格,给人舒服的感觉,今天介绍一下谷歌的Python风格规范1分号不要在行尾加分号,也不要用分号将两条命令放在同一行。2行长度每行不超过80个字符;不要使用反斜杠连接行。Python会将圆括号、中括号和花括号的行隐式的连接起来,可以利用这个特点。如果需要,可以在表达式外围增加一堆额外的圆括号。3括号宁缺毋滥得使用括号。除非是用于实现行连接,否则不要在返回语句或条件语句中使用括号。不过在元组两遍使用...

查看全文 本文标签:算法
05月17日

关于Oracle本地连接出现与监听有关的问题的解决方法探讨

分类:Oracle | 超过 559 人围观 | 已有 0 人发表了看法

关于Oracle本地连接出现与监听有关的问题的解决方法探讨

关于Oracle本地连接出现与监听有关的问题的解决方法探讨监听的作用:用于应用桌面即用户与数据库服务器建立连接的媒介,客户端发送连接请求,监听识别请求并建立客户端与服务器的连接后,监听的使命并完成了。也就是说,在建立客户端与服务器的连接后,监听可以关闭了。Oracle连接出现常见的几种与监听有关的问题::1、无监听1)一般是监听出现...

查看全文 本文标签:Oracle
微信公众号
  • 关注微信公众号
«   2019年5月   »
12345
6789101112
13141516171819
20212223242526
2728293031
网站分类
文章归档
网站收藏
友情链接
广告赞助
  • 点击查看详情