收藏本站 | RSS订阅大数据运维|云计算|攻防安全|AI|互联网时代守护先锋
你现在的位置:首页 » Python
12月26日

[置顶] 五分钟轻松了解Hbase面向列的存储

分类:Hadoop | 超过 5506 人围观 | 已有 0 人发表了看法

五分钟轻松了解Hbase面向列的存储

说明:从严格的列式存储的定义来看,Hbase并不属于列式存储,有人称它为面向列的存储,请各位看官注意这一点。 行式存储 传统的数据库是关系型的,且是按行来存储的。如下图:其中只有张三把一行数据填满了,李四王五赵六的行都没有填满。因为这里的行结构是固定的,每一行都一样,即使你不用,也必须空到那里,而不能没有。来一张形象的图:不管你坐或不坐,...

查看全文 本文标签:Go
03月13日

[置顶] OpenTSDB/HBase的调优过程整理

分类:Hbase | 超过 6042 人围观 | 已有 0 人发表了看法

OpenTSDB/HBase的调优过程整理

背景过年前,寂寞哥给我三台机器,说搞个新的openTSDB集群。机器硬件是8核16G内存、3个146G磁盘做数据盘。我说这太抠了,寂寞哥说之前的TSDB集群运行了两年,4台同样配置的机器,目前hdfs才用了40%,所以前期先用着这三台机器,不够再加。于是我只好默默地搭好了CDH5、openTSDB(2.1版本,请注意此版本号)、bosun,并在2...

查看全文 本文标签:算法
02月02日

[置顶] 亿级 ELK 日志平台构建部署实践

分类:Hadoop | 超过 9727 人围观 | 已有 0 人发表了看法

亿级 ELK 日志平台构建实践

本篇主要讲工作中的真实经历,我们怎么打造亿级日志平台,同时手把手教大家建立起这样一套亿级 ELK 系统。日志平台具体发展历程可以参考上篇 「从 ELK 到 EFK 演进」

废话不多说,老司机们座好了,我们准备发车了~~~

整体架构

亿级 ELK 日志平台构建部署实践

本篇主要讲工作中的真实经历,我们怎么打造亿级日志平台,同时手把手教大家建立起这样一套亿级ELK系统。日志平台具体发展历程可以参考上篇 「从ELK到EFK演进」废话不多说,老司机们座好了,我们准备发车了~~~整体架构整体架构主要分为4个模块,分别提供不同的功能Filebeat:轻量级数据收集引擎。基于原先Logstash-fowar...

查看全文 本文标签:安全
04月07日

[置顶] HBase数据压缩编码探索

分类:Hbase | 超过 5634 人围观 | 已有 0 人发表了看法

HBase数据压缩编码探索

摘要: 本文主要介绍了hbase对数据压缩,编码的支持,以及云hbase在社区基础上对数据压缩率和访问速度上了进行的改进。前言你可曾遇到这种需求,只有几百qps的冷数据缓存,却因为存储水位要浪费几十台服务器?你可曾遇到这种需求,几百G的表,必须纯cache命中,性能才能满足业务需求?你可曾遇到,几十M的小表,由于qps过高,必须不停的split,b...

查看全文 本文标签:安全
01月31日

[置顶] Ambari2.7.3 和HDP3.1.0搭建Hadoop集群

分类:Hadoop | 超过 8737 人围观 | 已有 0 人发表了看法

Ambari2.7.3 和HDP3.1.0搭建Hadoop集群

一、环境及软件准备1、集群规划 hdp01/10.1.1.11hdp02/10.1.1.12hdp03/10.1.1.13hdp04/10.1.1.14hdp05/10.1.1.15ambariserver是否否否否ambariagent是是是是是namenode是是否否否datanode否否是是是resourcemanager是是否否否jou...

查看全文 本文标签:Oracle
04月18日

[置顶] Ambari2.6.2 HDP2.6.5 大数据集群搭建

分类:Hadoop | 超过 8803 人围观 | 已有 0 人发表了看法

Ambari2.6.2 HDP2.6.5 大数据集群搭建

Ambari2.6.2中HDFS-2.7.3YARN-2.7.3HIVE-1.2.1HBASE-1.1.2ZOOKEEPER-3.4.6SPARK-2.3.0注:本文基于root用户操作一、安装环境准备操作系统centos7.5hdc-data1:192.168.163.51hdc-data2:192.168.163.52hdc-da...

查看全文 本文标签:安全
05月23日

[置顶] hadoop-2.7.7 HA完全分布式集群部署详解

分类:Hadoop | 超过 7529 人围观 | 已有 0 人发表了看法

hadoop-2.7.7 HA完全分布式集群部署详解

1.HadoopHA简介及工作原理HadoopNameNode官方开始支持HA集群默认是从2.0开始,之前的版本均是不支持NameNodeHA的高可用的。1.1HadoopHA简介Hadoop-HA集群运作机制介绍HA即高可用(7*24小时不中断服务)实现高可用最关键的是消除单点故障分成各个组件的HA机制——HDFS的HA、YARN的HA...

查看全文 本文标签:Hadoop
05月23日

[置顶] 可怕的黑暗料理之暗黑谷歌搜索神器shodan

分类:Safe | 超过 7731 人围观 | 已有 0 人发表了看法

1.暗黑谷歌的由来有这么一款搜索引擎,它一刻不停的在寻找着所有和互联网关联的PLC、摄像头、红绿灯、打印机、路由器、交换机、服务器、数据库等等各种软硬件服务设施。它就是shodan,那么shodan到底是什么呢?怎么会有如此大的魔力?首先,Shodan是一个搜索引擎,但它与Google这种搜索网址的搜索引擎不同,Shodan不是在网上搜索网址,而是直接进入互联网探索其背后的信息。Shodan真正值得注意的能力就是能找...

查看全文 本文标签:安全
05月19日

python+ selenium 实现简历自动刷新

分类:Python | 超过 1489 人围观 | 已有 0 人发表了看法

python+ selenium 实现简历自动刷新

本文用到的文件的下载地址百度网盘链接:https://pan.baidu.com/s/1wIda-wUz4X_Ck72xgZ6Ddg提取码:etaa1安装Python和selenium(1)下载Python官网地址:https://www.python.org/ftp/python/3.6.8/python-3.6.8-amd64....

查看全文 本文标签:安全
05月19日

Python基础(五)——闭包与lambda的结合

分类:Python | 超过 1192 人围观 | 已有 0 人发表了看法

(1)变量的域  要了解闭包需要先了解变量的域,也就是变量在哪一段“上下文”是有效的(类似局部变量和全局变量的区别),举一个很简单的例子。(例子不重要,就是涉及闭包就要时刻关注这个域)1deftest():2msg2='test中的'3print('====',msg1)#====非test中的4msg1='非test中的'5test()6print(msg1)...

查看全文 本文标签:Python
05月19日

Flask扩展实现HTTP令牌token认证HTTPTokenAuth

分类:Python | 超过 1370 人围观 | 已有 0 人发表了看法

Flask扩展实现HTTP令牌token认证HTTPTokenAuth

Token认证在restful设计中,用户认证模式通常使用jsonwebtoken,而不会使用传统的HTTPBasic认证(传入账号密码)token认证模式如下:在请求header中加入tokenFlask中的实现flask扩展flask-httpauth提供了该认证方法$pipinstallflask-httpauth首...

查看全文 本文标签:
05月19日

Python把类当做字典来访问

分类:Python | 超过 1814 人围观 | 已有 0 人发表了看法

定义一个类将它实例化,我们可以通过obj.属性来访问类的属性,如果想获取类的所有实例变量,我们可以使用obj.__dict__来访问,如下:classA:def__init__(self):self.a=1self.b=2a=A()print(a.__dict__)#{'a':1,'b':2}#获取变量a:print(a.__dict__['a'])...

查看全文 本文标签:Python
05月19日

Python更换镜像源

分类:Python | 超过 270 人围观 | 已有 0 人发表了看法

目录WindowsMac这篇文章将解除你使用python的pipinstallxxx受到的网速限制,如果只是下载较小的第三方库,可以尝试pip--default-timeout=100install-Uxxx。Windows找到python安装目录下的:\Lib\site-packages\pip\models\index.py文件,将PYPI的值改为你所需要的镜像源即可,例如改为...

查看全文 本文标签:Python
05月19日

day21-python模块

分类:Python | 超过 1395 人围观 | 已有 0 人发表了看法

1.时间1importtime23#时间戳#计算4#print(time.time())#1481321748.481654秒56#结构化时间---当地时间7#print(time.localtime(1531242343))8#t=time.localtime()9#print(t.tm_year)10#print(t.tm_wda...

查看全文 本文标签:Python
05月19日

刚毕业去面试Python工程师,这几道题太难了,Python面试题No11

分类:Python | 超过 1052 人围观 | 已有 0 人发表了看法

刚毕业去面试Python工程师,这几道题太难了,Python面试题No11

写在前面本想停一段时间这个系列,但是好多朋友给我发信息说让我继续整理下去,so,继续吧~第1题:docstring是什么?docstring是一种文档字符串,用于解释构造的作用。我们在函数、类或方法中将它放在首位来描述其作用。我们用三个单引号或双引号来声明docstring。>>>defsay():"""这...

查看全文 本文标签:Python
05月19日

8年开发经验程序员告诉你,零基础如何快速学习好python?

分类:Python | 超过 843 人围观 | 已有 0 人发表了看法

8年开发经验程序员告诉你,零基础如何快速学习好python?

首先,我要给对这方面感兴趣的同学一个肯定的回答,Python语言目前行情是上升趋势,并且由于的应用面比较广,尤其是人工智能和大数据领域,更是具有很大的发展空间,所以现在学习并不能算晚,那么如何学习才能尽可能的快速入门Python编程呢?这里我要告诉你的是,零基础学习Python肯定难,Python的专业程度本身就不简单,学习这事本来就是一件非常煎熬的事情...

查看全文 本文标签:安全
05月19日

python实现FTP

分类:Python | 超过 209 人围观 | 已有 0 人发表了看法

python实现FTP

原文地址:https://www.cnblogs.com/huangxm/p/6274645.html#undefinedFTP服务的主动模式和被动模式在开始之前,先聊一下FTP的主动模式和被动模式,两者的区别,用两张图来表示可能会更加清晰一些:主动模式:主动模式工作过程:1.客户端以随机非特权端口N,就是大于1024的端口,对...

查看全文 本文标签:安全
05月18日

[转载] Python数据类型知识点全解

分类:Python | 超过 651 人围观 | 已有 0 人发表了看法

[转载]Python数据类型知识点全解1.字符串字符串常用功能name='derek'print(name.capitalize())#首字母大写Derekprint(name.count("e"))#统计字符串出现某个字符的个数2print(name.center(10,'*'))#打印30个字符,不够的“*”补齐**derek***print(name.endswith...

查看全文 本文标签:Python
05月18日

Python解答力扣网站题库简单版----第三讲

分类:Python | 超过 1748 人围观 | 已有 0 人发表了看法

Python解答力扣网站题库简单版----第三讲

 1041.困于环中的机器人题库链接:1041.困于环中的机器人.题干在无限的平面上,机器人最初位于(0,0)处,面朝北方。机器人可以接受下列三条指令之一:"G":直走1个单位"L":左转90度"R":右转90度机器人按顺序执行指令instructions,并一直重复它们。...

查看全文 本文标签:Python
05月18日

day23 03 组合的例子

分类:Python | 超过 1349 人围观 | 已有 0 人发表了看法

day2303组合的例子一、用到组合的方式,编写一个圆环,并能够计算出它的周长和面积1frommathimportpi#从内置函数里面导入pi2#先定义一个圆类3classCircle:4def__init__(self,r):#初始化和self的创建,一个圆的属性就是半径5self.r=r#赋值67def...

查看全文 本文标签:Python
微信公众号
  • 关注微信公众号
«   2019年5月   »
12345
6789101112
13141516171819
20212223242526
2728293031
网站分类
文章归档
网站收藏
友情链接
广告赞助
  • 点击查看详情