收藏本站 | RSS订阅大数据运维|云计算|攻防安全|AI|互联网时代守护先锋
你现在的位置:首页 » 2018年4月
12月26日

[置顶] 五分钟轻松了解Hbase面向列的存储

分类:Hadoop | 超过 5506 人围观 | 已有 0 人发表了看法

五分钟轻松了解Hbase面向列的存储

说明:从严格的列式存储的定义来看,Hbase并不属于列式存储,有人称它为面向列的存储,请各位看官注意这一点。 行式存储 传统的数据库是关系型的,且是按行来存储的。如下图:其中只有张三把一行数据填满了,李四王五赵六的行都没有填满。因为这里的行结构是固定的,每一行都一样,即使你不用,也必须空到那里,而不能没有。来一张形象的图:不管你坐或不坐,...

查看全文 本文标签:Go
03月13日

[置顶] OpenTSDB/HBase的调优过程整理

分类:Hbase | 超过 6042 人围观 | 已有 0 人发表了看法

OpenTSDB/HBase的调优过程整理

背景过年前,寂寞哥给我三台机器,说搞个新的openTSDB集群。机器硬件是8核16G内存、3个146G磁盘做数据盘。我说这太抠了,寂寞哥说之前的TSDB集群运行了两年,4台同样配置的机器,目前hdfs才用了40%,所以前期先用着这三台机器,不够再加。于是我只好默默地搭好了CDH5、openTSDB(2.1版本,请注意此版本号)、bosun,并在2...

查看全文 本文标签:算法
02月02日

[置顶] 亿级 ELK 日志平台构建部署实践

分类:Hadoop | 超过 9727 人围观 | 已有 0 人发表了看法

亿级 ELK 日志平台构建实践

本篇主要讲工作中的真实经历,我们怎么打造亿级日志平台,同时手把手教大家建立起这样一套亿级 ELK 系统。日志平台具体发展历程可以参考上篇 「从 ELK 到 EFK 演进」

废话不多说,老司机们座好了,我们准备发车了~~~

整体架构

亿级 ELK 日志平台构建部署实践

本篇主要讲工作中的真实经历,我们怎么打造亿级日志平台,同时手把手教大家建立起这样一套亿级ELK系统。日志平台具体发展历程可以参考上篇 「从ELK到EFK演进」废话不多说,老司机们座好了,我们准备发车了~~~整体架构整体架构主要分为4个模块,分别提供不同的功能Filebeat:轻量级数据收集引擎。基于原先Logstash-fowar...

查看全文 本文标签:安全
04月07日

[置顶] HBase数据压缩编码探索

分类:Hbase | 超过 5634 人围观 | 已有 0 人发表了看法

HBase数据压缩编码探索

摘要: 本文主要介绍了hbase对数据压缩,编码的支持,以及云hbase在社区基础上对数据压缩率和访问速度上了进行的改进。前言你可曾遇到这种需求,只有几百qps的冷数据缓存,却因为存储水位要浪费几十台服务器?你可曾遇到这种需求,几百G的表,必须纯cache命中,性能才能满足业务需求?你可曾遇到,几十M的小表,由于qps过高,必须不停的split,b...

查看全文 本文标签:安全
01月31日

[置顶] Ambari2.7.3 和HDP3.1.0搭建Hadoop集群

分类:Hadoop | 超过 8737 人围观 | 已有 0 人发表了看法

Ambari2.7.3 和HDP3.1.0搭建Hadoop集群

一、环境及软件准备1、集群规划 hdp01/10.1.1.11hdp02/10.1.1.12hdp03/10.1.1.13hdp04/10.1.1.14hdp05/10.1.1.15ambariserver是否否否否ambariagent是是是是是namenode是是否否否datanode否否是是是resourcemanager是是否否否jou...

查看全文 本文标签:Oracle
04月18日

[置顶] Ambari2.6.2 HDP2.6.5 大数据集群搭建

分类:Hadoop | 超过 8803 人围观 | 已有 0 人发表了看法

Ambari2.6.2 HDP2.6.5 大数据集群搭建

Ambari2.6.2中HDFS-2.7.3YARN-2.7.3HIVE-1.2.1HBASE-1.1.2ZOOKEEPER-3.4.6SPARK-2.3.0注:本文基于root用户操作一、安装环境准备操作系统centos7.5hdc-data1:192.168.163.51hdc-data2:192.168.163.52hdc-da...

查看全文 本文标签:安全
05月23日

[置顶] hadoop-2.7.7 HA完全分布式集群部署详解

分类:Hadoop | 超过 7529 人围观 | 已有 0 人发表了看法

hadoop-2.7.7 HA完全分布式集群部署详解

1.HadoopHA简介及工作原理HadoopNameNode官方开始支持HA集群默认是从2.0开始,之前的版本均是不支持NameNodeHA的高可用的。1.1HadoopHA简介Hadoop-HA集群运作机制介绍HA即高可用(7*24小时不中断服务)实现高可用最关键的是消除单点故障分成各个组件的HA机制——HDFS的HA、YARN的HA...

查看全文 本文标签:Hadoop
05月23日

[置顶] 可怕的黑暗料理之暗黑谷歌搜索神器shodan

分类:Safe | 超过 7731 人围观 | 已有 0 人发表了看法

1.暗黑谷歌的由来有这么一款搜索引擎,它一刻不停的在寻找着所有和互联网关联的PLC、摄像头、红绿灯、打印机、路由器、交换机、服务器、数据库等等各种软硬件服务设施。它就是shodan,那么shodan到底是什么呢?怎么会有如此大的魔力?首先,Shodan是一个搜索引擎,但它与Google这种搜索网址的搜索引擎不同,Shodan不是在网上搜索网址,而是直接进入互联网探索其背后的信息。Shodan真正值得注意的能力就是能找...

查看全文 本文标签:安全
04月30日

NO.3:自学tensorflow之路------MNIST识别,神经网络拓展

分类:人工智能 | 超过 486 人围观 | 已有 0 人发表了看法

引言  最近自学GRU神经网络,感觉真的不简单。为了能够快速跑完程序,给我的渣渣笔记本(GT650M)也安装了一个GPU版的tensorflow。顺便也更新了版本到了tensorflow-gpu1.7。之前相关的程序代码依然兼容,可以运行。刚好遇到五一假期,一个人在实验室发霉,就顺便随手做了一下MNIST手写体数字的BP神经网络识别程序。做的比较简单,日后可能会扩充这一篇随笔,所以大概算是个草稿版。正文MNIST数据准备...

查看全文 本文标签:算法
04月30日

MySQL优化技巧总结

分类:Mysql | 超过 1383 人围观 | 已有 0 人发表了看法

MySQL优化技巧总结

MySQL优化的几个大方向①硬件优化②对MySQL配置参数进行优化(my.cnf)此优化需要进行压力测试来进行参数调整③SQL语句方面的优化④表方面的优化 硬件优化cpu,内存,硬盘等硬件的优化 MySQL参数优化设置最大连接数setgloblemax_connections...

查看全文 本文标签:安全
04月30日

关于运行“基于极限学习机ELM的人脸识别程序”代码犯下的一些错误

分类:人工智能 | 超过 243 人围观 | 已有 0 人发表了看法

代码来源基于极限学习机ELM的人脸识别程序感谢文章主的分享我的环境是win10anacondaCommandlineclient(version1.6.5)(conda4.3.30)tensorflow-gpu1.1.0python3.6.21.直接运行代码块,提示“未知引用importhpelm"这是因为我的Python环境没有安装hpelm导致的,运行代码p...

查看全文 本文标签:Python
04月30日

实验用数据库内容

分类:Mysql | 超过 902 人围观 | 已有 0 人发表了看法

1createtablestudent(snochar(9)primarykey,snamechar(20)unique,ssexchar(2),sagesmallint,sdeptchar(20));2createtablecourse(cnochar(4)primarykey,cnamechar(40)notnull,cpnochar(4),ccreditsmallint,for...

查看全文 本文标签:Go
04月30日

mysql/mariadb学习记录——创建删除数据库、表的基本命令

分类:Mysql | 超过 1641 人围观 | 已有 0 人发表了看法

查看已有的数据库:mysql>showdatabases;+--------------------+|Database|+--------------------+|information_schema||test|+--------------------+2rowsinset(0.05sec)新建数据库语句:...

查看全文 本文标签:Mysql
04月30日

第一次作业:基于Linux-0.12的进程分析

分类:Linux | 超过 1357 人围观 | 已有 0 人发表了看法

第一次作业:基于Linux-0.12的进程分析

  这次作业主要基于Linux-0.12的源代码,分析Linux是如何组织进程,进程的状态之间是如何转换,以及进程是如何调度的。一.进程的概念:  1.进程就是:程序在数据集合上的一次运行过程,是系统进行资源分配和调度的独立单位。  2.对进程的静态描述为:是一个数据集合,以及在其上运行的程序。  3.我本来认为进程与程序是差不多的东西,但...

查看全文 本文标签:Linux
04月30日

Linux操作_grep/egrep工具的使用

分类:Linux | 超过 926 人围观 | 已有 0 人发表了看法

Linux操作_grep/egrep工具的使用

一、grep命令介绍命令格式:grep[-cinvABC]‘word’filename,常用选项如下:-c:表示打印符合要求的行数。-i:表示忽略大小写。-n:表示输出符合要求的行及其行号。-v:表示打印不符合要求的行。-A:后面跟一个数字(有无空格都可以),例如-A2表示打印符合要求的行以及下面两行。-B:...

查看全文 本文标签:Linux
04月30日

mysql/mariadb将选择查询的结果重新生成一张新表格

分类:Mysql | 超过 1332 人围观 | 已有 0 人发表了看法

mysql/mariadb将选择查询的结果重新生成一张新表格

比如想要生成类似如下的表格mysql>selectstudent.*,sc.cno,course.cname,sc.grade,course.cpno,course.ccreditfromstudent,sc,coursewherestudent.sno=sc.snoandsc.cno=course.cno;第一种直接生...

查看全文 本文标签:Mysql
04月30日

gcc5.4报错对‘std::__cxx11::basic_string, std::allocator >::~basic_string()’未定义的引用

分类:Linux | 超过 1080 人围观 | 已有 0 人发表了看法

我在编译ligra是遇到了这个问题,网上搜了一遍,发现是了原因https://gcc.gnu.org/onlinedocs/libstdc%2B%2B/manual/using_dual_abi.htmlgcc5.4中C++11对一些变量的解析不太一样(表达不太好),比如,fstd::list<int>被定义为了std::__cxx11::list<int>,所以会出现未定义引用的错误,。解决办法禁用C...

查看全文 本文标签:
04月30日

在docker中运行mariadb程序

分类:Mysql | 超过 827 人围观 | 已有 0 人发表了看法

在docker中运行mariadb程序

安装docker获取mariadb镜像dockerpullmariadb首先在https://hub.docker.com查找mariadb官方镜像,相关参数设置https://hub.docker.com/_/mariadb/有详细说明运行镜像dockerrun-p3306:3306--namemariaone...

查看全文 本文标签:Mysql
04月30日

MongoDB4.0+版本安装

分类:Nosql | 超过 1364 人围观 | 已有 0 人发表了看法

MongoDB4.0+版本安装

 >>>首先要下载MongoDB软件安装包,MongoDB社区版官网下载  >>>双击msi安装文件进行安装,点击"Next" >>>勾选同意相关协议规定,点击"Next"  点击"Custom"...

查看全文 本文标签:Mongodb
04月30日

关于面向连接与面向无连接

分类:Linux | 超过 923 人围观 | 已有 0 人发表了看法

面向连接:举个栗子,比如A给打B电话,需要进行三次握手-------1.请求(A要向B发送请求)2.应答(B向A回应例如没问题,你现在可以与我通话)3.连接(现在正式建立A与B的连接就可以通话了)面向无连接:再举个栗子,比如A给B发微信,A不会管B会不会收到也不会管B会不会应答他,A只管发送 区别:面向无连接可以增强信道的利用效率但是不可靠,面向连接保证了信道的独占,保证了通信的安全与效率但是降低了信道的利用率使资...

查看全文 本文标签:安全
微信公众号
  • 关注微信公众号
«   2018年4月   »
1
2345678
9101112131415
16171819202122
23242526272829
30
网站分类
文章归档
网站收藏
友情链接
广告赞助
  • 点击查看详情