收藏本站 | RSS订阅大数据运维|云计算|攻防安全|AI|互联网时代守护先锋
你现在的位置:首页 » Mysql
12月26日

[置顶] 五分钟轻松了解Hbase面向列的存储

分类:Hadoop | 超过 5506 人围观 | 已有 0 人发表了看法

五分钟轻松了解Hbase面向列的存储

说明:从严格的列式存储的定义来看,Hbase并不属于列式存储,有人称它为面向列的存储,请各位看官注意这一点。 行式存储 传统的数据库是关系型的,且是按行来存储的。如下图:其中只有张三把一行数据填满了,李四王五赵六的行都没有填满。因为这里的行结构是固定的,每一行都一样,即使你不用,也必须空到那里,而不能没有。来一张形象的图:不管你坐或不坐,...

查看全文 本文标签:Go
03月13日

[置顶] OpenTSDB/HBase的调优过程整理

分类:Hbase | 超过 6042 人围观 | 已有 0 人发表了看法

OpenTSDB/HBase的调优过程整理

背景过年前,寂寞哥给我三台机器,说搞个新的openTSDB集群。机器硬件是8核16G内存、3个146G磁盘做数据盘。我说这太抠了,寂寞哥说之前的TSDB集群运行了两年,4台同样配置的机器,目前hdfs才用了40%,所以前期先用着这三台机器,不够再加。于是我只好默默地搭好了CDH5、openTSDB(2.1版本,请注意此版本号)、bosun,并在2...

查看全文 本文标签:算法
02月02日

[置顶] 亿级 ELK 日志平台构建部署实践

分类:Hadoop | 超过 9727 人围观 | 已有 0 人发表了看法

亿级 ELK 日志平台构建实践

本篇主要讲工作中的真实经历,我们怎么打造亿级日志平台,同时手把手教大家建立起这样一套亿级 ELK 系统。日志平台具体发展历程可以参考上篇 「从 ELK 到 EFK 演进」

废话不多说,老司机们座好了,我们准备发车了~~~

整体架构

亿级 ELK 日志平台构建部署实践

本篇主要讲工作中的真实经历,我们怎么打造亿级日志平台,同时手把手教大家建立起这样一套亿级ELK系统。日志平台具体发展历程可以参考上篇 「从ELK到EFK演进」废话不多说,老司机们座好了,我们准备发车了~~~整体架构整体架构主要分为4个模块,分别提供不同的功能Filebeat:轻量级数据收集引擎。基于原先Logstash-fowar...

查看全文 本文标签:安全
04月07日

[置顶] HBase数据压缩编码探索

分类:Hbase | 超过 5634 人围观 | 已有 0 人发表了看法

HBase数据压缩编码探索

摘要: 本文主要介绍了hbase对数据压缩,编码的支持,以及云hbase在社区基础上对数据压缩率和访问速度上了进行的改进。前言你可曾遇到这种需求,只有几百qps的冷数据缓存,却因为存储水位要浪费几十台服务器?你可曾遇到这种需求,几百G的表,必须纯cache命中,性能才能满足业务需求?你可曾遇到,几十M的小表,由于qps过高,必须不停的split,b...

查看全文 本文标签:安全
01月31日

[置顶] Ambari2.7.3 和HDP3.1.0搭建Hadoop集群

分类:Hadoop | 超过 8737 人围观 | 已有 0 人发表了看法

Ambari2.7.3 和HDP3.1.0搭建Hadoop集群

一、环境及软件准备1、集群规划 hdp01/10.1.1.11hdp02/10.1.1.12hdp03/10.1.1.13hdp04/10.1.1.14hdp05/10.1.1.15ambariserver是否否否否ambariagent是是是是是namenode是是否否否datanode否否是是是resourcemanager是是否否否jou...

查看全文 本文标签:Oracle
04月18日

[置顶] Ambari2.6.2 HDP2.6.5 大数据集群搭建

分类:Hadoop | 超过 8804 人围观 | 已有 0 人发表了看法

Ambari2.6.2 HDP2.6.5 大数据集群搭建

Ambari2.6.2中HDFS-2.7.3YARN-2.7.3HIVE-1.2.1HBASE-1.1.2ZOOKEEPER-3.4.6SPARK-2.3.0注:本文基于root用户操作一、安装环境准备操作系统centos7.5hdc-data1:192.168.163.51hdc-data2:192.168.163.52hdc-da...

查看全文 本文标签:安全
05月23日

[置顶] hadoop-2.7.7 HA完全分布式集群部署详解

分类:Hadoop | 超过 7529 人围观 | 已有 0 人发表了看法

hadoop-2.7.7 HA完全分布式集群部署详解

1.HadoopHA简介及工作原理HadoopNameNode官方开始支持HA集群默认是从2.0开始,之前的版本均是不支持NameNodeHA的高可用的。1.1HadoopHA简介Hadoop-HA集群运作机制介绍HA即高可用(7*24小时不中断服务)实现高可用最关键的是消除单点故障分成各个组件的HA机制——HDFS的HA、YARN的HA...

查看全文 本文标签:Hadoop
05月23日

[置顶] 可怕的黑暗料理之暗黑谷歌搜索神器shodan

分类:Safe | 超过 7731 人围观 | 已有 0 人发表了看法

1.暗黑谷歌的由来有这么一款搜索引擎,它一刻不停的在寻找着所有和互联网关联的PLC、摄像头、红绿灯、打印机、路由器、交换机、服务器、数据库等等各种软硬件服务设施。它就是shodan,那么shodan到底是什么呢?怎么会有如此大的魔力?首先,Shodan是一个搜索引擎,但它与Google这种搜索网址的搜索引擎不同,Shodan不是在网上搜索网址,而是直接进入互联网探索其背后的信息。Shodan真正值得注意的能力就是能找...

查看全文 本文标签:安全
05月18日

数据库连接查询

分类:Mysql | 超过 687 人围观 | 已有 0 人发表了看法

数据库连接查询

  若一个数据库同时涉及两个以上的表,则称之为连接查询。连接查询包括内连接查询、自连接查询、外连接查询。  1.等值与非等值连接查询  连接查询的一般格式为:select表名1.列名,表名2.列名from表名1,表名2where表名1.列名<比较运算符>表名2.列名,其中比较运算符包括=、>、<、>=、&l...

查看全文 本文标签:Go
05月18日

MySQL数据库基础详解

分类:Mysql | 超过 494 人围观 | 已有 0 人发表了看法

MySQL数据库基础详解

文章大纲一、数据库简介二、Mysql数据库简介三、Mysql安装与服务启动(Windows版本)四、Mysql图形化工具五、Mysql存储引擎精讲六、Mysql数据类型介绍七、Mysql主要专业名称介绍八、Mysql常见sql语句九、Mysql设计与语句优化十、事务介绍十一、Mysql数据库备份与恢复十二、Mysql分库分表十三、Mysql权限管理十四、...

查看全文 本文标签:安全
05月18日

MySQL8.0.16新特性:The Communication Protocol In Group Replication

分类:Mysql | 超过 1751 人围观 | 已有 0 人发表了看法

MGR优雅升级到MySQL8.0.16  传统的升级手段之一,5.7MGR集群与8.0MGR集群进行数据传输,程序切换新集群后测试是否正常,如果不正常,要么将新集群的新增数据同步回旧集群,要么就舍弃掉这部分数据,一般看来这种回滚都是繁琐的,繁琐的操作一般都会相应的增加风险。   8.0.16的发布也带来一个新的功能-MGR通信协议的支持,可以让我们更轻松地切换到8.0,或者轻松地再切换回5.7。那么什么是MGR...

查看全文 本文标签:Mysql
05月17日

MySQL知识篇-nmon监控

分类:Mysql | 超过 979 人围观 | 已有 0 人发表了看法

MySQL知识篇-nmon监控

说明1:监控MySQL服务器资源不止一种方式,这种nmon监控图形化、历史记录查询笔记方便,便于MySQL优化后,对比其效率不同,资源利用率不同。说明2:摘抄自https://www.cnblogs.com/wnfindbug/p/5719181.html 对奉献着予以感谢!一、检查安装环境#uname–a(查看操作系统信息,所...

查看全文 本文标签:Mysql
05月17日

本地安装Mysql后,navicat链接异常:Clinet dose not support authentication protocol request by server ; consider upgrading MySQL client

分类:Mysql | 超过 1940 人围观 | 已有 0 人发表了看法

第一步:首先通过cmd进入mysql  在命令窗口输入:mysql-uroot-p; 第二步:更改加密方式   mysql> ALTER USER 'root'@'localhost' IDENTIFIED BY 'password' PASSWORD EXPIRE...

查看全文 本文标签:Mysql
05月17日

MYSQL中replace into的用法

分类:Mysql | 超过 1356 人围观 | 已有 0 人发表了看法

MYSQL中replace into的用法

 做项目是遇到这样一个问题,把查询出的数据插入到一个新表里面,第一次可以直接插入,但是第二次第三次的时候如果直接更新,但是会有些新的数据需要添加,但是如果先删除再插入的话效率不高,如果对比两端的数据,相同的更新,没有的插入,这杨效率也不高,就是有些数据是更新,有些数据是新增,在网上找了找,mysql有一个replaceinto可以实现,有新数...

查看全文 本文标签:Mysql
05月17日

PowerDesigner通过SQL语句生成PDM文件并将name和comment进行互相转换

分类:Mysql | 超过 946 人围观 | 已有 0 人发表了看法

PowerDesigner通过SQL语句生成PDM文件并将name和comment进行互相转换

本篇文章主要介绍了PowerDesigner通过SQL语句生成PDM文件并将name和comment进行互相转换超详细过程(图文),具有一定的参考价值,感兴趣的小伙伴们可以参考一下1.软件准备软件:Navicat11.1,Powerdesigner152.安装步骤第一步:将要生成的数据库导出为sql文件 第二步:打...

查看全文 本文标签:Go
05月17日

mysql基础操作1

分类:Mysql | 超过 396 人围观 | 已有 0 人发表了看法

依赖软件:mysql系统环境:win注:本次所有命令都是在命令行上执行基础命令:启动mysql:net startmysql(mysql为服务名) netstartmysql 关闭mysql服务:net stop mysql(mysql为服务名)netstopmysql进入MySQL交互模式:MySQL-hmysql地址-...

查看全文 本文标签:Mysql
05月17日

MySQL学习随笔记录

分类:Mysql | 超过 562 人围观 | 已有 0 人发表了看法

安装选custmer自定义安装。默认安装全部在c盘。自定义安装的时候有个advanceport选项用来选择安装目录。-----------------------MySQL常见的一些操作命令--------------------------------#切换当前目录到d盘下D:#切换到指定的目录下cdD:\ProgramFiles(x86)\MySQL\MySQLServer5.6\bin#以root身份登...

查看全文 本文标签:Oracle
05月17日

MYSQL慢查询优化方法及优化原则

分类:Mysql | 超过 1522 人围观 | 已有 0 人发表了看法

1、日期大小的比较,传到xml中的日期格式要符合'yyyy-MM-dd',这样才能走索引,如:'yyyy'改为'yyyy-MM-dd','yyyy-MM'改为'yyyy-MM-dd'【这样MYSQL会转换为日期类型】2、条件语句中无论是等于、还是大于小于,WHERE左侧的条件查询字段不要使用函数或表达式或数学运算3、WHERE条件语句尝试着调整字段的顺序提升查询速度,如把索引字段放在最前面、把查询命中率高的字段置前等4、保证...

查看全文 本文标签:Mysql
05月17日

MySQL optimization

分类:Mysql | 超过 243 人围观 | 已有 0 人发表了看法

一、OverviewI.在数据库层面优化表结构是否合理1.1表字段是否的数据类型是否正确;1.2根据应用系统的工作类型(例如OLAP/OLTP系统),每个表是否有合适的字段数量,比如执行频繁更新操作的应用通常使用更多的表,每个表更少的字段;分析大量数据的应用通常使用更少的表,每个表更多的字段。数据库范式设计和反范式设计。是否使用正确的索引,以使查询高效是否使用正确的存储引擎,利用存储引擎的长处和特性。比...

查看全文 本文标签:Mysql
05月16日

mysql多字段组合删除重复行

分类:Mysql | 超过 1017 人围观 | 已有 0 人发表了看法

DELETEFROMboll_paramWHEREidin(SELECTa.idFROM(SELECTidFROMboll_paramWHERE(symbol,time_frame,ma,k,std,N,回测起始日期,回测结束日期,交易方向)IN(SELECTsymbol,tim...

查看全文 本文标签:Mysql
微信公众号
  • 关注微信公众号
«   2019年5月   »
12345
6789101112
13141516171819
20212223242526
2728293031
网站分类
文章归档
网站收藏
友情链接
广告赞助
  • 点击查看详情