HBase写入性能调优
优化指定客户机群的单台HBase节点的稳定写入速度至不少于9.4MB/s。 (1)关掉HLog put.setWriteToWAL(false); (2)加大JVM内存>=90GB (3)使用mapreduce批量写入(4)调大写缓存,调小读缓存 hbase.regionserver.global.memestore.upperlimit =…
python-离线安装psycopg2
1.安装psycopg2需要安装依赖 本案例的操作系统为linux red hat 在安装python依赖包psycopg之前,你必须需要先安装postgresql数据库的相关组件: postgresql-devel,postgresql,postgresql-libs这三个组件比较重要。另外,可选组件:postgresql-server 1.安装…
python中 os.linesep 用法
os.linesep字符串给出当前平台使用的行终止符。例如,Windows使用’\r\n’,Linux使用’\n’而Mac使用’\r’。 例子: if __name__ == '__main__': wd=os.getcwd() filetest = open (wd+'/test/test.txt', 'r+',encoding='utf-8')…
clickhouse部署记录手札
12实例*15node多实例集群部署方案 资源 ip host 10.209.18.201 pod3-mmp1-a-13 10.209.18.202 pod3-mmp1-a-14 10.209.18.205 pod3-mmp1-a-18 10.209.18.208 pod3-mmp1-a-39 10.209.18.21 pod3-mmp1-e-26…
ip地址后边加个/8(16,24,32)含义
# ip地址后边加个/8(16,24,32)含义 是掩码的位数, A类IP地址的默认子网掩码为255.0.0.0(由于255相当于二进制的8位1,所以也缩写成“/8”,表示网络号占了8位); B类的为255.255.0.0(/16); C类的为255.255.255.0(/24)。 /30就是255.255.255.252。 /32就是255.25…
什么是YAML
YAML是"YAML Ain’t a Markup Language"(YAML不是一种标记语言)的递归缩写。YAML的意思其实是:“Yet Another Markup Language”(仍是一种标记语言)。主要强度这种语音是以数据为中心,而不是以标记语音为重心,例如像xml语言就会使用大量的标记。 YAML是一个可读性高,易于理解,用来表达数…
GreenPlum维护年龄的处理
最常见的方法是通过此消息,警告您正在进行事务处理: WARNING: database “lte_mr” must be vacuumed within 113330803 transactions,如下图疯狂出现: 或者更糟糕的是,以下消息表明您已经完成了 transaction wraparound 处理方法: 在适当的数据库上执行建议的VAC…
Golang格式化时间yyyy-MM-dd
Golang中并没有按照yyyyMMdd这样的格式,而是按照2006-01-02 15:04:05这个固定来格式化,分隔符可自定义。 20060102:得到的是yyyyMMdd。 2006/01/02 15:04:得到的是yyyy/MM/dd HH:mm 2006年01月02日 15点04分05秒:得到的是yyyy年MM月dd日 HH点mm分SS秒…
OpenSSL升级后导致libcrypt.so.10和libssl.so.10找不到的解决
起因 机器因为安全需要,对OpenSSL进行了升级,通过openssl version可以查看版本为1.1,执行curl提示libcrypto.so.10库不匹配。 分析 OpenSSL是Linux的基础库,升级会带来不少问题,比如:weg, curl提示找不到libcrypt.so.10和libssl.so.10库 通过资料分析: 这个问题就是因…
python批量爬取域名备案
python批量爬取域名备案小工具--接口是站长之家 import re, requests, time, xlrd, random, csv from lxml import etree domain_list = [] # workbook = xlrd.open_workbook('未爬.xls') # sheet0 = workbook.s…
MyBatis-Plus使用技巧
最近在用 Mybatis-Plus,嗯,是真他妈香!!!今天就来说说 Mybatis-Plus 的那些使用技巧 创建user表 DROP TABLE IF EXISTS user; CREATE TABLE user ( id BIGINT(20) NOT NULL COMMENT '主键ID', name VARCHAR(30) NULL DEF…
Centos迁移MySql目录
因为测试环境mysql是使用yum安装的,默认目录是在/var/lib/mysql下,而/var归属/盘 只有50G,空间满后mysql就GG了,网上迁移mysql的教程大多是转移目录,修改配置文件,这种方法会因为系统版本、mysql版本差异导致各种启动不了. 下面先避免这些问题,我直接用软链迁移 1.停止mysql(千万不要用kill) serv…
Lombok的基本使用
Lombok的基本使用 1.Lombok的使用非常简单: Lombok plugin 插件 Intellij idea 使用Lombok需要安装插件:Lombok plugin: Preferences —> Plugins —> 搜索 Lombok plugin — > Install 引入相应的maven包 <!-- lombok --&…
MySQL数据库部分知识点汇总
不知道你们看过这个段子没~反正就重视sql的程序员都很水~ 一、基本概念 1.主键、外键、超键、候选键 超键: 在关系中能唯一标识元组的属性集称为关系模式的超键。一个属性可以为作为一个超键,多个属性组合在一起也可以作为一个超键。超键包含候选键和主键。 候选键: 是最小超键,即没有冗余元素的超键。 主键: 数据库表中对储存数据对象予以唯一和完整标识的…
Component, Repository, Service,Controller的区别
相同点: @Component为@Service、@Controller、@Repository的元注解,四个实现功能是一样的 不同点为区分业务层: 1.@Component 业务特殊组件层,如handler类 2.@Controller 业务控制层 3.@Service 业务逻辑层 4.@Repository 业务资源层 总结 @Componen…
shell-grep
grep用了很久,不过以前我用得一直很浅显,就是简单的grep xxx。 本文对其他用法做下记录 介绍 grep(global search regular expression(RE) and print out the line,全面搜索正则表达式并把行打印出来)是一种强大的文本搜索工具,它能使用正则表达式搜索文本,并把匹配的行打印出来。 -a…
Redis Cluster集群搭建
Redis Cluster介绍 概念 Redis 集群是一个提供在多个Redis间节点间共享数据的程序集。 Redis集群并不支持处理多个keys的命令,因为这需要在不同的节点间移动数据,从而达不到像Redis那样的性能,在高负载的情况下可能会导致不可预料的错误. Redis 集群通过分区来提供一定程度的可用性,在实际环境中当某个节点宕机或者不可达…
2021.03.18-记一次生产环境的重大事故-删库
以前常常听别人说这么一个段子: 今天的事故也告诉了我,尽量不要在生产环境服务器上使用rm -rf * 今天还好账号权限不大,通过今天的事情也告诉自己 能不用rm -rf 就不要用~真的rm -rf 每次使用你都要三思而后行。也希望各位大佬别轻易使用~加油各位打工人 使用mv代替: 要删除文件,需要mv文件到指定目录/delete/,一个定时任务,每…