ASM                         Automated Storage Management 自动存储管理
ASM 是 Oracle 数据库 10g 中一个非常出色的新特性，它以平台无关的方式提供了文件系统、逻辑卷管理器以及软件 RAID（磁盘阵列） 等服务。ASM 可以条带化和镜像磁盘，从而实现了在数据库被加载的情况下添加或移除磁盘以及自动平衡 I/O 以删除“热点”。它还支持直接和异步的 I/O 并使用 Oracle9i 中引入的 Oracle 数据管理器 API（简化的 I/O 系统调用接口）。

RAC                        缩写    real application cluses 实时应用集群
RAC是real application clusters的缩写，译为“实时应用集群”， 是Oracle新版数据库中采用的一项新技术，是高可用性的一种，也是Oracle数据库支持网格计算环境的核心技术。

CRS                        Oracle Cluster Ready Service(Oracle集群就绪服务),简称CRS
在10g和11.1，Oracle的集群称为CRS(Oracle Cluster Ready Service)， 在11.2，Oracle的集群称为GI (Grid Infrastructure)。 对于CRS/GI，他们的一些核心进程的功能基本类似，但是在11.2，新增了很多新的Deamon进程。

从Oracle 10gR1 RAC 开始，Oracle推出了自身的集群软件，这个软件的名称叫做Oracle Cluster Ready Service(Oracle集群就绪服务),简称CRS。从Oracle 10gR2开始,包括最新的11g，Oracle将其更名为Clusterware(集群件)，但通常意义上我们认为CRS = Clusterware = Oracle Cluster Ready Service = Oracle Cluster Software.
CRS一般用来搭建Oracle的并行数据库，即RAC，但除了与RAC的接口之外，CRS还提供了一组高可用性的应用程序接口(API)，用来搭建一般应用程序的高可用集群，即一般我们常说的双机热备，比如使用CRS实现MySQL的双机热备。

OCR                       Oracle cluster register         Oracle Configuration Repository

CVU                       Cluster Verification Utility
在安装RAC的过程中，如果没有安装cvuqdisk包，那么集群检验工具（Cluster Verification Utility，CVU）就不能发现共享磁盘。而且，如果没有安装该包或者安装的版本不对的话，那么当运行集群检验工具的时候就会报“PRVF-10037 : Failed to retrieve storage type for “” on node “””或“Could not get the type of storage”或“PRVF-07017: Package cvuqdisk not installed”的错误。cvuqdisk的RPM包含在Oracle Grid Infrastructure安装介质上的rpm目录中。以root用户在RAC的2个节点上都进行安装

 

ACD = Active Change Directory

ACFS = ASM Cluster File System

ADDM = Automatic Database Diagnostic Monitor

ADR = Automatic Diagnostic Repository

ADVM = ASM Dynamic Volume Manager

AIO = Asynchronous I/O

AMDU = ASM Metadata Dump Utility

AMM = Automatic Memory Management

ARC = Archive process

ASH = Active Session History

ASM = Automatic Storage Management

ASMB = ASM Background process

ASMCA = ASM Configuration Assistant

ASMCMD = ASM CoMmanD line utility

ASMLIB = ASM LIBrary tool

ASMM = Automatic Shared Memory Management

ASMSNMP = ASM Simple Network Management Protocol

AT = Allocation Table

ATA = Advanced Technology Attachment

AU = Allocation Unit

AWR = Automatic Workload Repository

BH = Block Header

BMC = Baseboard Management Controller

BS = Block Size

CBO = Cost-Based Optimizer

CF = Control File

CFS = Cluster FileSystem

CHM = Cluster Health Monitor

CIO = Concurrent I/O

CKPT = ChecKPoinT process

CLUVFY = CLUster VeriFy utility

COD = Continuing Operation Directory

CPU = Central Processing Unit or Critical Patch Update

CRM = Customer Relationship Management

CRS = Cluster Ready Services

CSS = Cluster Synchronization Services

CSV = Comma-Separated Values

CVM = Cluster Volume Manager

DB = DataBase

DBCA = DataBase Configuration Assistant

DBFS = DataBase File System

DBM = DataBase Machine

DBMS = DataBase Management Systems

DBPERF = DataBase PERFormance

DBV = DataBase Verification tool

DBW = DataBase Writer process

DD = Disk Directory or Data Description tool

DES = Database Excelleration Systems Inc.

DG = DiskGroup

DH = Disk Header

DIO = Direct I/O

DISM = Dynamic Intimate Shared Memory

DM = Device Mapper

DNFS = Direct Network File System

DRAM = Dynamic Random Access Memory

DSS = Decision Support System

DUL = Data UnLoader

DW = Data Warehouse

EIDE = Enhanced Integrated Drive Electronics

ERP = Enterprise Resource Planning

ETA = Estimated Time of Arrival

ETL = Extract Transform Load

FD = File Directory

FG = FailGroup

FRA = Flash Recovery Area or Fast Recovery Area

FS = FileSystem

FST = Free Segments Table

FTS = Full Table Scan

GC = Grid Control

GI = Grid Infrastructure

GUI = Graphical User Interface

HA = High Availability

HARD = Hardware Assisted Resilient Data

HB = Heart Beat

HBA = Host Bus Adapter

IDE = Integrated Drive Electronics

IIS = Internet Information Services

INST = INSTance

IO = Input/Output

IOPS = IO Per Second

IOT = Index Organized Table

IP = Internet Protocol

IPMI = Intelligent Platform Management Interface

JET = Joint Escalation Team

JFS = Journaled FileSystem

KB = KiloByte

KFED = Kernel Files metadata EDitor

KFOD = Kernel Files Osm disk[group] Discovery

LGWR = redo LoG WRiter process

LLT = Veritas Low Latency Transport protocol

LSNR = LiSteNeR

LUN = Logical Unit Number

LVM = Logical Volume Manager

MAA = Maximum Availability Architecture

MB = MegaByte

NAS = Network Attached Storage

NetApp = Network Appliance

NETCA = NETwork Configuration Assistant

NFS = Network FileSystem

NIC = Network Interface Controller

OCFS = Oracle Cluster FileSystem

OCR = Oracle Cluster Registry

ODM = Oracle Disk Manager

ODS = Operational Data Store

OEL = Oracle Enterprise Linux

OEM = Oracle Enterprise Manager

OID = Oracle Internet Directory

OLAP = OnLine Analytical Processing

OLTP = OnLine Transaction Processing

OMS = Oracle Management Service

OPATCH = Oracle PATCHing utility

OS = Operating System

OSCP = Oracle Storage Compatibility Program

OSW = OS Watcher

OSWFW = OS Watcher For Windows

OTN = Oracle Technology Network

OUI = Oracle Universal Installer

PB = PetaByte

PFILE = Parameter FILE

PGA = Program Global Area

PID = Proces ID

PL/SQL = Procedural Language/Structured Query Language

POC = Proof Of Concept

PROCWATCHER = PROCess WATCHER

PST = Partnership Status Table

PSU = Patch Set Update

PX = Parrallel eXecution

RAC = Real Application Cluster

RAID = Redundant Array of Independent Disks

RAM = Random Access Memory

RBAL = ReBALance process

RCA = Root Cause Analysis

RDA = Remote Diagnostic Agent

RDBMS = Relational DataBase Management System

RHEL = RedHat Enterprise Linux

RM = Resource Manager

RMAN = Recovery MANager

RPM = Resource Package Manager

SAN = Storage Area Network

SAS = Serial Attached SCSI

SATA = Serial Advanced Technology Attachment

SCAN = Single Client Access Name

SCSI = Small Computer System Interface

SGA = System Global Area

SLA = Service Level Agreement

SMF = Service Management Facility

SPFILE = Server Parameter FILE

SQL = Structured Query Language

SRDF = EMC Symmetrix Remote Data Facility

SSD = Solid State Disk

SVCTM = average SerViCe TiMe

SVM = Solaris Volume Manager

TB = TeraByte

TCP = Transmission Control Protocol

TDE = Transparent Data Encryption

TKPROF = Transient Kernel PROFile

TNS = Transparent Network Substrate

UDEV = Unix DEVice manager

UDP = User Datagram Protocol

UFG = Umbilicus ForeGround process

UFS = User FileSystem

VBG = Volume BackGround process

VCS = Veritas Cluster Server

VD = Voting Disk

VDBG = Volume Driver BackGround process

VIP = Virtual Internet Portocol

VLDB = Very Large DataBase

VM = Virtual Machine

VMB = Volume Membership BackGround process

VxFS = Veritas File System

VxVM = Veritas Volume Manager

XDB = XML DataBase

ElasticSearch 官方中文手册
英文：https://www.elastic.co/guide/en/elasticsearch/reference/current/targz.html#_check_that_elasticsearch_is_running

中文：
mac或linux系统，从归档文件中安装Elasticsearch

elasticsearch为linux和mac提供.tar.gz的归档包，
这个包包含免费和订阅的功能。30天的试用期

注意：elasticsearch内建包含了OpenJDK。

1、下载和安装
#cd /home/source
#wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-8.3.2-linux-x86_64.tar.gz
#tar -zxvf elasticsearch-8.3.2-linux-x86_64.tar.gz
#cd elasticsearch-8.3.2
#pwd
目录/home/source/elasticsearch-8.3.2 将作为 $ES_HOME的值

2、开启系统的自动建立索引
部分商业特性自动建立索引。默认情况下，elasticsearch不需要额外步骤，启动后建立就被配置为自动建立索引。
如果你关闭了自动索引，你必须在配置文件elasticsearch.yml中配置active.auto_create_index,如下配置：
action.auto_create_index: .monitoring*,.watches,.triggered_watches,.watcher-history*,.ml*

重要：如果你使用Logstash或Beats，大多数你需要在;action.autocreate_index增加索引名字，如果你不能确认该写什么参数，你可以写个*，这样会自动建立所有的索引

3、从命令行运行elasticsearch
$./bin/elasticsearch
第一次启动Elasticsearch时，安全会被配置，下面的是自动生成的：
. 验证被打开，用户elastic是内建的超级管理员，密码自动生成
. HTTP传输层的TLS的证书和秘钥生成，TLS会被配置使用此证书和密钥
. 为Kibana生成一个登记了的token，有效期30分钟
可以在其它任何时间更改内置超级管理员的密码：$bin/elasticsearch-reset-password -u elastic
可以在其它任何时间更改Kibana实例的token：$bin/elasticsearch-create-enrollment-token -s kibana
可以在其它任何时间更改Elasticsearch nodes的token：$bin/elasticsearch-create-enrollment-token -s node
如果你有一个受密码保护的Elasticsearch keystore，会被提示输入keystore的密码
Elasticsearch默认会打印日志到控制台，并且记录把日志记录到日志目录<clustername>.log。elasticsearch初始化时会打印一些信息，初始化完成后在前端运行时，不再打印日志，除非有值得记录的一些东西发生。Elasticsearch运行时，可以通过http接口9200端口和ElasticSearch交互。

在注册新节点之前，在集群中通常需要额外的操作，比如绑定到localhost以外的地址或满足elasticsearch引导程序检查。 在此期间，自动生成的注册令牌可能会过期，这就是为什么注册令牌不会自动生成的原因。
此外，同一主机上的节点加入集群，不需要额外的配置。 如果希望其他主机上的节点加入集群，则需要设置transport.host,指定一个受支持的值(如取消transport.host:0.0.0.0的注释)，或者指定一个绑定到服务器的某个ip地址。
要在集群中注册新节点，可以在集群中的任何现有节点上使用elasticsearch-create-enrollment-token工具创建一个注册令牌。 然后，您可以使用–enrollment-token参数启动一个新节点，以便它加入现有的集群。
a、在运行Elasticsearch的另一个终端中，在Elasticsearch的安装目录，运行elasticsearch-create-enrollment-token工具，为新节点生成注册令牌。
$bin/elasticsearch-create-enrollment-token -s node
复制注册令牌，注册新节点。
b、 从新节点的安装目录中，启动Elasticsearch，并通过–enrollment-token参数传递注册令牌。
$bin/elasticsearch –enrollment-token <entollment-token>
这样，Elasticsearch 会在config/certs目录中自动生成证书和密钥
c、其它新节点加入重复以上步骤即可

4、检查Elasticsearch的运行
发送一个https的请求到本地端口9200来测试elasticsearch状态
$curl –cacert $ES_HOME/config/certs/http_ca.crt -u elastic https://localhost:9200
上面的$ES_HOME，也就是/home/source/elasticsearch-8.3.2

5、Run as daemon
$./bin/elasticsearch -d -p pid
日志会记录在$ES_HOME/logs/
pkill -F pid
注意：elasticsearch的tar.gz包，不包含systemd模块，如果希望以服务运行，那就使用rpm包

6、命令行配置Elasticsearch
elasticSearch默认读取$ES_HOME/config/elasticsearch.yml配置，yml中可以配置所有的参数，参数参考这里https://www.elastic.co/guide/en/elasticsearch/reference/current/settings.html
命令行也支持所以参数，使用-E参数，如
$./bin/elasticsearch -d -Ecluster.name=my_cluster -Enode.name=node_1
小技巧：通常，关于集群的配置都会放在yml配置中，而特点于节点的配置会放在命令行，如node.name，节点名

7、客户端连接elasticsearch
首次启动Elasticsearch时，会自动为HTTP层配置TLS。 生成CA证书并存储在磁盘上:
$ES_HOME/config/certs/http_ca.crt
该证书的十六进制SHA-256指纹也输出到终端。 任何连接到Elasticsearch的客户端，如Elasticsearch客户端、Beats、独立的Elastic Agents和Logstash，都必须验证他们是否信任Elasticsearch用于HTTPS的证书。 Fleet Server和Fleet-managed Elastic agent会自动配置为信任CA证书。 其他客户端可以使用CA证书的指纹或CA证书本身建立信任。
如果已完成自动配置，仍可获取安全证书的指纹信息。 您还可以将CA证书复制到您的计算机并配置您的客户端以使用它。

8、使用CA指纹
复制Elasticsearch启动时输出到终端的指纹值，并配置客户机在连接到Elasticsearch时使用该指纹建立信任。
如果已经完成自动配置，仍然可以通过以下命令获取安全证书的指纹信息。 路径为自动生成的HTTP层CA证书。
$openssl x509 -fingerprint -sha256 -in config/certs/http_ca.crt
该命令将返回安全证书，包括指纹。 颁发者应该是 Elasticsearch security auto-configuration HTTP CA。

9、使用CA 证书
如果您的库不支持验证指纹的方法，Elasticsearch节点自动生成的CA证书位于以下目录中:
$ES_HOME/config/certs/http_ca.crt
复制http_ca。 并将您的客户端配置为在连接到Elasticsearch时使用这个证书来建立信任。

10、目录说明
存档发行版是完全独立的。 默认情况下，所有文件和目录都包含在$ES_HOME中——解压缩时创建的目录。
这非常方便，因为您不需要创建任何目录就可以开始使用Elasticsearch，而卸载Elasticsearch就像删除$ES_HOME目录一样简单。 但建议修改config目录、data目录和logs目录的默认位置，以免后续删除重要数据。
home -> $ES_HOME
bin -> 可执行脚本目录，包含elesticsearch，用于启动node和elasticsearch-plugin，用于安装插件
conf -> 配置文件目录，包含elasticsearch.yml $ES_PATH_CONF,实际目录是$ES_HOME/config
conf -> 传输层和http层生成的密钥和证书的位置 $ES_HOME/config/certs
data -> 分配在节点上的每个索引/分片的数据文件的位置 $ES_HOME/data
logs ->
plugins -> 插件文件所在目录，一个插件一个子目录 $ES_HOME/plugins
repo -> 共享文件存储位置。 可容纳多个位置。 文件系统存储库可以放在这里指定的任何目录的任何子目录中。

11、证书和密码安全
安装Elasticsearch时，将在Elasticsearch配置目录中生成以下证书和密钥，用于将Kibana实例连接到您的Elasticsearch集群，并对节点间通信进行加密。 这里列出的文件供参考。
http_ca.crt 用于对这个Elasticsearch集群的HTTP层证书进行签名的CA证书。
http.p12 包含此节点HTTP层的密钥和证书的密钥存储库。
transport.p12 包含集群中所有节点的传输层密钥和证书的密钥存储库。
http.p12和运输。 p12是有密码保护的pkcs# 12密钥存储库。 Elasticsearch将这些密钥库的密码作为安全设置存储。 要检索密码，以便检查或更改密钥存储库内容，请使用bin/elasticsearch-keystore工具。
使用如下命令找回http.p12的密码:
$bin/elasticsearch-keystore show xpack.security.http.ssl.keystore.secure_password
使用如下命令找回transport.p12的密码:
bin/elasticsearch-keystore show xpack.security.transport.ssl.keystore.secure_password

 

 

 

 

 

 

 

 

 

 

 

1、安装，设置监听ip后，启动出错

| ERROR: [2] bootstrap checks failed. You must address the points described in the following [2] lin

[1]: max file descriptors [65535] for elasticsearch process is too low, increase to at least [65536]
编辑 /etc/security/limits.conf，追加以下内容；

#* soft core 0
#* hard rss 10000
* soft nofile 65536
* hard nofile 65536

此文件修改后需要重新登录用户，才会生效

[2]: max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]

编辑 /etc/sysctl.conf，追加以下内容：

vm.max_map_count=655360

2,报错：[2022-07-23T18:44:55,440][ERROR][o.e.i.g.GeoIpDownloader ] [localhost.localdomain] exception during geoip databases update
org.elasticsearch.ElasticsearchException: not all primary shards of [.geoip_databases] index are active
at org.elasticsearch.ingest.geoip.GeoIpDownloader.updateDatabases(GeoIpDownloader.java:134) ~[ingest-geoip-8.3.2.jar:8.3.2]
at org.elasticsearch.ingest.geoip.GeoIpDownloader.runDownloader(GeoIpDownloader.java:274) [ingest-geoip-8.3.2.jar:8.3.2]
at org.elasticsearch.ingest.geoip.GeoIpDownloaderTaskExecutor.nodeOperation(GeoIpDownloaderTaskExecutor.java:102) [ingest-geoip-8.3.2.jar:8.3.2]
at org.elasticsearch.ingest.geoip.GeoIpDownloaderTaskExecutor.nodeOperation(GeoIpDownloaderTaskExecutor.java:48) [ingest-geoip-8.3.2.jar:8.3.2]
at org.elasticsearch.persistent.NodePersistentTasksExecutor$1.doRun(NodePersistentTasksExecutor.java:42) [elasticsearch-8.3.2.jar:?]
at org.elasticsearch.common.util.concurrent.ThreadContext$ContextPreservingAbstractRunnable.doRun(ThreadContext.java:769) [elasticsearch-8.3.2.jar:?]
at org.elasticsearch.common.util.concurrent.AbstractRunnable.run(AbstractRunnable.java:26) [elasticsearch-8.3.2.jar:?]
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1136) [?:?]
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:635) [?:?]
at java.lang.Thread.run(Thread.java:833) [?:?]

因为他启动时会去更新地图的一些数据库，这里直接禁掉即可，用到时再说，配置文件conf/elasticsearch.yml，增加配置

 

 

 

 

 

 

curl:测试语句
1、curl –user elastic:xEjB13-nuDEGVNLhCvhm -XGET ‘https://localhost:9200/dangjian_articles/_source/506’ –tlsv1.2 -k

2、curl –user elastic:xEjB13-nuDEGVNLhCvhm -XGET ‘https://localhost:9200/_cat/health?v‘ –tlsv1.2 -k    获取健康状态

3、curl –user elastic:xEjB13-nuDEGVNLhCvhm -H “Content-Type:application/json” -XGET ‘https://localhost:9200/_cat/indices‘ –tlsv1.2 -k  获取所有索引

curl –user elastic:xEjB13-nuDEGVNLhCvhm -H “Content-Type:application/json” -X PUT ‘https://localhost:9200/test/_doc/1’ -d ‘{“user”:”zhangsan”,”uid”:”8888″}’ –tlsv1.2 -k

curl –user elastic:xEjB13-nuDEGVNLhCvhm -H “Content-Type:application/json” -X GET ‘https://localhost:9200/twitter/_doc/ZYtFTYIBk4Inmlc-1jup?pretty’ –tlsv1.2 -k

 

curl –user elastic:xEjB13-nuDEGVNLhCvhm -H “Content-Type:application/json” -X POST ‘https://localhost:9200/twitter/_create/4′ -d ‘{“user”:”GBX2″,”uid”:4,”city”:”shijiazhuang”,”province”:”Hebei”,”country”:”China”,”DOB”:”2008-06-05″}’ –tlsv1.2 -k    如果id存在，则冲突，不能增加，如果id不存在，则能增加

 

 

 

 

 

 

 

 

 

 

 

其它：

Lucene全文检索就是对文档中全部内容进行分词，然后对所有单词建立倒排索引的过程
lucene是一套用于全文检索和搜寻的开源程序库
lucene可以用来制作搜索引擎产品
放一张图说明倒排索引：

mysql 查询重复数据并删除

表名： articles ，内容重复字段：title，

准备过程：

1. 查询标题重复的数据量：
select count(*) from articles
where title in
(select title from articles group by title having count(*) > 1)

继续阅读 →

log_bin_trust_function_creators = 1

MySQL手册中find_in_set函数的语法解释：

FIND_IN_SET(str,strlist)

str 要查询的字符串

strlist 字段名 参数以”,”分隔 如 (1,2,6,8,10,22)

查询字段(strlist)中包含(str)的结果，返回结果为null或记录

假如字符串str在由N个子链组成的字符串列表strlist 中，则返回值的范围在 1 到 N 之间。 一个字符串列表就是一个由一些被 ‘,’ 符号分开的子链组成的字符串。如果第一个参数是一个常数字符串，而第二个是type SET列，则FIND_IN_SET() 函数被优化，使用比特计算。 如果str不在strlist 或strlist 为空字符串，则返回值为 0 。如任意一个参数为NULL，则返回值为 NULL。这个函数在第一个参数包含一个逗号(‘,’)时将无法正常运行。

继续阅读 →

刚看服务器出现大量的TIME_WAIT链接

netstat -an
192.168.12.13:3306 192.168.12.12:30443 TIME_WAIT
192.168.12.13:3306 192.168.12.12:30444 TIME_WAIT
192.168.12.13:3306 192.168.12.12:30445 TIME_WAIT
192.168.12.13:3306 192.168.12.12:30446 TIME_WAIT
192.168.12.13:3306 192.168.12.12:30447 TIME_WAIT
192.168.12.13:3306 192.168.12.12:30448 TIME_WAIT
192.168.12.13:3306 192.168.12.12:30449 TIME_WAIT
192.168.12.13:3306 192.168.12.12:30450 TIME_WAIT
192.168.12.13:3306 192.168.12.12:30451 TIME_WAIT
192.168.12.13:3306 192.168.12.12:30452 TIME_WAIT

技术不太好，赶忙google
看到有很多前辈给出了解决方法
编辑/etc/sysctl.conf添加如下内容
net.ipv4.tcp_syncookies = 1
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_tw_recycle = 1
net.ipv4.tcp_fin_timeout = 30
然后执行 /sbin/sysctl -p 让刚添加的内容生效

解释下：
net.ipv4.tcp_syncookies = 1 表示开启SYN Cookies。当出现SYN等待队列溢出时，启用cookies来处理，可防范少量SYN攻击，默认为0，表示关闭；

net.ipv4.tcp_tw_reuse = 1 表示开启重用。允许将TIME-WAIT sockets重新用于新的TCP连接，默认为0，表示关闭；

net.ipv4.tcp_tw_recycle = 1 表示开启TCP连接中TIME-WAIT sockets的快速回收，默认为0，表示关闭。

net.ipv4.tcp_fin_timeout 修改系統默认的 TIMEOUT 时间

再次用netstat -an 查看
发现大量的TIME_WAIT已经不存在了。