Press "Enter" to skip to content

PostgreSQL入门和高维向量索引

本站内容均来自兴趣收集,如不慎侵害的您的相关权益,请留言告知,我们将尽快删除.谢谢.

一、安装

 

1.添加PosgreSQL Yum Repository

 

wget https://download.postgresql.org/pub/repos/yum/9.6/redhat/rhel-7-ppc64le/pgdg-centos96-9.6-3.noarch.rpm

 

yum install pgdg-centos96-9.6-3.noarch.rpm

 

2.安装PostgreSQL Server

 

yum install postgresql96-server      ;

 

初始化数据库,默认路径为/var/lib/pgsql/9.6/data

 

# service postgresql-9.6 initdb

 

#/usr/pgsql-9.6/bin/postgresql96-setup initdb

 

启动服务

 

# service postgresql-9.6 start

 

3. 管理PostgreSQL Server

 

登录PostgreSQL

 

PostgreSQL 安装完成后,会建立一下‘postgres’用户,用于执行PostgreSQL,数据库中也会建立一个’postgres’用户,如果我们要使用PostgreSQL就必须先登录此帐号。

sudo
-i -u postgres

执行后提示符会变为 ‘-bash-4.2$’,再运行

 

同构执行进入 psql 进入postgresql命令行环境。

[[email protected] ~]
# sudo -i -u postgres

-
bash
-4.2$ psql

psql (9.6.1)

Type 
"help"
for
help.

 

postgres=
#

修改管理员密码:

 

默认情况下PostgreSQL不支持密码登录,如需支持需要修改配置文件

vi
/var/lib/pgsql/9.6
/data/pg_hba
.conf

将未注释行中的ident 替换为 md5:

# TYPE DATABASE  USER   ADDRESS     METHOD

 

# "local" is for Unix domain socket connections only

local
all    all          peer

# IPv4 local connections:

host all    all    127.0.0.1
/32
ident

# IPv6 local connections:

host all    all    ::1
/128
ident

# Allow replication connections from localhost, by a user with the

# replication privilege.

#local replication  postgres        peer

#host replication  postgres  127.0.0.1/32   ident

#host replication  postgres  ::1/128     ident

如需开启远程访问,可编辑/var/lib/pgsql/9.6/data/postgresql.conf 文件。

 

#listen_addresses = 'localhost'
修改为 listen_addresses='*'
(当然,此处‘*’也可以改为任何你想开放的服务器IP)

 

另外对于特定的IP还可以设置开启信任远程连接,修改/var/lib/pgsql/9.6/data/pg_hba.conf,按下面的格式进行添加设置。

# IPv4 local connections:

 
host all   all  127.0.0.1
/32
trust

 
host all   all  8.8.8.8
/32
(需要连接的服务器IP) trust

修改完配置以后不要忘了重启服务。

 

systemctl restart postgresql-9.6 

 

接着可以执行 ALTER USER postgres WITH PASSWORD 'admin'来设置postgres用户密码,可通过 \q  退出数据库。

 

# psql -U postgres

 

postgres=# ALTER USER postgres WITH PASSWORD ‘admin’;

 

postgres=# \q

 

二、常用命令

 

postgresql数据管理系统使用命令方式有两种:

 

1. 内部命令,以反斜线开始 \ ,如: \l 显示所有数据库

 

2. 标准SQL命令,以分号 ; 或 \g 结束,可以使用多行

 

一)、添加新用户和新数据库

 

初次安装后,默认生成一个名为postgres的数据库和一个名为postgres的数据库用户。这里需要注意的是,同时还生成了一个名为postgres的Linux系统用户。

 

下面,我们使用postgres用户,来生成其他用户和新数据库。好几种方法可以达到这个目的,这里介绍两种。

 

第一种方法,使用PostgreSQL控制台。

 

首先,

新建一个Linux新用户

,可以取你想要的名字,这里为dbuser。

 

sudo
adduser dbuser

 

然后,

切换到postgres用户: sudo
su – postgres

 

下一步, 使用psql命令登录PostgreSQL控制台

 

psql

 

这时相当于系统用户postgres以同名数据库用户的身份,登录数据库,这是不用输入密码的。如果一切正常,系统提示符会变为”postgres=#”,表示这时已经进入了数据库控制台。以下的命令都在控制台内完成。

 

1)、是、使用\password命令, 为postgres用户设置一个密码

 

\password postgres

 

2)、创建数据库用户dbuser(刚才创建的是Linux系统用户),并设置密码。

 

CREATE USER dbuser WITH PASSWORD 'password';

 

3)、 创建用户数据库
,这里为exampledb,并 指定所有者为dbuser。

 

CREATE DATABASE exampledb OWNER dbuser;

 

4)、将exampledb数据库的 所有权限都赋予dbuser
,否则dbuser只能登录控制台,没有任何数据库操作权限。

 

GRANT ALL PRIVILEGES ON DATABASE exampledb to dbuser;

 

最后,使用\q命令退出控制台(也可以直接按ctrl+D)。

 

\q

 

第二种方法
,使用shell命令行。

 

添加新用户和新数据库,除了在PostgreSQL控制台内,还可以在shell命令行下完成。这是因为PostgreSQL提供了命令行程序createuser和createdb。还是以新建用户dbuser和数据库exampledb为例。

首先,

创建数据库用户dbuser,并指定其为超级用户。

 

sudo -u postgres createuser --superuser dbuser

 

然后,登录数据库控制台,设置dbuser用户的密码,完成后退出控制台。

 

sudo -u postgres psql
\password dbuser
\q

 

接着,在shell命令行下,创建数据库exampledb,并指定所有者为dbuser。

 

sudo -u postgres createdb -O dbuser exampledb

 

二)、登录数据库

 

添加新用户和新数据库以后,就要以新用户的名义登录数据库,这时使用的是psql命令。

 

psql -U dbuser -d exampledb -h 127.0.0.1 -p 5432

 

上面命令的参数含义如下:-U指定用户,-d指定数据库,-h指定服务器,-p指定端口。

 

输入上面命令以后,系统会提示输入dbuser用户的密码。输入正确,就可以登录控制台了。

 

psql命令存在简写形式。如果当前Linux系统用户,同时也是PostgreSQL用户,则可以省略用户名(-U参数的部分)。举例来说,我的Linux系统用户名为ruanyf,且PostgreSQL数据库存在同名用户,则我以ruanyf身份登录Linux系统后,可以直接使用下面的命令 登录数据库,且不需要密码。

 

psql exampledb

 

此时,如果PostgreSQL内部还存在与当前系统用户同名的数据库,则连数据库名都可以省略。比如,假定存在一个叫做ruanyf的数据库,则直接键入psql就可以登录该数据库。

 

psql

 

另外,如果要 恢复外部数据
,可以使用下面的命令。

 

psql exampledb < exampledb.sql

 

三)、控制台命令

 

除了前面已经用到的\password命令(设置密码)和\q命令(退出)以外,控制台还提供一系列其他命令。

 

\h:查看SQL命令的解释,比如\h select。

 

\?:查看psql命令列表。

 

\l:列出所有数据库。

 

\c [database_name]:连接其他数据库。

 

\d:列出当前数据库的所有表格。

 

\d [table_name]:列出某一张表格的结构。

 

\du:列出所有用户。

 

\e:打开文本编辑器。

 

\conninfo:列出当前数据库和连接的信息。

 

1、列举数据库:\l

 

2、选择数据库:\c 数据库名

 

3、查看该某个库中的所有表:\dt

 

4、切换数据库:\c interface

 

5、查看某个库中的某个表结构:\d 表名

 

6、查看某个库中某个表的记录:select * from apps limit 1;

 

7、显示字符集:\encoding

 

8、退出psgl:\q

 

==================================================================================

 

列出当前数据库所有表

 

\dt

 

列出表名

 

SELECT tablename FROM pg_tables;

 

WHERE tablename NOT LIKE ‘pg%’

 

AND tablename NOT LIKE ‘sql_%’

 

ORDER BY tablename;

 

列出数据库名

 

\l

 

 

SELECT datname FROM pg_database;

 

切换数据库

 

\c 数据库名

 

1、通过命令行查询

 

\d 数据库 —— 得到所有表的名字

 

\d 表名 —— 得到表结构

 

四)、数据库操作

 

基本的数据库操作,就是使用一般的SQL语言。

 

创建新表

 

CREATE TABLE user_tbl(name VARCHAR(20), signup_date DATE);

 

插入数据

 

INSERT INTO user_tbl(name, signup_date) VALUES(‘张三’, ‘2013-12-22’);

 

选择记录

 

SELECT * FROM user_tbl;

 

更新数据

 

UPDATE user_tbl set name = ‘李四’ WHERE name = ‘张三’;

 

删除记录

 

DELETE FROM user_tbl WHERE name = ‘李四’ ;

 

添加栏位

 

ALTER TABLE user_tbl ADD email VARCHAR(40);

 

更新结构

 

ALTER TABLE user_tbl ALTER COLUMN signup_date SET NOT NULL;

 

更名栏位

 

ALTER TABLE user_tbl RENAME COLUMN signup_date TO signup;

 

删除栏位

 

ALTER TABLE user_tbl DROP COLUMN email;

 

表格更名

 

ALTER TABLE user_tbl RENAME TO backup_tbl;

 

删除表格

 

DROP TABLE IF EXISTS backup_tbl;

 

三、客户端认证

 

1.pg_hba.conf文件

 

在pg_hba.conf文件中,每条记录占一行,指定一条访问认证规则。

 

总的来说访问控制记录大致有以下7种形式:

 

local      database  user  auth-method  [auth-options]
host       database  user  address  auth-method  [auth-options]
hostssl    database  user  address  auth-method  [auth-options]
hostnossl  database  user  address  auth-method  [auth-options]
host       database  user  IP-address  IP-mask  auth-method  [auth-options]
hostssl    database  user  IP-address  IP-mask  auth-method  [auth-options]
hostnossl  database  user  IP-address  IP-mask  auth-method  [auth-options]

 

下面对每个字段分别进行说明。

 

连接方式(type)

 

连接方式有四种:local 、host、hostssl、hostnossl

 

local:这条记录匹配通过 Unix 域套接字进行的联接企图, 没有这种类型的记录,就不允许 Unix 域套接字的联接。

 

host :这条记录匹配通过TCP/IP网络进行的联接尝试.他既匹配通过ssl方式的连接,也匹配通过非ssl方式的连接。

 

注意:要使用该选项你要在postgresql.conf文件里设置listen_address选项,不在listen_address里的IP地址是无法匹配到的。因为默认的行为是只在localhost上监听本地连接。

 

hostssl:这条记录匹配通过在TCP/IP上进行的SSL联接企图。

 

要使用该选项,服务器编译时必须使用–with-openssl选项,并且在服务器启动时ssl设置是打开的,具体内容可见 这里

 

hostnossl:这个和上面的hostssl相反,只匹配通过在TCP/IP上进行的非SSL联接企图。

 

数据库(database)

 

声明记录所匹配的数据库。

 

值 all 表明该记录匹配所有数据库;

 

值 sameuser表示如果被请求的数据库和请求的用户同名,则匹配;

 

值samegroup 表示请求的用户必须是一个与数据库同名的组中的成员;

 

值 replication 表示匹配一条replication连接,它不指定一个特定的数据库,一般在流复制中使用;

 

在其他情况里,这就是一个特定的 PostgreSQL 数据库的名字。 我们可以通过用逗号分隔的方法声明多个数据库。 一个包含数据库名的文件可以通过对该文件前缀 @ 来声明.该文件必需和 pg_hba.conf 在同一个目录。

 

用户名(user)

 

为这条记录声明所匹配的 PostgreSQL 用户,值 all 表明它匹配 于所有用户。否则,它就是特定 PostgreSQL 用户的名字,多个用户名可以通过用逗号分隔的方法声明,在名字前面加上+代表匹配该用户组的所有用户。一个包含用户名的文件可以 通过在文件名前面前缀 @ 来声明,该文件必需和 pg_hba.conf 在同一个目录。

 

主机地址(address)

 

指定匹配的客户端的地址,它可以是一个主机名,一个IP地址范围,或者下面提到的这些选项。

 

一个IP地址范围是一个标准的点分十进制表示的 IP地址/掩码值。注意, 在’IP地址’,’/’和’掩码值’之间不要有任何的空白字符。

 

比如对于IPv4地址来说, 172.20.143.89/32指定单个主机的IP,172.20.143.0/24代表一个小的子网。对于IPv6地址来说,::1/128指定单个主机(这里是本机环回地址),fe80::7a31:c1ff:0000:0000/96 指定一个IPv6的子网。0.0.0.0/0代表所有IPv4地址,::0/0代表所有IPv6地址。

 

一个IPv4地址选项只能匹配IPv4地址,一个IPv6地址选项只能匹配IPv6地址,即使给出的地址选项在IPV4和IPv6中同时存在。

 

当然你可以使用 all 选项来匹配所有的IP地址,使用 samehost 匹配服务器自己所有的IP地址,samenet来匹配服务器直接接入的子网。

 

如果指定的是主机名(既不是IP地址也不是上面提到的选项),这个主机名将会和发起连接请求的客户端的IP地址的反向名称解析结果(即通过客户端的IP解析其主机名,比如使用反向DNS查找)进行比对,如果存在匹配,再使用正向名称解析(例如DNS查找)将主机名解析为IP地址(可能有多个IP地址),再判断客户端的IP地址是否在这些IP地址中。如果正向和反向解析都成功匹配,那幺就真正匹配这个地址(所以在pg_nba.conf文件里的主机地址必须是客户端IP的 address-to-name 解析返回的那个主机名。一些主机名数据库允许将一个IP地址和多个主机名绑定,但是在解析IP地址时,操作系统只会返回一个主机名)。

 

有些主机名以点(.)开头,匹配那些具有相同后缀的主机名,比如.example.com匹配foo.example.com(当然不仅仅只匹配foo.example.com)。

 

还有,在pg_hba.conf文件中使用主机名的时候,你最好能保证主机名的解析比较快,一个好的建议就是建立一个本地的域名解析缓存(比如nscd)。

 

本选项只能在连接方式是host,hostssl或者hostnossl的时候指定。

 

ip地址(ip-address)、子网掩码(ip-mask)

 

这两个字段包含可以看成是标准点分十进制表示的 IP地址/掩码值的一个替代。例如。使用255.255.255.0 代表一个24位的子网掩码。它们俩放在一起,声明了这条记录匹配的客户机的 IP 地址或者一个IP地址范围。本选项只能在连接方式是host,hostssl或者hostnossl的时候指定。

 

认证方法(authentication method)

 

trust

 

无条件地允许联接,这个方法允许任何可以与PostgreSQL 数据库联接的用户以他们期望的任意 PostgreSQL 数据库用户身份进行联接,而不需要口令。

 

reject

 

联接无条件拒绝,常用于从一个组中”过滤”某些主机。

 

md5

 

要求客户端提供一个 MD5 加密的口令进行认证,这个方法是允许加密口令存储在pg_shadow里的唯一的一个方法。

 

password

 

和”md5″一样,但是口令是以明文形式在网络上传递的,我们不应该在不安全的网络上使用这个方式。

 

gss

 

使用GSSAPI认证用户,这只适用于 TCP/IP 连接。

 

sspi

 

使用SSPI认证用户,这只适用于 Windows 连接。

 

peer

 

获取客户端的操作系统的用户名并判断他是否匹配请求的数据库名,这只适用于本地连接。

 

ldap

 

使用LDAP服务进行验证。

 

radius

 

使用RADIUS服务进行验证。

 

cert

 

使用SSL服务进行验证。

 

pam

 

使用操作系统提供的可插入的认证模块服务 (Pluggable Authentication Modules)(PAM)来认证。

 

四、
阿里云rds pg发布高维向量索引,支持图像识别、人脸识别 – pase 插件

 

https://github.com/digoal/blog/blob/master/201912/20191219_02.md

 

创建向量表:

 

create table  vectors_table2 (

 

id serial primary key,

 

vector float4[]

 

);

 

创建hnsw算法索引:

 

CREATE INDEX hnsw_idx ON vectors_table

 

USING

 

pase_hnsw(vector)

 

WITH

 

(dim = 256, base_nb_num = 16, ef_build = 40, ef_search = 200, base64_encoded = 0);

Be First to Comment

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注