六、整合Phoenix
6.1、Phoenix 简介
6.1.1、Phoenix 定义
Phoenix 是 HBase 的开源 SQL 皮肤。可以使用标准 JDBC API 代替 HBase 客户端 API来创建表，插入数据和查询 HBase 数据。
6.1.2、为什么使用 Phoenix
官方给的解释为：在 Client 和 HBase 之间放一个 Phoenix 中间层不会减慢速度，因为用户编写的数据处理代码和 Phoenix 编写的没有区别（更不用说你写的垃圾的多），不仅如此Phoenix 对于用户输入的 SQL 同样会有大量的优化手段（就像 hive 自带 sql 优化器一样）。
Phoenix 在 5.0 版本默认提供有两种客户端使用（瘦客户端和胖客户端），在 5.1.2 版本安装包中删除了瘦客户端，本文也不再使用瘦客户端。而胖客户端和用户自己写 HBase 的API 代码读取数据之后进行数据处理是完全一样的。
6.2、Phoenix 快速入门
6.2.1、安装
1）官网地址
http://phoenix.apache.org/
2）Phoenix 部署
（1）上传并解压 tar 包
[atguigu@hadoop102 software]$ tar -zxvf phoenix-hbase-2.4-5.1.2-bin.tar.gz -C /opt/module/
[atguigu@hadoop102 module]$ mv phoenix-hbase-2.4-5.1.2-bin/ phoenix
（2）复制 server 包并拷贝到各个节点的 hbase/lib
[atguigu@hadoop102 module]$ cd /opt/module/phoenix/
[atguigu@hadoop102 phoenix]$ cp phoenix-server-hbase-2.4-5.1.2.jar /opt/module/hbase/lib/
[atguigu@hadoop102 phoenix]$ xsync /opt/module/hbase/lib/ phoenixserver-hbase-2.4-5.1.2.jar
（3）配置环境变量
sudo vim /etc/profile.d/my_env.sh
#phoenix
export PHOENIX_HOME=/opt/module/phoenix
export PHOENIX_CLASSPATH=$PHOENIX_HOME
export PATH=$PATH:$PHOENIX_HOME/bin
source /etc/profile.d/my_env.sh
（4）重启 HBase
[atguigu@hadoop102 ~]$ stop-hbase.sh
[atguigu@hadoop102 ~]$ start-hbase.sh
（5）连接 Phoenix
[atguigu@hadoop101 phoenix]$ /opt/module/phoenix/bin/sqlline.py hadoop102,hadoop103,hadoop104:2181
（6）错误解决
出现下面错误的原因是之前使用过 phoenix，建议删除之前的记录
警告: Failed to load history java.lang.IllegalArgumentException: Bad history file syntax! The history file
/home/atguigu/.sqlline/historymay be an older history: please remove it or use a different history file.
解决方法：在/home/atguigu 目录下删除.sqlline 文件夹
[atguigu@hadoop102 ~]$ rm -rf .sqlline/
6.2.2、Phoenix Shell 操作
6.2.2.1、table
关于 Phoenix 的语法建议使用时直接查看官网：
https://phoenix.apache.org/language/index.html
1）显示所有表
!table 或 !tables
2）创建表
直接指定单个列作为 RowKey
CREATE TABLE IF NOT EXISTS student(
id VARCHAR primary key,
name VARCHAR,
age BIGINT,
addr VARCHAR);
在 phoenix 中，表名等会自动转换为大写，若要小写，使用双引号，如"us_population"。
指定多个列的联合作为 RowKey
CREATE TABLE IF NOT EXISTS student1 (
id VARCHAR NOT NULL,
name VARCHAR NOT NULL,
age BIGINT,
addr VARCHAR CONSTRAINT my_pk PRIMARY KEY (id, name));
注：Phoenix 中建表，会在 HBase 中创建一张对应的表。为了减少数据对磁盘空间的占用，Phoenix 默认会对 HBase 中的列名做编码处理。具体规则可参考官网链接：
https://phoenix.apache.org/columnencoding.html
若不想对列名编码，可在建表语句末尾加上 COLUMN_ENCODED_BYTES = 0;
3）插入数据
upsert into student values('1001','zhangsan', 10, 'beijing');
4）查询记录
select * from student;
select * from student where id='1001';
5）删除记录
delete from student where id='1001';
6）删除表
drop table student;
7）退出命令行
!quit
6.2.2.2、表的映射
1）表的关系
默认情况下， HBase 中已存在的表，通过 Phoenix 是不可见的。如果要在 Phoenix 中操作 HBase 中已存在的表，可以在 Phoenix 中进行表的映射。映射方式有两种：视图映射和表映射。
2）命令行中创建表 test
HBase 中 test 的表结构如下，两个列族 info1、info2
（1）启动 HBase Shell
[atguigu@hadoop102 ~]$ /opt/module/hbase/bin/hbase shell
（2）创建 HBase 表 test
hbase(main):001:0> create 'test','info1','info2'
3）视图映射
Phoenix 创建的视图是只读的，所以只能用来做查询，无法通过视图对数据进行修改等操作。在 phoenix 中创建关联 test 表的视图。
0: jdbc:phoenix:hadoop101,hadoop102,hadoop103> create view "test"(id varchar primary key,"info1"."name" varchar, "info2"."address" varchar);
4）表映射
在 Pheonix 创建表去映射 HBase 中已经存在的表，是可以修改删除 HBase 中已经存在的数据的。而且，删除 Phoenix 中的表，那么 HBase 中被映射的表也会被删除。
注：进行表映射时，不能使用列名编码，需将 column_encoded_bytes 设为 0。
0: jdbc:phoenix:hadoop101,hadoop102,hadoop103> create table "test"(id varchar primary key,"info1"."name" varchar, "info2"."address" varchar) column_encoded_bytes=0;
6.2.2.3、数字类型说明
HBase 中的数字，底层存储为补码，而 Phoenix 中的数字，底层存储为在补码的基础上，将符号位反转。故当在 Phoenix 中建表去映射 HBase 中已存在的表，当 HBase 中有数字类型的字段时，会出现解析错误的现象。
Hbase 演示：
create 'test_number','info'
put 'test_number','1001','info:number',Bytes.toBytes(1000)
scan 'test_number',{COLUMNS => 'info:number:toLong'}
ROW COLUMN+CELL
1001 column=info:number, timestamp=2023-03-05T18:08:15.765, value=1000
phoenix 演示：
create view "test_number"(id varchar primary key,"info"."number" bigint);
select * from "test_number";
+------+----------------------+
| ID | number |
+------+----------------------+
| 1001 | -9223372036854774808 |
+------+----------------------+
解决上述问题的方案有以下两种：
（1）Phoenix 种提供了 unsigned_int，unsigned_long 等无符号类型，其对数字的编码解码方式和 HBase 是相同的，如果无需考虑负数，那在 Phoenix 中建表时采用无符号类型是最合适的选择。
phoenix 演示：
drop view "test_number";
create view "test_number"(id varchar primary key,"info"."number" unsigned_long);
select * from "test_number";
+------+--------+
| ID | number |
+------+--------+
| 1001 | 1000 |
+------+--------+
（2）如需考虑负数的情况，则可通过 Phoenix 自定义函数，将数字类型的最高位，即符号位反转即可，自定义函数可参考如下链接：
https://phoenix.apache.org/udf.html
6.2.3、Phoenix JDBC 操作
此处演示一个标准的JDBC连接操作，实际开发中会直接使用别的框架内嵌的Phoenix连接。
详见代码。
6.3、Phoenix 二级索引
6.3.1、二级索引配置文件
添加如下配置到 HBase 的 HRegionserver 节点的 hbase-site.xml。
<!-- phoenix regionserver 配置参数-->
<property>
<name>hbase.regionserver.wal.codec</name>
<value>org.apache.hadoop.hbase.regionserver.wal.IndexedWALEditCod ec</value>
</property>
6.3.2、全局索引（global index）
Global Index 是默认的索引格式，创建全局索引时，会在 HBase 中建立一张新表。也就是说索引数据和数据表是存放在不同的表中的，因此全局索引适用于多读少写的业务场景。
写数据的时候会消耗大量开销，因为索引表也要更新，而索引表是分布在不同的数据节点上的，跨节点的数据传输带来了较大的性能消耗。
在读数据的时候 Phoenix 会选择索引表来降低查询消耗的时间。
创建单个字段的全局索引。
CREATE INDEX my_index ON my_table (my_col);
#例如
0: jdbc:phoenix:hadoop102,hadoop103,hadoop104> create index my_index on student1(age);
#删除索引
DROP INDEX my_index ON my_table
0: jdbc:phoenix:hadoop102,hadoop103,hadoop104> drop index my_index on student1;
查看二级索引是否有效，可以使用 explainPlan 执行计划，有二级索引之后会变成范围扫描 。
0: jdbc:phoenix:hadoop102,hadoop103,hadoop104> explain select id,name from student1 where age = 10;
如果想查询的字段不是索引字段的话索引表不会被使用，也就是说不会带来查询速度的提升。
0: jdbc:phoenix:hadoop102,hadoop103,hadoop104> explain select id,name,addr from student1 where age = 10;
若想解决上述问题，可采用如下方案：
（1）使用包含索引
（2）使用本地索引
6.3.3、包含索引（covered index）
创建携带其他字段的全局索引（本质还是全局索引）。
CREATE INDEX my_index ON my_table (v1) INCLUDE (v2);
先删除之前的索引：
0: jdbc:phoenix:hadoop102,hadoop103,hadoop104> drop index my_index on student1;
#创建包含索引
0: jdbc:phoenix:hadoop102,hadoop103,hadoop104> create index my_index on student1(age) include (addr);
之后使用执行计划查看效果
0: jdbc:phoenix:hadoop102,hadoop103,hadoop104> explain select id,name,addr from student1 where age = 10;
6.3.4、本地索引（local index）
Local Index 适用于写操作频繁的场景。
索引数据和数据表的数据是存放在同一张表中（且是同一个 Region），避免了在写操作的时候往不同服务器的索引表中写索引带来的额外开销。
my_column 可以是多个。
CREATE LOCAL INDEX my_index ON my_table (my_column);
本地索引会将所有的信息存在一个影子列族中，虽然读取的时候也是范围扫描，但是没有全局索引快，优点在于不用写多个表了。
#删除之前的索引
0: jdbc:phoenix:hadoop102,hadoop103,hadoop104> drop index my_index on student1;
#创建本地索引
0: jdbc:phoenix:hadoop102,hadoop103,hadoop104> CREATE LOCAL INDEX my_index ON student1 (age,addr);
#使用执行计划
0: jdbc:phoenix:hadoop102,hadoop103,hadoop104> explain select id,name,addr from student1 where age = 10;
评论