华为云耀云服务器L实例-大数据学习-Hive的部署-1
产品官网:https://www.huaweicloud.com/product/hecs-light.html
今天我们采用可靠更安全、智能不卡顿、价优随心用、上手更简单、管理特省心的华为云耀云服务器L实例为例,介绍Hive的部署
Hive 是建立在 Hadoop 上的一个数据仓库和查询系统。它提供了类似 SQL 的查询语言(称为 HiveQL)来查询和分析存储在 Hadoop 分布式文件系统(HDFS)中的大规模数据。Hive 的设计目标是使非技术用户能够通过类似于 SQL 的语言来查询和分析大规模数据集,而无需深入了解复杂的编程模型。
以下是 Hive 的一些主要特点和概念:
1. HiveQL语言: Hive 提供了 Hive 查询语言(HiveQL),这是一种类似于 SQL 的语言,允许用户执行查询、过滤和聚合等操作。HiveQL查询会被转化为一系列的 MapReduce 作业,从而在底层利用 Hadoop 进行分布式计算。
2. 元数据存储: Hive 使用元数据存储来存储表模式和统计信息。默认情况下,它使用嵌入式的 Derby 数据库,但也可以配置为使用其他数据库,如 MySQL 或 PostgreSQL。
3. 表和分区: Hive中的数据组织为表,表可以分为分区以提高查询性能。分区允许根据表中的某些列将数据划分为更小的部分,以便更有效地执行查询。
4. UDF(用户定义函数): Hive 支持用户定义的函数,这允许用户编写自定义的处理逻辑,并将其嵌入到 HiveQL 查询中。
5. 可扩展性: Hive 可以与 Hadoop 生态系统中的其他工具集成,包括 HBase、Spark、Tez 等,以便更灵活地处理不同类型的数据和查询。
6. 批处理: Hive 通常用于大规模批处理,适用于处理大量的静态数据。对于需要实时性能的场景,可能需要考虑其他工具,如 Apache Spark。
Hive 的使用场景主要涉及数据仓库和数据分析,特别是当数据规模很大,而且对实时性能没有过高要求时。通过使用 HiveQL,用户可以利用 SQL 风格的查询语言来分析和挖掘庞大的分布式数据集。
以下是在华为云耀云服务器L实例配置Hive的中文步骤。请确保已经按照前文教程在服务器上配置好Hadoop。在 node1 节点在线安装 MySQL5.7 版本。
### 1. 安装 MySQL 服务器
“`bash
sudo apt update
sudo apt install mysql-server
“`
### 2. 启动 MySQL 服务
“`bash
sudo systemctl start mysql
“`
### 3. 配置 MySQL 安全性
“`bash
sudo mysql_secure_installation
“`
根据提示,设置 MySQL root 用户密码,禁用匿名用户登录,删除测试数据库,并限制 root 用户只能本地登录。
### 4. 登录到 MySQL 服务器
“`bash
mysql -u root -p
“`
输入之前设置的 root 密码,第一次使用,只需直接回车
### 5. 创建新的 MySQL 用户和数据库
“`sql
CREATE DATABASE vhr;
CREATE USER 'root'@'localhost' IDENTIFIED BY 'StrongPassword123';
GRANT ALL PRIVILEGES ON vhr.* TO 'root'@'localhost';
FLUSH PRIVILEGES;
“`
替换 `your_database_name`、`your_username` 和 `your_password` 为你自己的数据库名称、用户名和密码。
### 6. 退出 MySQL
“`sql
exit;
“`
### 7. 配置 MySQL 远程访问
如果需要从远程主机访问 MySQL 服务器,需要修改 MySQL 配置文件。
“`bash
sudo vim /etc/mysql/mysql.conf.d/mysqld.cnf
“`
找到 `bind-address` 行,将其改为0.0.0.0
“`conf
# bind-address = 127.0.0.1
“`
保存并退出。
### 8. 重启 MySQL 服务
“`bash
sudo systemctl restart mysql
“`
### 9. 防火墙配置
如果使用防火墙,确保打开 MySQL 端口(默认为 3306)。
“`bash
sudo ufw allow 3306
“`
### 10. 测试连接
从远程主机使用 MySQL 客户端工具测试连接。
“`bash
mysql -u your_username -h your_server_ip -p
“`
输入密码,确认能够成功连接。
至此,我们已经具备在华为云耀云服务器L实例上部署hive的基础。