ClickHouse集群的搭建和部署和单机的部署是类似的

ClickHouse集群的搭建和部署和单机的部署是类似的,主要在于配置的不一致,如果需要了解ClickHouse单机的安装设部署,可以看看这篇文章,ClickHouse(03)ClickHouse怎么安装和部署。

ClickHouse集群部署流程大概如下:

环境准备在每台机器上安装单机版ClickHouseconfig.xml配置Zookeeper配置进入ClickHouse测试环境准备下载安装包

按照ClickHouse(03)ClickHouse怎么安装和部署中的介绍下载即可

设置FQDN,也就是主机名称,命令如下

# hostnamectl --static set-hostname ck1.com

配置hosts文件

# cat /etc/hosts
……
10.37.129.10 ck1
10.37.129.11 ck2

在每台机器上安装单机版ClickHouse

按照ClickHouse(03)ClickHouse怎么安装和部署中的介绍安装即可

config.xml配置

要配置集群,需要在 /etc/clickhouse-server/config.xml的 标签下添加相关集群信息。或者在/etc/metrika.xml中进行配置,这二者选其中一个就可以。

每一台机器的congfig.xml或者metrika.xml都要写入这样的配置。

如果在config.xml中配置

# 全局配置config.xml文件中引入metrika.xml
/etc/clickhouse-server/metrika.xml
#引用zookeeper配置的定义


        
            
                
                    ck1
                    9000
                
            
            
                
                    ck2
                    9000

                
            
        

如果在metrika.xml中配置


    
        
        
            
            
                
                
                    ck1
                    9000
                

            
            
                
                    ck2
                    9000
                
            
        
    

Zookeeper的配置

zookeeper在clickhouse中主要用在副本表数据的同步(ReplicatedMergeTree引擎)以及分布式表(Distributed)的操作上,zookeeper不参与任何实质性的数据传输。

在/etc/clickhouse-server目录下创建一个metrika.xml的配置文件(如果已存在,则直接往里面写入即可),新增内容:

# 类似这样子,host 和 port填上自己的

    

        10.10.1.20
        2181
    
    
        10.10.1.21
        2181
    
    
        10.10.1.22
        2181
    

进入ClickHouse测试

配置完之后,无需重启clickhouse服务,clickhouse会热加载这些配置。我们可以分别登陆所有clickhouse,通过 select * from system.clusters; 查看当前节点所属集群的相关信息:

进入ClickHouse客户端

clickhouse-client --host="127.0.0.1" --port="9000" --user="****" --password="****"

图片[1]-ClickHouse集群的搭建和部署和单机的部署是类似的-唐朝资源网

当前节点所属集群的相关信息

select * from system.clusters where cluster = 'test_cluster1';

查询结果

SELECT *
FROM system.clusters
WHERE cluster = 'test_cluster1'
Query id: eb2064de-92f3-41b0-ac74-6b025d5082a1
┌─cluster──────┬─shard_num─┬─shard_weight─┬─replica_num─┬─host_name─────┬─host_address──┬─port─┬─is_local─┬─user────┬─default_database─┬─errors_count─┬─slowdowns_count─┬─estimated_recovery_time─┐
│ test_cluster1 │         1 │            1 │           1 │ ck1 │ 10.37.129.10 │ 9000 │        0 │ default │                  │            0 │               0 │                       0 │
│ test_cluster1 │         2 │            1 │           1 │ ck2 │ 10.37.129.11 │ 9000 │        1 │ default │                  │            0 │               0 │                       0 │
└──────────────┴───────────┴──────────────┴─────────────┴───────────────┴───────────────┴──────┴──────────┴─────────┴──────────────────┴──────────────┴─────────────────┴─────────────────────────┘
3 rows in set. Elapsed: 0.002 sec. 

到了这里,就完成clickhouse 2shard1replica集群部署。

注意,clickhouse集群是非主从结构,各个节点是相互独立的。因此,和hdfs、yarn的集群不同,我们可以根据配置,灵活的配置集群,甚至可以将一个节点同时分配给多个集群。

© 版权声明
THE END
喜欢就支持一下吧
点赞39赞赏 分享
评论 抢沙发
头像
欢迎您留下宝贵的见解!
提交
头像

昵称

取消
昵称表情代码图片

    暂无评论内容