跳到主要内容

全新安装(TGZ Linux)

本文主要介绍如何在 Linux 操作系统下安装 CloudCanal TGZ 版。

因此方式涉及产品各个组件,建议先了解 产品架构文档 以提升部署成功率。

资源准备

  • 资源列表

    资源种类系统或软件推荐配置数量  说明
    CloudCanal 部署机器Centos 7.4 / RHEL / Cloud Linux4 core, 16 GiB Mem, 100 GiB Disk1 台运行控制台、任务运行机器、数据任务进程以及监控服务
    元数据库MySQL 82 core, 4 GiB Mem, 100 GiB Disk1 台存储数据源、任务、节点等元数据
    告警机器人钉钉告警 / 微信告警 / 飞书告警 / Slack 告警 / Discord 告警1 个群机器人或自定义 WebHook
  • 端口占用

    • 8111, 8084, 8085, 7007, 8083, 9090

环境准备

登录机器

以 root 用户登录 CloudCanal 部署机器。

安装基础环境

  1. 安装 JDK (需要 Open JDK)。

    yum -y install java-1.8.0-openjdk-devel.x86_64
  2. 添加用户。

    useradd -d /home/clougence -m clougence

    passwd clougence
  3. 给用户赋 sudo 权限。

    echo "clougence ALL=(ALL) NOPASSWD:ALL" >> /etc/sudoers
  4. 创建业务目录。

    mkdir -p /home/clougence/{logs,backup,tar_gz}

    chown clougence:clougence /home/clougence/*
  5. (可选)关闭系统防火墙, 并设置 selinux=disabled。

    firewall-cmd --state

    systemctl stop firewalld.service

    systemctl disable firewalld.service

    firewall-cmd --state
  6. 调整内核参数。

    vim /etc/security/limits.conf

    # nofile - maximal opened files, * for all users

    * soft nofile 65535
    * hard nofile 65535
    # optional file is 20-nproc.conf
    vim /etc/security/limits.d/90-nproc.conf

    # modify clougence's maximal opened processes
    * soft nproc 1024
    clougence soft nproc 131072

安装元数据库

  1. 安装 MySQL 客户端。

    rpm --import https://repo.mysql.com/RPM-GPG-KEY-mysql-2022

    rpm -ivh https://repo.mysql.com/mysql80-community-release-el7-11.noarch.rpm

    yum install mysql-community-client.x86_64
  2. 安装 MySQL 数据库,如使用自己数据库,则此步略。

    rpm -ivh https://repo.mysql.com/mysql80-community-release-el7-11.noarch.rpm

    yum -y install mysql-community-server.x86_64

    # start the mysql
    systemctl start mysqld

    # find temporary password for root, then login mysql and reset root's password
    vi /var/log/mysqld.log
  3. 创建元数据库。

    CREATE DATABASE  `cloudcanal_console` DEFAULT CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;

    # ver 4.x
    CREATE DATABASE `clougence_rdp` DEFAULT CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;
  4. 创建用户名密码并授权。

    create user 'cloudcanal'@'%' identified by 'Clougence#2021'; 

    grant all on cloudcanal_console.* to 'cloudcanal'@'%';

    # ver 4.x
    grant all on clougence_rdp.* to 'cloudcanal'@'%';

    flush privileges;

安装监控服务 (Prometheus)

su - clougence

cd ~/tar_gz

## 下载连接https://pc.clougence.com/prometheus.tar.gz
wget "https://pc.clougence.com/prometheus.tar.gz"

tar -zxvf prometheus.tar.gz -C /home/clougence

cd /home/clougence/prometheus

./startup.sh

安装控制台 (Console)

  1. 官网 -> 下载私有部署版 -> TGZ部署 -> 下载tgz版本 (X86 / ARM64 都兼容)。

  2. 下载安装包到指定目录。

    cd /home/clougence/tar_gz

    wget "https://https://tgzdownload.clougence.com/tar_gz/3.3.1.1/cc.tgz?..." -O cc.tgz
  3. 修改安装包权限。

    chown -R clougence:clougence /home/clougence/
  4. 切换为 clougence 用户,并进入用户主目录。

    su - clougence

    cd /home/clougence/tar_gz
  5. 解压安装包。

    tar -xaf cc.tgz

    tar -zxvf cloudcanal-console.tar.gz

    mv /home/clougence/tar_gz/cloudcanal /home/clougence
  6. 修改配置文件参数。

    cd ~/cloudcanal/console/conf

    vi business-output.properties
  7. 设置必要参数

    参数名版本说明
    spring.datasource.url3.x元数据库 cloudcanal_console 地址,修改 host:port, 数据库名称, 时区配置(如有变化)
    spring.datasource.username3.x元数据库 cloudcanal_console 用户名
    spring.datasource.password3.x元数据库 cloudcanal_console 密码
    spring.datasource-cc.url4.x元数据库 cloudcanal_console 地址,修改 host:port, 数据库名称, 时区配置(如有变化)
    spring.datasource-cc.username4.x元数据库 cloudcanal_console 用户名
    spring.datasource-cc.password4.x元数据库 cloudcanal_console 密码
    spring.datasource-rdp.url4.x元数据库 clougence_rdp 地址,修改 host:port, 数据库名称, 时区配置(如有变化)
    spring.datasource-rdp.username4.x元数据库 clougence_rdp 用户名
    spring.datasource-rdp.password4.x元数据库 clougence_rdp 密码
    jwt.secretall系统登录验证算法的密钥,可以是一个 64 位随机码
    console.rsocket.dnsall部署机器内网 host (不带端口)
    prometheus.hostall部署机器内网 host (不带端口)
信息

CloudCanal 4.x 因为引入平台能力,对元数据库进行了调整,和 3.x 版本有区别。

  1. 启动控制台 (Console)。

    cd ~/cloudcanal/console/bin

    sh ./startConsoleAndUpdDb.sh

登录控制台 (Console)

激活产品

参考 《License使用说明》 获取激活码激活。

添加任务运行机器 (Sidecar)

  • 删除默认机器: 机器管理 -> 机器列表 (Default Cluster) -> 停止 (172.31.238.4) -> 删除
  • 添加机器,参考 添加机器TGZ

常见问题