由于预生产需要生产kafka的topic消息,我们做了生产kafka消息转发到预生产

注:生产kafka自建,预生产阿里云购买成品

1.进入生产kakfa目录

[root@Cloud-kafka-1 bin]# pwd
/usr/local/kafka_2.12-2.3.1/bin

2. 新增producer.properties配置,指定预生产kafka的节点

[root@Cloud-kafka-1 bin]# cat producer.properties 
bootstrap.servers=alikafka-pre-cn-1-vpc.alikafka.aliyuncs.com:9092,alikafka-pre-cn-2-vpc.alikafka.aliyuncs.com:9092,alikafka-pre-cn-3-vpc.alikafka.aliyuncs.com:9092

3. 新增formattedRealData_v2_consumer.properties配置,指定生产kafka的节点和group.id

[root@Cloud-kafka-1 bin]# cat formattedRealData_v2_consumer.properties 
bootstrap.servers=172.19.192.x:9092,172.19.32.x:9092,172.19.32.x:9092
group.id=formattedRealData_v2_pre # group id不用创建,程序会自动创建,groupid相当于topic下的消费组，都是不用创建的
partition.assignment.strategy=org.apache.kafka.clients.consumer.RoundRobinAssignor

4. 开启转发

[root@Cloud-kafka-1 ~]# nohup ./kafka-mirror-maker.sh --consumer.config formattedRealData_v2_consumer.properties --producer.config producer.properties --whitelist="formattedRealData_v2" &

5. 解析

通过指定消费者和生产者的配置以及要复制的主题列表来复制数据。
--consumer.config 选项指定 Kafka 消费者的配置文件，从源集群中读取数据。在你的情况下是 formattedRealData_v2_consumer.properties。
--producer.config 选项指定 Kafka 生产者的配置文件，将复制的数据写入目标集群。在你的情况下是 producer.properties。
--whitelist 选项指定希望 Kafka Mirror Maker 复制的主题列表。在你的情况下，看起来你想要复制 "formattedRealData_v2" 主题以及其他一些主题。请注意，主题名称和后面的中文文本之间有多个空格，因此在运行命令之前，请确保删除任何不必要的空格字符。
总的来说，这个命令会启动一个 Kafka Mirror Maker 实例，使用 formattedRealData_v2_consumer.properties 文件中的配置属性从 "formattedRealData_v2" 主题和其他指定的主题中读取数据，并使用 producer.properties 文件将复制的数据写入目标集群。