Stwzhj-Cloud-Plus/stwzhj-modules/stwzhj-kafka-consumer

stwzhj-kafka-consumer 服务说明

功能描述

消费SCRAM认证的Kafka消息，并通过HTTP批量发送给生产者服务。

启动命令格式

java -jar stwzhj-kafka-consumer.jar <port> <cityName> <bootstrapServers> <topics> <username> <cityCode>

参数说明

• port: 服务端口
• cityName: 城市名称
• bootstrapServers: Kafka服务器地址，多个地址用逗号分隔
• topics: 订阅的主题，多个主题用逗号分隔
• groupId: 消费者组ID
• cityCode: 城市代码

环境变量

• KAFKA_USERNAME: Kafka用户名（必填）
• KAFKA_PASSWORD: Kafka密码（必填）

启动示例

# 设置环境变量
export KAFKA_USERNAME=your_username
export KAFKA_PASSWORD=your_password

# 启动服务
java -jar stwzhj-kafka-consumer.jar 11000 huangshan 192.168.10.81:9092,192.168.10.82:9092,192.168.10.83:9092 topic.send.2,topic.send.3,topic.send.4,topic.send.5 hs_gp 3410

高吞吐量优化

1. 批量发送: 将多条消息打包成一批发送，减少HTTP请求次数
2. 连接池: 使用Apache HttpClient连接池，复用TCP连接
3. 压缩传输: 支持Gzip压缩，减少网络传输数据量
4. 多线程处理: 使用3个线程处理消息队列

注意事项

1. 确保生产者服务已启动并正常运行
2. 根据实际负载情况调整批量发送大小和超时时间
3. 监控消息队列容量，避免消息丢失
4. Kafka密码需要在启动脚本中通过环境变量或配置文件传入