Skip to content

Kafka时间戳工具,主要功能包括:获取指定时间戳的Offset;获取指定时间戳到当前时间的数据;获取指定时间戳范围内的开始offset、结束offset及数据

Notifications You must be signed in to change notification settings

zhangkuantian/KafkaOffsetToolsWithTime

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

11 Commits
 
 
 
 
 
 

Repository files navigation

KafkaOffsetToolsWithTime通过时间获取Kafka topic的offset

Star History Chart

1、获取指定时间戳的Offset

执行命令格式如下:

sh getOffset.sh -gid <group.id> -server <bootstrap.server> -stime <starttime> -topic <topic>

参数说明:

参数名 含义
gid kafka的group.id
server kafka的bootstrap.server
stime 开始时间
topic topic名称

getOffset.sh的内容:

#!/bin/base
java -cp ./olap_activity-1.0-SNAPSHOT-jar-with-dependencies.jar com.lucas_hust.kafka.tools.LoadOffsetWithTime $1 $2 $3 $4 $5 $6 $7 $8

2、获取指定时间戳到当前时间的数据

执行命令格式如下:

sh loadDataFromTime.sh -gid <group.id> -server <bootstrap.server> -stime <starttime> -topic <topic>

参数说明:

参数名 含义
gid kafka的group.id
server kafka的bootstrap.server
stime 开始时间
topic topic名称

loadDataFromTime.sh 的内容:

#!/bin/base
java -cp ./olap_activity-1.0-SNAPSHOT-jar-with-dependencies.jar com.lucas_hust.kafka.tools.ConsumerKafkaFromTime $1 $2 $3 $4 $5 $6 $7 $8

3、获取指定时间戳范围内的开始offset、结束offset及数据

执行命令格式如下:

sh loadDataFromTime.sh -gid <group.id> -server <bootstrap.server> -stime <starttime> -topic <topic> -etime <endtime>

参数说明:

参数名 含义
gid kafka的group.id
server kafka的bootstrap.server
stime 开始时间
topic topic名称
etime 结束时间

loadDataBetweenTime.sh的内容:

#!/bin/base
java -cp ./olap_activity-1.0-SNAPSHOT-jar-with-dependencies.jar com.lucas_hust.kafka.tools.ConsumerKafkaBetweenTime $1 $2 $3 $4 $5 $6 $7 $8 $9 ${10}

About

Kafka时间戳工具,主要功能包括:获取指定时间戳的Offset;获取指定时间戳到当前时间的数据;获取指定时间戳范围内的开始offset、结束offset及数据

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages