Twitter抓取与分析的开源利器-x-kit
X-Kit是一款专注于Twitter(现X平台)用户数据与推文抓取、分析的开源工具。设计初衷是帮助开发者、研究人员及营销团队自动化获取社交媒体数据,支持竞品分析、舆情监控、用户行为研究等场景,显著提升数据采集效率与处理灵活性。基于Typescript编写,遵守MIT开源协议。
功能特色:
- 用户信息抓取:批量获取指定用户的昵称、粉丝数等基础数据,支持多账号并发处理。
- 推文内容采集:按时间范围或关键词过滤抓取推文,支持转评赞等互动数据的结构化存储。
- 时间线定时更新:通过定时任务(如每日/小时级)自动同步用户最新动态,确保数据实时性。
- 本地化存储:数据按日期分类存放于
accounts/
(用户信息)与tweets/
(推文)目录,便于后续分析。
bun install
在项目根目录创建 .env
文件,添加以下配置:
AUTH_TOKEN=你的X认证Token
GET_ID_X_TOKEN=用于获取用户ID的Token
在 dev-accounts.json
中添加用户信息:
{
"username": "用户名",
"twitter_url": "用户主页链接",
"description": "用户描述",
"tags": ["标签1", "标签2"]
}
# 获取用户信息
bun run scripts/index.ts
# 获取最新推文
bun run scripts/fetch-tweets.ts
# 批量关注用户
bun run scripts/batch-follow.ts
项目使用 GitHub Actions 实现自动化:
get-home-latest-timeline.yml
: 每30分钟获取一次最新推文daily-get-tweet-id.yml
: 每天获取一次用户信息
- 用户信息保存在
accounts/
目录 - 推文数据保存在
tweets/
目录,按日期命名
源代码:https://github.com/xiaoxiunique/x-kit
发表回复