📐 覆盖矩阵 板块 × 维度 · 规则粗分类
🔬 领域细粒度对比
🏛 政府网站
网站类型
行政级别
省份
搜索
| ID | 名称 | 类型 | 级别 | 地区 | 已抓取 | 连通 | URL | 状态 | 入库时间 | 操作 |
|---|
📇 微信公众号源(公众号白名单)
微信 Cookie
获取:微信 App 打开公众号 → 历史消息 → Charles/mitmproxy 抓包,复制 profile_ext?action=getmsg 请求里的 Cookie
| ID | 名称 | biz | 分类 | 板块 | 状态 | 已抓取 | 入库 | 操作 |
|---|
📄 微信公众号文章源(文章地址列表)
手动维护的微信文章地址,点「抓取」后文章会进入「原始资料 → 微信公众号」。
用无头浏览器搜搜狗,发现近期文章链接并加入列表(约 1 分钟)
| ID | 文章地址 | 标题 | 公众号 | 状态 | 抓取时间 | 发表时间 | 节选 | 正文 | 原文 | 附件 | 摘要 | 标签 | 操作 |
|---|
📺 视频地址源
粘贴视频地址 → 自动识别平台与博主 → 博主自动加入对应「博主源」。可执行 抓取字幕 / 抓取旁白 / 下载视频(能力开发中)。
渠道
支持:bilibili.com / b23.tv | douyin.com / v.douyin.com / iesdouyin.com | weixin.qq.com / channels.weixin.qq.com
| ID | 平台 | 标题 | 博主 | 旁白 | 操作 |
|---|
| 来源 | 采集条数 | 最近采集 |
|---|
📊 统计
分类
| ID | 关键词 | 分类 | 优先级 | 状态 | 入库 | 操作 |
|---|
📥 采集入库 —— 双通道
微信公众号:抓本篇 + 自动识别博主;历史抓取不自动跑,先「预览增量」再人工「确认抓取」(增量)。
传统网页(彭博社/基金公司站等):只抓这一页内容,不做作者/历史发现。
只收录跨境电商相关:L1 源白名单 → L2 标题关键词 → L3 LLM 判定;未判定进「待定篮子」(7 天自动清理)。已存在的链接在采集前即跳过,不重复下载。
传统网页(彭博社/基金公司站等):只抓这一页内容,不做作者/历史发现。
只收录跨境电商相关:L1 源白名单 → L2 标题关键词 → L3 LLM 判定;未判定进「待定篮子」(7 天自动清理)。已存在的链接在采集前即跳过,不重复下载。
① 已添加链接
| ID | 渠道 | URL | 标题/来源 | 状态 | 判定 | 入库 | 操作 |
|---|
② 博主(公众号)历史增量 —— 手动确认
「预览增量」只计算不抓取;确认后再点「抓取增量」。博主在你采集成功那一刻才会被识别登记 ——
队列里还没采的链接,其博主不会出现在下表,先到①点「继续采集队列」。
口径:增量只收 跨境电商相关 + 2025-01-01(含)以后 的条目;白名单号整号视为相关,未分类号按关键词/LLM 判定。
全部号跑完约 20–45 分钟 → 长跑请用服务器后台任务(
python -m neplatform.intake.sweep)。| ID | 公众号 | biz | 分类 | 已采 | 本批入库 | 上次增量 | 预览结果 | 操作 |
|---|
③ 待定篮子
未判定为跨境电商相关的内容(不进知识层)。「重新判定」会用 DeepSeek(L3) 再判一次:
判为相关→直接入库;判为非相关→移出篮子;仍不确定→留在篮子等你人工决定。放行后才会真正入库;7 天未处理自动清理。
| ID | 渠道 | 标题/URL | 来源 | 未判定原因 | 过期 | 操作 |
|---|