Files
rond-with-you/internal/db/schema.sql
T
2026-09-18 13:05:49 +08:00

415 lines
19 KiB
SQL

-- rond-with-you 数据结构
-- 一次上传 = 一个 dataset,所有事实表挂在其下,支持多份备份共存与切换
CREATE TABLE IF NOT EXISTS users (
id BIGSERIAL PRIMARY KEY,
username TEXT NOT NULL UNIQUE,
password_hash TEXT NOT NULL,
display_name TEXT,
created_at TIMESTAMPTZ NOT NULL DEFAULT now(),
last_login_at TIMESTAMPTZ
);
CREATE TABLE IF NOT EXISTS datasets (
id BIGSERIAL PRIMARY KEY,
user_id BIGINT NOT NULL REFERENCES users(id) ON DELETE CASCADE,
original_name TEXT NOT NULL,
sha256 CHAR(64) NOT NULL,
size_bytes BIGINT NOT NULL DEFAULT 0,
uploaded_at TIMESTAMPTZ NOT NULL DEFAULT now(),
source_created_at TIMESTAMPTZ,
device_name TEXT,
is_active BOOLEAN NOT NULL DEFAULT FALSE,
status TEXT NOT NULL DEFAULT 'done',
error TEXT,
visit_count INT NOT NULL DEFAULT 0,
place_count INT NOT NULL DEFAULT 0,
raw_visit_count INT NOT NULL DEFAULT 0,
first_visit_at TIMESTAMPTZ,
last_visit_at TIMESTAMPTZ
);
CREATE INDEX IF NOT EXISTS idx_datasets_user ON datasets(user_id, uploaded_at DESC);
CREATE UNIQUE INDEX IF NOT EXISTS idx_datasets_sha ON datasets(user_id, sha256);
CREATE TABLE IF NOT EXISTS activities (
id BIGSERIAL PRIMARY KEY,
dataset_id BIGINT NOT NULL REFERENCES datasets(id) ON DELETE CASCADE,
src_pk INT NOT NULL,
name TEXT NOT NULL,
color TEXT,
icon TEXT,
is_home BOOLEAN NOT NULL DEFAULT FALSE,
is_work BOOLEAN NOT NULL DEFAULT FALSE,
is_excluded BOOLEAN NOT NULL DEFAULT FALSE,
is_archived BOOLEAN NOT NULL DEFAULT FALSE,
UNIQUE (dataset_id, src_pk)
);
CREATE TABLE IF NOT EXISTS tags (
id BIGSERIAL PRIMARY KEY,
dataset_id BIGINT NOT NULL REFERENCES datasets(id) ON DELETE CASCADE,
src_pk INT NOT NULL,
name TEXT NOT NULL,
color TEXT,
group_name TEXT,
UNIQUE (dataset_id, src_pk)
);
CREATE TABLE IF NOT EXISTS places (
id BIGSERIAL PRIMARY KEY,
dataset_id BIGINT NOT NULL REFERENCES datasets(id) ON DELETE CASCADE,
src_pk INT NOT NULL,
name TEXT,
poi_category TEXT,
lat DOUBLE PRECISION,
lon DOUBLE PRECISION,
country_code TEXT,
province TEXT,
city TEXT,
district TEXT,
sublocality TEXT,
thoroughfare TEXT,
timezone TEXT,
visit_count INT NOT NULL DEFAULT 0,
dwell_minutes BIGINT NOT NULL DEFAULT 0,
first_visit_at TIMESTAMPTZ,
last_visit_at TIMESTAMPTZ,
UNIQUE (dataset_id, src_pk)
);
CREATE INDEX IF NOT EXISTS idx_places_dataset ON places(dataset_id);
CREATE INDEX IF NOT EXISTS idx_places_city ON places(dataset_id, city);
CREATE INDEX IF NOT EXISTS idx_places_geo ON places(dataset_id, lat, lon);
CREATE TABLE IF NOT EXISTS visits (
id BIGSERIAL PRIMARY KEY,
dataset_id BIGINT NOT NULL REFERENCES datasets(id) ON DELETE CASCADE,
src_pk INT NOT NULL,
place_id BIGINT REFERENCES places(id) ON DELETE CASCADE,
activity_id BIGINT REFERENCES activities(id) ON DELETE SET NULL,
arrival TIMESTAMPTZ NOT NULL,
departure TIMESTAMPTZ,
duration_min INT,
is_home BOOLEAN NOT NULL DEFAULT FALSE,
is_work BOOLEAN NOT NULL DEFAULT FALSE,
bookmarked BOOLEAN NOT NULL DEFAULT FALSE,
is_user_added BOOLEAN NOT NULL DEFAULT FALSE,
remark TEXT,
emoji TEXT,
weather_symbol TEXT,
UNIQUE (dataset_id, src_pk)
);
CREATE INDEX IF NOT EXISTS idx_visits_arrival ON visits(dataset_id, arrival DESC);
CREATE INDEX IF NOT EXISTS idx_visits_place ON visits(dataset_id, place_id);
CREATE INDEX IF NOT EXISTS idx_visits_activity ON visits(dataset_id, activity_id);
CREATE TABLE IF NOT EXISTS visit_tags (
visit_id BIGINT NOT NULL REFERENCES visits(id) ON DELETE CASCADE,
tag_id BIGINT NOT NULL REFERENCES tags(id) ON DELETE CASCADE,
PRIMARY KEY (visit_id, tag_id)
);
CREATE TABLE IF NOT EXISTS movements (
id BIGSERIAL PRIMARY KEY,
dataset_id BIGINT NOT NULL REFERENCES datasets(id) ON DELETE CASCADE,
user_id BIGINT,
src_pk INT NOT NULL,
transport_src INT,
transport_name TEXT,
transport_color TEXT,
transport_icon TEXT,
from_visit_src INT,
to_visit_src INT,
from_place_id BIGINT REFERENCES places(id) ON DELETE SET NULL,
to_place_id BIGINT REFERENCES places(id) ON DELETE SET NULL,
started_at TIMESTAMPTZ,
ended_at TIMESTAMPTZ,
duration_min INT,
distance_km DOUBLE PRECISION,
UNIQUE (dataset_id, src_pk)
);
CREATE INDEX IF NOT EXISTS idx_movements_start ON movements(dataset_id, started_at DESC);
CREATE TABLE IF NOT EXISTS weather (
id BIGSERIAL PRIMARY KEY,
dataset_id BIGINT NOT NULL REFERENCES datasets(id) ON DELETE CASCADE,
user_id BIGINT,
src_pk INT NOT NULL,
visit_src INT,
at TIMESTAMPTZ,
is_daylight BOOLEAN,
temperature_c DOUBLE PRECISION,
apparent_c DOUBLE PRECISION,
humidity DOUBLE PRECISION,
precipitation_amount DOUBLE PRECISION,
precipitation_chance DOUBLE PRECISION,
wind_speed DOUBLE PRECISION,
visibility DOUBLE PRECISION,
uv_index INT,
condition TEXT,
symbol TEXT,
uv_category TEXT,
wind_direction TEXT,
UNIQUE (dataset_id, src_pk)
);
CREATE INDEX IF NOT EXISTS idx_weather_at ON weather(dataset_id, at);
CREATE TABLE IF NOT EXISTS settings (
key TEXT PRIMARY KEY,
value JSONB NOT NULL,
updated_at TIMESTAMPTZ NOT NULL DEFAULT now()
);
-- 世界迷雾(Fog of World)已探索位图,按块粒度存储。
-- 迷雾与数据集无关(来自另一个应用),挂在用户维度下;
-- gbx/gby 为全球块坐标(0..65535),一个位对应 2^22 网格里约 9.55m 的一格。
CREATE TABLE IF NOT EXISTS fog_blocks (
user_id BIGINT NOT NULL,
gbx INT NOT NULL,
gby INT NOT NULL,
bitmap BYTEA NOT NULL,
updated_at TIMESTAMPTZ NOT NULL DEFAULT now(),
PRIMARY KEY (user_id, gbx, gby)
);
-- 地点备注与别名。按 src_pk(rond 内部地点 ID,跨快照稳定)而不是 places.id 存,
-- 这样重新上传备份、数据集换了新 id 之后备注依然挂着。
-- dataset_id 是后加的:src_pk 只在单个数据集内唯一,缺了它切数据集时同编号的
-- 地点会把别人的备注/别名认领过去。
CREATE TABLE IF NOT EXISTS place_notes (
user_id BIGINT NOT NULL,
dataset_id BIGINT NOT NULL DEFAULT 0,
src_pk INT NOT NULL,
alias TEXT NOT NULL DEFAULT '',
note TEXT NOT NULL DEFAULT '',
updated_at TIMESTAMPTZ NOT NULL DEFAULT now(),
PRIMARY KEY (user_id, dataset_id, src_pk)
);
-- 站长对地点的「官方结论」:推荐(1) / 踩雷(-1),与自由文本备注分开存,同样按 src_pk。
CREATE TABLE IF NOT EXISTS place_votes (
user_id BIGINT NOT NULL,
dataset_id BIGINT NOT NULL DEFAULT 0,
src_pk INT NOT NULL,
verdict SMALLINT NOT NULL,
updated_at TIMESTAMPTZ NOT NULL DEFAULT now(),
PRIMARY KEY (user_id, dataset_id, src_pk)
);
-- 访客对地点的投票:一人一票、可改可撤。voter_key 由匿名 cookie + IP 派生,
-- 与数据集无关(换快照不丢),故不挂 dataset_id。
CREATE TABLE IF NOT EXISTS place_visitor_votes (
src_pk INT NOT NULL,
voter_key TEXT NOT NULL,
vote SMALLINT NOT NULL,
updated_at TIMESTAMPTZ NOT NULL DEFAULT now(),
PRIMARY KEY (src_pk, voter_key)
);
CREATE INDEX IF NOT EXISTS idx_pvv_src ON place_visitor_votes(src_pk);
-- GPX 轨迹:rond 只记录「地点到地点」的直线位移,导入 GPX 可以把真实路径补上。
-- 坐标统一按 WGS-84 存(GPX 标准),展示时再按底图坐标系转换。
CREATE TABLE IF NOT EXISTS gpx_tracks (
id BIGSERIAL PRIMARY KEY,
user_id BIGINT NOT NULL,
name TEXT NOT NULL,
point_count INT NOT NULL DEFAULT 0,
length_km DOUBLE PRECISION NOT NULL DEFAULT 0,
started_at TIMESTAMPTZ,
points JSONB NOT NULL,
uploaded_at TIMESTAMPTZ NOT NULL DEFAULT now()
);
CREATE INDEX IF NOT EXISTS idx_gpx_user ON gpx_tracks(user_id, uploaded_at DESC);
-- ---------- 增量迁移 ----------
-- 数据集是「快照」语义:一次上传 = 一份完整数据集,页面始终只展示其中一份。
-- 因此判重不做行级去重,而是「文件摘要 + 内容指纹」两道,见 datasets.content_hash。
-- 这里只给事实表补上 user_id(分区键,也为将来多用户留位)。
ALTER TABLE visits ADD COLUMN IF NOT EXISTS user_id BIGINT;
ALTER TABLE movements ADD COLUMN IF NOT EXISTS user_id BIGINT;
ALTER TABLE weather ADD COLUMN IF NOT EXISTS user_id BIGINT;
-- 回填失败绝不能拖垮启动:老库若已存在重复行,唯一索引会让回填直接报错。
-- 这里逐条兜住,最坏情况只是这些历史行保持 NULL,站点照常启动。
DO $mig$
BEGIN
BEGIN
UPDATE visits SET user_id = d.user_id FROM datasets d
WHERE d.id = visits.dataset_id AND visits.user_id IS NULL;
EXCEPTION WHEN unique_violation THEN
RAISE NOTICE 'visits 回填 user_id 遇到重复行,已跳过';
END;
BEGIN
UPDATE movements SET user_id = d.user_id FROM datasets d
WHERE d.id = movements.dataset_id AND movements.user_id IS NULL;
EXCEPTION WHEN unique_violation THEN
RAISE NOTICE 'movements 回填 user_id 遇到重复行,已跳过';
END;
BEGIN
UPDATE weather SET user_id = d.user_id FROM datasets d
WHERE d.id = weather.dataset_id AND weather.user_id IS NULL;
EXCEPTION WHEN unique_violation THEN
RAISE NOTICE 'weather 回填 user_id 遇到重复行,已跳过';
END;
END
$mig$;
-- 早期版本把 (user_id, src_pk) 做成了跨数据集全局唯一,想实现「重复导入不堆积」。
-- 但那会让更新备份里的新记录只落进未激活的数据集(页面上看不到),已废弃,这里清理掉。
-- 行级唯一性仍由各表自带的 UNIQUE (dataset_id, src_pk) 保证。
DROP INDEX IF EXISTS idx_visits_dedupe;
DROP INDEX IF EXISTS idx_movements_dedupe;
DROP INDEX IF EXISTS idx_weather_dedupe;
-- 内容指纹:识别「内容相同、但文件字节不同」的重复上传(rond 每次重新导出字节都会变)
ALTER TABLE datasets ADD COLUMN IF NOT EXISTS content_hash TEXT;
-- 管理员 TOTP 两步验证:secret 为 base32(无填充);enabled=false 时 secret 仅作为
-- 「已生成待确认」状态存在,确认验证码通过后才允许登录启用
ALTER TABLE users ADD COLUMN IF NOT EXISTS totp_secret TEXT;
ALTER TABLE users ADD COLUMN IF NOT EXISTS totp_enabled BOOLEAN NOT NULL DEFAULT FALSE;
CREATE INDEX IF NOT EXISTS idx_datasets_content ON datasets(user_id, content_hash);
-- rond 备份里按次到访记录的备注(ZVISIT.ZREMARK_)汇总后的缓存。
-- 单独一列存:回填只重写这一列,站长手写的 note 永远不受影响;
-- 展示时把 rond_note 拼在 note 之前(见 web.applyNotes 的 joinNote)。
ALTER TABLE place_notes ADD COLUMN IF NOT EXISTS rond_note TEXT NOT NULL DEFAULT '';
-- 导出 rondbackup 所需的 Core Data 元信息(实体编号、ZPRIMARYKEY、建表 DDL、访问↔标签关联表),
-- 导入时抓取并缓存,导出时据此从 PostgreSQL 重建 LifeEasy.sqlite。NULL 表示旧数据集未抓到,
-- 需要把原始 .rondbackup 重新上传一次(即便内容相同也会补抓)。
ALTER TABLE datasets ADD COLUMN IF NOT EXISTS coredata_meta JSONB;
-- rond 原始行留档:每条实体在 Core Data 里的**完整一行**(含站点未映射的字段)
-- 按 JSONB 存下来。有了它,导出不再依赖基线库去补那些字段——
-- 基线即便丢了也能精确还原,站点侧也具备完整数据,不会因为映射范围窄而漏字段。
-- BLOB 编码为 {"$blob": "<base64>"};时间戳保持 Core Data 的浮点秒,避免精度损失。
CREATE TABLE IF NOT EXISTS entity_raw (
dataset_id BIGINT NOT NULL REFERENCES datasets(id) ON DELETE CASCADE,
entity TEXT NOT NULL,
src_pk INT NOT NULL,
raw JSONB NOT NULL,
-- skipped=真 表示这行因缺少必填字段没能进 PostgreSQL(例如没有到达时间的孤独到访)。
-- 导出时这些行要按留档原样写回,否则往返一趟就少数据;而用户在站点上删掉的
-- 行不在此列,不会被「复活」。
skipped BOOLEAN NOT NULL DEFAULT FALSE,
PRIMARY KEY (dataset_id, entity, src_pk)
);
CREATE INDEX IF NOT EXISTS idx_entity_raw_lookup ON entity_raw (dataset_id, entity);
-- 旧库升级:补上后加的 skipped 列
ALTER TABLE entity_raw ADD COLUMN IF NOT EXISTS skipped BOOLEAN NOT NULL DEFAULT FALSE;
-- 旧库升级:place_notes / place_votes 补 dataset_id 并把主键扩成三列。
-- 回填归到当前激活数据集——旧数据只能这么认领,之后按数据集各管各的。
ALTER TABLE place_notes ADD COLUMN IF NOT EXISTS dataset_id BIGINT NOT NULL DEFAULT 0;
ALTER TABLE place_votes ADD COLUMN IF NOT EXISTS dataset_id BIGINT NOT NULL DEFAULT 0;
UPDATE place_notes SET dataset_id = COALESCE((SELECT id FROM datasets WHERE is_active ORDER BY id DESC LIMIT 1), 0)
WHERE dataset_id = 0;
UPDATE place_votes SET dataset_id = COALESCE((SELECT id FROM datasets WHERE is_active ORDER BY id DESC LIMIT 1), 0)
WHERE dataset_id = 0;
DO $$
DECLARE cols text;
BEGIN
SELECT string_agg(a.attname, ',' ORDER BY array_position(c.conkey, a.attnum))
INTO cols
FROM pg_constraint c
JOIN pg_attribute a ON a.attrelid = c.conrelid AND a.attnum = ANY(c.conkey)
WHERE c.conname = 'place_notes_pkey';
IF cols IS DISTINCT FROM 'user_id,dataset_id,src_pk' THEN
ALTER TABLE place_notes DROP CONSTRAINT IF EXISTS place_notes_pkey;
ALTER TABLE place_notes ADD CONSTRAINT place_notes_pkey PRIMARY KEY (user_id, dataset_id, src_pk);
END IF;
SELECT string_agg(a.attname, ',' ORDER BY array_position(c.conkey, a.attnum))
INTO cols
FROM pg_constraint c
JOIN pg_attribute a ON a.attrelid = c.conrelid AND a.attnum = ANY(c.conkey)
WHERE c.conname = 'place_votes_pkey';
IF cols IS DISTINCT FROM 'user_id,dataset_id,src_pk' THEN
ALTER TABLE place_votes DROP CONSTRAINT IF EXISTS place_votes_pkey;
ALTER TABLE place_votes ADD CONSTRAINT place_votes_pkey PRIMARY KEY (user_id, dataset_id, src_pk);
END IF;
END $$;
-- 专题:把某段时间内、某个区域里的足迹(地点 + 迷雾)打包成一个可对外展示的页面。
-- 区域用「中心点 + 半径」,半径为 0 表示不限区域(时间范围内的地点画到哪算哪)。
CREATE TABLE IF NOT EXISTS topics (
id BIGSERIAL PRIMARY KEY,
user_id BIGINT NOT NULL REFERENCES users(id) ON DELETE CASCADE,
dataset_id BIGINT NOT NULL REFERENCES datasets(id) ON DELETE CASCADE,
title TEXT NOT NULL,
subtitle TEXT NOT NULL DEFAULT '',
description TEXT NOT NULL DEFAULT '',
start_at TIMESTAMPTZ NOT NULL,
end_at TIMESTAMPTZ NOT NULL,
center_lat DOUBLE PRECISION NOT NULL DEFAULT 0,
center_lon DOUBLE PRECISION NOT NULL DEFAULT 0,
radius_km DOUBLE PRECISION NOT NULL DEFAULT 0,
show_fog BOOLEAN NOT NULL DEFAULT TRUE,
-- enabled=假 时前台不可见(列表不出现、详情 404),站长仍可在后台预览
enabled BOOLEAN NOT NULL DEFAULT TRUE,
sort_order INT NOT NULL DEFAULT 0,
created_at TIMESTAMPTZ NOT NULL DEFAULT now()
);
CREATE INDEX IF NOT EXISTS idx_topics_user ON topics(user_id, sort_order, id);
-- fog of world 快照里「非已探索层」的原始瓦片文件(Model/~ 与 Model/#)。
-- 站点只用已探索层渲染,但导出必须原样写回这两层,否则重导出的快照会丢掉约 55% 的内容。
-- data 存的是原始(zlib 压缩后的)字节,一个字节都不动。
CREATE TABLE IF NOT EXISTS fog_raw_files (
user_id BIGINT NOT NULL,
path TEXT NOT NULL,
data BYTEA NOT NULL,
PRIMARY KEY (user_id, path)
);
-- 迷雾遮罩区:这些圆形范围内的迷雾对访客隐藏(站长自己照常看得到)。
-- 存的中心是 **GCJ-02**(与 places 同系),渲染成瓦片前会换算到迷雾网格的 WGS-84。
CREATE TABLE IF NOT EXISTS fog_masks (
id BIGSERIAL PRIMARY KEY,
user_id BIGINT NOT NULL,
name TEXT NOT NULL DEFAULT '',
lat DOUBLE PRECISION NOT NULL,
lon DOUBLE PRECISION NOT NULL,
radius_m DOUBLE PRECISION NOT NULL,
created_at TIMESTAMPTZ NOT NULL DEFAULT now()
);
-- 地点坐标的来源留档。以前没有任何记录,只能靠「留档里 ZRAWLATITUDE 与显示坐标是否相同」
-- 反推——照片导入的点没有 ZLOCATION 留档行,根本判不出来。2026-09 那次照片导入选错坐标系
-- (把 WGS-84 的 EXIF 当成已经是 GCJ-02)导致 63 个点整体偏 500~670m,事后只能逐张对原图
-- 才查出来,就是因为缺这几列。现在建点的那一刻就写下来:
-- coord_source 哪个入口建的:rond(导入备份)/ photo(照片导入)/ manual(后台新增地点)
-- coord_sys 提交上来的坐标本身属于哪个坐标系:wgs84 / gcj02
-- src_lat/lon 提交上来、**还没做任何换算**的原始坐标
-- 三者齐全时,显示坐标 = 按 coord_sys 换算 src_lat/lon 的结果,随时可复算、可核对。
-- 留空的含义是「历史行、没有留档」,不要在迁移里用启发式去猜(猜错比留空更糟)。
ALTER TABLE places ADD COLUMN IF NOT EXISTS coord_source TEXT;
ALTER TABLE places ADD COLUMN IF NOT EXISTS coord_sys TEXT;
ALTER TABLE places ADD COLUMN IF NOT EXISTS src_lat DOUBLE PRECISION;
ALTER TABLE places ADD COLUMN IF NOT EXISTS src_lon DOUBLE PRECISION;
-- 存量回填不在这里做:判据需要 geo 包的 GCJ-02 往返换算(见 internal/ingest/coord.go),
-- SQL 里写不出来。启动时由 ingest.BackfillAllCoordSource 统一处理,那里同时能识别出
-- 「站点导出的备份给新建地点合成的 ZLOCATION 行」,不会把它误当成真机的原始 GPS。
-- 地点图片:站长给地点配的图。字节由**浏览器**转成 WebP 后再上传(服务端只负责收下与转存),
-- 1 核机器不用扛解码。storage 记这一张实际放在哪、object_key 是本地相对路径或对象存储 key:
-- 换了存储后端之后旧图仍按各自那一列去取,不会因为改了设置就全变破图。
CREATE TABLE IF NOT EXISTS place_images (
id BIGSERIAL PRIMARY KEY,
dataset_id BIGINT NOT NULL REFERENCES datasets(id) ON DELETE CASCADE,
src_pk INT NOT NULL,
storage TEXT NOT NULL DEFAULT 'local',
object_key TEXT NOT NULL,
width INT NOT NULL DEFAULT 0,
height INT NOT NULL DEFAULT 0,
bytes BIGINT NOT NULL DEFAULT 0,
position INT NOT NULL DEFAULT 0,
created_at TIMESTAMPTZ NOT NULL DEFAULT now(),
UNIQUE (dataset_id, src_pk, object_key)
);
CREATE INDEX IF NOT EXISTS idx_place_images_place ON place_images(dataset_id, src_pk, position);