合并:地点配对只留一份实现(rond.MatchPlaces),合并侧不再自己配一遍

- 抽出 rond.MatchPlaces(stored, backup) PlaceMatch:坐标优先、退到「同名且相距 ≤1km」、
  多值索引 + 认领即标记已用;DiffPlaces 与 web.mergePlaces 共用它。
- mergePlaces 原来是单槽位 byCoord/byName 自己再配一遍:同坐标/同名的多条备份地点全并到同一行
  站内地点,到访被挂到错的分店(实测「茶颜悦色」两家分店相隔 8.3km,到访却指着同一条)。
  现在直接用配对结果,再叠加 plan.AddPlaces 的新插入。
- loadStoredPlaces 与 mergePlaces 的地点查询都加 ORDER BY id:候选多于一个时靠顺序定谁配谁,
  两侧必须一致,否则配对会飘。
- 删掉只写不读的 PlacePatch.CoordKey、ActivityPatch.Key(容易被误当成查找键)。
- 用例:TestMatchPlacesKeepsDuplicateNameGroupsDistinct(同一坐标/邻近同名都要一条配一条)、
  TestMergePlacesMapsSameNameLocationsOneToOne(真库 + 真事务,两条同名备份地点必须映射到两条不同
  地点);两处都做了变异验证(认领不标记已用 / 恢复单槽位映射 → 对应用例变红)。
- 探针库复测(从 dump 恢复、不动本地真库,49 组冲突全「用实机」):到访挂错地点(>1km)0/953 条、
  地点被搬动 >1km 0 个;合并后再比对三类全 0(到访 0/47/0、地点 0/4/0、活动 0/0/0),
  再点合并「按当前的选择没有要写入的改动」。全量验收 293 PASS / 0 FAIL / 0 SKIP。

已知取舍:勾「用实机」但没勾「并进来」时,若该到访在实机上的地点站内没有、且按 1km 规则也配不上,
place_id 会被置空(旧行为是挂到一条远方的同名地点上——那正是这次要去掉的错配)。
This commit is contained in:
tamakyi
2026-09-29 10:46:54 +08:00
parent 370c4285f8
commit 8763b850be
7 changed files with 178 additions and 66 deletions
+3 -1
View File
@@ -288,10 +288,12 @@ func (s *Server) loadStoredVisits(ctx context.Context, datasetID int64) ([]rond.
return out, rows.Err()
}
// loadStoredPlaces 读地点。**必须按 id 排序**:配对的候选多于一个时(同坐标/同名的重复地点)
// 靠顺序决定谁配谁,合并侧(mergePlaces)用的是同一份顺序与同一套规则。
func (s *Server) loadStoredPlaces(ctx context.Context, datasetID int64) ([]rond.StoredPlace, error) {
rows, err := s.db.QueryContext(ctx, `SELECT src_pk, COALESCE(name,''), COALESCE(lat,0), COALESCE(lon,0),
COALESCE(province,''), COALESCE(city,''), COALESCE(poi_category,''), visit_count
FROM places WHERE dataset_id=$1`, datasetID)
FROM places WHERE dataset_id=$1 ORDER BY id`, datasetID)
if err != nil {
return nil, err
}
+20 -31
View File
@@ -200,30 +200,34 @@ func (s *Server) applyMergePlan(ctx context.Context, ds *Dataset, b *rond.Backup
return st, nil
}
// mergePlaces 先把备份地点映射到库里的 places.id(已存在的直接映射),
// 再处理冲突更新与新增,返回「备份地点编号 -> 库 id」。
// mergePlaces 先把备份地点映射到库里的 places.id,再处理冲突更新与新增,
// 返回「备份地点编号 -> 库 id」。
//
// 配对直接沿用比对阶段那一份(rond.MatchPlaces):**这里绝不能自己再配一遍**。原先用
// 单槽位 map 配,同坐标/同名的多条备份地点会全部映射到同一条站内地点上,到访于是被挂到
// 错的分店(实测「茶颜悦色」两家分店相隔 8.3km,到访却指向同一条)。
func (s *Server) mergePlaces(ctx context.Context, ex execer, dsID int64, b *rond.Backup,
plan rond.MergePlan, st *mergeStats) (map[int]int64, error) {
byCoord, byName := map[string]int64{}, map[string]int64{}
rows, err := ex.QueryContext(ctx, `SELECT id, COALESCE(name,''), COALESCE(lat,0), COALESCE(lon,0)
FROM places WHERE dataset_id=$1`, dsID)
// 顺序必须稳定(按 id)且与 loadStoredPlaces 一致,否则候选多于一个时配对会飘
stored := make([]rond.StoredPlace, 0, 512)
bySrcPK := map[int]int64{}
rows, err := ex.QueryContext(ctx, `SELECT id, src_pk, COALESCE(name,''), COALESCE(lat,0), COALESCE(lon,0)
FROM places WHERE dataset_id=$1 ORDER BY id`, dsID)
if err != nil {
return nil, err
}
for rows.Next() {
var id int64
var name string
var lat, lon float64
if err := rows.Scan(&id, &name, &lat, &lon); err != nil {
var sp rond.StoredPlace
if err := rows.Scan(&id, &sp.SrcPK, &sp.Name, &sp.Lat, &sp.Lon); err != nil {
rows.Close()
return nil, err
}
if lat != 0 || lon != 0 {
byCoord[rond.PlaceCoordKey(lat, lon)] = id
}
if _, dup := byName[name]; !dup && name != "" {
byName[name] = id
if sp.Lat != 0 || sp.Lon != 0 {
sp.Key = rond.PlaceCoordKey(sp.Lat, sp.Lon)
}
stored = append(stored, sp)
bySrcPK[sp.SrcPK] = id
}
rows.Close()
if err := rows.Err(); err != nil {
@@ -231,28 +235,14 @@ func (s *Server) mergePlaces(ctx context.Context, ex execer, dsID int64, b *rond
}
placeID := map[int]int64{}
for _, l := range b.Locations {
if l.Lat != 0 || l.Lon != 0 {
if id, ok := byCoord[rond.PlaceCoordKey(l.Lat, l.Lon)]; ok {
placeID[l.SrcPK] = id
continue
}
}
if l.Name != "" {
if id, ok := byName[l.Name]; ok {
placeID[l.SrcPK] = id
}
for srcPK, sp := range rond.MatchPlaces(stored, b.Locations) {
if id, ok := bySrcPK[sp.SrcPK]; ok {
placeID[srcPK] = id
}
}
for _, up := range plan.UpdPlaces {
id := placeID[up.L.SrcPK]
if id == 0 {
id = byCoord[up.CoordKey]
}
if id == 0 {
id = byName[up.L.Name]
}
if id == 0 {
return nil, fmt.Errorf("找不到要更新的地点(%s)", up.L.Name)
}
@@ -264,7 +254,6 @@ func (s *Server) mergePlaces(ctx context.Context, ex execer, dsID int64, b *rond
nullStr(up.L.Sublocality), nullStr(up.L.Thoroughfare), nullStr(up.L.Timezone), id); err != nil {
return nil, fmt.Errorf("更新地点: %w", err)
}
placeID[up.L.SrcPK] = id
st.UpdPlaces++
}
+55
View File
@@ -5,6 +5,8 @@ import (
"net/http/httptest"
"strings"
"testing"
"rond-with-you/internal/rond"
)
// mergeBackup 走真实的合并处理函数;失败(重定向里带 err=)直接判错。
@@ -363,3 +365,56 @@ func TestBackupMergeRefusesDeletingPlaceInUse(t *testing.T) {
t.Errorf("被拒绝后到访数不该变,实际 %d(期望 %d)", got, beforeVisits+1)
}
}
// 两条同名备份地点在合并时必须各配一条站内地点。以前这里用**单槽位** map 自己再配一遍,
// 两条同名地点会映射到同一条站内地点上,到访于是被挂到错的分店——实测「茶颜悦色」两家
// 分店相隔 8.3km,到访却都指向同一条。现在配对直接沿用比对阶段那一份(rond.MatchPlaces)。
func TestMergePlacesMapsSameNameLocationsOneToOne(t *testing.T) {
f := newMovementFixture(t)
// 两条同名的站内地点,放在不太可能与真实数据撞车的坐标上
if _, err := f.pg.ExecContext(f.ctx, `INSERT INTO places (dataset_id, src_pk, name, lat, lon)
VALUES ($1, 920001, '同名测试店', 1.000000, 1.000000),
($1, 920002, '同名测试店', 1.100000, 1.100000)`, f.dsID); err != nil {
t.Fatalf("插入站内地点失败: %v", err)
}
t.Cleanup(func() {
f.pg.ExecContext(f.ctx, `DELETE FROM places WHERE dataset_id=$1 AND src_pk IN (920001,920002)`, f.dsID)
})
// 备份各一条同名地点,分别距上面两条约 700m(属于坐标纠偏,该配上);
// 与另一条相距 15km,远超 1km 上限,不该被配走
b := &rond.Backup{Locations: []rond.Location{
{SrcPK: 41, Name: "同名测试店", Lat: 1.004500, Lon: 1.004500},
{SrcPK: 42, Name: "同名测试店", Lat: 1.095500, Lon: 1.095500},
}}
var placeID map[int]int64
if err := f.srv.withTx(f.ctx, func(ex execer) error {
var err error
placeID, err = f.srv.mergePlaces(f.ctx, ex, f.dsID, b, rond.MergePlan{}, &mergeStats{})
return err
}); err != nil {
t.Fatalf("mergePlaces 失败: %v", err)
}
if len(placeID) != 2 {
t.Fatalf("两条都该配上,实际 %d 条", len(placeID))
}
if placeID[41] == placeID[42] {
t.Fatalf("两条同名备份地点被映射到同一条站内地点上: 41→%d 42→%d", placeID[41], placeID[42])
}
srcOf := func(id int64) int {
t.Helper()
var pk int
if err := f.pg.QueryRowContext(f.ctx, `SELECT src_pk FROM places WHERE id=$1`, id).Scan(&pk); err != nil {
t.Fatalf("反查 id=%d 失败: %v", id, err)
}
return pk
}
if got := srcOf(placeID[41]); got != 920001 {
t.Errorf("备份 #41 应配到最近的 920001,实际 %d", got)
}
if got := srcOf(placeID[42]); got != 920002 {
t.Errorf("备份 #42 应配到最近的 920002,实际 %d", got)
}
}