보완 매칭 vs 기준선 3종
합성 연구자 50명의 공개 프로필에 오류를 넣은 숨은 정답을 만들고, 공고 35건 × 역할 배치 2개 = 시나리오 70개에서 네 방법이 고른 후보와 팀을 정답과 비교했습니다. 시드 20261028로 다시 돌리면 같은 결과가 나옵니다.
핵심 결과
정답 정의(전이·공저 경유 인정 여부, 해소 임계)를 바꿔도 AgentBridge가 기준선 3종보다 공백을 더 많이 메웁니다. 기준선 대비 공백 해소율 차이의 95% 구간: 키워드 일치 +25.2~40.9%p · TF-IDF 의미 유사도 +20.9~39.6%p · 하이브리드(키워드+TF-IDF) +22.7~37.3%p.
아래 절대 수치는 합성 정답 기준이며 정답의 수준 체계가 산식과 같습니다. 공개 논문 기반 실명 풀은 이 평가 대상이 아니고, 실데이터 전문가 판정은 하지 않았습니다. 합성 평가의 우위를 단독 성과로 인용하지 마세요. 아래 실데이터 점검(로컬 CLI 판정)에서는 기준선과 구분되지 않았고, 정답 체계가 산식과 같은 가정에서 나온 영향으로 보입니다. 발표에서는 "합성에서는 우위, 실데이터 LLM 판정에서는 기준선과 구분되지 않음, 전문가 판정이 다음 과제"로 함께 제시하세요.
| 방법 | Recall@5 ↑ | 공백 해소율 ↑ | nDCG@5 ↑ | 오추천률 ↓ |
|---|---|---|---|---|
| AgentBridge 보완 매칭 | 97.0% 95% 94.5~99.0% | 92.9% 95% 89.0~97.1% | 0.931 | 1.7% |
| 키워드 일치 | 73.9% 95% 66.3~80.8% | 60.2% 95% 51.3~69.0% | 0.623 | 5.4% |
| TF-IDF 의미 유사도 | 79.8% 95% 74.1~85.2% | 62.8% 95% 54.7~72.0% | 0.705 | 2.9% |
| 하이브리드(키워드+TF-IDF) | 77.8% 95% 71.2~84.2% | 62.8% 95% 55.6~70.2% | 0.688 | 3.1% |
| 정답 팀(상한) | - | 97.3% | - | - |
민감도: 숨은 정답의 정의를 바꾸면
방법이 고른 후보·팀은 그대로 두고 정답만 다시 매겼습니다. 절대 수치는 크게 움직이지만 순서는 유지됩니다. 정답 수준이 0·0.5·1뿐이라 “임계 1.0”의 해소율은 “전이 인정 안 함”과 같습니다(독립 검증 두 개로 세지 않음).
| 정답 정의 | AgentBridge 보완 매칭 | 키워드 일치 | TF-IDF 의미 유사도 | 하이브리드(키워드+TF-IDF) |
|---|---|---|---|---|
| 기본(전이 0.5·공저 0.25·임계 0.5) | 해소 92.9% R@5 97.0% · 오추천 1.7% | 해소 60.2% R@5 73.9% · 오추천 5.4% | 해소 62.8% R@5 79.8% · 오추천 2.9% | 해소 62.8% R@5 77.8% · 오추천 3.1% |
| 전이 인정 안 함 | 해소 75.2% R@5 80.1% · 오추천 8.6% | 해소 36.3% R@5 50.5% · 오추천 24.9% | 해소 38.1% R@5 60.8% · 오추천 20.0% | 해소 39.8% R@5 60.1% · 오추천 18.3% |
| 전이·공저 경유 모두 인정 안 함 | 해소 75.2% R@5 83.2% · 오추천 25.4% | 해소 36.3% R@5 49.5% · 오추천 41.4% | 해소 38.1% R@5 58.4% · 오추천 31.7% | 해소 39.8% R@5 58.4% · 오추천 31.7% |
| 공저 경유 인정 안 함 | 해소 92.9% R@5 96.1% · 오추천 3.4% | 해소 60.2% R@5 70.3% · 오추천 6.6% | 해소 62.8% R@5 75.0% · 오추천 3.7% | 해소 62.8% R@5 73.6% · 오추천 3.7% |
| 임계 1.0(실제 직접 수행만 해소) | 해소 75.2% R@5 89.5% · 오추천 1.7% | 해소 36.3% R@5 47.6% · 오추천 5.4% | 해소 38.1% R@5 59.6% · 오추천 2.9% | 해소 39.8% R@5 58.9% · 오추천 3.1% |
열 순서: AgentBridge 보완 매칭, 키워드 일치, TF-IDF 의미 유사도, 하이브리드(키워드+TF-IDF)
실데이터 점검: 공개 논문 풀(LLM 판정)
탐사 직접·지원 공고 27건의 요구역량 141개마다 네 방법이 고른 상위 5명을, 로컬 Claude CLI가 이름·소속 없이 논문 제목만 보고 0·1·2로 판정했습니다(판정 1693쌍, 전문가 판정 대체 0쌍). 전문가 판정이 아니며, 같은 모델 계열이 요구역량도 뽑았으므로 독립 판정이 아닙니다. 상위 5명의 관련성만 보는 점검이라 보완 매칭의 차이(내가 맡은 역량 제외·공백 우선)는 드러나지 않고, 방법 간 차이가 몇 %p 안이어서 이 점검만으로 우열을 말하지 않습니다.
| 방법 | 정밀도@5(직접) | 정밀도@5(인접 포함) | nDCG@5 | 1순위 적중 |
|---|---|---|---|---|
| AgentBridge 보완 매칭 | 24.0% | 67.5% | 0.698 | 27.7% |
| 키워드 일치 | 23.4% | 62.6% | 0.670 | 29.8% |
| TF-IDF 의미 유사도 | 25.8% | 70.2% | 0.707 | 27.0% |
| 하이브리드(키워드+TF-IDF) | 26.0% | 72.8% | 0.725 | 27.0% |
- 상위 5명 중 판정 2(같은 기술을 직접 다룬 논문)인 후보 비율. 상위 5명보다 적게 고르면 빈 자리는 틀린 것으로 센다
- 상위 5명 중 판정 1 이상(인접 기술 포함) 비율
- 판정 점수(0·1·2)를 이득으로 둔 nDCG@5. 이상적 순위는 네 방법이 고른 후보 전체에서 만든다
- 1순위 후보가 판정 2인 요구역량 비율
지표
- Recall@5: 상위 5명 중 실제 보완도 0.5 이상인 후보 비율(분모는 min(5, 해당 후보 수))
- 공백 해소율: 방법이 고른 팀(최대 2명)이 실제로 충족 0.5 이상으로 메운 공백 / 전체 공백. 공백은 필수·중요도 미상 요구역량 중 사용자가 맡지 않은 것
- nDCG@5: 실제 보완도를 이득으로 둔 nDCG@5
- 오추천률: 상위 5명 중 실제 보완도가 0인 후보 비율
주입한 오류
- AI 추론 역량 · 실제 맞음5건
- AI 추론 역량 · 실제 틀림6건
- 프로필 누락10건
- 과장(기록상 직접, 실제 전이·없음)15건
- 공저자 일을 본인 기록으로7건
공백(필수·중요도 미상) 총 113개. 모든 방법은 공개 프로필만 보고, 숨은 정답은 채점에만 씁니다.
해석할 때 주의
- 숨은 정답의 수준 체계(직접 1, 같은 분야 전이 0.5, 공저자 경유 0.25)는 AgentBridge 산식과 같은 가정에서 나왔습니다. 이 표는 가정이 맞을 때 산식이 그 가정을 잘 쓰는지를 보여 줄 뿐, 실제 연구자 데이터에서의 성능은 아닙니다.
- 과장·공저 경유·누락은 공개 프로필에 신호가 없어 어떤 방법도 직접 걸러내지 못합니다.
- AgentBridge가 앞서는 이유는 AI 추론 역량 상한, 전이·공저 경유 구분, 사용자가 이미 맡은 역량을 빼는 역할 반영입니다.
- 공개 논문 기반 실명 풀은 이 합성 평가의 대상이 아닙니다.
- 실데이터 전문가 판정은 아직 없습니다. 위 실데이터 점검은 LLM 판정이며, 전문가가 data/review/real-eval.csv를 채우면 그 판정이 우선합니다.