LBA AGENTS · RESEARCH ATLAS

연구개발
성과 지도2022 — 2025

모르는 것을 알아차리고, 질문하고, 답을 통해 성장하기까지.
네 가지 기술이 네 가지 현장에서 발전한 과정을 살펴봅니다.

전체 기술 지도 보기 연차별 대표성과 보기

질문하며 성장하는 에이전트

  1. 01지식체계 구축관찰한 세계를 지식으로
  2. 02불확실성 지각아는 것과 모르는 것 구분
  3. 03질문 생성필요한 정보를 질문으로
  4. 04질의응답 기반 성장학습얻은 답을 지식과 행동으로
새로운 지식으로, 다시 세계를 이해합니다

01 / 전체 기술 지도

어떤 분야에서, 어떤 문제를 풀었을까요?

관심 있는 칸을 선택하면 관련 연구 주제와 연차별 발전 과정이 펼쳐집니다.

제안서의 UMC는 지식체계 구축·불확실성 지각에, UQG는 질문 생성에, OCL2는 성장학습에 대응합니다.

02 / 연차별 대표성과

질문하며 성장하는 기술, 무엇이 달라졌을까요?

선정 근거 JSON ↓

학술적 인정, 기술적 신규성, 완성도와 과제 기여를 함께 살펴 연차별 최대 5개를 선정했습니다. 19개 대표성과와 연결 논문 20편의 핵심 변화·검증 근거를 만나보세요.

수치는 각 논문의 실험 조건에 한정됩니다. 아래 카드에서 조건과 원문을 확인할 수 있습니다.

선정 기준과 특허 평가 원칙
학술적 인정

주요 국제학술대회 본학회·학술지 게재를 우선 검토. 본학회, Findings, 워크숍, 공개 원고를 구분하며 학회 명칭만으로 자동 선정하지 않음.

기술적 신규성

발표 당시 논문이 비교한 기존 방법의 한계와 구체적인 해결 방법을 대조. 최신 기술 전체에 대한 우월성이나 특허법상 신규성 판정으로 확대하지 않음.

완성도·기여

벤치마크 비교·분석, 공개 구현·데이터, 통합 구현, 실물 로봇 검증 등 증거를 구분. 과제 핵심 기능과의 직접적인 연결을 함께 평가.

지식재산

해외 등록은 등록번호·등록일이 확인되고 2025년 이내인 경우에만 등록 근거로 평가. 해외·PCT 출원은 보조 근거이며 등록과 동일하게 평가하지 않음.

연차별 핵심 전달 순서이며 정량 점수 순위가 아님. 기관·분야별 할당량 없이 근거의 강도와 과제 기여를 종합한 편집적 선정.

과제 관련성은 보고서 수록에 근거. 공동연구 전체 성과를 본 과제의 단독 기여로 환산하지 않음.

논문은 정식 학술대회 발표·학술지 게재 연도, 특허는 해당 출원·등록 사건 발생 연도로 배치. 2025-12-31까지의 성과만 평가.

해외 특허 확인 결과 · 해외 출원은 보조 근거로 반영했습니다. 현재 확인 자료에서 2025년까지의 해외 등록을 확정한 사례는 이번 선정에 사용하지 않았습니다. 미국 등록 2건은 2026년 후속 성과로 분리하고, 보고서상 일본 등록 1건은 등록 증빙 확인 후 재평가합니다.

2022 묻고 배우는 기반

도움 요청 정책과 데이터 편향 완화, 장면·구간 이해의 기반을 확보했습니다.

NeurIPS 2022 · 본학회2022 / 01

필요한 순간에 도움을 요청하는 에이전트

Ask4Help

52% → 86%물체 목표 탐색 성공률

논문 실험: 도움 비율 13%에서의 물체 목표 탐색 결과. 무도움 에이전트 대비 +34%p.

과제의 핵심인 “모르면 묻고, 답을 행동에 반영하는 능력”을 실행 가능한 정책으로 구현했습니다.

실세계와 절차 이해
왜 우수한가 · 검증 근거 보기
기존 기술의 한계
자율 에이전트는 오류 상황에서 반복 행동을 하며, 전문가에게 언제 도움을 요청할지 스스로 결정하기 어려웠습니다.
새롭게 기여한 점
기존 에이전트의 파라미터를 고정한 채 도움 요청 정책을 학습해, 수행 성능과 전문가 개입 비용을 함께 조절합니다.
어디까지 검증했나
물체 목표 탐색·방 정리의 두 과제와 사람 참여 실험으로 검증했습니다.
선정 이유
NeurIPS 본학회 발표, 명확한 성능 개선, 질문 비용을 고려한 정책 설계가 함께 확인되는 초기 대표성과입니다.

도움에는 전문가의 행동 지원이 포함됩니다. 자연어 질문 생성만의 효과나 완전 자율 수행 성능을 뜻하지 않습니다.

논문·검증 기록
과제 보고서 연결 근거

241227 3차년도 단계보고서 · PDF 45쪽

241227 3차년도 단계보고서 · PDF 35쪽

221227 1차년도 연차보고서 · PDF 48쪽

NeurIPS 2022 · 본학회2022 / 02

데이터 편향을 줄이는 선택적 학습

SelecMix

편향 완화상충하는 표본 쌍을 골라 학습

편향과 라벨의 상관관계를 약화하는 선택적 mixup; 노이즈 라벨 조건도 평가.

정제 대상을 데이터의 오류뿐 아니라 편향으로 확장하며, 데이터 선택을 통한 강건한 학습 기반을 제공합니다.

데이터 정제
왜 우수한가 · 검증 근거 보기
기존 기술의 한계
라벨과 배경 등 우연한 특징이 강하게 연관되면, 모델은 목표 개념 대신 데이터 편향을 학습합니다.
새롭게 기여한 점
같은 라벨·다른 편향 또는 다른 라벨·같은 편향을 가진 표본 쌍을 선택해 혼합하는 방법을 제안했습니다.
어디까지 검증했나
표준 편향 벤치마크와 라벨 노이즈 조건에서 비교 실험을 수행했습니다.
선정 이유
NeurIPS 본학회 발표와 데이터 선택 규칙의 명확한 신규성을 근거로 선정했습니다.

데이터 파일의 라벨을 직접 수정하는 도구가 아니라, 편향의 학습 영향을 줄이는 알고리즘입니다.

논문·검증 기록
과제 보고서 연결 근거

241227 3차년도 단계보고서 · PDF 46쪽

221227 1차년도 연차보고서 · PDF 48쪽

EMNLP 2022 · 본학회2022 / 03

정답 구간 주석 없이 학습하는 비디오 검색

MPGN

구간 주석 없이의사 질의로 비디오 검색 학습

TVR 벤치마크에서 영상·자막 기반 의사 질의의 유효성 검증.

대규모 비디오에서 필요한 지식을 검색하기 위한 수작업 주석 의존도를 낮췄습니다.

장면과 비디오 이해
왜 우수한가 · 검증 근거 보기
기존 기술의 한계
자연어로 비디오 속 특정 순간을 검색하려면 질의별 정답 시간 구간을 사람이 주석해야 했습니다.
새롭게 기여한 점
자막으로 후보 구간을 추출하고 영상·텍스트 정보를 이용해 의사 질의를 만들어 자기지도 학습에 활용합니다.
어디까지 검증했나
TVR에서 지도학습 및 비지도 비교 모델을 대상으로 검색 성능을 검증했습니다.
선정 이유
EMNLP 본학회 발표와 질문 생성·지식 검색을 연결하는 직접적인 기여가 확인됩니다.

영상과 자막은 사용합니다. 모든 데이터나 감독 정보가 불필요하다는 의미는 아닙니다.

논문·검증 기록
과제 보고서 연결 근거

241227 3차년도 단계보고서 · PDF 45쪽

221227 1차년도 연차보고서 · PDF 48쪽

ACCV 2022 · 본학회2022 / 04

긴 영상을 의미 있는 장면으로 분할

BaSSL

장면 경계 학습MovieNet-SSeg에서 성능 검증

논문 발표 당시 비교 방법 대비 우수한 장면 분할 결과를 보고.

비디오 지식 추출과 후속 질의응답에 필요한 시간적 단위를 마련했습니다.

장면과 비디오 이해
왜 우수한가 · 검증 근거 보기
기존 기술의 한계
단순 샷 전환 검출만으로는 긴 영상의 의미 단위인 장면 경계를 파악하기 어렵습니다.
새롭게 기여한 점
의사 장면 경계와 세 가지 경계 인식 사전학습 과제로 장면 내부 유사성과 장면 간 차이를 학습합니다.
어디까지 검증했나
MovieNet-SSeg 비교 실험과 구성요소 분석을 수행하고 코드를 공개했습니다.
선정 이유
국제학술대회 발표와 공개 구현, 장면 단위 지식체계의 기반 기여를 함께 평가했습니다.

ACCV 개최·발표 연도인 2022년에 배치했습니다. Springer 논문집 발행연도 2023과 구분합니다.

논문·검증 기록
과제 보고서 연결 근거

241227 3차년도 단계보고서 · PDF 45쪽

241227 3차년도 단계보고서 · PDF 29쪽

221227 1차년도 연차보고서 · PDF 48쪽

2023 스스로 확장하는 학습

합성 대화·지속학습·미지 입력 탐지로 지식과 학습 범위를 넓혔습니다.

CVPR 2023 · 본학회2023 / 01

스스로 대화를 생성해 시각 질의응답을 확장

Generative Self-Training

120만 → 1,290만질의응답 학습 데이터 확장

논문 GST 설정의 QA 쌍 규모. 모두 사람이 직접 작성한 정답 데이터라는 의미는 아닙니다.

질문과 답을 생성해 학습 자원을 확장하는 성장학습의 구체적 구현입니다.

장면과 비디오 이해
왜 우수한가 · 검증 근거 보기
기존 기술의 한계
시각 대화 모델은 기존 라벨 데이터에 의존해 학습 규모를 늘리기 어려웠습니다.
새롭게 기여한 점
웹 이미지 선별, 합성 대화 생성, 생성 문장의 불확실도에 기반한 데이터 선택과 모달 일관성 학습을 하나의 자기학습 절차로 연결했습니다.
어디까지 검증했나
VisDial v1.0·v0.9, 적대적 공격 및 적은 데이터 조건에서 평가하고 코드를 공개했습니다.
선정 이유
CVPR 본학회 발표, 대규모 QA 확장, 성능·강건성 검증을 갖춘 성과입니다.

신규성 평가는 발표 당시 논문의 선행연구 비교에 근거합니다.

논문·검증 기록
과제 보고서 연결 근거

241227 3차년도 단계보고서 · PDF 46쪽

231226 2차년도 연차보고서 · PDF 50, 51, 52쪽

CVPR 2023 · 본학회2023 / 02

낯선 입력을 알아차리는 특징 블록 선택

FeatureNorm / NormRatio

불확실성 지각마지막 층 대신 적합한 특징 블록 선택

CIFAR10·ImageNet과 여러 네트워크에서 분포 밖 입력 탐지를 검증.

의료 분류 등에서 “알지 못하는 입력”을 먼저 인지하는 기반 기술입니다.

의료진단 의사결정 지원미국 출원 · 2023
왜 우수한가 · 검증 근거 보기
기존 기술의 한계
모델의 최종 출력은 낯선 입력에도 높은 확신을 보일 수 있어, 마지막 층만으로는 미지 입력을 구별하기 어렵습니다.
새롭게 기여한 점
직소 이미지로 의사 미지 입력을 만들고, 알려진 입력과의 특징 크기 차이가 큰 블록을 선택합니다.
어디까지 검증했나
복수 데이터셋·네트워크의 탐지 성능을 평가했으며 관련 미국 출원도 기관 연구실 자료에서 확인했습니다.
선정 이유
CVPR 본학회 발표, 설명 가능한 블록 선택 원리, 미국 출원 근거를 함께 갖췄습니다.

일반 영상 벤치마크의 결과이며 임상 진단 정확도를 직접 입증하는 결과는 아닙니다.

논문·검증 기록

미국 출원 · 2023 · 18/518159
출원번호·제목을 기관 연구실 목록과 보고서로 대조. 등록 우수성으로 가산하지 않음. 출원 근거 ↗ · DB ↗

과제 보고서 연결 근거

241227 3차년도 단계보고서 · PDF 46쪽

241227 3차년도 단계보고서 · PDF 30쪽

231226 2차년도 연차보고서 · PDF 50, 51, 52쪽

ICLR 2023 · 본학회2023 / 03

과제 경계 없이 계속 배우는 온라인 학습

Scheduled Data Prior

경계 없는 학습지식 유지와 새 지식 획득을 함께 평가

CIFAR-10·CIFAR-100·TinyImageNet·ImageNet의 네 벤치마크.

질문을 통해 새 지식을 얻은 뒤 기존 지식을 유지해야 하는 성장 에이전트의 학습 기반입니다.

실세계와 절차 이해
왜 우수한가 · 검증 근거 보기
기존 기술의 한계
연속학습 연구는 과제가 명확히 나뉜다는 가정을 두는 경우가 많아, 점진적으로 변하는 실제 데이터 흐름을 충분히 반영하지 못했습니다.
새롭게 기여한 점
과제 경계가 없는 온라인 학습 설정과 지식 손실·획득 지표를 제시하고, 과거 지식의 전달 강도를 일정에 따라 조절합니다.
어디까지 검증했나
연속·주기적 데이터 흐름과 기존 과제 분할 조건을 네 벤치마크에서 평가하고 코드를 공개했습니다.
선정 이유
ICLR 본학회 발표와 현실적인 문제 설정, 학습 방법 및 평가 지표의 결합을 높게 평가했습니다.

이 성과 자체가 질문 정책을 구현한 것은 아니며, 지속 성장의 기반 학습 기술로 배치했습니다.

논문·검증 기록
과제 보고서 연결 근거

241227 3차년도 단계보고서 · PDF 46쪽

241227 3차년도 단계보고서 · PDF 35쪽

231226 2차년도 연차보고서 · PDF 50, 51, 52쪽

ICCV 2023 · 본학회2023 / 04

행동으로 바뀐 환경을 기억하는 작업계획

CAPEAM

계획 + 환경 기억작업 맥락과 물체 상태 변화를 연결

ALFRED의 본 환경·미지 환경에서 탐색과 물체 상호작용을 평가.

관찰한 세계의 지식을 갱신하며 절차를 실행하는 기반을 강화했습니다.

실세계와 절차 이해
왜 우수한가 · 검증 근거 보기
기존 기술의 한계
에이전트가 이미 옮긴 물체의 위치나 상태 변화를 잊으면 후속 행동과 탐색에 오류가 발생합니다.
새롭게 기여한 점
작업에 필요한 객체 맥락을 계획에 반영하고, 행동 이후 달라진 물체 위치·상태를 기억해 다음 행동에 활용합니다.
어디까지 검증했나
장기 지시 수행 벤치마크에서 탐색·상호작용 및 환경 일반화 성능을 검증했습니다.
선정 이유
ICCV 본학회 발표와 지식 갱신·절차 수행을 함께 다룬 기여를 근거로 선정했습니다.

시뮬레이션 벤치마크 검증이며 실물 로봇의 서비스 완성도를 뜻하지 않습니다.

논문·검증 기록
  • Context-Aware Planning and Environment-Aware Memory for Instruction Following Embodied Agents DB 검증 기록 ↗
과제 보고서 연결 근거

241227 3차년도 단계보고서 · PDF 46쪽

241227 3차년도 단계보고서 · PDF 36쪽

231226 2차년도 연차보고서 · PDF 50, 51, 52쪽

CVPR 2023 · 본학회2023 / 05

스케치로 형태와 공간 관계를 보존

Learning by Sketching

기하 정보 보존그리기를 통한 시각 표상 학습

스케치 정답 데이터 없이 학습하고 형태·위치 정보의 보존을 이론과 실험으로 분석.

실세계 객체를 언어·행동과 연결할 때 필요한 형태와 공간 관계의 표현 기반을 제공합니다.

실세계와 절차 이해
왜 우수한가 · 검증 근거 보기
기존 기술의 한계
일반적인 시각 표상은 배경 등 불필요한 특징에 치우치거나 형태·위치 관계를 명시적으로 보존하지 못할 수 있습니다.
새롭게 기여한 점
영상을 색상 획의 집합으로 바꾸는 표현을 학습하고, 아핀 변환에 대한 등변성으로 기하 정보 보존을 설명합니다.
어디까지 검증했나
CLEVR 객체 속성 분류, CLEVR–STL-10 도메인 전이와 여러 후속 과제를 평가했습니다.
선정 이유
CVPR 본학회 발표, 표상 설계의 신규성, 이론·다중 과제 검증을 갖췄습니다.

로봇 작업 성공률을 직접 검증한 성과가 아닌 시각 인지 기반 기술입니다.

논문·검증 기록
과제 보고서 연결 근거

241227 3차년도 단계보고서 · PDF 46쪽

231226 2차년도 연차보고서 · PDF 50, 51, 52쪽

2024 신뢰도와 검증 체계

의료 데이터 정제, 환경 적응과 자동 평가를 통해 검증 범위를 넓혔습니다.

NeurIPS 2024 · 본학회2024 / 01

오류 라벨에도 강건한 의료 영상 학습

CUFIT

4개 의료 벤치마크오류 라벨 환경의 분류·정제 성능 검증

HAM10000·APTOS-2019·BloodMNIST·OrganCMNIST. 논문에서 노이즈율 40% 조건의 비교 우위를 보고.

데이터 정제와 의료진단 지원을 연결해, 오류가 포함된 데이터로도 신뢰할 수 있는 모델을 학습하는 기반을 확보했습니다.

데이터 정제의료진단 의사결정 지원
왜 우수한가 · 검증 근거 보기
기존 기술의 한계
기존 오류 라벨 선별 방법은 처음부터 학습하는 모델을 가정해, 사전학습된 시각 기반 모델의 장점을 충분히 활용하지 못했습니다.
새롭게 기여한 점
선형 분류기와 두 어댑터를 순차적으로 학습하고, 앞 단계가 고른 정제 표본을 다음 단계로 전달하는 커리큘럼을 제안했습니다.
어디까지 검증했나
네 의료 영상 벤치마크에서 분류 성능과 노이즈 라벨 검출을 분석하고 코드를 공개했습니다.
선정 이유
NeurIPS 본학회 발표, 의료 분야의 직접적 문제 해결, 복수 벤치마크 검증을 갖춘 대표성과입니다.

공개 데이터셋에서의 알고리즘 검증입니다. 임상시험·의료기기 허가 또는 실제 진료 효과를 뜻하지 않습니다.

논문·검증 기록
  • Curriculum Fine-tuning of Vision Foundation Model for Medical Image Classification Under Label Noise DB 검증 기록 ↗
과제 보고서 연결 근거

241227 3차년도 단계보고서 · PDF 47쪽

241227 3차년도 단계보고서 · PDF 31, 41쪽

ICLR 2024 · 본학회2024 / 02

언어 기반 작업계획을 자동으로 비교·평가

LoTa-Bench

2개 실행 환경계획의 실행 성능을 자동 평가

ALFRED–AI2-THOR와 확장 Watch-And-Help–VirtualHome 조합.

질문·피드백 기반 계획의 개선 효과를 재현 가능하게 검증하는 과제의 실험 기반입니다.

실세계와 절차 이해
왜 우수한가 · 검증 근거 보기
기존 기술의 한계
LLM 기반 작업계획은 모델·프롬프트·평가 환경이 달라 성능을 공정하게 비교하기 어려웠습니다.
새롭게 기여한 점
계획을 시뮬레이터에서 실행하고 결과를 자동 측정하는 공통 평가 체계를 제시했습니다.
어디까지 검증했나
두 데이터셋·시뮬레이터 조합에서 다양한 LLM과 프롬프트를 비교했습니다.
선정 이유
ICLR 본학회 발표와 개별 알고리즘을 넘어선 공통 평가 인프라의 기여를 평가했습니다.

벤치마크의 완성도이며 상용 가정용 로봇 서비스의 완성을 의미하지 않습니다.

논문·검증 기록
과제 보고서 연결 근거

241227 3차년도 단계보고서 · PDF 47쪽

241227 3차년도 단계보고서 · PDF 38, 40쪽

CVPR 2024 · 본학회2024 / 03

운용 환경이 바뀌어도 적응하는 모델

DPLOT

라벨 없이 적응블록 선택과 두 시점 의사 라벨의 결합

CIFAR10-C·CIFAR100-C·ImageNet-C의 환경 변화 조건에서 검증.

추가 정답 라벨 확보가 어려운 운용 환경에서 불확실성 대응과 모델 갱신을 지원합니다.

의료진단 의사결정 지원
왜 우수한가 · 검증 근거 보기
기존 기술의 한계
배포 이후 환경이 달라질 때, 품질이 낮은 의사 라벨로 재학습하면 장기 적응 성능이 악화됩니다.
새롭게 기여한 점
환경에 민감한 특징 블록만 선택해 조정하고 원본·좌우 반전 이미지의 예측을 결합해 의사 라벨을 생성합니다.
어디까지 검증했나
세 손상 이미지 벤치마크에서 기존 시험 시점 적응 방법과 비교하고 구성요소를 분석했습니다.
선정 이유
CVPR 본학회 발표, 단순하고 구현 가능한 적응 절차, 복수 환경 검증을 근거로 선정했습니다.

일반 영상 벤치마크의 성능을 의료 임상 성능으로 환산하지 않습니다.

논문·검증 기록
  • Domain-Specific Block Selection and Paired-View Pseudo-Labeling for Online Test-Time Adaptation DB 검증 기록 ↗
과제 보고서 연결 근거

241227 3차년도 단계보고서 · PDF 47쪽

241227 3차년도 단계보고서 · PDF 34, 35쪽

AAAI 2024 · 본학회2024 / 04

중복을 덜어 클래스 불균형을 완화

DUEL

능동 메모리데이터 다양성을 유지하는 중복 제거

자기지도 사전학습 중 메모리의 중복 표본을 교체해 클래스 편향 완화.

저장·선택 단계에서 데이터 품질을 관리해 제한된 학습 자원으로 다양한 지식을 유지합니다.

데이터 정제
왜 우수한가 · 검증 근거 보기
기존 기술의 한계
원시 데이터의 빈번한 클래스가 메모리를 점유하면 자기지도 학습도 다수 클래스에 편향됩니다.
새롭게 기여한 점
메모리 내 데이터의 구별 가능성을 측정하고, 가장 중복된 표본을 새 표본으로 교체하는 능동 필터링을 도입했습니다.
어디까지 검증했나
클래스 불균형 조건의 후속 과제 성능과 메모리 정책의 효과를 분석했습니다.
선정 이유
AAAI 본학회 발표와 데이터 선택·저장 품질을 직접 다룬 기여가 확인됩니다.

2022년 워크숍 원고와 구분하여 2024년 정식 학술대회 발표를 기준으로 선정했습니다.

논문·검증 기록
  • DUEL: Duplicate Elimination on Active Memory for Self-Supervised Class-Imbalanced Learning DB 검증 기록 ↗
과제 보고서 연결 근거

241227 3차년도 단계보고서 · PDF 48쪽

ACL 2024 · 본학회2024 / 05

AI 피드백으로 비디오 응답을 개선

VLM-RLAIF

AI 피드백 학습영상 맥락을 반영한 선호도·보상 학습

여러 비디오 벤치마크에서 지도 미세조정 모델 등과 비교.

외부의 수작업 정답에만 의존하지 않고 피드백을 모델 개선으로 연결하는 성장학습 경로를 넓혔습니다.

장면과 비디오 이해
왜 우수한가 · 검증 근거 보기
기존 기술의 한계
영상 지시 데이터의 양과 품질이 충분하지 않아, 지도 미세조정만으로는 영상 내용과 응답을 잘 정렬하기 어렵습니다.
새롭게 기여한 점
상세 영상 설명을 선호도 평가에 제공하고, AI의 피드백을 보상 학습과 강화학습에 활용합니다.
어디까지 검증했나
복수 비디오 벤치마크에서 기존 방법 및 지도 미세조정 모델과의 성능 차이를 평가했습니다.
선정 이유
ACL 본학회 발표와 비디오 맥락을 포함한 피드백 학습의 신규성을 근거로 선정했습니다.

논문의 AI 선호 피드백 학습이며, 사용자와의 질의응답 정책 자체를 검증한 것은 아닙니다.

논문·검증 기록
  • Tuning Large Multimodal Models for Videos using Reinforcement Learning from AI Feedback DB 검증 기록 ↗
과제 보고서 연결 근거

241227 3차년도 단계보고서 · PDF 48쪽

2025 질문에서 실제 행동으로

응답 가능성 판단과 자문자답 추론을 고도화하고 실제 로봇까지 검증했습니다.

ICLR 2025 · 본학회2025 / 01

답할 수 없는 비디오 질문을 알아차리다

Alignment for Answerability

응답 가능성 정렬영상 근거가 없으면 답변을 보류

학습 데이터 구축, 정렬 방법, 정렬 전후 평가 지표를 함께 제안.

“모르는 것을 알아차리는 능력”을 비디오 언어모델의 측정 가능한 기능으로 구체화했습니다.

장면과 비디오 이해
왜 우수한가 · 검증 근거 보기
기존 기술의 한계
기존 Video LLM은 영상에서 답할 수 있는 질문 위주로 학습해, 영상 범위를 벗어난 질문에도 답하는 경향이 있습니다.
새롭게 기여한 점
답할 수 있는지 판단하고 부적절한 질문에는 응답을 거절하도록 정렬하는 학습·평가 프레임워크를 제시했습니다.
어디까지 검증했나
기존 영상–설명 데이터로 응답 가능성 학습 데이터를 생성하고, 정렬 전후 행동을 지표로 평가했습니다.
선정 이유
ICLR 본학회 발표와 과제 핵심 목표에 대한 직접성, 데이터·학습·평가의 결합이 선정 근거입니다.

모든 종류의 환각이 해결됐다는 의미는 아니며, 영상과 질문의 응답 가능성에 초점을 둡니다.

논문·검증 기록
  • Can Video LLMs Refuse to Answer? Alignment for Answerability in Video Large Language Models DB 검증 기록 ↗
과제 보고서 연결 근거

251224 4차년도 연차보고서 · PDF 35쪽

251224 4차년도 연차보고서 · PDF 71쪽

EMNLP 2025 · 본학회2025 / 02

질문을 만들고 답을 다시 검토하는 추론

C2R · INQUIRER

추가 훈련 없이보조 질문과 신뢰도로 답변 정제

C2R: 텍스트·이미지·비디오 QA의 여러 모델과 벤치마크에서 평가.

지식체계 기반 질문 생성과 질문을 통한 답변 개선이라는 과제의 핵심 연구를 구체화했습니다.

장면과 비디오 이해
왜 우수한가 · 검증 근거 보기
기존 기술의 한계
보조 질문을 많이 만드는 것만으로는 답이 좋아지지 않으며, 생성 질문의 다양성과 품질도 관리해야 합니다.
새롭게 기여한 점
C2R은 보조 질문·답의 후보를 구성하고 신뢰도로 최종 답을 선택합니다. 관련 성과 INQUIRER는 내부 지식그래프로 다양한 비디오 질문을 생성·정제합니다.
어디까지 검증했나
C2R은 여러 QA 모델·영역에서 평가했고, INQUIRER는 DramaQA·TVQA·How2QA·STAR에서 질문 생성과 후속 QA를 검증했습니다.
선정 이유
EMNLP 본학회와 Knowledge-Based Systems 게재, 질문 생성·답변 정제의 직접적 기여를 한 연구 주제의 성과로 묶었습니다.

C2R과 INQUIRER는 별개 방법입니다. 두 방법을 결합한 단일 시스템의 성능으로 표시하지 않습니다.

논문·검증 기록
과제 보고서 연결 근거

251224 4차년도 연차보고서 · PDF 34쪽

251224 4차년도 연차보고서 · PDF 29쪽

251224 4차년도 연차보고서 · PDF 33쪽

ICCV 2025 · 본학회2025 / 03

배우지 않은 객체·행동 조합까지 이해

Zero-shot Compositional Video Learning

새 조합으로 일반화공간·시간 개념을 분리하고 재결합

영상·이미지의 세 조합 일반화 벤치마크에서 평가.

기존 개념을 조합해 새로운 상황을 이해하도록 지식체계의 일반화 능력을 확장했습니다.

장면과 비디오 이해
왜 우수한가 · 검증 근거 보기
기존 기술의 한계
대형 시각언어모델도 학습한 객체와 행동의 새로운 조합을 이해하는 데 한계를 보입니다.
새롭게 기여한 점
정보이론의 coding rate reduction을 이용해 공간·시간 정보를 분리한 표상을 학습합니다.
어디까지 검증했나
세 조합 일반화 벤치마크와 표현의 해석 가능성 분석으로 방법을 검증했습니다.
선정 이유
ICCV 본학회 발표, 정보이론 기반 표상 설계, 새로운 개념 조합에 대한 검증을 평가했습니다.

발표 당시 비교 실험 범위의 일반화 성과이며, 모든 미지 상황에 대한 일반지능을 입증한 것은 아닙니다.

논문·검증 기록
과제 보고서 연결 근거

251224 4차년도 연차보고서 · PDF 35쪽

251224 4차년도 연차보고서 · PDF 30쪽

ICRA 2025 · 본학회2025 / 04

자문자답과 시각 피드백으로 장기 임무 수행

Socratic Planner

실물 로봇 검증자문자답 계획에서 시각 기반 재계획까지

ALFRED 비교 실험과 물리적 로봇의 장기 과제 실행을 논문에서 보고.

질문 기반 추론을 환경 관찰과 실행 수정에 연결해 실세계·절차 이해의 완성도를 높였습니다.

실세계와 절차 이해
왜 우수한가 · 검증 근거 보기
기존 기술의 한계
복합 지시를 여러 하위 목표로 분해하고, 실행 중 예상치 못한 상황에 맞춰 계획을 바꾸는 일이 어렵습니다.
새롭게 기여한 점
LLM의 자문자답으로 작업 정보를 분해하고, 실행 중 시각 피드백을 이용해 계획을 수정합니다.
어디까지 검증했나
ALFRED의 장기 과제와 실제 로봇 배치를 통해 수행 가능성을 검증했습니다.
선정 이유
ICRA 정식 발표, 질문 기반 계획의 직접성, 시뮬레이션을 넘어선 물리적 로봇 검증을 근거로 선정했습니다.

논문이 보고한 실험실 로봇 검증이며, 일반 가정에서의 장기간 상용 서비스 검증은 아닙니다.

논문·검증 기록
  • Socratic Planner: Self-QA-Based Zero-Shot Planning for Embodied Instruction Following DB 검증 기록 ↗
과제 보고서 연결 근거

251224 4차년도 연차보고서 · PDF 34쪽

RSS 2025 · 본학회2025 / 05

사람의 말로 로봇 행동을 가르치다

CLIP-RT

1B 파라미터자연어 감독을 실제 로봇 정책으로

논문은 7B OpenVLA와 비교한 실물 로봇 평가 및 LIBERO 시뮬레이션 평가를 보고.

사람이 제공하는 언어 정보를 로봇의 실행 가능한 행동 지식으로 전환했습니다.

실세계와 절차 이해
왜 우수한가 · 검증 근거 보기
기존 기술의 한계
로봇 시연 데이터 수집에는 전문 조작 기술이나 특수 장비가 필요해 비전문가 참여가 어렵습니다.
새롭게 기여한 점
자연어 지시로 시연을 수집·증강하고, CLIP을 활용한 대조 모방학습으로 언어 조건 행동 정책을 학습합니다.
어디까지 검증했나
실물 로봇의 새로운 조작 기술, 소수 예제 일반화·협력 시나리오와 LIBERO를 평가했습니다.
선정 이유
RSS 본학회 발표, 경량 정책 설계, 실물 로봇까지 이어진 검증으로 완성도를 높게 평가했습니다.

1B 대 7B는 비교 모델의 파라미터 수입니다. 모든 과제의 속도나 학습비용이 7배 개선됐다는 뜻은 아닙니다.

논문·검증 기록
  • CLIP-RT: Learning Language-Conditioned Robotic Policies from Natural Language Supervision DB 검증 기록 ↗
과제 보고서 연결 근거

251224 4차년도 연차보고서 · PDF 35쪽

2025년까지의 성과 · 외부 근거 확인 2026-10-05 · 선정은 공개 근거에 기반한 편집적 판단이며 공식 수상·등급을 뜻하지 않습니다.

03 / 연구 주제와 발전 과정

문제에서 방법으로, 방법에서 성과로

성과 검증 DB ↗공개 데이터 JSON

17개 연구 주제 · 제목을 열면 연차별 연구내용과 대표 성과를 볼 수 있습니다.

연도 필터는 연구활동의 수행연도를 기준으로 합니다. 관련 성과는 주제의 맥락을 위해 함께 표시하며, 논문 발표연도는 별도로 표기합니다.

01멀티모달 지식그래프 구축·결합·검색서로 다른 모달리티와 긴 시간 맥락의 지식을 일관되게 표현·검색
지식체계 구축장면과 비디오 이해

장면·인물·상식 그래프의 결합에서 과제별 검색과 새 개념 조합으로 확장

참여 연구기관 · 한양대학교 · 서울대학교

2022

세 종류 지식그래프 정의

당시의 문제
드라마의 장면·상식·인물 정보를 결합할 표현 필요
개발한 방법
장면 그래프, 일반 지식 체계, 인물 그래프 정의 및 추출; Cross Graph Attention 설계
기술적 기여
멀티모달 지식 통합의 표현 단위와 결합 기반 확보
보고서 근거

241227 3차년도 단계보고서
PDF 29쪽

2023

이질 그래프 결합

당시의 문제
외부 지식이 필요한 VQA에서 그래프 간 상호참조
개발한 방법
Heterogeneous Graph 3종을 Cross-Attention Transformer로 결합; 구조·지역 특징 기반 그래프 거리 연구
기술적 기여
단일 장면 정보를 외부 지식과 결합하는 추론 기반 마련
보고서 근거

241227 3차년도 단계보고서
PDF 29쪽

2024

과제별 그래프 검색과 확장

당시의 문제
긴 시계열에서 필요한 지식 검색 및 미학습 개념 처리
개발한 방법
그래프 기반 RAG와 long-term graph 학습; 멀티모달 대화 생성 및 zero-shot 행동 이해
기술적 기여
대용량 지식 활용과 신규 개념 조합 이해로 확장
보고서 근거

241227 3차년도 단계보고서
PDF 29쪽

2025

시간·공간 개념 분리와 조합

당시의 문제
학습하지 않은 객체-행위 조합 이해
개발한 방법
시간(행위)·공간(객체) 잠재 표현과 암묵적 검색을 이용한 Transformer 개발
기술적 기여
새로운 개념 조합으로 일반화하는 지식체계 학습
보고서 근거

251224 4차년도 연차보고서
PDF 30쪽

이 연구를 더 살펴보려면

논문2024 발표·게재

Structure-aware Multimodal Sequential Learning for Visual Dialog

구조화된 멀티모달 시계열 지식을 대화 생성에 활용한다.

보고서 본문과 논문 제목을 대조한 연결

AAAI 2024 (IF4, Top10)

논문2025 발표·게재

Zero-Shot Compositional Video Learning with Coding Rate Reduction

객체와 행위 개념을 분리·조합하여 미학습 객체-행위 조합을 이해한다.

보고서 본문과 논문 제목을 대조한 연결

ICCV

관련 특허2024

인공지능 대화 모델을 구축하는 대화 모델 구축 장치 및 방법

관련 기술 주제: 멀티모달 지식그래프 구축·결합·검색

특허 제목과 출원·등록번호에 기반한 주제 연결

대한민국

관련 특허2023

멀티 모달 비디오 씬 그래프를 구축하는 장치 및 방법

관련 기술 주제: 멀티모달 지식그래프 구축·결합·검색

특허 제목과 출원·등록번호에 기반한 주제 연결

대한민국

관련 특허2023

비디오 스토리 설명문 생성모델의 학습 방법 및 이를 수행하기 위한 컴퓨팅 장치

관련 기술 주제: 멀티모달 지식그래프 구축·결합·검색

특허 제목과 출원·등록번호에 기반한 주제 연결

대한민국

관련 특허2022

지식 기반 질의 응답을 위한 구조적 주의 집중 기제 기반의 추론 방법 및 이를 수행하기 위한 컴퓨팅 장치

관련 기술 주제: 멀티모달 지식그래프 구축·결합·검색

특허 제목과 출원·등록번호에 기반한 주제 연결

대한민국

공개 SW

긴 비디오 질의 응답에 필요한 지식 체계 검색 기술 개발

장면·인물·상식 그래프의 결합에서 과제별 검색과 새 개념 조합으로 확장

공개 자산의 제목·용도와 연구 주제를 대조한 연결

한양대학교

공개 SW

멀티모달 구축을 위한 장면 그래프 생성

장면·인물·상식 그래프의 결합에서 과제별 검색과 새 개념 조합으로 확장

공개 자산의 제목·용도와 연구 주제를 대조한 연결

한양대학교

공개 SW

멀티모달 구축을 위한 지식 그래프 생성

장면·인물·상식 그래프의 결합에서 과제별 검색과 새 개념 조합으로 확장

공개 자산의 제목·용도와 연구 주제를 대조한 연결

한양대학교

02비디오 시간·공간 표상과 장면 이해장면 경계·사건 순서·객체와 행동의 조합 및 시간적 일관성
지식체계 구축장면과 비디오 이해

영상 지식체계에 사용할 표상과 장면·행동 이해 기반 확보

참여 연구기관 · 한양대학교 · 서울대학교

2022

장면 경계와 영상 표상

당시의 문제
시간적 일관성과 장면 단위의 분할
개발한 방법
BaSSL과 비디오 장면 그래프 생성 연구
기술적 기여
지식 추출에 필요한 시간적 장면 구획 기반 제공
보고서 근거

241227 3차년도 단계보고서
PDF 29, 45쪽

2023

비디오 이벤트 이해 기반

당시의 문제
영상 이벤트의 시간 위치와 맥락 이해
개발한 방법
모달별 의사 쿼리 기반 이벤트 검색 및 장면 사이 관계 학습
기술적 기여
영상에서 지식 검색의 시간적 근거 개선
보고서 근거

241227 3차년도 단계보고서
PDF 37쪽

2024

구조화된 시공간 조합 이해

당시의 문제
새로운 행동·객체 조합 일반화
개발한 방법
Spatiotemporal 구조 Transformer와 영상 표상 학습
기술적 기여
객체-행동 관계의 조합적 이해 지원
보고서 근거

241227 3차년도 단계보고서
PDF 29, 47쪽

2025

영상 시간 이해 일관성

당시의 문제
긴 비디오와 시간 관계의 일관된 해석
개발한 방법
시간 이해 일관성 분석, moment retrieval, 객체 운동학 비디오 예측 연구
기술적 기여
시간·운동 정보를 다루는 비디오 지식 기반 강화
보고서 근거

251224 4차년도 연차보고서
PDF 34, 35쪽

이 연구를 더 살펴보려면

논문2022 발표·게재

BaSSL: Boundary-aware Self-Supervised Learning for Video Scene Segmentation

자기지도 장면 경계 학습으로 비디오의 장면 단위 지식 추출 기반을 제공한다.

보고서 본문과 논문 제목을 대조한 연결

ACCV14) ‘22

논문2024 발표·게재

Compositional Video Understanding with Spatiotemporal Structured-based Transformers

시공간 구조 표상으로 미학습 객체·행동 조합 이해를 지원한다.

보고서 본문과 논문 제목을 대조한 연결

CVPR 2024 (IF4, Top10)

공개 SW

vlm-rlaif

영상 지식체계에 사용할 표상과 장면·행동 이해 기반 확보

공개 자산의 제목·용도와 연구 주제를 대조한 연결

서울대학교

03비디오 질의 응답 가능성·모호성·시간 불확실성영상에 근거가 없거나 관계·시간 정보가 모호한 질문에 대한 과신
불확실성 지각장면과 비디오 이해

대답 불가능성 판단과 근거 제시, 정렬 학습, 키프레임 선택으로 신뢰성 향상

참여 연구기관 · 한국과학기술원

2022

이미지 질의 응답 가능성 판단

당시의 문제
존재하지 않는 물체를 묻는 질문
개발한 방법
BERT 계열 언어모델로 물체 중심 대답 가능성 판단과 근거 출력; GQA 기반 데이터 구축
기술적 기여
답할 수 없는 질문의 명시적 인지 기반
보고서 근거

241227 3차년도 단계보고서
PDF 31쪽

2023

비디오 응답 가능성으로 확장

당시의 문제
시간을 포함한 영상의 물체 질문
개발한 방법
비디오 압축 및 DramaQA 장면 그래프를 활용한 판단; 27K/5K 데이터 구축
기술적 기여
이미지 수준 불확실성 판단을 비디오로 확장
보고서 근거

241227 3차년도 단계보고서
PDF 31, 32쪽

2024

Video LLM 응답 가능성 정렬

당시의 문제
물체·관계·특징에 대한 환각 응답
개발한 방법
UVQA 구성 및 비디오 언어모델의 응답 가능성 정렬 훈련; 응답 불가능 근거 생성
기술적 기여
모르는 질문에 무리하게 응답하는 동작을 억제
보고서 근거

241227 3차년도 단계보고서
PDF 32, 40쪽

2025

모호성 감지와 질문 기반 프레임 선택

당시의 문제
행위·지각·공간·지시·시간 모호성과 불필요한 입력 프레임
개발한 방법
Ambiguous-VideoQA 5K, 관계 모호성 감지 및 키프레임 선택; 응답 가능성 정렬 논문 발표
기술적 기여
질문의 대답 가능성과 필요한 시각 증거를 함께 다루는 방향으로 확장
보고서 근거

251224 4차년도 연차보고서
PDF 29쪽

이 연구를 더 살펴보려면

논문2025 발표·게재

Can Video LLMs Refuse to Answer? Alignment for Answerability in Video Large Language Models

대답 불가능한 질의를 포함한 데이터로 비디오 언어모델을 정렬하여 응답 신뢰성을 높인다.

보고서 본문과 논문 제목을 대조한 연결

ICLR

관련 특허2025

질의응답인지를 통한 키프레임 셀렉션 기술

관련 기술 주제: 비디오 질의 응답 가능성·모호성·시간 불확실성

특허 제목과 출원·등록번호에 기반한 주제 연결

대한민국 출원

관련 특허2025

비디오 기반의 대답 불가능한 질의 응답 데이터 구축 방법 및 비디오 기반 질의에 대한 응답 시스템

관련 기술 주제: 비디오 질의 응답 가능성·모호성·시간 불확실성

특허 제목과 출원·등록번호에 기반한 주제 연결

대한민국 출원

공개 SW

비디오 기반의 대답이 모호한 질의에 대한 판단 및 추가 정보를 활용한 모호한 질의에 대한 응답 시스템 SW

대답 불가능성 판단과 근거 제시, 정렬 학습, 키프레임 선택으로 신뢰성 향상

공개 자산의 제목·용도와 연구 주제를 대조한 연결

한국과학기술원

공개 SW

비디오 질의응답을 위한 질문 인식 및 합성 지도 기반 키프레임 선택 학습 알고리즘

대답 불가능성 판단과 근거 제시, 정렬 학습, 키프레임 선택으로 신뢰성 향상

공개 자산의 제목·용도와 연구 주제를 대조한 연결

한국과학기술원

데이터셋

Ambiguous-VideoQA

비디오 기반의 모호한 질의와 응답을 다루기 위한 질의응답 데이터셋입니다.

공개 자산의 제목·용도와 연구 주제를 대조한 연결

한국과학기술원

데이터셋

Unanswerable DramaQA

DramaQA 기반 대답 불가능한 질의응답 데이터셋입니다.

공개 자산의 제목·용도와 연구 주제를 대조한 연결

한국과학기술원

데이터셋

Unanswerable GQA

이미지 기반 대답 불가능한 질의응답 데이터셋입니다.

공개 자산의 제목·용도와 연구 주제를 대조한 연결

한국과학기술원

04질문 생성 사후학습·명확화·응답 해석불확실한 개체·지시 표현을 명확하게 질문하고 응답을 지식으로 연결
질문 생성지식체계 구축장면과 비디오 이해

사후학습에서 LoRA·멀티턴 명확화와 relation linking으로 질문-응답-지식 확장 연결

참여 연구기관 · 경희대학교

2022

질문 생성 사후학습

당시의 문제
선학습과 질문 생성 목적의 차이
개발한 방법
질문 특화 post-training, 비디오 질문 생성 참조모델, 응답 정보 추출
기술적 기여
질문 형식에 맞춘 언어모델 적응 기반 확보
보고서 근거

241227 3차년도 단계보고서
PDF 32, 33쪽

2023

불확실한 정보에 대한 질문

당시의 문제
질문의 난이도와 모호한 정보 정의
개발한 방법
FLAN-T5 사후학습, BLIP-2 기반 질의 생성 및 질문 난이도 추정; 정제된 질문 데이터
기술적 기여
정답 기반 생성에서 불확실성 해소 목적의 질문으로 확장
보고서 근거

241227 3차년도 단계보고서
PDF 33쪽

2024

효율적 학습과 응답의 지식화

당시의 문제
큰 언어모델의 훈련 비용 및 기존 그래프와의 연결
개발한 방법
LoRA 사후학습·미세조정, 불확실성 질의 데이터 확장, triple 추출·relation linking
기술적 기여
질문 생성 효율성과 응답을 통한 지식체계 확장 연결
보고서 근거

241227 3차년도 단계보고서
PDF 33쪽

2025

멀티턴 명확화와 스키마 확장

당시의 문제
지시 대명사와 모호한 질문의 반복 해소
개발한 방법
GQA-Q2Q 73K 구축; VLM 미세조정, 명확화 질문, 엔티티 관계 생성·정제
기술적 기여
질문-응답을 반복하며 지식을 획득하고 그래프 스키마 확장
보고서 근거

251224 4차년도 연차보고서
PDF 30쪽

이 연구를 더 살펴보려면

논문2022 발표·게재

Post-Training with Interrogative Sentences for Enhancing BART-based Korean Question Generator

의문문 사후학습으로 질문 생성 과제에 적응한다.

보고서 본문과 논문 제목을 대조한 연결

AACL-IJCNLP17) ‘22

논문2025 발표·게재

반복적 질의응답 기반 명확화 프레임워크를 통한 시각적 질의 응답 내 모호성 해소

명확화 질문과 반복 질의응답을 통해 시각 질의의 모호성을 줄인다.

보고서 본문과 논문 제목을 대조한 연결

정보과학회논문지

관련 특허2025

목표 단어 노이즈 제거를 통한 텍스트 생성 장치 및 텍스트 생성 모델 학습 방법

관련 기술 주제: 질문 생성 사후학습·명확화·응답 해석

특허 제목과 출원·등록번호에 기반한 주제 연결

PCT 출원

관련 특허2025

시각적 질의 응답의 질의 정확도를 향상시키는 방법 및 전자 장치

관련 기술 주제: 질문 생성 사후학습·명확화·응답 해석

특허 제목과 출원·등록번호에 기반한 주제 연결

대한민국 출원

관련 특허2023

비디오 질의 응답을 위한 질의 난이도 추정장치 및 그 방법

관련 기술 주제: 질문 생성 사후학습·명확화·응답 해석

특허 제목과 출원·등록번호에 기반한 주제 연결

대한민국

관련 특허2022

질의문 생성 모델 학습 방법 및 그 장치

관련 기술 주제: 질문 생성 사후학습·명확화·응답 해석

특허 제목과 출원·등록번호에 기반한 주제 연결

대한민국

공개 SW

LBA-DramaQG

사후학습에서 LoRA·멀티턴 명확화와 relation linking으로 질문-응답-지식 확장 연결

공개 자산의 제목·용도와 연구 주제를 대조한 연결

경희대학교

공개 SW

LBA-Q2Q

사후학습에서 LoRA·멀티턴 명확화와 relation linking으로 질문-응답-지식 확장 연결

공개 자산의 제목·용도와 연구 주제를 대조한 연결

경희대학교

공개 SW

post_training_qg

사후학습에서 LoRA·멀티턴 명확화와 relation linking으로 질문-응답-지식 확장 연결

공개 자산의 제목·용도와 연구 주제를 대조한 연결

경희대학교

데이터셋

GQA_SubQ

멀티모달 환경에서 질의의 불확실성을 해소하기 위한 질문 생성 학습 및 평가 데이터셋입니다.

공개 자산의 제목·용도와 연구 주제를 대조한 연결

경희대학교

05지식그래프·자문자답 기반 영상 추론 성장외부 지식과 보조 질문을 활용하면서 불필요한 질문 횟수 억제
질의응답 기반 성장학습질문 생성지식체계 구축불확실성 지각장면과 비디오 이해

자가 질문·신뢰도 기반 답변 정제와 지식그래프 기반 질문 데이터로 VideoQA 성능 개선

참여 연구기관 · 서울대학교

2022

영상 질의응답 성장 태스크 설계

당시의 문제
외부 대상에게 물어 영상 속 인물·물체 지식 획득
개발한 방법
멀티모달 지식 표상 학습 및 상호작용 태스크 설계
기술적 기여
지식 성장 학습을 검증할 문제·플랫폼 기반 정의
보고서 근거

241227 3차년도 단계보고서
PDF 34, 37쪽

2023

Self-Questioning 적용

당시의 문제
기존 VideoQA가 놓친 정보의 보조 질문 확보
개발한 방법
DramaQA에 Self-Questioning 확장 및 보조 질문 쌍 구축
기술적 기여
질문을 통한 정보 보완의 실험 경로 확보
보고서 근거

241227 3차년도 단계보고서
PDF 34쪽

2024

불확실성 기반 다중 보조 질문

당시의 문제
모델 답변의 불확실성과 추론 개선
개발한 방법
답변 불확실성 측정 및 보조 질문 프레임워크; DramaQA 모듈 통합
기술적 기여
VideoQA 정답률 67.4%에서 72.5%로 개선했다고 보고
보고서 근거

241227 3차년도 단계보고서
PDF 34, 37, 41쪽

2025

INQUIRER와 C2R

당시의 문제
질문 종류와 질문 횟수의 효율적 선택
개발한 방법
지식그래프·18개 질문 체계 기반 훈련 데이터 생성, 신뢰도 기반 답변 정제; 실험에서 보조 질문 2개 선택
기술적 기여
지식 기반 질문 훈련과 추론 시 자문자답 정제를 구체화
보고서 근거

251224 4차년도 연차보고서
PDF 29쪽

이 연구를 더 살펴보려면

논문2025 발표·게재

INQUIRER: Harnessing internal knowledge graphs for video question generation

지식그래프와 18개 질문 체계로 질문을 생성·선별하고 VideoQA 모델을 훈련한다.

보고서 본문과 논문 제목을 대조한 연결

Knowledge-Based Systems

논문2025 발표·게재

Confidence-guided Refinement Reasoning for Zero-shot Question Answering

모의 보조 질문과 모델 신뢰도로 답을 정제하고 질문 횟수의 효과를 평가한다.

보고서 본문과 논문 제목을 대조한 연결

EMNLP

관련 특허2025

로짓 기반 다단계 추론 프레임워크를 이용한 시각 질의 응답 장치 및 방법

관련 기술 주제: 지식그래프·자문자답 기반 영상 추론 성장

특허 제목과 출원·등록번호에 기반한 주제 연결

대한민국 출원

관련 특허2025

멀티모달 추론을 위한 지침 학습을 통한 자가 질문 프레임워크

관련 기술 주제: 지식그래프·자문자답 기반 영상 추론 성장

특허 제목과 출원·등록번호에 기반한 주제 연결

대한민국 출원

관련 특허2024

멀티모달 추론을 위한 지침 학습을 통한 자가 질문 프레임워크

관련 기술 주제: 지식그래프·자문자답 기반 영상 추론 성장

특허 제목과 출원·등록번호에 기반한 주제 연결

대한민국

공개 SW

C2R (모델 자기 확신도 기반 효율적인 추론 성능 향상 시스템)

자가 질문·신뢰도 기반 답변 정제와 지식그래프 기반 질문 데이터로 VideoQA 성능 개선

공개 자산의 제목·용도와 연구 주제를 대조한 연결

서울대학교

공개 SW

INQUIRER (인콰이어러: 지식기반 질문생성 시스템 데이터셋)

자가 질문·신뢰도 기반 답변 정제와 지식그래프 기반 질문 데이터로 VideoQA 성능 개선

공개 자산의 제목·용도와 연구 주제를 대조한 연결

서울대학교

공개 SW

Learning by Asking Dataset

자가 질문·신뢰도 기반 답변 정제와 지식그래프 기반 질문 데이터로 VideoQA 성능 개선

공개 자산의 제목·용도와 연구 주제를 대조한 연결

서울대학교

공개 SW

Learning By Asking, based on LAVIS

자가 질문·신뢰도 기반 답변 정제와 지식그래프 기반 질문 데이터로 VideoQA 성능 개선

공개 자산의 제목·용도와 연구 주제를 대조한 연결

서울대학교

공개 SW

스스로 질의응답하며 성장하는 Self-Questioning Framework

자가 질문·신뢰도 기반 답변 정제와 지식그래프 기반 질문 데이터로 VideoQA 성능 개선

공개 자산의 제목·용도와 연구 주제를 대조한 연결

서울대학교

데이터셋

Learning by Asking dataset

캐릭터 간 사실관계와 상식, 고증 등을 학습하고 질의를 통해 지식성장을 검증하는 데이터셋입니다.

공개 자산의 제목·용도와 연구 주제를 대조한 연결

서울대학교

06질의응답 기반 절차계획·계층 추론·평가불완전한 지시와 부분 관찰 하에서 긴 작업 절차의 오류를 발견·수정
지식체계 구축불확실성 지각질문 생성질의응답 기반 성장학습실세계와 절차 이해

LLM 플래너 자동 평가에서 자연어 피드백·ReActQ·계층 계획 및 안전성 평가로 확장

참여 연구기관 · 한국전자통신연구원 · 서울대학교 · 연세대학교

2022

절차 추론 태스크·시뮬레이터

당시의 문제
로봇이 불확실성을 느껴 도움을 요청할 시점
개발한 방법
가정환경 태스크·행동 정의, AI2THOR·VirtualHome 연동, 초기 LLM 플래너 및 Ask4Help
기술적 기여
질문 정책과 절차 실행을 시험할 기본 환경 구축
보고서 근거

221227 1차년도 연차보고서
PDF 46쪽

2023

자연어 피드백과 자동 평가

당시의 문제
LLM이 만든 절차의 실행 가능성 평가 및 실패 복구
개발한 방법
LoTa-Bench 기반 자동 평가; WAH-NL; 자연어 실패 원인으로 재계획
기술적 기여
실행 검증과 피드백 기반 절차 수정의 재현 가능한 기반 마련
보고서 근거

241227 3차년도 단계보고서
PDF 35, 38, 40쪽

2024

ReActQ와 계층적 절차 추론

당시의 문제
장기 복합 임무의 분해와 질문에 의한 오류 수정
개발한 방법
제어흐름·LLM 노드의 계층 계획, 추론-행동-질문 ReActQ, 응답 오라클 개발
기술적 기여
WAH-NL에서 질의응답을 통해 성공률 23%→39% 보고
보고서 근거

241227 3차년도 단계보고서
PDF 35, 38, 41쪽

2025

질문 정책·ReAcTree·부분관찰 평가

당시의 문제
질문 비용과 장기 임무 성공률 및 안전 제약
개발한 방법
질문 시점·내용·이유 2.1K 데이터, ReActQ, 동적 트리 계획 ReAcTree; 부분관찰·안전 계획 연구
기술적 기여
질문 시점·내용을 정책 학습 데이터로 구체화하고, 동적 트리 확장을 통해 장기 임무의 계획·실행을 개선
보고서 근거

251224 4차년도 연차보고서
PDF 28, 33, 34쪽

이 연구를 더 살펴보려면

논문2022 발표·게재

Ask4Help: Learning to Leverage an Expert for Embodied Tasks

전문가 도움 요청 정책을 학습하여 적은 개입으로 체화 태스크 성공률을 높이는 기반을 제공한다.

보고서 본문과 논문 제목을 대조한 연결

NeurIPS15) ‘22 (IF4, Top10)

논문2023 발표·게재

Context-Aware Planning and Environment-Aware Memory for Instruction Following Embodied Agents

맥락 기반 계획과 환경 메모리로 지시 추종 행동을 개선한다.

보고서 본문과 논문 제목을 대조한 연결

ICCV 2023 (IF4, Top10)

논문2023 발표·게재

Multi-Level Compositional Reasoning for Interactive Instruction Following

상위 목표·이동·상호작용의 계층적 추론으로 복합 지시를 수행한다.

보고서 본문과 논문 제목을 대조한 연결

AAAI20) 2023 (IF4, Top10)

논문2024 발표·게재

LoTa-Bench: Benchmarking Language-oriented Task Planners for Embodied Agents

시뮬레이터 실행으로 언어모델 작업계획을 자동 평가하는 기반을 제공한다.

보고서 본문과 논문 제목을 대조한 연결

ICLR 2024 (IF4, Top10)

논문2024 발표·게재

ReALFRED: An Embodied Instruction Following Benchmark in Photo-Realistic Environments

실공간 스캔 기반 지시 추종 환경에서 현실적인 작업계획을 검증한다.

보고서 본문과 논문 제목을 대조한 연결

ECCV 2024 (IF4, Top10)

논문2024 발표·게재

Pre-emptive Action Revision by Environmental Feedback for Embodied Instruction Following Agents

환경 불일치 피드백을 사용해 행동 계획을 사전 수정한다.

보고서 본문과 논문 제목을 대조한 연결

CoRL29) 2024

논문2025 발표·게재

ReActQ와 Answer 에이전트: 질의응답 기반 불확실성 해소 태스크 플래너

추론-행동-질문과 Answer 에이전트의 응답을 결합해 절차계획 불확실성을 해소한다.

보고서 본문과 논문 제목을 대조한 연결

한국방송미디어공학회 하계학술대회

관련 특허2025

APPARATUS AND METHOD FOR PERFORMING ROBOT TASK PLANNING BASED ON LARGE LANGUAGE MODEL

관련 기술 주제: 질의응답 기반 절차계획·계층 추론·평가

특허 제목과 출원·등록번호에 기반한 주제 연결

미국 출원

관련 특허2025

거대 언어 모델을 이용한 스킬 불확실성 기반 로봇 스킬 수행 방법 및 장치

관련 기술 주제: 질의응답 기반 절차계획·계층 추론·평가

특허 제목과 출원·등록번호에 기반한 주제 연결

대한민국 출원 · 대한민국 등록

관련 특허2023

거대 언어 모델을 이용한 스킬 불확실성 기반 로봇 스킬 수행 방법 및 장치

관련 기술 주제: 질의응답 기반 절차계획·계층 추론·평가

특허 제목과 출원·등록번호에 기반한 주제 연결

대한민국 · 미국

공개 SW

ALFRED 명령어 모호성 해소 데이터셋

LLM 플래너 자동 평가에서 자연어 피드백·ReActQ·계층 계획 및 안전성 평가로 확장

공개 자산의 제목·용도와 연구 주제를 대조한 연결

한국전자통신연구원

공개 SW

LoTa-Bench (언어모델 기반 절차이해 능력 자동평가 벤치마크)

LLM 플래너 자동 평가에서 자연어 피드백·ReActQ·계층 계획 및 안전성 평가로 확장

공개 자산의 제목·용도와 연구 주제를 대조한 연결

한국전자통신연구원

공개 SW

realfred

LLM 플래너 자동 평가에서 자연어 피드백·ReActQ·계층 계획 및 안전성 평가로 확장

공개 자산의 제목·용도와 연구 주제를 대조한 연결

서울대학교

공개 SW

장기 복합 임무 수행을 위한 계층적 절차 추론 기술

LLM 플래너 자동 평가에서 자연어 피드백·ReActQ·계층 계획 및 안전성 평가로 확장

공개 자산의 제목·용도와 연구 주제를 대조한 연결

한국전자통신연구원

데이터셋

LLM 에이전트 의사결정 궤적 데이터셋

성공 및 실패 궤적을 함께 활용해 절차 계획 성능 향상과 절차 추론 불확실성 활용을 지원하는 데이터셋입니다.

공개 자산의 제목·용도와 연구 주제를 대조한 연결

한국전자통신연구원

데이터셋

WAH-NL

가정환경 임무 데이터셋으로 목표 조건, 초기 환경, 자연어 명령어를 포함하며 VirtualHome과 연동됩니다.

공개 자산의 제목·용도와 연구 주제를 대조한 연결

한국전자통신연구원

07열린 세계 객체·행위 인지와 시맨틱 지도미지 객체·행위와 도메인 변화, 변화하는 공간에 대한 인지
지식체계 구축불확실성 지각질의응답 기반 성장학습실세계와 절차 이해

오픈셋 검출·도메인 적응·사용자 지식 지도를 로봇의 실세계 인지에 결합

참여 연구기관 · 한국전자통신연구원 · 서울대학교

2022

오픈셋 객체·행위 인지 설계

당시의 문제
학습 밖 객체와 행위 및 가정환경 도메인 변화
개발한 방법
공개 데이터 확보, 클래스 독립 검출, Open-Set TAL·시맨틱맵 참조기술
기술적 기여
실세계 불확실성을 다루는 인지 구성요소 확보
보고서 근거

221227 1차년도 연차보고서
PDF 46쪽

2023

SAM 활용 미지 객체 탐지

당시의 문제
미지 객체에 대한 학습 표본과 라벨 부족
개발한 방법
SAM으로 270,382 객체 영역 확보 후 알려진 K개/미지 1개 클래스 분류
기술적 기여
클래스 비종속 검출과 미지 판별을 분리한 파이프라인
보고서 근거

241227 3차년도 단계보고서
PDF 30쪽

2024

홈로봇 도메인 적응

당시의 문제
어두운 실내 환경 등 입력 분포 변화
개발한 방법
Exclusive Dark 평가 및 객체·이미지 수준 도메인 분류기 추가
기술적 기여
오픈셋 검출의 도메인 적응 확장
보고서 근거

241227 3차년도 단계보고서
PDF 30쪽

2025

열린 객체 검출과 지도 확장

당시의 문제
훈련자료 오류·새로운 사물·공간 변화
개발한 방법
훈련 데이터 필터링, 검출과 VLM 결합, OmniGibson SLAM 시맨틱 지도 구축·확장
기술적 기여
미지 사물 인지와 작업계획용 공간 지식 갱신 연결
보고서 근거

251224 4차년도 연차보고서
PDF 28쪽

이 연구를 더 살펴보려면

논문2025 발표·게재

Unknown object detection by leveraging Segment Anything Model for labeling the OOD objects

SAM 기반 미지 객체 라벨링을 활용하는 열린 세계 객체 인지 계열이다.

보고서 본문과 논문 제목을 대조한 연결

International Conference on Information and Communication Technology Convergence

관련 특허2023

METHOD AND APPARATUS FOR RE-TRAINING MODEL BY RECOGNIZING UNCERTAINTY IN ONLINE USER ACTION DETECTION

관련 기술 주제: 열린 세계 객체·행위 인지와 시맨틱 지도

특허 제목과 출원·등록번호에 기반한 주제 연결

미국

관련 특허2023

실시간 사용자 행위 탐지의 불확실성 인지를 통해 모델의 재학습을 수행하는 방법 및 장치

관련 기술 주제: 열린 세계 객체·행위 인지와 시맨틱 지도

특허 제목과 출원·등록번호에 기반한 주제 연결

대한민국

08언어·시각 그라운딩과 로봇 상호작용자연어의 지시 대상과 실제 물체·행동을 연결
지식체계 구축질문 생성질의응답 기반 성장학습실세계와 절차 이해

대화·시각 표상·피드백을 통한 대상 특정과 조작 수행 기반 확보

참여 연구기관 · 서울대학교 · 한국전자통신연구원

2022

물체·사용자 지식 기반 상호작용 설계

당시의 문제
말로 지시한 물체와 실제 조작 대상 연결
개발한 방법
관찰 기반 사용자 지식·절차 스킬의 상호작용 정의
기술적 기여
로봇 질의응답의 접지 문제를 연구 대상으로 설정
보고서 근거

221227 1차년도 연차보고서
PDF 46쪽

2023

화용론적 의사소통·시각 그라운딩

당시의 문제
사용자가 의도한 물체의 불확실성
개발한 방법
물체 파악을 위한 사람-로봇 의사소통, GVCCI 및 시각 표상·추적 연구
기술적 기여
언어-시각-행동 사이 연결과 대화 기반 대상 지정 강화
보고서 근거

241227 3차년도 단계보고서
PDF 36, 37, 46쪽

2024

대화 기반 라벨링과 조작

당시의 문제
사물 특성을 표현하는 질문과 응답의 활용
개발한 방법
실시간 대화 기반 라벨링, 다중 회차 질의응답 및 시각언어 파지 연구
기술적 기여
로봇 조작에 필요한 물체 구분과 지식 획득 연결
보고서 근거

241227 3차년도 단계보고서
PDF 41, 45, 48쪽

2025

언어 조건 로봇 정책

당시의 문제
언어 지시의 일반화와 미지 객체 조작
개발한 방법
CLIP-RT, RGB-D 융합·3D 인스턴스 분할·자연어 정책 학습
기술적 기여
새로운 언어·객체 조건에서 행동 수행을 위한 인지 기반 확대
보고서 근거

251224 4차년도 연차보고서
PDF 34, 35쪽

09체화 에이전트 지속학습·행동 적응새 작업·환경 학습 시 기존 지식 망각과 행동 정책의 일반화
질의응답 기반 성장학습실세계와 절차 이해

경계 없는 지속학습·환경 피드백·행동 학습으로 성장학습 기반 제공

참여 연구기관 · 서울대학교 · 연세대학교

2023

경계 없는 연속학습

당시의 문제
명확한 태스크 구분 없이 변화하는 데이터 스트림
개발한 방법
Scheduled Data Prior와 지식 유지·획득 평가 지표 개발
기술적 기여
성장학습에서 과거 지식과 새 지식 간 균형 기반
보고서 근거

241227 3차년도 단계보고서
PDF 35쪽

2024

온라인 지속학습과 환경 피드백

당시의 문제
새 행동·환경 적응 시 망각과 계획 불일치
개발한 방법
ETF 기반 온라인 CL, CAMA, PRED 환경 피드백 행동 수정
기술적 기여
기존 지식 유지와 실환경 변화 대응을 성장 에이전트에 결합
보고서 근거

241227 3차년도 단계보고서
PDF 35, 36쪽

2025

언어·시각 피드백 정책 학습

당시의 문제
보상모델과 시연 비용 및 일반화
개발한 방법
Socratic Planner, 자연어 감독·VLM 피드백, 행동 모방·시연 증강 연구
기술적 기여
상호작용 정보를 행동 정책 학습에 활용하는 기반 확대
보고서 근거

251224 4차년도 연차보고서
PDF 34, 35쪽

이 연구를 더 살펴보려면

논문2023 발표·게재

Online Boundary-Free Continual Learning by Scheduled Data Prior

태스크 경계 없는 스트림에서 기존 지식을 유지하는 지속학습 기반을 제공한다.

보고서 본문과 논문 제목을 대조한 연결

ICLR21) 2023 (IF4, Top10)

논문2024 발표·게재

Learning Equi-angular Representations for Online Continual Learning

ETF 분류기와 잔차 보정으로 온라인 지속학습을 지원한다.

보고서 본문과 논문 제목을 대조한 연결

CVPR 2024 (IF4, Top10)

논문

Online Continual Learning for Interactive Instruction Following Agents

행동·환경 증분학습과 CAMA로 체화 에이전트의 망각을 완화한다.

보고서 본문과 논문 제목을 대조한 연결

ICLR 2024 (IF4, Top10)

공개 SW

cl-alfred

경계 없는 지속학습·환경 피드백·행동 학습으로 성장학습 기반 제공

공개 자산의 제목·용도와 연구 주제를 대조한 연결

서울대학교

공개 SW

earl

경계 없는 지속학습·환경 피드백·행동 학습으로 성장학습 기반 제공

공개 자산의 제목·용도와 연구 주제를 대조한 연결

서울대학교

10의료 모델 추론 보정·시험 시점 적응미학습 입력·환경 변화·지속학습에서 모델의 과신
불확실성 지각질의응답 기반 성장학습의료진단 의사결정 지원

특징 기반 보정과 블록 선택·어댑터 결합으로 신뢰도와 적응성 개선

참여 연구기관 · 광주과학기술원

2022

블록 선택 기반 보정

당시의 문제
학습하지 않은 이미지에서 과신
개발한 방법
직소 이미지에 민감한 CNN 블록과 특징 크기 선택
기술적 기여
이미지 분류 불확실성 자각의 기반 확보
보고서 근거

241227 3차년도 단계보고서
PDF 30쪽

2023

의료 도메인 보정 적용

당시의 문제
일반 이미지에서 개발한 보정 기술의 의료 전이
개발한 방법
Feature Norm·블록 선택 기술의 의료영상 적용 및 성능 고도화
기술적 기여
의료 추론 신뢰도 관리로 확장
보고서 근거

241227 3차년도 단계보고서
PDF 30쪽

2024

온라인 시험 시점 적응

당시의 문제
라벨 없는 새 환경으로의 적응
개발한 방법
블록 선택·paired-view pseudo-labeling 기반 Test-time adaptation
기술적 기여
추가 라벨 없이 운용 환경 변화에 적응하는 학습 지원
보고서 근거

241227 3차년도 단계보고서
PDF 34, 35, 47쪽

2025

지속학습 중 보정 유지

당시의 문제
새 데이터 학습 중 정확도와 신뢰도 동시 유지
개발한 방법
DINOv2 어댑터 결합 및 ECE 최적화; HAM10000 평가
기술적 기여
보고값 정확도 83.27%, ECE 1.91%의 보정된 지속학습
보고서 근거

251224 4차년도 연차보고서
PDF 29쪽

이 연구를 더 살펴보려면

논문2023 발표·게재

Block Selection Method for Using Feature Norm in Out-of-distribution Detection

미학습 입력에 민감한 CNN 블록의 특징 노름을 사용해 OOD 과신을 줄인다.

보고서 본문과 논문 제목을 대조한 연결

CVPR18) 2023 (IF4, Top10)

논문2024 발표·게재

Domain-Specific Block Selection and Paired-View Pseudo-Labeling for Online Test-Time Adaptation

블록 선택과 쌍별 시점 의사 라벨을 이용해 운용 환경에서 온라인 적응한다.

보고서 본문과 논문 제목을 대조한 연결

CVPR 2024 (IF4, Top10)

관련 특허2023

OUT-OF-DISTRIBUTION DETECTION SYSTEM AND METHOD BASED ON FEATURE MAP OF CONVOLUTIONAL NEURAL NETWORK

관련 기술 주제: 의료 모델 추론 보정·시험 시점 적응

특허 제목과 출원·등록번호에 기반한 주제 연결

미국

관련 특허2023

합성곱 신경망의 특징 맵에 기반한 분포 외 탐지 시스템 및 방법

관련 기술 주제: 의료 모델 추론 보정·시험 시점 적응

특허 제목과 출원·등록번호에 기반한 주제 연결

대한민국

공개 SW

Model calibration

특징 기반 보정과 블록 선택·어댑터 결합으로 신뢰도와 적응성 개선

공개 자산의 제목·용도와 연구 주제를 대조한 연결

광주과학기술원

공개 SW

OOD detection

특징 기반 보정과 블록 선택·어댑터 결합으로 신뢰도와 적응성 개선

공개 자산의 제목·용도와 연구 주제를 대조한 연결

광주과학기술원

11전문가·복수 에이전트 지식 전이전문가와 개별 모델의 지식을 효율적으로 전달·통합
질의응답 기반 성장학습질문 생성의료진단 의사결정 지원

Point guidance에서 모델 가중치 결합·Branch Soup·연합학습으로 협업적 성장

참여 연구기관 · 광주과학기술원

2023

전문가 Point guidance

당시의 문제
클래스 라벨만으로 부족한 위치 정보
개발한 방법
전문가의 물체 위치 점 정보와 attention loss를 통한 지식 전달
기술적 기여
전문가의 추가 정보가 분류 학습을 개선하는 경로 확보
보고서 근거

241227 3차년도 단계보고서
PDF 34쪽

2024

외부 모델 가중치 결합

당시의 문제
여러 에이전트 지식 활용의 추론 비용
개발한 방법
에이전트의 weight ensemble로 유용한 지식 취합
기술적 기여
모델 수만큼 추론 비용을 늘리지 않는 지식 전이 연구
보고서 근거

241227 3차년도 단계보고서
PDF 35쪽

2025

Branch Soup와 협력 학습

당시의 문제
개별 의사 모델의 지식 통합과 노이즈
개발한 방법
Branch Soup, 경량 어댑터·Leave-One-Out Teacher 기반 연합학습
기술적 기여
의사 비서 모델 간 지식 공유와 협업 지속학습 기반
보고서 근거

251224 4차년도 연차보고서
PDF 29쪽

이 연구를 더 살펴보려면

공개 SW

Knowledge transfer with expert supervision

Point guidance에서 모델 가중치 결합·Branch Soup·연합학습으로 협업적 성장

공개 자산의 제목·용도와 연구 주제를 대조한 연결

광주과학기술원

12치과 진단 지원 데이터·플랫폼·피드백치과 영상·판독·전문가 피드백을 학습 및 진단 흐름에 연결
지식체계 구축질의응답 기반 성장학습질문 생성의료진단 의사결정 지원데이터 정제

파노라마 라벨링에서 진단·수정·지속학습·지식 공유 플랫폼으로 통합

분류 맥락 · 의료 데이터 정제·라벨 수정 플랫폼을 데이터 정제 분야에도 연결했습니다. 질문 생성 축에는 전문가 확인·피드백을 위한 상호작용 기반으로 포함했습니다.

참여 연구기관 · 조선대학교 · 광주과학기술원

2022

치과 데이터·라벨링 체계

당시의 문제
치과 질환과 영상 입력의 정의
개발한 방법
1K 이상 파노라마 수집, 질환별 이미지 및 Supervisely 라벨링 가이드
기술적 기여
진단 지원을 위한 초기 데이터와 전문가 참여 환경
보고서 근거

241227 3차년도 단계보고서
PDF 38쪽

2023

의료 데이터 정제 테스트베드

당시의 문제
의료 라벨 오류를 사용자가 수정할 환경
개발한 방법
FracAtlas 기반 정제 플랫폼 시연; 환자 정보 정의 및 파노라마 7K 라벨링
기술적 기여
전문가가 오류 라벨을 고치는 실증 기반 확보
보고서 근거

241227 3차년도 단계보고서
PDF 38쪽

2024

치과 데이터 기반 GUI

당시의 문제
불확실성 지각 기술을 실제 의료 의사결정에 적용
개발한 방법
치과 데이터 정제·검증 GUI와 사용자 의사결정 프레임워크
기술적 기여
요소 알고리즘에서 사용자 피드백 시스템으로 통합
보고서 근거

241227 3차년도 단계보고서
PDF 38쪽

2025

지속 성장형 의사 비서 플랫폼

당시의 문제
판독·학습·진단·피드백을 하나의 흐름으로 연결
개발한 방법
의료 플랫폼 및 PACS 연계 시나리오, 파노라마 판독·실증 데이터 구축
기술적 기여
전문의 피드백 기반 지속학습과 의료 업무 적용 검증 기반
보고서 근거

251224 4차년도 연차보고서
PDF 29, 30쪽

이 연구를 더 살펴보려면

관련 특허2025

사용자 피드백을 활용한 데이터 라벨링·모델 학습 ·배포 통합 시스템

관련 기술 주제: 치과 진단 지원 데이터·플랫폼·피드백

특허 제목과 출원·등록번호에 기반한 주제 연결

대한민국 출원

공개 SW

LBA annotation framework

파노라마 라벨링에서 진단·수정·지속학습·지식 공유 플랫폼으로 통합

공개 자산의 제목·용도와 연구 주제를 대조한 연결

광주과학기술원

13노이즈 라벨 탐지·수정과 강건 학습오류 라벨을 암기하는 현상과 의료·멀티모달 데이터의 품질 저하
불확실성 지각질의응답 기반 성장학습데이터 정제의료진단 의사결정 지원

앙상블·특징 정규화·커리큘럼 어댑터로 오류 탐지·보정 및 학습 강인성 확보

참여 연구기관 · 광주과학기술원 · 한국과학기술원

2022

앙상블 기반 오류 라벨 탐지

당시의 문제
노이즈 라벨 암기와 모델 과신
개발한 방법
모델 예측 일치도·memorization effect 활용; HAM10000 검증
기술적 기여
라벨 오류를 추정·수정하는 데이터 품질 관리 기반
보고서 근거

241227 3차년도 단계보고서
PDF 31쪽

2023

특징 정규화와 반자동 라벨링

당시의 문제
의료 노이즈 라벨 학습 강인성
개발한 방법
Feature Normalization, HAM10000 평가, SAM 치과 반자동 라벨링; KAIST 정규화 손실
기술적 기여
노이즈 암기를 줄이고 라벨링 인력 부담 완화
보고서 근거

241227 3차년도 단계보고서
PDF 30, 31쪽

2024

VFM 커리큘럼 미세조정

당시의 문제
기초모델의 의료 데이터 적응 중 라벨 오류
개발한 방법
서로 다른 adapter의 memorization 차이를 이용한 집단 에이전트 학습
기술적 기여
의료 기초모델 학습에서 노이즈 탐지·강건성 확보
보고서 근거

241227 3차년도 단계보고서
PDF 31쪽

2025

멀티모달 라벨 불확실성 보정

당시의 문제
RGB 영상과 마스크의 결합 및 높은 라벨 오류
개발한 방법
4채널 입력·커리큘럼 어댑터, 라벨 스무딩 및 피드백 기반 통합 시스템
기술적 기여
의료 영상과 분할 정보를 결합해 노이즈 라벨에 강건한 학습을 지원
보고서 근거

251224 4차년도 연차보고서
PDF 29쪽

이 연구를 더 살펴보려면

논문2024 발표·게재

Curriculum Fine-tuning of Vision Foundation Model for Medical Image Classification Under Label Noise

의료 라벨 노이즈에 대응해 기초모델을 단계적으로 미세조정한다.

보고서 본문과 논문 제목을 대조한 연결

NeurIPS 2024 (IF4, Top10)

논문2025 발표·게재

노이즈 라벨을 고려한 의료 데이터 학습을 위한 파운데이션 모델 기반 라벨 스무딩

의료 라벨 노이즈를 고려한 파운데이션 모델 학습 계열의 라벨 스무딩 연구이다.

보고서 본문과 논문 제목을 대조한 연결

한국방송미디어공학회 하계학술대회

공개 SW

Learning with Noisy Label

앙상블·특징 정규화·커리큘럼 어댑터로 오류 탐지·보정 및 학습 강인성 확보

공개 자산의 제목·용도와 연구 주제를 대조한 연결

광주과학기술원

공개 SW

데이터 필터링 및 Noisy Label 학습 라이브러리

앙상블·특징 정규화·커리큘럼 어댑터로 오류 탐지·보정 및 학습 강인성 확보

공개 자산의 제목·용도와 연구 주제를 대조한 연결

한국과학기술원

14능동 데이터 선별·메모리 품질 관리제한된 라벨링 비용과 중복·불균형 표본
불확실성 지각질의응답 기반 성장학습질문 생성데이터 정제

예측 차이·모델 불일치·엔트로피·중복 제거로 우선순위와 표본 구성을 개선

분류 맥락 · 질문 생성 축의 연결은 자연어 질문 생성이 아니라, 사람에게 라벨을 요청할 데이터의 선택을 뜻합니다.

참여 연구기관 · 광주과학기술원 · 서울대학교

2022

라벨링 우선순위와 중복 제거

당시의 문제
라벨 없는 자료 중 가치가 높은 표본 선택
개발한 방법
현재·이전 모델 예측 분포 차이로 능동 선별; DUEL 메모리 중복 제거
기술적 기여
라벨링 자원과 메모리 구성의 효율화 기반
보고서 근거

241227 3차년도 단계보고서
PDF 31, 46쪽

2023

의료 클래스 불균형 대응

당시의 문제
특정 클래스 편중 선택의 부작용
개발한 방법
HAM10000에서 예측 분포 차이 기반 우선순위 고도화
기술적 기여
의료 불균형 상황의 능동학습 성능 저하 완화
보고서 근거

241227 3차년도 단계보고서
PDF 31쪽

2024

능동 메모리 기반 불균형 학습

당시의 문제
자기지도학습 표본의 중복과 불균형
개발한 방법
DUEL 중복 제거 및 능동 메모리 관련 특허
기술적 기여
데이터 선택·저장 품질 관리의 기반 기여
보고서 근거

241227 3차년도 단계보고서
PDF 48, 50쪽

2025

집단 의견 기반 데이터 선별

당시의 문제
복수 모델의 불일치를 라벨링 우선순위에 활용
개발한 방법
모델 의견 불일치·엔트로피 기반 능동학습 선별
기술적 기여
복수 모델의 판단 차이를 이용해 우선 라벨링할 데이터 선정
보고서 근거

251224 4차년도 연차보고서
PDF 29쪽

이 연구를 더 살펴보려면

공개 SW

Active learning with uncertainty

예측 차이·모델 불일치·엔트로피·중복 제거로 우선순위와 표본 구성을 개선

공개 자산의 제목·용도와 연구 주제를 대조한 연결

광주과학기술원

15분할 불확실성 예측·자가 데이터 수집픽셀 단위 불확실성 추정 비용과 불확실한 관측의 학습 활용
불확실성 지각질의응답 기반 성장학습실세계와 절차 이해데이터 정제

쌍대 모델 보간과 웹 검색·VLM 교류를 연결해 자율 수집 학습 기반 마련

참여 연구기관 · 한국전자통신연구원

2022

분할 불확실성 예측 기반

당시의 문제
반복 샘플링 비용과 정확도
개발한 방법
MC Dropout·Bayesian NN 참조, Network Mix-up·Ordered Representation
기술적 기여
저비용 불확실성 예측 접근 제안
보고서 근거

221227 1차년도 연차보고서
PDF 46쪽

2023

쌍대 모델 보간

당시의 문제
추정 정확도를 유지하며 반복 연산 감소
개발한 방법
두 모델 동시 학습·가중치 보간·중요 특징 선택
기술적 기여
불확실성 예측의 정확도와 연산 효율성 개선
보고서 근거

241227 3차년도 단계보고서
PDF 29쪽

2024

분포 조정과 검증

당시의 문제
MC Dropout 정확도 저하 원인
개발한 방법
쌍대 모델 분포 regularizer 및 가중치 보간 검증
기술적 기여
전체 수렴점 분포를 반영하는 불확실성 예측 개선
보고서 근거

241227 3차년도 단계보고서
PDF 29, 30쪽

2025

웹·VLM 기반 자가 수집

당시의 문제
불확실한 관측에서 신뢰할 정답 확보
개발한 방법
웹 이미지 획득, VLM 정답 확보, 이미지 재검색 파이프라인
기술적 기여
인지한 불확실성을 새 학습 데이터 수집으로 연결
보고서 근거

251224 4차년도 연차보고서
PDF 28쪽

16인지 기반 질문 품질·사회적 상호작용 실증어떤 질문이 불확실성을 효과적으로 해소하며 사용자에게 수용되는가
질문 생성불확실성 지각실세계와 절차 이해장면과 비디오 이해

질문 유형·CAUS·평가 루브릭과 고령자 돌봄 실증으로 질문 정책의 사용성 평가

참여 연구기관 · 한국전자통신연구원 · 서울대학교

2022

질문 인지과정·분류체계

당시의 문제
불확실성 해소에 좋은 질문의 정의
개발한 방법
인지과정 분석, Q·K·C 관점 분류 및 데이터셋 설계
기술적 기여
질문 정책을 설계·평가할 인지적 기준 마련
보고서 근거

221227 1차년도 연차보고서
PDF 46쪽

2023

질문 맥락과 사회 로봇 시나리오

당시의 문제
질문 발생 맥락과 실증 사용성
개발한 방법
LLM을 이용한 인지과정 모사 및 질문 분류; 고령자 설문 서비스 설계
기술적 기여
인간의 질문 전략을 데이터·서비스 형태로 구체화
보고서 근거

241227 3차년도 단계보고서
PDF 32, 39쪽

2024

CAUS와 평가 루브릭

당시의 문제
적절성과 효과성에 근거한 질문 평가
개발한 방법
CAUS 5K 구축, 질문 평가 항목·LLM 자동평가; 대화형 설문 시범 적용
기술적 기여
질문 품질 검증과 로봇 실증의 공통 기반 마련
보고서 근거

241227 3차년도 단계보고서
PDF 32, 39, 42쪽

2025

적응형 질문 평가와 고령자 실증

당시의 문제
실제 사용자의 질문 수용성과 상호작용 품질
개발한 방법
6대 질문 평가 항목·동적 루브릭, LG Q9 고령자 정서지원 통합 및 5명 대상 실증
기술적 기여
질문 기반 기술을 생활지원 서비스로 검증
보고서 근거

251224 4차년도 연차보고서
PDF 28쪽

이 연구를 더 살펴보려면

논문2024 발표·게재

CAUS: A Dataset for Question Generation based on Human Cognition Leveraging Large Language Models.

불확실한 장면에서 인간 인지에 기반한 질문 생성의 훈련·평가 데이터를 제공한다.

보고서 본문과 논문 제목을 대조한 연결

COGSCI 2024

관련 특허2025

고령자의 정서지원을 위한 표현 생성장치, 이를 이용한 정서지원 방법 및 이를 포함하는 로봇

관련 기술 주제: 인지 기반 질문 품질·사회적 상호작용 실증

특허 제목과 출원·등록번호에 기반한 주제 연결

대한민국 출원 · 미국 출원

데이터셋

CAUS

인간 질의 인지과정을 모사한 질문 생성 벤치마킹 데이터셋입니다.

공개 자산의 제목·용도와 연구 주제를 대조한 연결

한국전자통신연구원

17범용 이미지 OOD·이상 탐지·신뢰도학습 분포 밖 입력과 비정상 관측을 구분하고 확률 신뢰도를 개선
불확실성 지각공통 기반 기술

확산모델·의사 이상·프롬프트 보정 등의 범용 불확실성 지각 기반; 특정 수직 실증은 별도 증거 필요

참여 연구기관 · 한국전자통신연구원 · 한국과학기술원

이 연구를 더 살펴보려면

공개 SW

기반의 Diffusion model 이미지 레벨 OOD 검출 SW

확산모델·의사 이상·프롬프트 보정 등의 범용 불확실성 지각 기반; 특정 수직 실증은 별도 증거 필요

공개 자산의 제목·용도와 연구 주제를 대조한 연결

한국과학기술원

04 / 읽는 방법

연구의 맥락을 연결합니다

제안서와 2022–2025 보고서를 바탕으로 연구 주제의 발전과 대표 산출물을 연결했습니다. 연차 간 연결은 주제의 발전 흐름이며, 개별 논문 간 직접 계승을 뜻하지 않습니다. 연구 수행연도와 발표연도를 구분하며, 목록은 전체 성과의 일부입니다.

성장은 질문을 통한 추론 개선, 지식체계 확장, 피드백을 이용한 모델 학습 등 여러 형태를 포함합니다. 각 연구의 설명에서 그 방식을 구분합니다.

성과 연결은 보고서 본문과 산출물의 제목·용도를 대조해 구성했습니다. 특허 링크는 관련 주제를 안내하며, 국가별 출원·등록 이력은 기존 특허 목록에서 확인할 수 있습니다.

자료와 범위

  • 220205 (과제신청)연구개발계획서
  • 221227 1차년도 연차보고서
  • 231226 2차년도 연차보고서
  • 241227 3차년도 단계보고서
  • 251224 4차년도 연차보고서

수록 범위 2022–2025 · 2026년 실적은 후속 갱신 예정
최종 갱신 2026-10-05 · 페이지는 PDF 첫 장부터 계산합니다.