도깨비방

A-B-C모델의 평가 v17- 위조-자가 오염(Model Collapse)'의 위험

2026.09.02 (setup_project-v17.py)비식별 처리 대상 원문 텍스트 (금융 거래 및 상담문)홍길동 고객님이 연락처 010-1234-5678을 통해 마이너스 통장 연장 신청을 문의하였습니다. 등록된 계좌번호는 신한은행 110-123-456789 입니다. 생년 230425-2342111 [Agent A (시나리오 준비)] ➔ [Agent B (비식별화 추론)] ➔ [Harness (가드레일 검증)] ➔ [Agent C (품질 감리)] ➔ [Assetize (실시간 지식 보존)] 100% 자율 수용 완료[원문]홍길동 고객님이 연락처 010-1234-5678을 통해 마이너스 통장 연장 신청을 문의하였습니다. 등록된 계좌번호는 신한은행 110-123-456789 입니다. 생년 23042..

자가진화 비식별화 시스템에서 - 모델 붕괴(Model Collapse) 방지

자가진화 비식별화 시스템에서 **모델 붕괴(Model Collapse)자가진화 비식별화 시스템에서 **모델 붕괴(Model Collapse)**는 저품질 데이터나 잘못된 피드백이 학습 루프에 유입되어 모델의 성능이 점진적으로 타락하는 현상을 의미합니다 [1]. 이를 방지하기 위해 본 시스템은 **엄격한 품질 게이트, 통계적 모니터링, 다층 지식 관리**라는 세 가지 핵심 방안을 통해 해결합니다 [1-3].### 1. 엄격한 품질 게이트 (이중 승격 게이트)가장 강력한 방지책은 검증되지 않은 데이터를 학습 자산(Golden Case)으로 승격시키지 않는 **이중 승격 게이트(Double Pass Gate)** 전략입니다 [3, 4].* **승격 조건 (Score >= 9.0 & Harness PASS)..

금융(Finance)의 인과관계 (Causality)연구

금융(Finance)의 인과관계 (Causality)연구금융분야 인과관계 (Causality)는 현재 거시금융(Macro-Finance) 및 국제정치경제학(IPE) 분야에서 가장 활발히 연구되고 있는 핵심 주제입니다.■ 금융 시장이나 정책 결정에서는 단순히 두 변수가 함께 움직이는 ‘상관관계(Correlation)’만으로는 부족하며, 무엇이 원인이고 결과인지를 분명히 하는 ‘인과관계(Causality)’ 추론이 필수적 입니다.예를 들어, "금리 인상"과 "주가 하락"이 동시에 일어났을 때 단순 상관분석은 두 사건의 동시 발생만 보여줍니다. 하지만 금융 실무와 연구에서는 금리 인상이 실제로 주가 하락의 직접적 원인인가?를 규명해야 정확한 투자 전략을 세우거나 리스크를 관리할 수 있습니다.잘못된 인과 추..

AI & Tech 데일리 브리핑 2026년 8월 26일■ 요약 시사점 (글로벌 증시 및 테크 섹터 시각)2026년 8월 말 글로벌 테크 시장은 대형 모델의 단독 성능 경신을 넘어 온디바이스 확장, B2B 도메인 특화 에이전트, 반도체 독자 자립화라는 실질적 가치 창출 단계로 진입하고 있습니다. 빅테크 중심의 클라우드 대형 인프라 투자가 지속되는 동시에 로컬 환경에서의 인퍼런스(추론) 효율성을 극대화하려는 장치 테크 및 온디바이스 에이전트 시장이 급격히 개화하고 있습니다. 증시 관점에서는 무분별한 파라미터 확장에 자금을 투입하는 기업보다 확실한 법률·금융 등 버티컬 B2B 점유율을 확보한 온디바이스 및 소프트웨어 기업, 그리고 독자 반도체 및 인프라 생태계를 구축하는 기업 중심으로 주가 재평가가 가속화되고..

통계적 교차 검증 이론 (Cross-Validation Alignment)​④ 통계적 교차 검증 이론 (Cross-Validation Alignment)​인간 평가 상관성 (\rho): Agent C의 자동 점수가 실제 인간 전문가의 시각과 단조성을 유지하는지 **스피어만 순위상관계수(\rho > 0.8)**로 정기 검증합니다. ​하네스 교차 일치도 (\kappa): 확률적 판사(Agent C)의 Pass/Fail 판정과 결정론적 코드 하네스(Regex)의 판정 간 **코헨 카파 계수(\kappa > 0.75)**를 산출하여 우연에 의한 오판을 배제합니다. 통계적 교차 검증 지표(스피어만 순위상관계수 \rho, 코헨 카파 계수 \kappa)**를 산출하는 주체와 방법 ‘LLM 자체’가 수행하는 것이 ..

자기진화에 대한 4대 핵심 기술 과 이론문헌 자료를 바탕으로 자가 발전(Self-Evolving) 에이전트 구축을 위한 핵심 기술과 관련 이론을 정리한 내용입니다.1. 자가 발전을 이루는 4대 핵심 기술 (Core Technologies)자가 발전 프레임워크는 단순히 모델 혼자 학습하는 것이 아니라, **"실행 \rightarrow 검증 \rightarrow 저장 \rightarrow 가중치 내재화"**로 이어지는 4가지 기술 컴포넌트의 유기적 결합으로 완성됩니다. * LLM in the Loop (에이전트 워크플로우) * 개념: 단발성 쿼리 처리를 넘어 질문자(Agent A), 답변자(Agent B), 평가자(Agent C) 등 역할이 분리된 복수의 에이전트가 다단계 피드백 루프를 가동하는 구조입니..

LLM in the Loop, LLM-as-a-Judge (Judgement), and Harness(하네스)LLM in the Loop, LLM-as-a-Judge (Judgement), 그리고 Harness(하네스)는 에이전틱 AI 시스템을 구축하고 통제할 때 핵심이 되는 3대 기둥입니다. 이 요소들의 유기적 관계와 최근 학계 및 산업계의 연구 동향을 정리해 드리겠습니다.1. 3가지 핵심 요소의 개념과 유기적 관계이 세 개념은 **"실행(In the Loop) \rightarrow 통제 및 환경 제어(Harness) \rightarrow 평가 및 피드백(Judgement)"**이라는 순환형 시스템 아키텍처로 연결됩니다. +----------------------------..

제안하신 "LLM-in-the-Loop 및 Evaluation Harness 기반의 통제 가능한 자가 진화형 AI 프레임워크 연구"는 독창성(Originality)과 학술적/산업적 경쟁력(Competitiveness) 면에서 매우 뛰어난 박사과정 연구 주제입니다.최근 AI 학계와 산업계의 최대 화두인 Self-Evolution과 AI Safety/Governance의 핵심 접점을 정확히 타격하고 있기 때문입니다. 이 연구가 왜 높은 독창성과 경쟁력을 갖는지, 그리고 그 경쟁력을 극대화하기 위해 무엇을 추가해야 하는지 정리해 드립니다.1. 연구의 독창성 (Originality)Evaluation Harness의 역할 재정의 (In-loop Gatekeeper):기존: Evaluation Harness(lm..

기존 비식별화 방식은 고정된 식별자와 개인 정보의 비식별화에 활용되기 유용하고 효과적인 방식이다.최근 AI의 발전으로 대량의 대이터 변환에 사용되어온 비식별화 방식은 한계가 존재한다.특히 개인정보가 일상의 대화처럼 유통되는AI서비스의 증가에 따라 문맥의 이해와 장기기억에 따름 개인정보의 처리는 주요한 과제이다.관련 2가지 논문을 분석 한다.Hu et al. (2021)의 PEFT 구조와 Deuber et al. (2025)의 비식별 정책 프레임워크를 결합하면, 민감 속성 감지 고도화·정책별 출력 제어·신규 규정의 즉시 반영이 가능한 모델 개선이 충분히 구현 가능합니다.1. Hu et al. (2021) - LoRA (Low-Rank Adaptation) * 인용 문구 (APA): Hu, E. J., Sh..

1. 장기 에이전트·하네스 엔지니어링 관련APA 인용:Park, J., Lee, H., Chen, M., & Kumar, A. (2025). Evaluating long-horizon autonomous language agents with standardized harnesses. Proceedings of the 42nd International Conference on Machine Learning (ICML).다운로드 URL:(예: https://arxiv.org/abs/2503.xxxx – 실제 링크는 arXiv 또는 해당 학회 프로시딩에서 확인 필요)논문 배경:LLM 기반 에이전트가 복잡한 장기 태스크(코딩 프로젝트, 리서치, 멀티스텝 워크플로우)를 수행하는 사례가 늘어났지만, 신뢰성·안전성을..