도깨비방

AI & Tech 데일리 브리핑 2026년 8월 26일

AI & Tech 데일리 브리핑 2026년 8월 26일■ 요약 시사점 (글로벌 증시 및 테크 섹터 시각)2026년 8월 말 글로벌 테크 시장은 대형 모델의 단독 성능 경신을 넘어 온디바이스 확장, B2B 도메인 특화 에이전트, 반도체 독자 자립화라는 실질적 가치 창출 단계로 진입하고 있습니다. 빅테크 중심의 클라우드 대형 인프라 투자가 지속되는 동시에 로컬 환경에서의 인퍼런스(추론) 효율성을 극대화하려는 장치 테크 및 온디바이스 에이전트 시장이 급격히 개화하고 있습니다. 증시 관점에서는 무분별한 파라미터 확장에 자금을 투입하는 기업보다 확실한 법률·금융 등 버티컬 B2B 점유율을 확보한 온디바이스 및 소프트웨어 기업, 그리고 독자 반도체 및 인프라 생태계를 구축하는 기업 중심으로 주가 재평가가 가속화되고..

(06.8.26)통계적 교차 검증 이론 (Cross-Validation Alignment)

통계적 교차 검증 이론 (Cross-Validation Alignment)​④ 통계적 교차 검증 이론 (Cross-Validation Alignment)​인간 평가 상관성 (\rho): Agent C의 자동 점수가 실제 인간 전문가의 시각과 단조성을 유지하는지 **스피어만 순위상관계수(\rho > 0.8)**로 정기 검증합니다. ​하네스 교차 일치도 (\kappa): 확률적 판사(Agent C)의 Pass/Fail 판정과 결정론적 코드 하네스(Regex)의 판정 간 **코헨 카파 계수(\kappa > 0.75)**를 산출하여 우연에 의한 오판을 배제합니다. 통계적 교차 검증 지표(스피어만 순위상관계수 \rho, 코헨 카파 계수 \kappa)**를 산출하는 주체와 방법 ‘LLM 자체’가 수행하는 것이 ..

(26.8.26) 자기진화에 대한 4대 핵심 기술 과 이론

자기진화에 대한 4대 핵심 기술 과 이론문헌 자료를 바탕으로 자가 발전(Self-Evolving) 에이전트 구축을 위한 핵심 기술과 관련 이론을 정리한 내용입니다.1. 자가 발전을 이루는 4대 핵심 기술 (Core Technologies)자가 발전 프레임워크는 단순히 모델 혼자 학습하는 것이 아니라, **"실행 \rightarrow 검증 \rightarrow 저장 \rightarrow 가중치 내재화"**로 이어지는 4가지 기술 컴포넌트의 유기적 결합으로 완성됩니다. * LLM in the Loop (에이전트 워크플로우) * 개념: 단발성 쿼리 처리를 넘어 질문자(Agent A), 답변자(Agent B), 평가자(Agent C) 등 역할이 분리된 복수의 에이전트가 다단계 피드백 루프를 가동하는 구조입니..

LLM in the Loop, LLM-as-a-Judge (Judgement), 그리고 Harness(하네스)

LLM in the Loop, LLM-as-a-Judge (Judgement), and Harness(하네스)LLM in the Loop, LLM-as-a-Judge (Judgement), 그리고 Harness(하네스)는 에이전틱 AI 시스템을 구축하고 통제할 때 핵심이 되는 3대 기둥입니다. 이 요소들의 유기적 관계와 최근 학계 및 산업계의 연구 동향을 정리해 드리겠습니다.1. 3가지 핵심 요소의 개념과 유기적 관계이 세 개념은 **"실행(In the Loop) \rightarrow 통제 및 환경 제어(Harness) \rightarrow 평가 및 피드백(Judgement)"**이라는 순환형 시스템 아키텍처로 연결됩니다. +----------------------------..

(26.08.25)LLM-in-the-Loop 및 Evaluation Harness 기반의 통제 가능한 자가 진화형 AI 프레임워크 연구

제안하신 "LLM-in-the-Loop 및 Evaluation Harness 기반의 통제 가능한 자가 진화형 AI 프레임워크 연구"는 독창성(Originality)과 학술적/산업적 경쟁력(Competitiveness) 면에서 매우 뛰어난 박사과정 연구 주제입니다.최근 AI 학계와 산업계의 최대 화두인 Self-Evolution과 AI Safety/Governance의 핵심 접점을 정확히 타격하고 있기 때문입니다. 이 연구가 왜 높은 독창성과 경쟁력을 갖는지, 그리고 그 경쟁력을 극대화하기 위해 무엇을 추가해야 하는지 정리해 드립니다.1. 연구의 독창성 (Originality)Evaluation Harness의 역할 재정의 (In-loop Gatekeeper):기존: Evaluation Harness(lm..

기존 비식별화 방식은 고정된 식별자와 개인 정보의 비식별화에 활용되기 유용하고 효과적인 방식이다.최근 AI의 발전으로 대량의 대이터 변환에 사용되어온 비식별화 방식은 한계가 존재한다.특히 개인정보가 일상의 대화처럼 유통되는AI서비스의 증가에 따라 문맥의 이해와 장기기억에 따름 개인정보의 처리는 주요한 과제이다.관련 2가지 논문을 분석 한다.Hu et al. (2021)의 PEFT 구조와 Deuber et al. (2025)의 비식별 정책 프레임워크를 결합하면, 민감 속성 감지 고도화·정책별 출력 제어·신규 규정의 즉시 반영이 가능한 모델 개선이 충분히 구현 가능합니다.1. Hu et al. (2021) - LoRA (Low-Rank Adaptation) * 인용 문구 (APA): Hu, E. J., Sh..

1. 장기 에이전트·하네스 엔지니어링 관련APA 인용:Park, J., Lee, H., Chen, M., & Kumar, A. (2025). Evaluating long-horizon autonomous language agents with standardized harnesses. Proceedings of the 42nd International Conference on Machine Learning (ICML).다운로드 URL:(예: https://arxiv.org/abs/2503.xxxx – 실제 링크는 arXiv 또는 해당 학회 프로시딩에서 확인 필요)논문 배경:LLM 기반 에이전트가 복잡한 장기 태스크(코딩 프로젝트, 리서치, 멀티스텝 워크플로우)를 수행하는 사례가 늘어났지만, 신뢰성·안전성을..

Privacy- and Utility-Preserving NLP with Anonymized data: A case study of PseudonymizationOleksandr Yermilov, Vipul Raheja, Artem ChernodubPrivacy- and Utility-Preserving NLP with Anonymized Data: A case studyof PseudonymizationOlexandr Yermilov1∗, Vipul Raheja2 , Artem Chernodub21Ukrainian Catholic University, Applied Sciences Faculty, 2Grammarlyoleksandr.yermilov@ucu.edu.ua,{vipul.raheja,artem..

자기진화 - 비식별화 마스킹 정책별 정보 손실률(Entropy) 자동 계산 알고리즘 구조 마스킹 정책별 정보 손실률을 자동 계산하려면, 원문과 마스킹 후 텍스트의 분포 차이를 정책 단위로 측정하는 구조가 가장 좋습니다. 텍스트 비식별화 연구에서는 엔트로피, precision, non-uniform entropy, masked language modeling 기반 정보 손실 등을 utility/정보손실 평가에 사용합니다.[pmc.ncbi.nlm.nih]핵심 아이디어 “마스킹 전에는 정보가 많고, 마스킹 후에는 정보가 줄어드는데, 그 줄어든 양을 엔트로피로 재는 것” 입니다. 엔트로피는 데이터가 "얼마나 예측하기 어려운지", 다시 말해 "얼마나 많은 정보가 들어 있는지 "를 나타내는 값입니다 핵심 아이..

자기진화모델 - 데이터 비식별화 평가 정량적 지표 계산 파이썬 예시비식별화 성능 평가 지표와 Python 예시를 정리한 문서와 차트를 생성해 두었습니다. 문서에는 Precision, Recall, F1, residual PII rate, over-masking rate, utility score 계산법과 Python 코드 예시가 들어 있습니다.[1]## 포함된 파일- 지표 설명 및 코드 예시: `deidentification_metrics_python_examples.md`- 요약 문서: `deid_metrics_summary.md`- 예시 차트 2개: `deid_metrics_comparison.png`, `deid_metrics_risk_utility.png`- 전체 패키지 압축본: `deid_me..