Sttable Diffusion Fine-Tuning - 적용 사례이커머스 : 제품 이미지 자동 생성으로 카탈로그 제작 효율화게임 개발 : 컨셉 아트 및 게임 에셋 생성 시간 단축패션 디자인 : 새로운 디자인 아이디어 빠르게 시각화 - 필요성 특정 스타일이나 주제에 맞춘 이미지 생성 요구 증가.기존 모델을 특정한 스타일이나 주제에 맞게 조정하여 원하는 결과를 어디 위해 사용. - 프로세스1. 데이터 준비 : 이미지와 텍스트 프롬프트 쌍 준비2. 모델 선택 : Stable Diffusion 모델 선택 ( 1.4, 1.5, 2.1, SDXL 등 )3. 하이퍼파라미터 설정 : 학습률, 배치 크기 등 설정4. 학습 실행 : 준비된 데이터로 모델 미세 조정 시작 Fine-Tuning 주요 방법- Dreamboot..

- 개인적인 MCP, A2A 정리 MCP - 도구와 함수 관련, 일종의 코드 패키지 내지 라이브러리A2A - 개별 서비스 관련, 일종의 홈페이지 내지 모바일 어플 - 임베딩 딥러닝 모델이 데이터를 표현하는 방식. 데이터를 그 의미를 담아 여러 개의 숫자의 집합으로 표현하는 것 - 검색 알고리즘 희소 검색 : 문서와 쿼리를 희소 벡터로 표현- TF-IDF : TF 특정 단어 얼마나 자주, IDF 전체 문서에서 얼마나 희귀한지- BM25 : TF-IDF 개선. 문서 길이와 빈도 영향 정교히 조정 밀집 검색 : 문서와 쿼리를 고차원 밀집 벡터 형태로 표현. 존재 빈도 고려 희소와는 달리 의미와 문맥도 고려.트랜스포머 기반 임베딩 모델을 통해 텍스트를 의미공간에 매핑. ( 워드투벡 ) 앙상블 검색 ..

PEFT ( Parameterized Efficient Fine-Tuning ) 은 사전 학습된 대형 언어 모델을 특정 작업에 맞게 효율적으로 미세 조정하는 기법입니다. PEFT 방법은 전체 모델을 재학습하는 것이 아니라, 모델의 특정 파라미터만을 조정함으로써 학습 효율을 높이고 계산 자원을 절약할 수 있습니다. PEFT는 학습시간을 단축하고 메모리 사용량을 줄이는데 매우 효과적입니다. - PEFT 원리PEFT의 핵심 아이디어는 사전 학습된 모델의 일부 파라미터를 고정하고, 나머지 파라미터만을 미세 조정하는 것.PEFT는 기존의 FFT 보다 적은 자원으로도 높은 성능을 유지할 수 있습니다. - LoRALoRA( Low-Rank Adaptation )의 핵심 아이디어는 모델의 일부 파라미터를 저차원 공간으..

1. DP ( Data Parallel )동일한 딥러닝 모델 복사본을 여러 GPU에 배치하고 병렬로 학습 시키는 방법.가장 기본적인 방법. DP를 사용하면 동일한 모델의 복사본이 각 GPU에 배치되고, 미니배치 데이터를 여러 GPU에 나누어 병렬로 학습. 장점쉬운 구현프레임워크에서 제공하는 데이터 병렬화 기능을 통해 복잡한 코드 변경 없이 병렬 처리 손쉽게 구현 가능.효율적인 자원 활용여러 GPU 동시에 활용하여 학습 속도를 크게 향상시킬 수 있으며, 더 큰 모델 학습 및 대규모 데이터 처리에 적합.단점비효율적인 기울기 집계GPU 간 기울기 집계 과정에서 네트워크 통신 오버헤드가 발생하여 전체 학습 속도가 느려질 수 있음.메모리 낭비각 GPU가 동일한 모델 복사본을 가지므로 모델 크기가 큰 경우 메모리 ..

Python의 List 연산에 대한 시간복잡도   Indexarr[i]O(1)Lengthlen(arr)O(1)Appendarr.append(4)O(1)Poparr.pop()O(1)Slicearr[a:b]O(b-a)Extendarr.extend(...)O(len(...))Insertarr.insert(i, v)O(N)Deletedel arr[i]O(N)Poparr.pop(i)O(N)ReverseArr.reverse()O(N)Sortarr.sort()O(N LogN)Iterationfor i in arr:O(N)Storearr[i] = vO(1)  Python Dictionary 연산의 시간복잡도   Indexd[k]O(1)Stored[k] = vO(1)Lengthlen(d)O(1)Deletedel d[k]..

차원의 저주 (The curse of dimensionality) - 데이터 학습을 위해 차원이 증가하면서 상대적으로 데이터가 Sparse해지고 모델의 성능이 떨어지는 현상 차원 축소 (Dimensional Reduction) - 고차원 데이터를 저차원 데이터로 변환하는 방법 - Feature Selection (특성 선택): 통계적인 방법을 이용해 feature들의 중요도에 순위를 정해서결정하는 방법 (ex. 상관분석, 전/후진선택 등) - Feature Extraction (특성 추출): 기존 Feature들을 이용하여 유용한 Feature를 새롭게 생성하는 방법 (ex. PCA, LDA) PCA와 LDA- PCA(Principal Component Analysis, 주성분 분석) : 변수 간 상관관..

확증적 데이터 분석 (CDA)가설을 설정한 후 수집한 데이터로 가설을 평가하고 추정하는 전통적인 분석 방법.재현성, 유의성 검정, 신뢰구간 추정 등의 통계적 추론을 이용.탐색적 데이터 분석 (EDA)데이터를 가지고 여러 방향으로 데이터를 탐색하고, 데이터의 특징과 구조로부터 얻은 정보를 바탕으로 통계모형을 만드는 분석 방법  ------- 확증적 데이터 분석(Confirmatory Data Analysis, CDA)과 탐색적 데이터 분석(Exploratory Data Analysis, EDA)은 데이터 분석의 두 가지 주요 접근 방식으로, 각각의 목적과 방법론이 다릅니다. 1. 탐색적 데이터 분석 (Exploratory Data Analysis, EDA)탐색적 데이터 분석(EDA)은 데이터가 가지고 있는..

AI  Agent란?1. AI를 통해 의사결정 및 판단하는 프로그램2. LLM Agent란? - 의사 결정의 도구로 LLM을 활용하는 Agent- 좋은 Agent를 만들려면 LLM을 잘 활용할 수 있어야하는데 잘 활용하기 위한 도구가 LangGraph LangGraph 랭그래프는 Stateful하고 Orchestration Framework1. Stateful상태를 유지한다. Agent니까 멀티 Agent의 경우 서로 소통하고 협력을 하는데 그때의 중간중간마다 결과물이 있는데, 그것을 여기서 말하는 상태라고 합니다.여기의 상태는 챗봇의 채팅 히스토리와 유사하다.2. Orchestration FrameworkAgent가 협업할 때 어떻게 협업할 지 정해줘야한다. DevOps해보면 Kubernetes 활용해..