본문 바로가기

Deep Learning7

모델 파인튜닝 ABC 📌 1. 감정 분석 모델을 파인튜닝하기 위해 필요한 라이브러리 불러오기from transformers import AutoModelForSequenceClassification, AutoTokenizer✔ AutoModelForSequenceClassification → 문장을 분류하는 모델 (감정 분석, 스팸 필터링 등)✔ AutoTokenizer → 문장을 토큰으로 변환하는 기능 (BERT 기반 모델 사용 시 필수)   📌 2. 사전 학습된 감정 분석 모델과 토크나이저 불러오기model_name='distilbert-base-uncased-finetuned-sst-2-english'# 감정 분석을 위한 사전 학습된 모델과 토크나이저 불러오기model = AutoModelForSequenceClas.. 2025. 2. 20.
GPT-2를 활용한 언어 모델 학습 과정 GPT-2는 다양한 텍스트 데이터를 학습하여 문장을 생성하는 강력한 능력을 가지고 있습니다.이번 글에서는 GPT-2 모델을 활용한 학습 과정을 단계별로 설명하겠습니다.   1. 데이터셋 로드GPT-2 모델을 학습시키기 위해서는 대량의 텍스트 데이터가 필요합니다.이번 실습에서는 Hugging Face의 datasets 라이브러리를 활용하여 wikitext-2 데이터셋을 로드합니다.!pip install datasetsfrom datasets import load_datasetdataset = load_dataset("wikitext", name="wikitext-2-raw-v1")✅ 설명datasets 라이브러리는 NLP 작업을 위한 다양한 데이터셋을 쉽게 가져올 수 있도록 도와줍니다.wikitext-2-.. 2025. 2. 20.
Hugging Face Transformers Pipeline으로 사전 훈련된 모델 간편 실행하기 Hugging Face의 transformers 라이브러리는자연어 처리(NLP) 및 컴퓨터 비전(CV) 분야에서 사전 훈련된 딥러닝 모델을 쉽게 활용할 수 있도록 만든 라이브러리입니다.BERT, GPT, T5, RoBERTa, Whisper 등 다양한 Transformer 기반 모델을 제공하며, 간단한 코드만으로 강력한 AI 모델을 사용할 수 있습니다.Text Generation : 텍스트 생성  🎯 1. Hugging Face Transformers의 주요 기능✅ 사전 훈련된 모델 사용 가능BERT, GPT-2, T5, LLaMA, Falcon 등 최신 AI 모델을 바로 가져와 사용 가능✅ 다양한 AI 작업 지원자연어 처리(NLP): 텍스트 생성, 감정 분석, 기계 번역, 문서 요약, 질의 응답 등음.. 2025. 2. 20.
LlamaIndex를 활용한 PDF 기반 RAG 질의응답 시스템 구축 LlamaIndex는 문서를 효율적으로 검색하고 AI 모델과 연계하여 질의응답을 수행할 수 있는 강력한 프레임워크입니다.이번 글에서는 LlamaIndex를 활용하여 PDF 문서에서 정보를 추출하고, 이를 기반으로 RAG(Retrieval-Augmented Generation) 방식의 질의응답 시스템을 구축하는 방법을 설명하겠습니다.  1. RAG 개념과 동작 방식대형 언어 모델(LLM, 예: GPT-4, LLaMA-2)은 학습된 데이터만을 기반으로 답변을 생성합니다. 그러나 모델이 최신 정보를 포함하지 않을 경우 잘못된 정보(할루시네이션, Hallucination)가 발생할 수 있습니다.RAG의 특징:LLM이 외부 데이터베이스에서 관련 문서를 검색한 후 답변 생성최신 정보를 반영할 수 있음 (고정된 모델.. 2025. 2. 12.
gpt2로 Wiki데이터 파인튜닝하기 AutoModelForCausalLM GPT-2는 오픈 소스이기 때문에 누구나 쉽게 접근할 수 있으며, 특정 데이터셋을 학습하여 원하는 결과를 도출할 수 있습니다.이번 포스트에서는 GPT-2 모델을 활용하여 위키데이터(WikiText-2)를 학습하고 배포하는 방법을 단계별로 소개하겠습니다.  🔍 AutoModelForCausalLM이란?AutoModelForCausalLM은 Hugging Face의 transformers 라이브러리에서 제공하는 자동 모델 로더로, Causal Language Modeling(인과적 언어 모델링, 자기회귀 언어 모델)을 수행하는 사전 훈련된 모델을 불러오는 클래스입니다.이 모델은 이전 단어들을 기반으로 다음 단어를 예측하는 방식으로 학습되며, 대표적인 예시로 GPT-2, GPT-3, GPT-4, LLaMA,.. 2025. 2. 12.
NLP 기반 영화 리뷰 감성 분석 모델 파인튜닝과 모델 배포과정 자연어 처리를 활용하여 영화 리뷰의 긍정 및 부정을 판별하는 인공지능 모델을 파인튜닝하는 방법을 소개합니다.이번 프로젝트에서는 Hugging Face의 AutoModelForSequenceClassification 모델을 활용하여 IMDb 데이터셋을 Fine-Tuning하여 감성 분석 모델을 구축하고, 이를 Hugging Face Hub에 업로드 후 서비스화하는 과정을 다룹니다.  1. 모델 준비먼저, Hugging Face의 distilbert-base-uncased-finetuned-sst-2-english 모델을 로드합니다.이 모델은 사전 학습된 감성 분석 모델로, 이를 기반으로 IMDb 데이터셋을 Fine-Tuning하여 영화 리뷰 감성 분석을 수행할 수 있습니다.from transformers .. 2025. 2. 11.
자연어 처리(NLP) AutoModelForSequenceClassification 자연어 처리(NLP)에서 사전 학습된 모델을 활용하여 문장을 분석하고 예측하는 과정에서 AutoModel을 직접 사용하면 더욱 유연한 조정이 가능합니다. 본 글에서는 AutoModelForSequenceClassification을 활용하여 모델을 다루는 방법을 다룹니다. 긍정/ 부정 두개로 분류하는 모델 만들기 (Fine-tuning) I love this movie! It was fantastic! This is the worst experience I have ever had. As the sun slowly began to set over the vast horizon, casting a warm golden glow across the sky, painting it with hues of oran.. 2025. 2. 11.

티스토리툴바