본문 바로가기

Hugging Face4

모델 파인튜닝 ABC 📌 1. 감정 분석 모델을 파인튜닝하기 위해 필요한 라이브러리 불러오기from transformers import AutoModelForSequenceClassification, AutoTokenizer✔ AutoModelForSequenceClassification → 문장을 분류하는 모델 (감정 분석, 스팸 필터링 등)✔ AutoTokenizer → 문장을 토큰으로 변환하는 기능 (BERT 기반 모델 사용 시 필수)   📌 2. 사전 학습된 감정 분석 모델과 토크나이저 불러오기model_name='distilbert-base-uncased-finetuned-sst-2-english'# 감정 분석을 위한 사전 학습된 모델과 토크나이저 불러오기model = AutoModelForSequenceClas.. 2025. 2. 20.
Hugging Face Transformers Pipeline으로 사전 훈련된 모델 간편 실행하기 Hugging Face의 transformers 라이브러리는자연어 처리(NLP) 및 컴퓨터 비전(CV) 분야에서 사전 훈련된 딥러닝 모델을 쉽게 활용할 수 있도록 만든 라이브러리입니다.BERT, GPT, T5, RoBERTa, Whisper 등 다양한 Transformer 기반 모델을 제공하며, 간단한 코드만으로 강력한 AI 모델을 사용할 수 있습니다.Text Generation : 텍스트 생성  🎯 1. Hugging Face Transformers의 주요 기능✅ 사전 훈련된 모델 사용 가능BERT, GPT-2, T5, LLaMA, Falcon 등 최신 AI 모델을 바로 가져와 사용 가능✅ 다양한 AI 작업 지원자연어 처리(NLP): 텍스트 생성, 감정 분석, 기계 번역, 문서 요약, 질의 응답 등음.. 2025. 2. 20.
gpt2로 Wiki데이터 파인튜닝하기 AutoModelForCausalLM GPT-2는 오픈 소스이기 때문에 누구나 쉽게 접근할 수 있으며, 특정 데이터셋을 학습하여 원하는 결과를 도출할 수 있습니다.이번 포스트에서는 GPT-2 모델을 활용하여 위키데이터(WikiText-2)를 학습하고 배포하는 방법을 단계별로 소개하겠습니다.  🔍 AutoModelForCausalLM이란?AutoModelForCausalLM은 Hugging Face의 transformers 라이브러리에서 제공하는 자동 모델 로더로, Causal Language Modeling(인과적 언어 모델링, 자기회귀 언어 모델)을 수행하는 사전 훈련된 모델을 불러오는 클래스입니다.이 모델은 이전 단어들을 기반으로 다음 단어를 예측하는 방식으로 학습되며, 대표적인 예시로 GPT-2, GPT-3, GPT-4, LLaMA,.. 2025. 2. 12.
NLP 기반 영화 리뷰 감성 분석 모델 파인튜닝과 모델 배포과정 자연어 처리를 활용하여 영화 리뷰의 긍정 및 부정을 판별하는 인공지능 모델을 파인튜닝하는 방법을 소개합니다.이번 프로젝트에서는 Hugging Face의 AutoModelForSequenceClassification 모델을 활용하여 IMDb 데이터셋을 Fine-Tuning하여 감성 분석 모델을 구축하고, 이를 Hugging Face Hub에 업로드 후 서비스화하는 과정을 다룹니다.  1. 모델 준비먼저, Hugging Face의 distilbert-base-uncased-finetuned-sst-2-english 모델을 로드합니다.이 모델은 사전 학습된 감성 분석 모델로, 이를 기반으로 IMDb 데이터셋을 Fine-Tuning하여 영화 리뷰 감성 분석을 수행할 수 있습니다.from transformers .. 2025. 2. 11.

티스토리툴바