티스토리

plutodev 님의 블로그

검색하기

블로그 홈

plutodev 님의 블로그

plutodev.tistory.com/m

plutodev 님의 블로그 입니다.

구독자: 0

방명록 방문하기

주요 글 목록

네트워크 (1) 컴퓨터 네트워크 : 여러 장치들이 서로 정보를 주고받을 수 있는 통신망인터넷 => 네트워크끼리 연결한 네트워크 컴퓨터 네트워크 구성 요소노드 : 종단 시스템, 호스트 => 메세지를 최초로 송신, 생성하는 대상, '주소'를 통해 위치 특정유니캐스트 : 1 대 1 통신브로드캐스트 : 네트워크 전체에 메세지 전송멀티캐스트 : 네트워크 내의 특정 그룹에만 메세지 전송클라이언트 : 요청을 보내는 호스트서버 : 응답을 보내는 호스트메세지 : 주고 받는 정보 (e.g. 웹페이지, 사진, 동영상 등)간선(통신 링크)유선 케이블 (트위스티드 페어 케이블, 광케이블)무선 (와이파이) LAN : 근거리를 연결한 네트워크WAN : 원거리를 연결한 네트워크 => ISP에 의해 구축 패킷 교환 네트워크 : 주고받는 정보를 패킷(.. 공감수 0 댓글수 0 2025. 3. 8.
[기업 프로젝트] RAG 시스템: 모델 선택부터 배포까지 부트캠프의 마지막 프로젝트로 국내 최대 버그바운티 플랫폼 기업인 '파인더갭(FindtheGap)'의 과제를 받아 진행했다.기업 측에서 프로젝트 주제 노출을 원하지 않아, 실험한 기술과 모델 위주로 정리하고자 한다.T5 모델 파인튜닝 처음에는 T5 모델 파인튜닝을 시도했지만, 결과적으로 성공적이지 못했다.사용한 모델은 FLAN-T5-BASE와 KE-T5-BASE 두 가지였다.FLAN-T5는 few-shot 학습만으로도 특정 도메인에 적응할 수 있다는 장점이 있어 선택했다.KE-T5는 한국어 기반 모델로, 영어 위주의 FLAN-T5와 성능을 비교하기 위해 활용했다.그러나 예상대로 FLAN-T5는 한국어 생성이 제대로 되지 않았고, 깨진 글자가 출력되거나 영어 위주로 결과가 생성되었다.KE-T5는 처음 시도했.. 공감수 0 댓글수 0 2025. 2. 17.
[RecSys Project] 고객 맞춤 상품 추천 시스템 만들기 Github Link개요 온라인 쇼핑이 생활화된 세상에서 수많은 상품들이 쏟아져 나오고, 소비자들은 그 수많은 상품들 중에서 원하는 상품이 각자 다르다.물론 소비자가 직접 수많은 상품들을 직접 찾아보고 비교하며 본인이 원하는 상품들을 골라서 구매할 수도 있지만, 소비자에게 맞는 상품을 추천해 주는 것만큼 편한 것은 없을 것이다.실제로 수많은 이커머스에서는 추천시스템을 구축해서 소비자들에게 맞는 상품들을 추천해주고 있다.이번 프로젝트에서는 이 추천시스템을 직접 구축해보고자 한다. 데이터 구성학습 데이터는 아래 항목들로 구성되어있다. 유저 ID(user_id)아이템 ID(item_id)사용자의 세션 ID(user_session) : 사용자가 오랜 시간이 지난 후 온라인 스토어로 돌아올 때마다 변경됨.해당 이.. 공감수 1 댓글수 0 2025. 1. 11.
Deep Learning 개요 딥러닝 구성 필수 요소모델을 학습하기 위해 필요한 데이터 (Data)MNIST, Fashion MNIST ...주어진 데이터를 원하는 결과로 변환하는 모델 (Model)다층 퍼셉트론(MLP), 컨볼루션 신경망(CNN), 순환 신경망(RNN) ...모델의 결과에 대한 오차를 수치화하는 손실 함수 (Loss Function)평균절대오차(MAE), 평균제곱오차(MSE), 교차 엔트로피(CE) ...손실 함수의 값이 최소가 되도록 모델의 파라미터를 조정하는 최적화 알고리즘 (Optimization Algorithm) 경사 하강법(GD), 확률적 경사 하강법(SGD), 모멘텀(Momentum) ...성능 향상을 위한 기타 알고리즘Dropout, Regularization, Normalization ... 데이터 .. 공감수 1 댓글수 0 2025. 1. 10.
기초 통계 1. 기술 통계의 기본 개념기술 통계 : 데이터를 요약하고 시각적으로 표현하는 방법평균 : 데이터의 중심값을 나타냄. 모든 값을 더한 후 데이터 개수로 나눈 값중앙값 : 데이터를 크기 순서대로 정렬했을 때 가장 중앙에 위치한 값최빈값 : 데이터에서 가장 자주 등장하는 값분산 : 데이터가 평균에서 얼마나 퍼져 있는지를 측정하는 값표준편차 : 분산의 제곱근으로, 데이터의 흩어짐 정도를 원래 단위로 표현 2. 확률 및 확률 분포확률 : 어떤 사건이 발생할 가능성을 나타내는 척도조건부 확률 : 한 사건이 주어졌을 때 다른 사건이 일어날 확률정규분포 : 데이터가 평균을 중심으로 대칭적으로 분포하는 가장 일반적인 분포이항분포 : 성공과 실패처럼 두 가지 결과를 가진 실험에서 발생하는 확률 분포포아송 분포 : 일정 .. 공감수 0 댓글수 0 2025. 1. 10.
[NLP Project] 일상 속 대화 적절하게 요약하기 개요 회의나 토의, 사소한 일상 대회 등 일상생활에서 대화는 수시로 이루어지고 있다.또한 그 수많은 대화들을 대화가 끝난 후에 기억에 의존해서 요약하게 되면 잘못된 내용이나 누락되는 내용이 생기기 마련이다.회의나 토의 등과 같이 중요한 대화의 경우에는 녹음을 해둘 수도 있지만, 장시간 이어진 대화를 전부 다시 듣기에는 비효율적이기 때문에 요약이 필요하다.이런 불편함을 개선하기 위해서 일상 대화를 바탕으로 요약문을 생성하는 모델을 구축하고자 한다. 당장 나 또한 대화가 끝난 이후에 정리하려다가 기억하지 못하고 누락되는 것들이 많다.대학 강의를 들을 때에도 장시간 연속으로 강의를 듣다 보면 전체적인 내용이 필요할 때도 있지만 요약이 필요하다고 느낄 때도 많아서 여러 방면으로 활용하기 좋은 기술인 것 같다. .. 공감수 2 댓글수 0 2025. 1. 8.
[CV Project] 육안으로 분간하기도 힘든 문서 딥러닝으로 분류하기 Github Link개요 모든 기업에서 다양한 형태의 문서를 만들어서 사용해 왔고, 지금도 수많은 문서들이 새로 만들어지고 있다.그렇게 쌓인 문서들은 보관하기에는 많은 공간을 필요로 하기에, 많은 기업들이 쌓인 문서들을 데이터화해서 저장 및 보관하고 있다.그런 문서의 데이터화 작업에서 핵심이 될 수 있는 기술이 문서의 타입을 분류하는 것이라고 생각한다. 당장 개인이 가지고 있는 문서만 해도, 보험이나 휴대전화, 인터넷 가입, 월세 임대 등의 계약서부터 병원에 갔을 때 받게되는 진단서나 처방전, 물품 구매 시 받는 영수증까지 그 외에도 수많은 문서들이 있다.그렇기에 처음 이 주제를 봤을 때 기업에서 뿐만 아니라 개인의 생활에서도 유용하게 활용할 수 있지 않을까 생각했다. EDA우선적으로 데이터를 확인해본 .. 공감수 0 댓글수 0 2024. 11. 12.
ML Ops 음악 추천 시스템 프로젝트 회고 Github Link프로젝트 개요 이번 프로젝트는 MLFlow와 Airflow를 활용한 ML Ops를 메인으로 진행됐다. 우리 팀은 ML Ops를 적용할 서비스로 음악 추천 시스템을 선정했다. 주제 선정 이유 기존에도 관심이 있던 추천 시스템 분야였고, 서비스를 만들기 위해서는 데이터가 있어야 하는데 음악 추천 시스템을 할 경우, 스포티파이 API에서 제공되는 Audio Features를 이용하면 데이터를 수집하기에도 비교적 용이하고, 곡 추천 시에도 비교적 명확한 기준을 가지고 추천하는게 가능하겠다는 생각이 들어 주제로 선정했다. 담당한 역할 이번 프로젝트는 ML "Ops"가 메인이었기 때문에 ML 부분에만 모든 사람이 달려들기보다는 전체적으로 시스템을 만드는데 집중하는게 좋을 것 같았고, 그래서 나는.. 공감수 6 댓글수 4 2024. 10. 16.
아파트 실거래가 예측 경진대회 회고 Github Link경진대회 개요 Upstage AI Lab 4기의 첫 경진대회인 House Price Prediction 경진대회는 주어진 데이터를 활용해 서울의 아파트 실거래가를 효과적으로 예측하는 모델을 개발하는 대회이다. 대회에서 제공된 데이터셋을 기반으로 모델을 학습하고, 서울시 각 지역의 아파트 매매 실거래가를 예측하는 데에 선형 회귀, 결정 트리, 랜덤 포레스트, 딥 러닝과 같은 다양한 Regression 알고리즘을 사용할 수 있다. 이 대회의 목표는 정확하고 일반화된 모델을 개발해 아파트 시장의 동향을 미리 예측하는 것이다. 모델의 성능을 평가하는 지표로는 예측된 값과 신제 값 간의 평균 편차를 측정하는 RMSE(Root Mean Squared Error)를 사용한다. 즉, 회귀 모델이 실.. 공감수 1 댓글수 0 2024. 9. 23.
머신러닝, 딥러닝 기본 개념 인공지능 (Artificial Intelligence)인간의 학습능력, 추론능력, 지각능력을 인공적으로 구현하는 것으로, 인간을 포함한 동물이 갖고 있는 지능(Natural Intelligence)과는 다른 개념지능을 갖고 있는 기능을 갖춘 컴퓨터 시스템 = 인간의 지능을 기계 등을 인공적으로 시연(구현)한 것 기술적 특이점 (Technological Singularity) 인공지능이 발전해 인간의 도움 없이도 스스로 발전을 계속할 수 있게 되고, 결국 인류 전체를 합친 것보다 뛰어난 지능을 갖게되는 가상의 시점 튜링테스트 (Turing Test) 기계가 인간과 동등한 지적 능력을 가졌는지 확인하기 위해 고안된 테스트=> 명확한 기준 없이 질문자의 주관적인 판단에 의존하는 시험이므로 크게 의미 없음 .. 공감수 1 댓글수 0 2024. 9. 1.
LangChain을 활용한 LLM 애플리케이션 개발 프로젝트 회고 Github Link 프로젝트 주제 우리 팀은 "항공편 정보 특화 QA Engine" 이라는 주제로 진행하기로 했다.여러가지 주제가 나왔지만 외부에서 비교적 정확한 정보를 가져올 수 있으면서, QA Engine 특성 상 좀 더 명확한 답을 낼 수 있는 주제로 선정하는 것이 LLM을 통해 구현하기에 더 적합하다고 생각하기도 했고, 최근 해외 여행을 가는 경우가 많지만 ChatGPT, Gemini 등과 같은 서비스에서는 실시간 정보가 중요한 항공편과 같은 질문이 불가능했기에 메리트가 있다고 판단했다. 구현하고자 했던 기능 QA Engine에서 사용할 핵심 정보인 항공편 정보를 가져오는 기능불러온 항공편 정보를 RDB에 저장하는 기능LLM을 이용해 RDB에서 원하는 정보를 불러올 쿼리 생성RDB에서 불러온 데.. 공감수 6 댓글수 1 2024. 9. 1.
운영체제 (2) > 운영체제가 제공하는 동기화의 의미실행 순서 제어 : 프로세스를 올바른 순서로 실행상호 배제 : 동시에 접근해서는 안 되는 자원에 하나만 접근 공유 자원 : 공도의 자원 (파일, 전역 변수, 입출력장치 등)임계 구역 : 동시에 접근하면 문제가 발생할 수 있는 공유 자원에 접근하는 코드블록 레이스 컨디션 (race condition) : 임계 구역을 동시에 실행하여 자원의 일관성이 깨지는 현상 생산자와 소비자 문제 : 동기화가 이루어지지 않았을 때 발생할 수 있는 문제를 보여주는 고전적인 문제producer : 생산을 하는 프로세스(스레드)consumer : 소비를 하는 프로세스(스레드)=> 동기화되지 않은 상태에서 실행되기 때문에 똑같은 코드라도 결과 값이 예상했던 것과는 다르게 나오고 그 값이 계속 .. 공감수 1 댓글수 0 2024. 8. 31.
Github 연결 Github 연결$ git remote add origin '깃허브 주소' Github 연결 해제$ git remote rm origin Github 소스 코드 현재 main 브랜치에 다운로드$ git pull origin main main 부분은 설정된 branch 명에 따라 달라질 수 있음fetch 후 merge 하는 것과 같음 Github 소스코드 바로 다운로드$ git clone '깃허브 주소' 작동 프로세스 : init - remote add - pull 순으로 진행 주의! main 브랜치는 직접적으로 보이지만, origin/main 브랜치는 숨김 폴더인 .git 폴더 내부에 있어서 보이지 않음 Github에 소스 코드 업로드$ git push '원격저장소' 'push할 브랜치 명'$ git.. 공감수 0 댓글수 0 2024. 8. 12.
Git 최초 설정$ git config --global user.name 'name'$ git config --global user.email 'email' git을 사용하기 전에 git 변경 내용 저장 시 같이 저장될 이름과 이메일 설정해야 함 작업 영역 생성(선언)$ git init git 작업할 폴더로 이동 후 명령어 실행 => git 작업 가능해짐 변경 내용 인덱스 영역에 저장$ git add . # '.' : 해당 경로의 모든 변경 사항 add 뒤에 특정 파일 선택해서 저장하는 것도 가능하지만, 한번 저장할 때 모든 변경사항 저장하는 게 좋음 인덱스 영역에 있는 변경 내용 영구적으로 저장$ git commit -m 'commit한 내용' commit 까지 완료해야 저장된 것 현재 작업 영역 상태 확인$.. 공감수 0 댓글수 0 2024. 8. 12.
[Python] 조건문 (if, elif, else) 비교 연산a = 5b = 7a == b # 같다a != b # 다르다 a =! b 라고 쓰면 에러 발생a > b # a가 b보다 크다a = b # a가 b보다 크거나 같다 a => b 라고 쓰면 에러 발생a 논리 연산a = 5A = (a == 5) # A : TrueB = (a > 10) # B : False# and 연산은 두 값이 모두 True 일 때 True 반환A and B # 결과값 : False# or 연산은 두 값 중 하나만 True여도 True 반환A or B # 결과값 : True# not 연산은 입력된 값의 반대값으로 반환not A # 결과값 : False 조건문 (if)a = 5if a == 5: # a가 5와 같으면 print(True) # True 출력 예제. 윤년 .. 공감수 0 댓글수 0 2024. 8. 6.
[Python] 데이터 타입 변수 (Variable) : 메모리에 데이터를 저장하기 위한 공간을 가리키는 말로 실제 물리적인 메모리 주소공간을 가리킴=> 사용자는 변수의 이름으로 데이터를 인식하고, 컴퓨터는 변수의 주소로 데이터를 인식함 = (assignment operator) : 데이터 "할당" 연산자# 변수 a에 10이라는 정수 데이터 할당(assign)a = 10# 파이썬에서 a라는 변수를 인식하고 있는 identifier 확인id(a) 숫자 데이터 (Numeric Data Types)정수, 실수, 복소수, 2진수, 8진수, 16진수를 포함하며 대부분의 연산을 그대로 지원함파이썬은 숫자의 표현 범위가 무한대 정수형 (Integer)a = 10 실수형 (Floating point)c = 3.14# 1.34 x 10^6을 의미.. 공감수 1 댓글수 0 2024. 8. 6.
운영체제 (1) 운영체제 : CPU, 메모리, 디스크 할당 및 반환 등 각종 자원 관리커널 : 운영체제의 핵심부 (kernel.org 에서 리눅스 커널 소스코드 확인 가능)+ 운영체제 중에서 커널이 아닌 것 : UI=> 메모리에서 운영체제가 적재되는 공간 = 커널 영역 모든 응용 프로그램은 자원에 임의 접근이 불가능 = 반드시 운영체제를 통해서만 가능=> 운영체제는 일종의 문지기 역할을 수행함 이중 모드커널 모드 : 운영체제 서비스를 제공 받을 수 있음 (입출력 가능) = 커널 영역의 코드 실행 가능사용자 모드 : 운영체제 서비스를 지공 받을 수 없음 (입출력 불가능) = 커널 영역의 코드 실행 불가능운영체제 서비스 : 프로세스 관리, 자원(CPU, 메모리, 디스크) 관리 접근 및 할당, 파일 시스템 관리 시스템 콜 :.. 공감수 0 댓글수 0 2024. 8. 6.
컴퓨터 구조 (2) RAM(Random Axxess Memory) - 휘발성 저장장치 : 전원 꺼지면 저장된 내용 지워짐램 크기 클수록 많은 프로그램을 동시에 빠르게 실행하는데 유리함 = 성능에 영향 끼침DRAM(Dynamic RAM) : 시간 지나면 점차 저장된 데이터가 사라짐 = 주로 메인 메모리로 사용SRAM(Static RAM) : 시간 지나도 저장된 데이터 사라지지 않음 (단, 전원 꺼지면 지워짐) = 주로 캐시 메모리로 사용SDRAM(Synchromous Dynamic RAM) : 클럭과 동기화된 DRAM = 클럭 타이밍에 맞춰 CPU와 정보 교환 가능 =SDRSDRAM(Single Data Rate SDRAM)이라고도 함DDR SDRAM(Double Data Rate SDRAM) : 대역폭을 넓혀 속도를 높인.. 공감수 0 댓글수 0 2024. 8. 5.
컴퓨터 구조 (1) 컴퓨터는 소스코드 직접 이해하는 게 불가능해서 실행되기 전 명령어(+ 데이터)로 변환되어 실행됨 저급언어 : 컴퓨터가 이해하기 편한 언어 (ex. 명령어, 데이터)기계어(machine code) : 0과 1로 표현된 컴퓨터가 직접 이해하는 언어어셈블리어(assembly language) : 조금이라도 읽기 편하게 기계어를 변환한 언어 고급언어 : 사람(개발자)가 이해하기 편한 언어 (ex. 소스코드)컴파일 : 소스코드 전체가 컴파일러(gcc, clang, Visual Studio 등)에 의해 검사, 목적 코드로 변환 (ex. C/C++, Rust)인터프리트 : 소스코드를 한 줄씩 인터프리터에 의해 검사, 목적 코드로 변환 (ex. Python, JavaScript)(( 언어 변환되는 것 확인해 볼 수 있.. 공감수 0 댓글수 0 2024. 7. 25.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.