이미 파인튜닝된 언어모델을 가지고, 감정을 분류하는 과정을 단계적으로 설명하겠습니다.1. 텍스트 입력 처리입력된 자연어 문장을 언어모델이 이해할 수 있는 형태로 변환합니다.토크나이징숫자 id로 변환패딩 및 어텐션 마스크 처리2. 모델 입력 및 통과변환된 입력 데이터를 BERT와 같은 모델에 전달transformer에서 입력한 문장 내의 단어들의 문맥정보를 학습하고 최종 특징 벡터를 생성합니다.임베딩 레이어에서 입력데이터가 토큰 임베딩, 위치 임베딩, 세그먼트 임베딩으로 변환Transformer 인코더에서 attention 매커니즘을 사용해서 각 단어가 문맥적으로 다른 단어와 어떻게 연관되는 지 학습한다트랜스포머 모델(ex. bert, gpt)는 기본적으로 특징 추출기 역할을 합니다. 마지막 인코딩 레이..
전체 글
모델 (Model)모델은 특정 문제를 해결하기 위해 설계된 딥러닝 전체의 시스템포괄적인 용어로 특정 상황에 따라 아키텍쳐나 체크포인트(모델의 학습 중간 상태를 저장한 파일)둘다 의미할 수도 있다.구성요소아키텍쳐 : 모델의 구조나 설계도가중치: 학습과정에서 최적화된 파라미터아키텍쳐 (Architecture)모델의 설계 구조레이어(layer)와 노드(node)들이 어떻게 연결되었는지 설명함특정 문제(예: 이미지 분류, 자연어 처리 등)에 적합한 아키텍쳐를 선택해야 한다동일한 아키텍쳐 라고 다른 하이퍼파라미터(예: 뉴런 수, 레이어 수)에 따라 성능이 달라질 수 있음. 가중치(Weights)학습 과정에서 최적화된 매개변수(parameter)로,데이터와 목표(예: 손실 함수의 값을 최소화, 예측값과 실제값 사이..
트랜스포머란 자연어 처리에서 문장 내 단어들의 연관성을 효과적으로 학습하기 위해 만들어진 딥러닝 모델입니다. 특히, 어텐션 메커니즘과 병렬 처리라는 두 가지 핵심 특징을 가지고 있습니다.먼저 어텐션 메커니즘부터 살펴보면, 어텐션이라는 단어 자체가 “주의”나 “집중”이라는 의미를 가지고 있죠. 이 메커니즘은 문장 내에서 어떤 단어에 더 집중해야 할지 판단하는 역할을 합니다.예를 들어, “나는 오늘 커피를 마셨다”라는 문장에서 “마셨다”라는 동사를 이해하려면 “커피를”이라는 단어에 더 주목해야 합니다. 반면에 “나는”이나 “오늘” 같은 단어는 상대적으로 덜 중요하겠죠.이렇게 어텐션 메커니즘은 문장 내 단어들 간의 연관성을 학습하면서 어떤 단어가 더 중요한지 판단하고, 이를 통해 문맥을 더 정확히 이해합니다...
자연어 처리는 인간의 언어와 관련된 모든 것을 이해하는 데 집중하는, 언어학 그리고 기계 학습의 한 분야입니다.그 자연어 처리의 목적은 한 가지 단어를 개별적으로 이해하는 것에 있는 것이 아니라 이것을 어떤 문맥 안에서 그 단어들을 이해하려고 하는 데 있습니다.그래서 자연어 처리 태스크의 어떤 예시로는 다음과 같은 것들이 있는데요.이제 자연어 테스크에는 이제 전체의 문장을 분류하는 것들, 예를 들어서 스팸인 이메일과 그렇지 않은 이메일 그리고 문법적으로 오류가 있는 문장과 그렇지 않은 문장을 분류하는 것도 있고요.그리고 한 문장에서 특정 단어가 어떤 품사를 가지고 있는지 뭐 동사인지 형용사인지 명사인지 또는 어떤 객체인지 사람인지 아니면 위치인지 어떤 조직인지 이런 걸 분류할 수도 있고요.그다음에 문맥에..
ai는 무엇인가요?자연어 처리는 무엇인가요?트랜스포머란 무엇인가요?인공신경망은 무엇이고, 어떻게 작동하나요?감정인식을 어떻게 하죠?딥러닝은 무엇인가요?딥러닝과 머신러닝의 차이점은 무엇인가요?트랜스포머의 구조에 대해서 설명해주세요.선택한 언어모델이 어떻게 작동하나요? (감정인식 /응답생성 나누어서)맡은 파트와 한 일이 뭐죠?왜 당신이 5500을 받아야 한다고 생각해요?ai 프로젝트를 간단하게 설명해주세요. ai 프로젝트에서 해결하기 어려웠던 문제는?ai의 미래는 어떻게 될까요?http 통신에 대해 간단하게 설명해주세요.tcp 통신에 대해 간단하게 설명해주세요. *면접 질문에 대한 대답을 작성할때는 모두 그림없이 글로 작성할것*
https://github.com/scofield7419/EmpathyEar GitHub - scofield7419/EmpathyEar: Multimodal Empathetic ChatbotMultimodal Empathetic Chatbot. Contribute to scofield7419/EmpathyEar development by creating an account on GitHub.github.comhttps://arxiv.org/abs/2406.15177 EmpathyEar: An Open-source Avatar Multimodal Empathetic ChatbotThis paper introduces EmpathyEar, a pioneering open-source, avatar-based..
세상에는 다양한 방법론이 있다(1) 목표를 정하고 단거리 달리기(2) 목표를 정하고 장거리 달리기(3) 될것 같은지? 안될것 같은지? 지켜보면서 목표를 슬금슬금 정하기 CTO로서 난이도가 높은 기술을 구현할때는 (AI, 블록체인 등) 3번이다.왜 3번인가?개발은 노력만으로 되는게 아니라데이터 수집, ai 모델, 서버 구축 등 여러가지 도구 및 시스템이 갖춰져야 함도구와 시스템이 없다면 개발자의 노력이 있어도 기대 이하의 결과가 나올 수 있음3번적 사고를 기르려면1. 어떻게 만들건데?이 질문을 달고 살아야 한다2. 장기목표를 신중히 정해야 한다= 장기목표를 나중에 정해야 한다장기 목표를 냅다 지르는게 아니라돌다리 두드려보듯 하나씩 두드려보면서 단기목표1, 단기목표2, 단기목표3이런식으로 세우면서오히려 기획..
AI의 발전은 세 차례에 걸쳐 크게 변화해왔습니다. 1차 AI 붐에서는 규칙 기반 시스템이 주목받으며 AI의 기초가 다져졌습니다. 이후 2차 AI 붐에서는 머신러닝의 등장과 역전파 알고리즘 덕분에 신경망 학습이 가능해지면서 AI 연구가 다시 활기를 띠었습니다. 3차 AI 붐에 이르러서는 딥러닝과 생성형 AI가 발전하여 다양한 산업에서 혁신적인 성과를 내고 있습니다.위의 사진을 보면, 머신러닝이 등장하고나서 순차적으로 딥러닝이 등장할 것 같다고 생각할 수 있지만, 실제로는 동시에 발전해왔습니다. 머신러닝과 딥러닝의 상호발전과 계층구조예를들어,1980년대 역전파 알고리즘의 도입은 머신러닝의 중요한 발전이었습니다.이를 통해 비선형 문제를 해결할 수 있게 되었고, 딥러닝은 더 깊은 신경망으로 복잡한 패턴을 인..