Keyword Mel Spectogram WaveNet Tacotron2 한줄 요약: Tacotron이라는 모델을 통해 Mel Spectogram을 생성하고 이를 WaveNet의 입력으로 주어 음성 합성을 하니 기존보다 성능이 크게 개선되었다. Abstract seq2seq network + WaveNet(Vocoder, WaveNet이 Vocoder 역할을 한다) Vocoder를 활용하여 MelSpectogram으로부터 시간 영역의 파동을 합성 WaveNet 아키텍쳐의 크기를 상당히 줄일 수 있다. 4.53의 MOS 달성 1. Introduction 기존의 방식은 사전 녹음된 Waveform의 작은 단위를 이어붙이는 단위 선택을 통한 연결적 합성 예를 들면, '안', '녕', '하', '세', '요'를..

micro F1 score micro F1 score는 각각의 label에 대해서 구한 TP, FP, FN을 총합해 전체 TP, FP, FN을 구한다. 이 전체 TP, FP, FN을 이용해 f1 score를 구한다. micro F1 score는 각각의 label에 대해서 구한 TP, FP, FN을 총합해 전체 TP, FP, FN을 구한다. 이 전체 TP, FP, FN을 이용해 f1 score를 구한다. Reference https://towardsdatascience.com/micro-macro-weighted-averages-of-f1-score-clearly-explained-b603420b292f Micro, Macro & Weighted Averages of F1 Score, Clearly Exp..

(a, b, c)의 삼차원을 가진다고 가정하자. dim은 0부터 시작함. 그럼 2까지 존재. dim=0이면 똑같은 b, 똑같은 c 상에서 a끼리만 일어나는 일이다. 일반화하면 텐서가 n차원을 가질 때 dim은 0부터 n-1까지 존재하고 dim=k이면 나머진 dim의 값은 고정된다고 가정하고 dim=k 내에서만 연산이 일어난다. torch.sum 같은 경우 그 차원은 없어진다. 예를 들어, (a, b, c)의 차원이 있고 dim=0에 대해 sum을 진행한 결과 차원은 (b, c)가 된다.

그러니까 rnn 모델을 정리를 해볼게. 먼저 문장을 구성하는 단어가 input으로 들어올 거야 이때 하나의 단어가 input으로 들어가겠지. 그 단어는 인코더를 통해 숫자로 변환되게 될거야 그게 곧 임베딩이지. 그렇게 숫자가 layer로 들어가게 되면 이전의 히든 스테이트의 값과의 연산을 통해 새로운 히든 스테이트 값이 나오게 될거야 그것은 그 다음 layer로 들어가게 되고 또한 softmax 함수를 통해 단어 예측이라든지 분류를 할 수도 있지. 이때 이러한 과정들을 배치 단위로 진행하게 되면 병렬적으로 연산이 가능해지지. 예를 들어 배치의 크기가 4라면 4배 만큼 속도가 빨라지겠지 그러니까 하나의 단어가 인풋으로 들어가게 된다면 그 단어에 대한 손실을 계산하고 배치 내 모든 단어들의 손실을 평균하여 ..

Text 시각화로 전달할 수 없는 요소들을 전달 가능 할 수 있는 것 Title, Label, Tick label(x 값, y 값의 이름 바꾸기), Legend(두 종류 이상의 데이터가 있을 때 데이터 라벨링), Annotation(Text) Color 최대 10개 정도 사용하는 것이 적합. 너무 많으면 구분이 안감 하나의 색상: 전체적인 분포 보기에 적합 여러 색상: 이산적인 개별 값에 적합 Sequential 연속형으로 연속적으로 변하는 데이터 표현에 적합 Diverge 중앙을 기준으로 발산. 예) 온도가 0을 기준으로 위이면 빨간색, 아래이면 파란색 강조 그리고 색상 대비 명도 대비 색상 대비 채도 대비 보색 대비 Facet 화면 분할: 여러 개의 시각화를 한번에 보여주는 것 figure는 큰 틀..

두 feature 간의 관계를 알기 위해 사용 마커는 색, 모양, 크기로 구성 상관 관계 확인 목적 군집, 값 사이의 차이, 이상치 정확한 scatter plot 투명도 조정, 지터링(점 위치 변경), 2차원 히스토그램, 컨투어 플롯 인과관계와 상관관계 추세선 grid는 지양