본문 바로가기

분류 전체보기42

[VScode-SSH] failed to parse remote port from server output 평소에 SSH를 이용하여 원격으로 밖에서 VScode를 주로 사용하고 있었는데 갑자기 어느 날부터 ssh 연결이 안 됐다. 아무것도 안 했는데 갑자기 ssh 연결이 안 되니까 원인이 무엇인지도 파악하기 힘들었기 때문에 이 error를 해결하기 참 난감했다. 필자는 노트북으로 M1 mac book air를 사용하고 있었고, 집에 있는 데스크톱은 Windows를 사용하고 있었다. 우선 정말 ssh 접속 자체가 안되는지 알아보기 위해 터미널로 ssh 연결을 시도하였고, 다행히(?) 너무나도 잘 연결되고 있었다. 위 상황을 보면 ssh 연결 자체는 문제가 없다는 뜻이기에 vscode 자체의 문제라고 파악하였다. 우선 내가 본 에러는 다음과 같았다.(캡처는 고칠 당시에 생각도 못했다..) failed to par.. 2022. 11. 16.
티스토리 수식 첨부 방법 글을 작성할 때 수식을 쓸 일이 많아져서 이참에 다른 블로그들을 참고해서 정리하였다. 1. 게시글 HTML 수정하기 (일회용) 아래 코드를 복사한 뒤, '기본모드' 에서 'HTML'로 변경해준다. 변경하게 되면 아래와 같이 지금까지 작성한 글이 HTML 양식에 맞게 변형되어 있는데,이때 위에서 복사한 코드를 제일 위쪽에 아래 그림과 같이 붙여넣어준다. 2. 티스토리 스킨 HTML을 수정 (영구) 위 방법은 글을 쓸 때마다 설정해주어야 하는것 같다. 수식을 자주 쓰는 사람이라면 한번 해두는게 여러모로 편하기 때문에 이 방법을 추천한다. 우선 다시 아래 코드를 복사한다. 복사를 하고 난 뒤, 블로그 관리로 들어가서 꾸미기 > 스킨 편집으로 이동한다. 스킨 편집으로 이동하면 아래처럼 html 편집을 누르게 되.. 2022. 11. 9.
RNN/LSTM/GRU 의 구조를 이해해보자 Sequential data 시퀀셜 데이터(sequential data)란, 순서 정보가 있는 데이터를 말합니다. 주식 시장을 예로 들면 시간 경과에 따른 주가의 변화를 생각해볼 수 있습니다. 이 예시는 많이 언급되므로 이번에는 다른 예를 들어보겠습니다. 아래 그림은 제 블로그의 월별 방문자수를 나타낸 그래프 입니다. 시간이 지남에 따라 방문자의 수가 증가하는 양상을 보이고 있습니다. 이러한 양상은 데이터의 순서 정보를 이용하여 파악할 수 있습니다. 10월 방문자수 1014명이 9월 방문자수 634명보다 많으며, 대체적으로 특정 달의 방문자 수가 그 전 달보다 방문자 수 보다 많기 때문에 우리는 전체적으로 방문자수가 증가 추세에 있다고 말할 수 있습니다. 만약 아래 데이터의 순서 정보를 섞게 된다면 방문.. 2022. 11. 8.
K-means Clustering Algorithm 이해 및 구현 K-Means Clustering Algorithm 이란?¶ 일반적으로 군집(clustering)의 목적은 비슷한 데이터끼리 묶어서 새로운 패턴이나 인사이트를 발견하는 것 입니다.clustering 알고리즘은 비지도 학습(Unsupervised learning) 방식이기 때문에 추가적인 label같은 정보가 필요 없습니다. 오로지 데이터만 주어진 상태에서 비슷한 데이터를 하나의 클러스터(cluster)로 묶기 위해서 다양한 방법들이 제시되었습니다. 주어진 데이터가 얼마나 뭉쳐있는지를 기준으로 묶을 수 있고, 각 데이터가 얼마나 떨어져 있는지 계산하여 가까운 데이터끼리 하나의 군집으로 묶을 수도 있으며, 데이터의 분포를 기준으로 비슷한 분포를 따르는 데이터끼리 묶는 방법 등을 생각해 볼 수 있습니다. 이번.. 2022. 10. 26.
[Python] Stack(스택) 과 Queue(큐) 정리 및 예제 자료구조를 공부하다 보면 반드시 배우는 개념이 Stack & Queue입니다. # Stack Stack은 선입 후출 방식으로 가장 나중에 들어오는 데이터를 제일 먼저 반환하는 방식입니다. 파이썬으로 구현하는 방법은 리스트에 자료를 넣고 빼는 방식으로 구현하면 되며 자료를 넣을 땐 append함수를 이용하면 리스트에 넣는 순서대로 데이터가 들어가기 때문에 간단히 구현할 수 있습니다. 반대로 stack에서 데이터를 빼내는 과정은 가장 마지막 자료부터 빼야 합니다. 이때, 빼낸 자료는 리스트에 없어야 합니다. 이때 사용하는 함수는 pop 함수를 이용합니다. # Queue 다음으로 Queue는 Stack과는 다르게 선입선출 방식으로써 먼저 들어온 데이터를 먼저 처리하게 됩니다. 데이터를 넣는 방식은 Stack과.. 2022. 8. 23.
Tokenizer : 한국어 형태소 분석기의 종류와 사용 방법 1. 형태소 분석기의 필요성 한국어는 영어와는 다르게 토큰화(Tokenization)가 어렵습니다. 그 이유는 한국어에는 '조사', '어미' 등이 있기 때문입니다. 예를 들어, '사과' 라는 단어에 대해 조사가 붙는다고 하면 '사과가', '사과는', '사과를', '사과와' 등처럼 붙게 됩니다. 모두 '사과'를 지칭하는 말이지만, 단순히 띄어쓰기 기준(어절)으로 모두 다른 단어로 취급하게 됩니다. 또한, 띄어쓰기 기준으로 토큰화를 진행하게 된다면 띄어쓰기가 잘 되어있지 않은 문장에 대해 제대로 된 토큰화를 수행할 수 없다는 단점이 있습니다. 예를 들면, 다음과 같이 띄어쓰기 기준으로 토큰화를 한다고 하였을 때, 띄어쓰기가 제대로 되어있지 않은 문장에 대해서는 토큰화가 이루어지지 않습니다. '나는 사과를 좋.. 2022. 7. 26.
[논문 리뷰] What is in Your Password? Analyzing Memorable and Secure Passwords using a Tensor Decomposition / PARAFAC2 decomposition을 이용한 분석 최근 프로젝트와 관련하여 벤치마킹할 논문을 정해서 읽어보게 되었습니다. 제목은 "What is in Your Password? Analyzing Memorable and Secure Passwords using a Tensor Decomposition"이며 2019년 The World Wide Web Conference에 publish 된 논문이며, 자세한 내용은 직접 읽어보는걸 추천합니다. 본 글에서는 간단히 논문의 대략적인 내용에 대해 정리합니다. 논문 링크 : https://dl.acm.org/doi/10.1145/3308558.3313690 What is in Your Password? Analyzing Memorable and Secure Passwords using a Tensor Decomp.. 2022. 7. 18.
Transformer를 이용한 번역모델 구축 이전글 1 : Transformer를 이해하고 구현해보자! (1) 이전글 2 : Transformer를 이해하고 구현해보자! (2) 이번 포스팅에서는 이전에 구현한 모델을 이용하여 간단히 한-영 번역기를 만들어 보도록 하겠습니다. 전체 코드를 보고 싶으신 분은 아래 깃허브를 참고해주세요. Github Link : (정리되면 링크 업로드 예정입니다!) 1. Data 데이터는 AI-Hub에서 공개한 '한국어-영어(병렬) 말뭉치' 데이터를 사용하였습니다. 해당 사이트에 회원가입을 진행 한 후, 전체 160만쌍의 데이터를 다운 받을 수도 있지만, 본 포스트에서는 오직 '샘플 데이터' 만 사용하였습니다. 샘플 데이터에 대해 간단히 요약하면 다음과 같습니다. 샘플 데이터는 총 6개의 파일로 구성되어 있으며 각각 다.. 2022. 1. 22.
Transformer를 이해하고 구현해보자! (2) 이전글 : Transformer를 이해하고 구현해보자! (1) 다음글 : Transformer를 이용한 번역모델 구축 저번 포스팅에서는 Transformer의 구성요소인 Positional Encoding, Multi-Head Attention, LayerNorm, Feed-Forward에 대해 알아보고 구현해보았습니다. 이번 포스팅에서는 저번 포스팅에 이어 Encoder와 Decoder를 구현한 뒤, 전체 모델인 Transformer를 구현해보겠습니다. 사실 구현에 필요한 핵심적인 부분은 모두 저번 포스트에서 다루었기 때문에 이번 포스트에서는 전에 구현한 클래스들을 이어붙이는 작업이 주를 이룹니다. +) 다음 포스팅에서는 이번에 구현한 Transformer 모델을 이용하여 한-영 번역기 모델도 학습을 .. 2022. 1. 21.

티스토리툴바