import requests
import shutil
import os
def download_jpg(url_str: str):
_, filename = os.path.split(url_str)
response = requests.get(url_str, stream=True)
with open(os.path.join(directory, filename), 'wb') as out_file:
shutil.copyfileobj(response.raw, out_file)
del response
import sys
f_name = sys._getframe().f_code.co_name
caller_name = sys._getframe().f_back.f_code.co_name
# 또는
caller_name = sys._getframe(1).f_code.co_name
import sys
class A:
def __init__(self, name):
f_name = sys._getframe().f_code.co_name
var = sys._getframe().f_code.co_varnames
caller_name = sys._getframe().f_back.f_code.co_name
print("{}, {} : {}".format(f_name, var, caller_name))
def __call__(selt, name):
f_name = sys._getframe().f_code.co_name
caller_name = sys._getframe().f_back.f_code.co_name
print("{} : {}".format(f_name,caller_name))
return name
def Foo():
a = A("GG")
b = a("FF")
Foo()
# 결과
# __init__, ('self', 'name', 'f_name', 'var', 'caller_name') : Foo
# __call__ : Foo
RV에서 샘플링한 정보를 주고받을 때, 확률이 높은 녀석은 비트를 더 작게 보내면 전체적으로 평균 데이터 양이 적어지겠지… 그래서 확률에 따른 비트 수를 모델링한 것.
위에 나온 것을 토대로 어떤 Random Variable에서 샘플링된 정보를 주고 받을 때 평균 필요한 비트 수를 entropy라고 볼 수 있다.
distribution $P$를 모델링한 $Q$가 있다고 가정해보자. $Q$의 distribution을 보고 평균 데이터 양이 적어지도록 만든 encoding은 $Q$의 self-information이다. 그런데 이를 실제 dist. $P$에 대해서 평균을 구해본 것이 cross-entropy이다. 즉 이 값이 클수록, $Q$는 $P$에 대한 좋은 모델링이 아니다라고 볼 수 있다.
모르는 어떤 distributiuon p를 모델링한 dist q가 존재할 때, q의 perplexity는
로 정의된다. 여기서 $\hat{p}(x)$를 $x_i$의 빈도수라 생각하면, $b$의 지수는 cross-entropy로 볼 수 있다. 그렇다면 q가 잘 모델링 안되었을 때, perplexity가 커지겠다.
$P(E\vert F) = \Pi_t^{\vert E\vert }P(e_t\vert F,e_1^{t-1})$ 처럼 Markov chain을 가정한 model들은 짧은 문장의 확률이 훨씬 높다.
단어가 많아질 수록, 해당 단어의 확률을 곱해야하는데 그럴수록 전체 문장의 확률은 작아진다.
machine translation을 다음처럼 정의한다.
즉 함수로는 다음처럼 쓸 수 있다. 여기서 $\hat{E}$는 input으로 F가 주어졌을 때의 translation hypothesis이디.
SMT의 목적은 source sentence가 주어질 때, target sentence를 만드는 모델에 관한 내용이다. 이를 더 얘기하기 전에, language model에 관해 알아보자.
Language Model : $P(E)$
$P(E)=P(\vert E\vert =T,e_1^T)$를 구하고 싶은 것.
$e_{T+1}$ : sentence end symbol
</s>
(1)을 세우면 language model을 만드는 것은 $P(e_t\vert e_1^{T-1})$를 계산하는 것이 된다. 이는 naive보다 훨씬 쉽다.
이제 Language model중 n-gram LM을 살펴보자!
$c_{prefix}(A)$ : 전체 training set에서 문장 처음부터 $A$라는 string이 얼마나 나왔는지 세주는 함수.
(2)는 문장의 맨 처음부터 substring이 나왔을 때, 그 다음이 $e_t$인 경우를 구한다.
n-gram어떤 글자의 확률을 구할 때, 앞의 n-1개의 단어로 유추하는 방법.
문제 : 윈도우를 적게 두어도, window size안에 겹치는 안본 단어는 확률이 0이다. 해결 : 여러 개의 n-gram을 섞어서 해결(interpolation)
bigram의 interpolation 수식…
smoothing 관련 여러 방식들이 있음
요새는 MKN(Modified Kneser-Ney smoothing)이 젤 잘나간대…
LM을 만들고나면, 제대로 동작하는지 알아야하지.. 먼저 데이터를 3개의 set으로 나눈다.
$\xi_{test}$를 test set이라 하면 likelihood를 다음처럼 쓸 수 있다.
근데 사실 log-likelihood를 더 많이 씀
근데 (3)에 testset의 전체 단어 갯수로 나눈걸 많이 씀.
요 부분은 혼자 열심히 삽질해본 perplexity 항목을 먼저 보면 좋다.
모르는 어떤 distributiuon p를 모델링한 dist q가 존재할 때, q의 perplexity는 로 정의된다. 여기서 $\hat{p}(x)$를 $x_i$의 빈도수라 생각하면, $b$의 지수는 cross-entropy로 볼 수 있다. 그렇다면 q가 잘 모델링 안되었을 때, perplexity가 커지겠다.
어쨌든 전 챕터에서 정의한대로 perplexity를 만들어보면 가 된다. perplexity가 커질수록, 사람이 봤을때 더 이상한 것을 잘 느낄 수 있다고 한다.
<unk>를 단어장에 추가하기
<unk>로 치환n-gram LM과 비슷하게 context $e_{t-n+1}^{t-1}$이 주어질 때 특정 단어 $e_t$의 확률을 구하는 모델이다. 그러나 이 방법은 count-based LM과는 많이 다르며, 다음 절차를 따른다.
feature function $\Phi(e_{t-n+1}^{t-1}) \mapsto x$는 context를 $x \in \mathbb{R}^N$로 보내는 함수이다. 이 때, $x$를 feature vector라 한다.
softmax를 사용해서 각 단어가 나올 확률을 계산한다.
loss function을 정의
negative log likelihood를 쓴다.
learning decay
momentumSGD : 관성을 주는 방법AdaGrad : 많이 업데이트 되는 녀석과 적게 업데이트되는 녀석이 다른 lr-decay를 가지도록..Adam : adagrad와 비슷한데 더 빠른 convergence를 가짐. overfit에 더 잘빠진다고 함.미분하는 부분은 자체검열
log-linear model은 예측에 좋다고 생각하는 것들을 디자인할 수 있도록 유연성을 가진다.
context word features : 위에서 실컷 다룬거…context class : context word들중 비슷한 것끼리 묶은 것. 모델이 더 일반화가 잘된다.context suffix features : ing같이 계속 반복되는 녀석들은 없애버리는 feature. 얘도 일반화 OKBag-of-words features : 이전 n개 단어를 쓰는것 대신, 문장의 모든 이전단어들을 쓸 수 있다. 근데 concatenation하지말고, 더해버림. 위치 정보를 잃는 대신, 어떤 단어들이 주로 많이 쓰였냐를 볼 수 있다.n-gram LM은 가장 단순한 LM이다. 이 것은 parameter를 training set에서 직접구할 수 있으며, variation이 상대적으로 적다.
log-linear model로 넘어가면서, feature를 넣어 variation도 많아지게 되었다. 그러나 parameter를 직접구할 수 없게되었고, optimization process가 추가되었다.