20개의 딥러닝 용어

1. 심층 학습 용어 - 목표

이 블로그에서는 일반적으로 사용되는 신경망과 딥 러닝 용어를 이해할 것이다. 이는 복잡한 학습 신경망과 딥 러닝 용어 이전에 이해해야 할 가장 중요하고 기본적이기 때문이다.

자, 이제 딥 러닝 용어를 시작하겠습니다.

2. 딥 러닝 용어 소개

a. 반복 뉴런

딥 러닝 용어 - 반복 뉴런 딥 러닝 용어의 최고 중 하나입니다. 기본적으로, 이 출력에서 다시 뉴런 fort t 타임스탬프로 전송됩니다. 도표를 보고 나면, 우리는 출력이 입력 t t t time으로 돌아온다고 말할 수 있습니다. 또한, 우리는 서로 다른 것을 연결해야 합니다. 마치 굴리지 않은 뉴런처럼 보일 것입니다. 하지만, 중요한 것은 그것이 우리에게 좀 더 일반화된 결과물을 제공한다는 것입니다.

b. RNN(재류 신경망)

우리는 특히 순차 데이터에 대해 반복 신경망을 사용한다. 이 경우처럼 이전 출력을 사용하여 다음 출력을 예측합니다. 또한, 이 경우, 루프에는 네트워크가 있습니다. 숨겨진 뉴런에서, 루프는 정보를 저장하는 기능을 가지고 있다. 출력을 예측하기 위해 이전 단어를 저장합니다.

다시, 우리는 숨겨진 레이어 fort t 타임스탬프의 출력을 보내야 합니다. 게다가, 여러분은 펼쳐져 있는 뉴런이 이렇게 생겼다는 것을 볼 수 있습니다. 뉴런이 완료되면 모든 타임스탬프가 다음 층으로 이동합니다. 결과적으로, 우리는 출력이 더 일반화되었다고 말할 수 있다. 그러나 가져온 이전 정보는 오랜 시간이 지난 후에도 유지됩니다.

또한, 펼쳐지는 네트워크의 가중치를 업데이트하려면 오류를 다시 한번 전파해야 한다. 따라서 시간을 통한 역 전파(BPTT)라고 한다.

c. 소멸 그레이디언트 문제

딥 러닝 용어 중 최고입니다. 활성화 함수가 매우 작은 경우 이 문제가 발생합니다. 역 전파 시, 우리는 낮은 기울기로 가중치를 곱해야 한다. 그러나 네트워크 깊숙이 들어가면 작고 사라진다. 이러한 이유로, 신경망은 장거리 의존성을 잊는다. 또한, 그것은 신경망의 문제가 된다. 결과적으로, 의존성은 네트워크가 기억하기 위해 매우 중요하다.

우리는 활성화 함수를 사용하여 작은 그러데이션이 없는 ReLu와 같은 문제를 해결한다.

d. 폭발하는 경사도 문제

우리는 이것이 사라지는 경사도 문제의 반대라고 말할 수 있다. 활성화 기능이 너무 커서 다릅니다. 또한, 특정 노드의 무게를 매우 높게 만듭니다. 하지만, 우리는 그러데이션 클리핑으로 해결할 수 있습니다. 특정 값을 초과하지 않도록 말이죠.

e. 풀링

딥 러닝 용어 중 최고입니다. 우리는 컨볼루션 계층 사이에 풀링 계층을 도입할 수 있다. 기본적으로 매개 변수의 수를 줄이려면 이 옵션을 사용합니다. 단, 과적합은 방지한다. 그러나 MAX 연산을 사용하는 필터 크기(2,2)의 가장 일반적인 풀링 레이어의 크기입니다. 또한 원본 이미지의 각 4*4 행렬의 최댓값이 걸린다고 말할 수 있습니다.

딥 러닝 용어 - 딥 러닝의 풀링

또한 평균 풀링 등과 같은 풀링의 다른 응용 프로그램도 사용할 수 있습니다.

f. 패딩

이 과정에서, 우리는 이미지 전체에 걸쳐 0의 추가 레이어를 추가해야 합니다. 따라서 출력 이미지의 크기는 입력과 동일합니다. 따라서 패딩이라고 합니다. 이미지의 픽셀이 실제이거나 유효하다면 유효한 패딩이라고 말할 수 있습니다.

g. 데이터 확대

예측에 이로운 것으로 판명될 수 있는 주어진 데이터에서 나온 새로운 데이터를 추가하는 것을 말합니다.

예를 들어:

숫자 "9"이 있다고 가정해 보겠습니다. 인식을 변경할 수도 있습니다. 하지만 회전하거나 기울어진다면요. 따라서 회전은 모델의 정확도를 높이는 데 도움이 됩니다. 하지만, 우리는 회전함으로써 데이터의 품질을 높입니다. 따라서, 데이터 증강이 요구됩니다.

h. 소프트맥스

우리는 분류 문제에 대해 출력 계층에서 소프트맥스 활성화 함수를 사용한다. 시그모이드 함수 같아요. 또한 최대 1까지 출력이 정규화된다는 점도 다릅니다.

이는 시그모이드 함수와 같으며, 출력이 정규화된 유일한 차이는 최대 1이다. 시그모이드 함수는 우리가 이진수 출력을 가질 경우에 효과가 있을 것이다. 그러나 우리는 또한 다중 클래스 분류 문제를 가지고 있습니다. 이 프로세스에서는 소프트맥스를 사용하여 각 클래스에 값을 쉽게 할당할 수 있습니다. 또한, 그것은 확률로 해석될 수 있습니다.

이런 식으로 보는 것은 매우 쉽다. 여러분이 8과 약간 비슷하게 보일 수 있는 6을 식별하려고 한다고 가정하자. 함수는 아래와 같이 각 숫자에 값을 할당합니다. 가장 높은 확률은 6에 할당되고 다음으로 높은 확률은 8에 할당된다는 것을 쉽게 알 수 있습니다.

i. 신경망

신경망은 딥 러닝의 백본을 형성한다. 그것의 목적은 알려지지 않은 함수의 근사치를 찾는 것이다. 이것은 상호 연결된 뉴런의 조합입니다. 이 뉴런들은 무게가 있습니다. 또한 오류에 따라 네트워크 훈련 중에 업데이트해야 하는 편향을 가지고 있어야 한다. 활성화 함수는 비선형 변환을 선형 조합에 적용합니다. 따라서 출력을 생성합니다. 활성화된 뉴런의 조합은 출력을 제공합니다.

j. 입력 계층/ 출력 계층/ 숨김 계층

딥 러닝 용어 중 최고입니다. 입력 계층은 입력을 수신하는 계층입니다. 또한 네트워크의 첫 번째 계층입니다. 출력 계층은 네트워크의 최종 계층입니다. 이러한 계층은 네트워크의 숨겨진 계층입니다. 우리는 이러한 숨겨진 계층을 사용하여 수신 데이터에 대한 작업을 수행한다. 따라서 생성된 출력을 다음 계층으로 전달합니다. 그러나 두 계층은 모두 보이지만 중간 계층은 숨겨져 있다.

k. MLP (Multi-Yayer friend)

우리는 단일 뉴런으로는 매우 복잡한 작업을 수행할 수 없다. 따라서, 우리는 원하는 출력을 생성하기 위해 뉴런 스택을 사용한다. 가장 단순한 네트워크에서, 우리는 입력 계층, 숨겨진 계층, 그리고 출력 계층을 가질 것이다. 이것과 같이, 각 층은 여러 개의 뉴런을 가지고 있습니다. 또한, 각 층에서, 모든 뉴런은 다음 층의 모든 뉴런과 연결됩니다. 이러한 네트워크는 완전히 연결된 네트워크입니다.

l. 신경

우리가 말할 수 있듯이, 우리는 뇌의 기본 요소들을 형성하기 위해 뉴런을 사용합니다. 또한, 신경망의 기본 구조를 형성하는데 도움을 줍니다. 새로운 정보를 얻으면서. 우리는 생산물을 생산하기 시작합니다.

딥러닝 용어 - 딥러닝의 뉴런

마찬가지로, 우리는 신경망의 경우에 대처해야 한다. 뉴런이 입력을 받는 즉시, 우리는 이 과정을 시작해야 합니다. 또한 처리 후 출력을 생성합니다. 또한, 우리는 더 많은 과정을 돕는 뉴런을 보내야 합니다. 어느 쪽이든 최종 산출물로 간주할 수 있습니다.

m. 중량

입력이 뉴런에 들어가는 즉시, 우리는 뉴런에 무게를 곱해야 합니다.

예를 들어:

뉴런에 두 개의 입력이 있는 경우, 우리는 각 입력에 관련 가중치를 할당해야 한다. 또한, 우리는 랜덤으로 가중치를 초기화해야 합니다. 또한 모델 훈련 과정 중에 이러한 가중치가 업데이트된다. 그러나, 훈련 후에 우리는 입력에 더 높은 가중치를 부여해야 합니다.

입력을 a로 가정하고 가중치를 W1로 연결합시다. 노드를 통과한 후 입력은 *W1이 됩니다.

No.bass

우리는 무게와 더불어 입력에 또 다른 선형 구성요소를 추가해야 합니다. 이것은 편향입니다. 입력 시 가중치 곱셈을 추가해야 합니다. 기본적으로 가중치 곱셈 입력의 범위를 변경하기 위해 편향을 추가해야 합니다. 편향이 추가되는 즉시 결과는 *W1+편향처럼 보일 것입니다. 따라서 입력 변환의 선형 구성 요소입니다.

o. 활성화 기능

딥 러닝 용어 - 활성화 기능

입력에 선형 구성요소를 적용하는 즉시 비선형 함수가 입력에 적용된다. 활성화 함수를 선형 조합에 적용하여 이 작업을 수행합니다. 따라서 입력 신호를 출력 신호로 변환합니다. 활성화 함수의 적용 후의 출력은 f(a*W1+b)와 비슷하며, 여기서 f()는 활성화 함수이다. 아래 다이어그램에서 우리는 X1에서 Xn까지 와 해당 가중치 Wk1에서 Wkn으로 주어진 "n" 입력을 가지고 있다. 우리는 편견이 있다. 첫째, 가중치에 해당하는 입력을 곱해야 한다. 그런 다음 편향과 함께 이것들을 더하세요. u. u. u. u. u. w*x+b로 가정하자. 따라서 활성화 함수는 u. 즉, f(u)에 적용되어야 하며, 우리는 뉴런으로부터 yk = f(u)로 최종 출력을 받는다.

p. 경사 하강

우리는 이것을 비용 최소화를 위한 최적화 알고리듬으로 사용한다.

수학적으로 함수의 국소 최솟값을 찾기 위해 함수의 구배 음수에 비례하는 단계를 밟는다.

Q. 학습 속도

심층 학습 용어 - 학습 속도

우리는 이것이 각 반복에서 비용 함수의 최소화 양이라고 말할 수 있다. 또한, 학습 속도를 선택할 때 조심해야 합니다. 최적 설루션이 누락되는 것은 그리 크지 않아야 하기 때문입니다. 또한 네트워크가 수렴되는 데 시간이 오래 걸릴 정도로 낮으면 안 됩니다.

r. 역전파

신경망을 정의하고자 할 때마다 우리는 노드에 임의의 가중치와 치우침 값을 할당한다. 또한 단일 반복에 대한 출력을 받자마자. 따라서 네트워크의 오류를 계산할 수 있습니다.

s. 배치

신경망 훈련의 경우, 우리는 입력으로 동일한 크기의 무작위 여러 청크로 나눈다. 전체 입력을 한 번에 보내는 대신. 또한 훈련된 데이터 배치를 통해 모델이 보다 일반화됩니다.

t. 시대

우리는 그것을 단일 훈련 반복으로 정의할 수 있다. 그런 다음 전달 및 역 전파에서 배치로 용어를 정의합니다. 즉, 1 epoch는 전체 입력 데이터의 단일 전진 및 후진 통과입니다.

이것이 바로 딥 러닝 용어에 대한 것입니다. 우리의 설명이 마음에 들었으면 좋겠어요.

3. 결론

결과적으로, 우리는 딥 러닝 용어를 보았다. 이는 복잡한 신경망과 딥 러닝 용어를 이해하는 데 도움이 될 것이다. 이에 대한 이해를 높여줄 심층 학습 용어 이미지가 있습니다. 또한 딥 러닝 용어와 관련하여 궁금한 점이 있으면 설명 섹션에서 자유롭게 질문하십시오. 또한 딥 러닝 대 머신 러닝 대 AI 대 데이터 사이언스 비교에 대해 학습한다.