>source

나는 기계 학습을 위해 새로운 것입니다. 나는 relu 기능이 사라지는 그라디언트 문제로 인해 반복적 인 신경망에 대한 지그모이드 기능보다 낫다는 것을 읽었습니다.

3 개의 입력 노드, 10 개의 숨겨진 노드 및 3 개의 출력 노드가있는 매우 기본적인 재발원 네트워크를 구현하려고합니다.

입력 및 숨겨진 노드와 출력 노드의 SoftMax 함수 모두에 Relu 기능이 있습니다.

그러나 RELU 기능을 몇 가지 EPOCHS (10 미만) 후에 사용하는 경우 오류가 0이되거나 중량 변경이 원래 가중치에서 추가되거나 뺄 때의 무한대가 무한대로 들어갑니다.

weight= weight + gradient_decent #weights hits infinity
weight= weight -gradient decent #weights become 0

그리고 또한 무한대에 닿기 때문에 다음 오류가 발생합니다.

RuntimeWarning: invalid value encountered in maximum
  return np.maximum(x, 0)

그러나 SIGMOID 기능을 구현하면 오류가 멋지게 내리고 있습니다. 그러나 이것이 괜찮은 단순한 예제이기 때문에 더 큰 문제에 그것을 사용하면 나는 사라지는 그라디언트 문제로 두려워합니다.

은 소수의 숨겨진 노드로 인해 발생합니다. 어떻게이 문제를 해결할 수 있습니까? code 샘플이 필요한 경우 code를 게시하지 않으므로 code를 게시하지 마십시오.

고맙습니다.

내가 아는 것에서, RELU의 문제는 그것이 날려 올 수 있다는 것입니다. 그래서 당신은 어떤 위험을 선택해야합니다 : 그라디언트 또는 무한대로가는 무게가 사라지는 것입니다. 검증 된 십자가 에서이 관련 질문을보십시오.

Jason2021-09-16 17:38:02

@ jason 예, 나는 그것이 내가 생각할 때마다 그것이 내 잘못이었을 때마다 불고 있었기 때문에, 불어서 다르지 만, 확실히 10보다 작 으면

rksh2021-09-16 17:38:02

code를 제공 할 수 있습니까?

Marcin Możejko2021-09-16 17:38:02

또한 "RETUS가 rnns"라는 주장의 소스에 링크를 클릭 할 수 있습니까?

lejlot2021-09-16 17:38:02
  • 이전 excel : 사용자 정의 폼 및 여러 이미지
  • 다음 암호로 보호 된 Excel 파일에서 Python Object.