Сигмоид нь ReLU-ээс илүү сайн уу?

2024 Зохиолч: Lynn Donovan | [email protected]. Хамгийн сүүлд өөрчлөгдсөн: 2023-12-15 23:50

Релу : Тооцоолоход илүү үр ашигтай Сигмоидоос илүү оноос хойш функцүүд шиг Релу Зөвхөн дээд тал нь (0, x) хэрэгтэй бөгөөд Sigmoids шиг үнэтэй экспоненциал үйлдлүүдийг хийхгүй. Релу : Практикт сүлжээнүүд нь Релу харуулах хандлагатай байдаг илүү сайн конвергенцийн гүйцэтгэл сигмоид.

Үүний нэгэн адил хэн нэгэн асууж магадгүй, яагаад ReLU хамгийн сайн идэвхжүүлэх функц вэ?

Гол санаа нь сургалтын явцад градиентийг тэг биш байлгах, эцэст нь сэргээх явдал юм. ReLu tanh ба-аас бага тооцооны өртөгтэй сигмоид Учир нь энэ нь илүү энгийн математик үйлдлүүдийг агуулдаг. Энэ нь а сайн Бид гүнзгий мэдрэлийн сүлжээг зохион бүтээхдээ анхаарч үзэх хэрэгтэй.

Сигмоид идэвхжүүлэлтийн функц гэж юу вэ? The сигмоид функц нь идэвхжүүлэх функц Мэдрэлийн сүлжээн дэх нейронуудын гал асаахтай холбоотой бүтэцтэй суурь хаалганы хувьд. Дериватив нь мөн a tobe үүрэг гүйцэтгэдэг идэвхжүүлэх функц Нейронтой харьцах тал дээр идэвхжүүлэлт NN-ийн хувьд. Энэ хоёрын ялгаа нь идэвхжүүлэлт зэрэг ба харилцан үйлчлэл.

Үүнтэй адилаар бид яагаад CNN-д ReLU ашигладаг вэ?

Хувиралт мэдрэлийн сүлжээ ( CNN ): Алхам 1(b) - ReLU Давхарга. Шулуутгагдсан шугаман нэгж, эсвэл ReLU , байна Энэ нь эргэлтийн мэдрэлийн сүлжээний үйл явцын салангид бүрэлдэхүүн хэсэг биш юм. Шулуутгагч функцийг хэрэглэх зорилго байна бидний зурган дээрх шугаман бус байдлыг нэмэгдүүлэх.

ReLU-ийн хэрэглээ юу вэ?

ReLU (Шулуутгагдсан шугаман нэгж) ИдэвхжүүлэхФункц The ReLU хамгийн их ашигласан Идэвхжүүлэх функц яг одоо дэлхий дээр байна ашигласан бараг бүх нугалсан мэдрэлийн сүлжээнүүд эсвэл гүнзгийрүүлсэн сургалтанд.