Чи є ваги нейронної мережі між 0 і 1?

Наявність ваги від 0 до 1 допомагає прискорити навчання. Вони не повинні бути між 0 і 1. Зазвичай ваги нормалізуються до [-1, 1]. 4 березня 2022 р

Оскільки нейронні мережі поводяться подібно до дерев рішень, каскадуючи дані від одного вузла до іншого, значення x від 0 до 1 зменшать вплив будь-якої заданої зміни окремої змінної на вихід будь-якого заданого вузла, а згодом і на вихід нейронної мережі..

Нейронна мережа від -1.0 до 1.0 має високу толерантність до зашумлених і неповних даних. Ваги в мережі ініціалізуються малими випадковими числами в діапазоні, наприклад, від Від -1,0 до 1,0 або від -0,5 до 0,5. З кожним підрозділом пов’язано BIAS (див. наступний слайд). Зміщення подібним чином ініціалізуються малими випадковими числами.');})();(function(){window.jsl.dh('0FvVZtCCL4SvptQPnuuj8A4__37','

Ваги встановлюють стандарти для сили сигналу нейрона. Це значення визначатиме вплив вхідних даних на вихідний продукт. Зміщення дають додаткові характеристики зі значенням 1, яких нейронна мережа раніше не мала. Нейронна мережа потребує цієї додаткової інформації для ефективного поширення.

Ініціалізація всіх ваг нулями призводить до того, що нейрони вивчають ті самі характеристики під час навчання. насправді, будь-яка постійна схема ініціалізації працюватиме дуже погано.

Вони не повинні бути між 0 і 1. Зазвичай ваги нормалізуються до [-1, 1]. Але це також залежить від вашої проблеми.

Використання сигмоподібна це справді хороший вибір, якщо ваші мітки належать до діапазону 0-1.