deeplearning-default-value

Functions

Object names in Chainer Parameter names in Chainer Chainer PyTorch TensorFlow
dropout ratio 0.5 (drop ratio) 0.5 (drop ratio) Required (keep ratio)

Links

Object names in Chainer Parameter names in Chainer Chainer PyTorch TensorFlow
Link initilizer LecunNormal Each link has a different initializer. GlorotUniform

Initializers

  • PyTorch initializers are defined in each layer implementation, so skip it.
Object names in Chainer Parameter names in Chainer Chainer TensorFlow
GlorotUniform scale 1.0 No args (1.0)
LecunNormal scale 1.0 No args (1.0)
Normal scale 0.05 1.0 or 0.05
Uniform scale 0.05 min, max = (0.0, 1.0) or (-0.05, 0.05)

Optimizers

Object names in Chainer Parameter names in Chainer Chainer PyTorch TensorFlow
SGD lr 0.01 Required 0.01
Adam alpha 0.001 0.001 0.001
beta1 0.9 0.9 0.9
beta2 0.999 0.999 0.999
eps 1e-08 1e-08 1e-08
eta 1.0 No args No args
weight_decay 0.0 0.0 No args
amsgrad False False No args

Normalization methods

Object names in Chainer Parameter names in Chainer Chainer PyTorch TensorFlow
BatchNormalization eps 2e-05 1e-05 1e-03
LayerNormalization eps 1e-06 1e-05 No args (1e-12)
GroupNormalization eps 1e-05 1e-05 1e-06
groups Required Required 32
local_response_normalization n 5 Required 5
k 2 1 1
alpha 1e-04 1e-04 1
beta 0.75 0.75 0.5

Rules

Kinds of symbols

  • None: default value is None.
  • x: No implementations.
  • No args: Magic number. We can not specify the value.
  • Required: No default value. We should specify the value.

转载自：https://github.com/keisuke-umezawa/deeplearning-default-value

Logo
九章云极普惠算力

更多推荐

virtualenv应用数据管理：深入理解app-data种子机制的终极指南

想要提升Python虚拟环境的管理效率吗？virtualenv的**应用数据管理**和**种子机制**正是你需要掌握的终极技能！🎯 作为Python开发中最强大的虚拟环境工具，virtualenv通过智能的app-data系统，让依赖管理变得前所未有的简单和高效。## 什么是virtualenv应用数据管理？**virtualenv应用数据管理**是virtualenv的核心机制之一，它

avatar 九章云极普惠算力

Django Silk 未来发展方向：终极路线图与社区贡献机会

Django Silk 是一个强大的 Django 实时性能分析和检查工具，它通过拦截和存储 HTTP 请求和数据库查询，为用户提供直观的界面进行深度分析。作为 Django 生态系统中不可或缺的性能监控工具，Silk 正在朝着更加智能化和自动化的方向发展。🚀## 当前功能回顾与演进方向### 性能监控功能增强Django Silk 目前提供了完善的请求监控功能，包括请求时间、查询数量

avatar 九章云极普惠算力

Intercooler.js进度指示器实现：打造流畅的用户体验终极指南

Intercooler.js 是一款革命性的JavaScript库，通过简单的HTML属性让AJAX请求变得像锚点标签一样简单。作为前端开发的重要工具，Intercooler.js的进度指示器功能能够显著提升用户体验，让用户清楚地了解请求状态。本文将详细介绍如何利用Intercooler.js的进度指示器打造流畅的用户交互体验。[![Intercooler.js技术演进对比](https://

avatar 九章云极普惠算力