未加星标

Hinton胶囊理论代码开源,上线即受热捧深度学习

字体大小 | |
[商业智能 所属分类 商业智能 | 发布者 店小二05 | 时间 | 作者 红领巾 ] 0人收藏点击收藏

Hinton胶囊理论代码开源,上线即受热捧深度学习
tm
Hinton胶囊理论代码开源,上线即受热捧深度学习
工具
Hinton胶囊理论代码开源,上线即受热捧深度学习
python
Hinton胶囊理论代码开源,上线即受热捧深度学习
模型
Hinton胶囊理论代码开源,上线即受热捧深度学习
测试
Hinton胶囊理论代码开源,上线即受热捧深度学习
开源

当前的深度学习理论是由Geoffrey Hinton大神在2007年确立起来的,但是如今他却认为,“CNN的特征提取层与次抽样层交叉存取,将相同类型的相邻特征检测器的输出汇集到一起”是大有问题的。


去年9月,在多伦多接受媒体采访时,Hinton大神断然宣称要放弃反向传播,让整个人工智能从头再造。10月,人们关注已久的Hinton大神那篇Capsule论文"Dynamic Routing between Capsules"终于揭开面纱。



Hinton胶囊理论代码开源,上线即受热捧深度学习

在论文中,Capsule被Hinton大神定义为这样一组神经元:其活动向量所表示的是特定实体类型的实例化参数。他的实验表明,鉴别式训练的多层Capsule系统,在MNIST手写数据集上表现出目前较先进的性能,并且在识别高度重叠数字的效果要远好于CNN。


近日,该论文的一作Sara Sabour终于在GitHub上公开了该论文中的代码。该项目上线5天便获得了217个Star,并被fork了14218次。下面让我们一起来看看Sara Sabour开源的代码吧。


胶囊模型的代码在以下论文中使用:

"Dynamic Routing between Capsules" by Sara Sabour, Nickolas Frosst, Geoffrey E. Hinton.


要求

TensorFlow ( 访问 http://www.tensorflow.org 了解如何安装和升级)

NumPy (详见 http://www.numpy.org/)

GPU


运行测试代码验证设置是否正确,比如:


python layers_test.py


快速MNIST测试结果:

从以下网址下载并提取MNIST记录到 $DATA_DIR/:https://storage.googleapis.com/capsule_toronto/mnist_data.tar.gz

从以下网址下载并提取MNIST模型检测点(checkpoint)到$CKPT_DIR:


python experiment.py --data_dir=$DATA_DIR/mnist_data/ --train=false \

--summary_dir=/tmp/ --

checkpoint=$CKPT_DIR/mnist_checkpoint/model.ckpt-1


快速CIFAR10 ensemble测试结果:

从以下网址下载并提取cifar10二进制版本到$DATA_DIR/:

https://www.cs.toronto.edu/~kriz/cifar.html

从以下网址下载并提取cifar10模型检测点(checkpoint)到$CKPT_DIR:

https://storage.googleapis.com/capsule_toronto/cifar_checkpoints.tar.gz

将提取的二进制文件目录作为data_dir传递给($DATA_DIR)


python experiment.py --data_dir=$DATA_DIR --train=false --dataset=cifar10 \

--hparams_override=num_prime_capsules=64,padding=SAME,leaky=true,remake=false \

--summary_dir=/tmp/ --checkpoint=$CKPT_DIR/cifar/cifar{}/model.ckpt-600000 \

--num_trials=7


Sample CIFAR10训练命令:

python experiment.py --data_dir=$DATA_DIR --dataset=cifar10 --max_steps=600000\

--hparams_override=num_prime_capsules=64,padding=SAME,leaky=true,remake=false \

--summary_dir=/tmp/


Sample MNIST完整训练命令:

python experiment.py --data_dir=$DATA_DIR/mnist_data/ --max_steps=300000\

--summary_dir=/tmp/attempt0/


Sample MNIST 基线训练命令:

python experiment.py --data_dir=$DATA_DIR/mnist_data/ --max_steps=300000\

--summary_dir=/tmp/attempt1/ --model=baseline


上述模型的训练期间在验证集上进行测试


训练中连续运行的注意事项:

在训练中 --validate = true

总共需要总共2块GPU:一个用于训练,一个用于验证

如果训练和验证工作位于同一台机器上,则需要限制每个任务的RAM占用量,因为TensorFlow会默认为第一个任务分配所有的RAM,而第二个任务将无法进行。


在MultiMNIST上测试/训练:

--num_targets = 2

--data_dir = $ DATA_DIR / multitest_6shifted_mnist.tfrecords@10


生成multiMNIST / MNIST记录的代码位于input_data / mnist / mnist_shift.py


生成multiMNIST测试分割的示例代码:

python mnist_shift.py --data_dir=$DATA_DIR/mnist_data/ --split=test --shift=6

--pad=4 --num_pairs=1000 --max_shard=100000 --multi_targets=true


为affNIST泛化能力建立expanded_mnist: --shift = 6;--pad = 6。


Github地址:

https://github.com/Sarasra/models/tree/master/research/capsules

论文地址:

https://arxiv.org/abs/1710.09829


欢迎加入本站公开兴趣群

商业智能与数据分析群

兴趣范围包括各种让数据产生价值的办法,实际应用案例分享与讨论,分析工具,ETL工具,数据仓库,数据挖掘工具,报表系统等全方位知识

QQ群:418451831

tags: DIR,data,dir,mnist,DATA,py,python,MNIST,Hinton,summary,experiment,checkpoint,https,num,tmp
分页:12
转载请注明
本文标题:Hinton胶囊理论代码开源,上线即受热捧深度学习
本站链接:http://www.codesec.net/view/572030.html
分享请点击:


1.凡CodeSecTeam转载的文章,均出自其它媒体或其他官网介绍,目的在于传递更多的信息,并不代表本站赞同其观点和其真实性负责;
2.转载的文章仅代表原创作者观点,与本站无关。其原创性以及文中陈述文字和内容未经本站证实,本站对该文以及其中全部或者部分内容、文字的真实性、完整性、及时性,不作出任何保证或承若;
3.如本站转载稿涉及版权等问题,请作者及时联系本站,我们会及时处理。
登录后可拥有收藏文章、关注作者等权限...
技术大类 技术大类 | 商业智能 | 评论(0) | 阅读(58)