pytorchjit源码

‘壹’ 求教pytorch这段代码的意思learning_rate = 1e-6

pytorch中这段代码的意思是把学习率learning_rate设为0.000001

但是设置学习率不是给learning_rate赋值就可以完成的,

在pytorch中设置learning_rate有六种方法(这里的LR就是LearningRate的缩写)

1等步长间隔调整学习率

optim.lr_scheler.StepLR(optimizer, step_size, gamma=0.1, last_epoch=-1)

2cosine学习率

optim.lr_scheler.CosineAnnealingLR(optimizer, T_max, eta_min=0)

3指数衰减学习率

optim.lr_scheler.ExponentialLR(optimizer, gamma, last_epoch=-1)

4自适应调整学习率

optim.lr_scheler.ReceLROnPlateau(optimizer, mode='min', factor=0.1, patience=10,verbose=False, threshold=1e-4, threshold_mode='rel',cooldown=0, min_lr=0, eps=1e-8)

5非等间隔调整学习率

optim.lr_scheler.MultiStepLR(optimizer, milestones, gamma=0.1, last_epoch=-1)

6自定义网络层隔学习率

optim.lr_scheler.LambdaLR( optimizer, lr_lambda, last_epoch=-1)

我给你一个等步长间隔调整学习率的例子,你看看吧

import torch

import torch.optim as optim

from torch.optim import lr_scheler

from torchvision.models import AlexNet

model = AlexNet(num_classes=2)

optimizer = optim.SGD(params = model.parameters(), lr=0.05)

#每10次迭代，lr = lr * gamma

scheler = lr_scheler.StepLR(optimizer, step_size=10, gamma=0.1)

for epoch in range(40):

scheler.step()

lr = scheler.get_lr()

print(epoch, scheler.get_lr()[0])

源代码(注意源代码的缩进)

‘贰’ 如何有效地阅读PyTorch的源代码

库本身的代码，比较简单易读，我作为python菜鸟，也能看懂。目前model有sequential和grapgh两种，前者并不是指recurrent而是说网络是一层层堆的（也包括recurrent）.其他的主要概念包括layer，regularizer, optimizer,objective都分离开。layer用于build每层的输出函数，model会用最后一层的输出，根据objective和每个layer的regularizer来确定最终的cost，然后在update时用optimizer来更新参数。把这四个看下加上model里的fit函数，就会用theano啦。很多模型都能cover，seq2seq这种也有现成的可用。建议不要光看example，多看看github上的 issues讨论，实在找不到，直接提问。效率方面，我不懂theano怎么优化，感觉keras的这种封装，没什么成本，跟自己用原生theano是一样的。当然，theano本身就好慢啊。。估计是我不懂用吧。。

‘叁’ linux服务器如何切换pytorch版本

方法/步骤
Anaconda安装：安装Anaconda ，首先想到的是到官方网站下载，不过速度太慢X1；之前有听说过清华镜像源有丰富的墙外资源，逛了下后发现该镜像源确实很强大，备份了普通人所需的大部分开源软件安装包

如何在Linux下安装Pytorch
选择安装包 Anaconda2-4.4.0-Linux-x86_64.sh（_64为64位）下载，千万不要选择最新的安装包（最新的Anaconda_5.0.1用的gcc版本为7.2，后续安装时提示gcc不能编译一个文件）

如何在Linux下安装Pytorch
补充一点，如果安装过程中添加环境变量选了"no"，你需要手动添加环境变量时，可能在网上搜到的是"vi ~/.bashrc"这个命令，但是我推荐使用命令"gedit

~/.bashrc"以文本格式打开环境配置
如何在Linux下安装Pytorch
另外，如果你在安装的时候没看到本文之前的内容选择了最新版本的Anaconda，那你可能需要重新安装Anaconda。

Github配置：接下来要安装Pytorch了，直接在Pytorch官网上选择自己需要的配置，然后复制类似于"conda install pytorch torchvision -c soumith"命令到终端，接下来就准备开始Pytorch之旅

如何在Linux下安装Pytorch
但是意料之中的意外还是来了，安装包的下载速度太慢X2。接着查看相关的资料，了解到可以通过Pytorch源文件的方法来安装。Pytorch源文件安装的方式需要通过git工具把源库文件clone到本地（有网友指出download zip的方式下载PyTorch的源代码，在进行编译安装时会报错），而该指令需要有Github的帐号，并且需要配置ssh密钥

如何在Linux下安装Pytorch
Pytorch安装：历经重重困难，终于到了安装Pytorch的时刻了。再等一等，现在你还需要先配置环境变量NO_CUDA（本人只装CPU版本）和CMAKE_PREFIX_PATH（通过命令gedit ~/.bashrc可以通过文本方式打开.bashrc文件），接着用Anaconda安装Pytorch的依赖包，最后在进行Pytorch的安装。

第三次安装完毕时出现了如下提示语句，发现没有error或者warning等词语就没管；结果进入python模式，输入import torch时出现提示"ImportError:No mole named _C"；

如何在Linux下安装Pytorch
我电脑上的usr/local/lib/python2.7/site-packages/torch文件夹下没有任何文件，回想之前安装Pytorch时的安装提示，发现需要用pytorch/torch.egg-info里的文件替掉/home/gene_leee/anaconda2/lib/python2.7/site-packages/torch-0.4.0a0+0fd9682-py2.7.egg-info里的文件，再次实验发现成功导入torch

如何在Linux下安装Pytorch
需要知道命令"python setup.py clean"，用于清除上次安装失败的残余文件

如何在Linux下安装Pytorch
接下来安装TorchVision，TorchVision为PyTorch提供视频和图像方面的支持，包括数据库和模型等，安装好了之后可以很方便地导入很多图像数据库，比如cifar-10；按照TorchVision官网的方法2，成功安装。

‘肆’ pytorch python 什么关系

PyTorch is a deep learning framework that puts Python first.
We are in an early-release Beta. Expect some adventures.
Python[1] （英国发音：/ˈpaɪθən/ 美国发音：/ˈpaɪθɑːn/）, 是一种面向对象的解释型计算机程序设计语言，由荷兰人Guido van Rossum于1989年发明，第一个公开发行版发行于1991年。
Python是纯粹的自由软件， 源代码和解释器CPython遵循 GPL(GNU General Public License)协议[2] 。Python语法简洁清晰，特色之一是强制用空白符(white space)作为语句缩进。
Python具有丰富和强大的库。它常被昵称为胶水语言，能够把用其他语言制作的各种模块（尤其是C/C++）很轻松地联结在一起。常见的一种应用情形是，使用Python快速生成程序的原型（有时甚至是程序的最终界面），然后对其中[3] 有特别要求的部分，用更合适的语言改写，比如3D游戏中的图形渲染模块，性能要求特别高，就可以用C/C++重写，而后封装为Python可以调用的扩展类库。需要注意的是在您使用扩展类库时可能需要考虑平台问题，某些可能不提供跨平台的实现。
7月20日，IEEE发布2017年编程语言排行榜：Python高居首位[4] 。

‘伍’ 如何在ubuntu中安装pytorch

你好，
方法:
Torch是一个广泛支持机器学习算法的科学计算框架，由于采用简单而快速的脚本语言LuaJIT和一个底层的C/CUDA实现，Torch易于使用且高效。

Torch安装

首先，值得注意的是，最新版的Torch支持Ubuntu，Fedora20，Fedora22，Centos7。但不支持Fedora21，Centos6。

参考官网安装流程安装，如下所示，
# in a terminal, run the commands
git clone /torch/distro.git ~/torch --recursive
cd ~/torch; bash install-deps;
./install.sh12341234

在执行bash install-deps安装依赖时并未出错，但执行./install.sh时会出一些错误，见下面。

Torch安装问题汇总

错误1

错误类似于：
nvcc error : '***' died e to signal 2

解决方案：sudo ./install.sh

错误2
Error: Build error: Failed building.
Updating manifest for /root/torch/install/lib/luarocks/rocks
fftw3 scm-1 is now built and installed in /root/torch/install/ (license: BSD)123123

错误3
Error: Failed installing dependency: rocks-moonscript-org/moonrocks-mirror/master/luacrypto-0.3.2-1.src.rock - Could not find header file for OPENSSL
No file openssl/evp.h in /usr/local/include
No file openssl/evp.h in /usr/include
You may have to install OPENSSL in your system and/or pass OPENSSL_DIR or OPENSSL_INCDIR to the luarocks command.
Example: luarocks install luacrypto OPENSSL_DIR=/usr/local1234512345

参照Problem with Torch #86，执行sudo apt-get install -y libssl-dev安装libssl-dev，之后重新安装Torch即可。

错误4

提示缺少依赖lbase64 ，luacrypto，uuid 等，可直接执行luarocks install missed-package解决。

‘陆’ 如何有效地阅读PyTorch的源代码

运行 python setup.py build ，生成一遍 (非 install，防止覆盖已安装的pytorch)
顺着 setup.py build 命令看安装过程，顺着安装过程看相关实现代码
顺着 __init__.py 看 python 中 import torch 时，怎么把 C\C++ 代码实现的函数与类加载起来的、python层引入了哪些库

‘柒’ 《深度学习框架PyTorch：入门与实践》epub下载在线阅读，求百度网盘云资源

《深度学习框架PyTorch：入门与实践》（陈云）电子书网盘下载免费在线阅读

资源链接：

链接：https://pan..com/s/1H1PSIo3KOOWh87ZtyR4oKQ

书名：深度学习框架PyTorch：入门与实践

作者：陈云

豆瓣评分：6.7

出版社：电子工业出版社

出版年份：2018-1

页数：300

内容简介：

《深度学习框架PyTorch：入门与实践》从多维数组Tensor开始，循序渐进地带领读者了解PyTorch各方面的基础知识。结合基础知识和前沿研究，带领读者从零开始完成几个经典有趣的深度学习小项目，包括GAN生成动漫头像、AI滤镜、AI写诗等。《深度学习框架PyTorch：入门与实践》没有简单机械地介绍各个函数接口的使用，而是尝试分门别类、循序渐进地向读者介绍PyTorch的知识，希望读者对PyTorch有一个完整的认识。

《深度学习框架PyTorch：入门与实践》内容由浅入深，无论是深度学习的初学者，还是第一次接触PyTorch的研究人员，都能在学习本书的过程中快速掌握PyTorch。即使是有一定PyTorch使用经验的用户，也能够从本书中获得对PyTorch不一样的理解。

作者简介：

陈云

Python程序员、Linux爱好者和PyTorch源码贡献者。主要研究方向包括计算机视觉和机器学习。“2017知乎看山杯机器学习挑战赛”一等奖，“2017天池医疗AI大赛”第八名。 热衷于推广PyTorch，并有丰富的使用经验，活跃于PyTorch论坛和知乎相关板块。

‘捌’ 如何有效地阅读PyTorch的源代码

最近刚开始使用theano, 经验不多，连个基本的模型都跑不通，于是去看了下Keras，源码比较简洁，可以当作theano的示例教程来看，感受如下：
文档看似很全，每个layer是干啥的，每个参数是啥都写了，但是不去读代码，实际很多人是无法从文档理解其具体用法的。这点看issue里的讨论里可以看出。同样，example似乎很多，而且都能直接run，还都是real world的数据集，看似很好，但是实际上，对于新手，如果需要的模型跟example里的不完全一样，不容易搞懂到底需要把输入输出的数据搞成啥格式。举个例子，example都是做的classification的，没有做sequence labeling的例子，如果想拿来做个pos tagging，不知道数据如何组织。当然，这些其实花一天读下代码或者好好翻翻issue讨论就可以解决了，但我相信不少人不会去认真读代码或者看讨论，而是直接换个工具。我感觉目前的doc只有懂了代码的人才能看懂，不懂得看文档还是没啥用。
2.项目很简单所以开发者不多，但是很活跃，每天都有新东西加进去。今天增加了一个新的分支后端可以用theano或者tensorflow了，不过貌似由于不支持scan，backend用tensorflow的没实现recurrent layer。他们也意识到文档的问题，觉得需要为小白用户多加点tutorial而不是光给develop看。
我没用过其他的framework，仅说keras拿来学习theano基本用法，很不错
库本身的代码，比较简单易读，我作为python菜鸟，也能看懂。目前model有sequential和grapgh两种，前者并不是指recurrent而是说网络是一层层堆的（也包括recurrent）.其他的主要概念包括layer，regularizer, optimizer,objective都分离开。layer用于build每层的输出函数，model会用最后一层的输出，根据objective和每个layer的regularizer来确定最终的cost，然后在update时用optimizer来更新参数。把这四个看下加上model里的fit函数，就会用theano啦。很多模型都能cover，seq2seq这种也有现成的可用。建议不要光看example，多看看github上的 issues讨论，实在找不到，直接提问。效率方面，我不懂theano怎么优化，感觉keras的这种封装，没什么成本，跟自己用原生theano是一样的。当然，theano本身就好慢啊。。估计是我不懂用吧。。
用于测试函数式返回的数值是否有错。如果有错，该函数返回

‘玖’ 如何阅读luajit的代码

为什么要看luajit的源码
作为目前最快的脚本语言之一，luajit确实是一个杰作，但相比原生lua仅仅几万行的代码而言，luajit却可以说是巨无霸。更要命的是，luajit之所以快，是因为大量使用了机器码相关的技术，无论是它的机器码编译部分，还是字节码执行部分，读起来都非常麻烦。
网上这方面的资料非常少，即使是lua社区的云风大大也主要以分析原生lua为主，跟luajit有很多不同。万一遇到了性能坑，或者其他难以解决的问题，需要找到原因，又不能阅读源码的话，就只能依赖网上其他人的结论，否则完全无从下手。
调试luajit
万事的开头，从能够自己调试代码开始
一个能调试的代码，阅读起来会远远比眼看要清晰得多。
而如果能利用visual studio进行调试，那么对读luajit而言还是非常有帮助的，毕竟借助visual assist的代码查找，能够非常快的帮你找到你想了解的东西
luajit下面提供了一个msvcbuild.bat用于编译luajit，但如果你需要调试的话，可以进行以下几个步骤：
1.将luajit解压，比如解压到LuaJIT-2.1.0-beta2_msvc目录
2.如果要得到精确的栈，修改LuaJIT-2.1.0-beta2_msvc\src\msvcbuild.bat，搜索/O2，将/O2改为/Od
3.在win64版本的visual studio命令行，执行一次msvcbuild.bat debug，这时会生成luajit.exe，测试一下exe是否正常。
4.用visual studio建立一个命令行工程，例如工程保存在LuaJIT-2.1.0-beta2_msvc\luajitcmd
5.把LuaJIT-2.1.0-beta2_msvc\src下所有.h和.c代码加入工程
6.把工程的调试路径设置为
命令：$(ProjectDir)..\..\src\luajit.exe
工作目录：$(ProjectDir)..\..\src\
7.此时你可以正常按f5下断点调试了
至于可以调试什么呢？
最简单就是写一个lua文件，require之，执行里面的代码，下断点观察luajit的行为。
这里必须说明，luajit的执行过程中有两大部分是没有.c对应的：
1.有一部分代码是通过dasm工具生成的，这部分直接通过汇编生成，没有.c，所以没有办法在visual studio调试（其实也可以，但是只能汇编调试）。这些主要是lua虚拟机的代码（是的，为了快，作者hand tune汇编的方式来写lua虚拟机）
2.luajit会通过jit模块编译一部分代码变为高度优化的机器码，这些也是临时生成的可执行机器码，你只能在.c看到他们是如何生成的，但执行阶段当然是没有.c对应的。
除此以外，几乎所有东西都可以直接vs调试：所有的编译过程、所有的lua标准库和api、luatable等常规数据结构、profiler，等等
下一步我们会简单说一下代码结构，以及结果luajit一些基本原理来说说怎么阅读
尤其是luajit的原理，如果对此毫无了解的情况下，阅读其源码是十分困难的，因为luajit从编译到执行的过程，走了很多步，跨越了多个模块，涉及了三种不同形式的编码（bytecode, SSA IR, 机器码），可见其复杂程度。

‘拾’ php 的 opcache 和最近的 php jit 有什么区别

opcache是用来缓存php在运行中代码生成的opcode。
php jit是php新的编译器，部署php代码的时候需要提前把源码编译成机器能识别的识别码。
目前php社区正权力开发JIT，目前已有Php jit版本。据说php8将完全支持php jit