torch16的底层源码

Ⅰ pytorch是什么

PyTorch是一个开源的python机器学习库，基于Torch，用于自然语言处理等应用程序。

由Facebook人工智能研究院（FAIR）基于Torch推出了PyTorch。它是一个基于Python的可续计算包，提供两个高级功能：具有强大的GPU加速的张量计算（如NumPy）。包含自动求导系统的深度神经网络。

PyTorch的发展：

PyTorch的前身是Torch，其底层和Torch框架一样，但是使用Python重新写了很多内容，不仅更加灵活，支持动态图，而且提供了Python接口。它是由Torch7团队开发，是一个以Python优先的深度学习框架，不仅能够实现强大的GPU加速，同时还支持动态神经网络。

PyTorch既可以看作加入了GPU支持的numpy，同时也可以看成一个拥有自动求导功能的强大的深度神经网络。除了Facebook外，它已经被Twitter、CMU和Salesforce等机构采用。

Ⅱ 有必要TensorFlow和pytorch都配重吗

有。
TensorFlow是一个基于数据流编程符号数学系统，被广泛应用于各类机器学习算法的编程实现，其前身是谷歌的神经网络算法库DistBelief。
PyTorch的前身是Torch，其底层和Torch框架一样，但是使用Python重新写了很多内容，不仅更加灵活，支持动态图，而且提供了Python接口。
它是由Torch7团队开发，是一个以Python优先的深度学习框架，不仅能够实现强大的GPU加速，同时还支持动态神经网络，这是很多主流深度学习框架比如Tensorflow等都不支持的。

Ⅲ MATLAB中的temp对于三维数组是什么功能

表示该向量的行扩展
把temp缀在T后
T+temp表示向量相加，提示表示格式不符或尺度不符.
VB中的字符串相加和Matlab的字符串相加是不同的
VB中的“+”有时为5+6＝11的算法，有时为 "a" + "b"="ab"的效果
望采纳！

Ⅳ torch支持python吗

PyTorch 是 Torch7 团队开发的，从它的名字就可以看出，其与 Torch 的不同之处在于 PyTorch 使用了 Python 作为开发语言。

所谓“Python first”，同样说明它是一个以Python 优先的深度学习框架，不仅能够实现强大的GPU 加速，同时还支持动态神经网络，这是现在很多主流框架比如Tensorflow 等都不支持的。

PyTorch 既可以看做加入了GPU 支持的numpy，同时也可以看成一个拥有自动求导功能的强大的深度神经网络，除了Facebook 之外，它还已经被Twitter、CMU 和Salesforce 等机构采用。

相关推荐：《Python教程》

为何要使用PyTorch

面对如此多的深度学习框架，我们为何要选择PyTorch 呢？Tensorflow 不是深度学习框架默认的老大吗，为什么不直接选择Tensorflow 而是要选择PyTorch 呢？下面分4个方面来介绍为何要使用PyTorch。

（1）掌握一个框架并不能一劳永逸，现在深度学习并没有谁拥有绝对的垄断地位，就算是Google 也没有，所以只学习Tensorflow 并不够。同时现在的研究者使用各个框架的都有，如果你要去看他们实现的代码，至少也需要了解他们使用的框架，所以多学一个框架，以备不时之需。

（2）Tensorflow 与Caffe 都是命令式的编程语言，而且是静态的，首先必须构建一个神经网络，然后一次又一次使用同样的结构，如果想要改变网络的结构，就必须从头开始。但是对于PyTorch，通过一种反向自动求导的技术，可以让你零延迟地任意改变神经网络的行为，尽管这项技术不是PyTorch 独有，但目前为止它实现是最快的，能够为你任何疯狂想法的实现获得最高的速度和最佳的灵活性，这也是PyTorch 对比Tensorflow 最大的优势。

（3）PyTorch 的设计思路是线性、直观且易于使用的，当你执行一行代码时，它会忠实地执行，并没有异步的世界观，所以当你的代码出现Bug 的时候，可以通过这些信息轻松快捷地找到出错的代码，不会让你在Debug 的时候因为错误的指向或者异步和不透明的引擎浪费太多的时间。

（4）PyTorch 的代码相对于Tensorflow 而言，更加简洁直观，同时对于Tensorflow高度工业化的很难看懂的底层代码，PyTorch 的源代码就要友好得多，更容易看懂。深入API，理解PyTorch 底层肯定是一件令人高兴的事。一个底层架构能够看懂的框架，你对其的理解会更深。

最后，我们简要总结一下PyTorch 的特点：

·支持GPU；

·动态神经网络；

·Python 优先；

·命令式体验；

·轻松扩展。

拥有着如此多优点的.PyTorch 也有着它的缺点,因为这款框架比较新，所以使用的人也就比较少，这也就使得它的社区没有那么强大，但是PyTorch 提供了一个官方的论坛，大多数碰到的问题都可以去里面搜索，里面的答案一般都是由作者或者其他PyTorch 使用者提供的，论坛的更新也特别频繁，同时也可以去Github 上面提Issue，一般很快就会得到开发者的回应，也算是一定程度上解决了社区的问题。

Ⅳ 病毒，木马，蠕虫的区别

1、本质不同

病毒（包含蠕虫）是自我复制、传播、破坏电脑文件，对电脑造成数据上不可逆转的损坏。而木马是伪装成正常应用骗取用户信任而入侵，潜伏在电脑中盗取用户资料与信息。

2、特征不同

病毒的特征：很强的感染性；一定隐蔽性；一定的潜伏性；特定的触发性；不可预见性；很大的破坏性。

蠕虫的特征：它的入侵对象是整个互联网上的电脑；不采用将自身复制在租住程序的方式传播；通过互联网传播，极强的传染性、破坏性。

木马的特征：主要包括隐蔽性、自动运行性、欺骗性、自动恢复、自动打开端口。

木马的传播方式

木马病毒的传播方式比较多，主要有：

（1）利用下载进行传播，在下载的过程中进入程序，当下载完毕打开文件就将病毒植入到电脑中；

（2）利用系统漏洞进行传播，当计算机存在漏洞，就成为木马病毒攻击的对象；

（3）利用邮件进行传播，很多陌生邮件里面就掺杂了病毒种子，一旦邮件被打开，病毒就被激活；

（4）利用远程连接进行传播；

（5）利用网页进行传播，在浏览网页时会经常出现很多跳出来的页面，这种页面就是病毒驻扎的地方；

（6）利用蠕虫病毒进行传播等。

Ⅵ pytorch用什么显卡

1. 利用CUDA_VISIBLE_DEVICES设置可用显卡
在CUDA中设定可用显卡，一般有2种方式：
(1) 在代码中直接指定
import os
os.environ['CUDA_VISIBLE_DEVICES'] = gpu_ids

(2) 在命令行中执行代码时指定
CUDA_VISIBLE_DEVICES=gpu_ids python3 train.py

如果使用sh脚本文件运行代码，则有3种方式可以设置
(3) 在命令行中执行脚本文件时指定：
CUDA_VISIBLE_DEVICES=gpu_ids sh run.sh

(4) 在sh脚本中指定：
source bashrc
export CUDA_VISIBLE_DEVICES=gpu_ids && python3 train.py

(5) 在sh脚本中指定
source bashrc
CUDA_VISIBLE_DEVICES=gpu_ids python3 train.py

如果同时使用多个设定可用显卡的指令，比如
source bashrc
export CUDA_VISIBLE_DEVICES=gpu_id1 && CUDA_VISIBLE_DEVICES=gpu_id2 python3 train.py

那么高优先级的指令会覆盖第优先级的指令使其失效。优先级顺序为：不使用sh脚本 (1)>(2)； 使用sh脚本(1)>(5)>(4)>(3)
个人感觉在炼丹时建议大家从(2)(3)(4)(5)中选择一个指定可用显卡，不要重复指定以防造成代码的混乱。方法(1)虽然优先级最高，但是需要修改源代码，所以不建议使用。
2 .cuda()方法和torch.cuda.set_device()
我们还可以使用.cuda()[包括model.cuda()/loss.cuda()/tensor.cuda()]方法和torch.cuda.set_device()来把模型和数据加载到对应的gpu上。
(1) .cuda()
以model.cuda()为例，加载方法为：
model.cuda(gpu_id) # gpu_id为int类型变量，只能指定一张显卡
model.cuda('cuda:'+str(gpu_ids)) #输入参数为str类型，可指定多张显卡
model.cuda('cuda:1,2') #指定多张显卡的一个示例

(2) torch.cuda.set_device()
使用torch.cuda.set_device()可以更方便地将模型和数据加载到对应GPU上, 直接定义模型之前加入一行代码即可
torch.cuda.set_device(gpu_id) #单卡
torch.cuda.set_device('cuda:'+str(gpu_ids)) #可指定多卡

但是这种写法的优先级低，如果model.cuda()中指定了参数，那么torch.cuda.set_device()会失效，而且pytorch的官方文档中明确说明，不建议用户使用该方法。
第1节和第2节所说的方法同时使用是并不会冲突，而是会叠加。比如在运行代码时使用
CUDA_VISIBLE_DEVICES=2,3,4,5 python3 train.py

而在代码内部又指定
model.cuda(1)
loss.cuda(1)
tensor.cuda(1)

那么代码会在GPU3上运行。原理是CUDA_VISIBLE_DEVICES使得只有GPU2,3,4,5可见，那么这4张显卡，程序就会把它们看成GPU0,1,2,3，.cuda(1)把模型/loss/数据都加载到了程序所以为的GPU1上，则实际使用的显卡是GPU3。
如果利用.cuda()或torch.cuda.set_device()把模型加载到多个显卡上，而实际上只使用一张显卡运行程序的话，那么程序会把模型加载到第一个显卡上，比如如果在代码中指定了
model.cuda('cuda:2,1')

在运行代码时使用
CUDA_VISIBLE_DEVICES=2,3,4,5 python3 train.py

这一指令，那么程序最终会在GPU4上运行。
3.多卡数据并行torch.nn.DataParallel
多卡数据并行一般使用
torch.nn.DataParallel(model,device_ids)

其中model是需要运行的模型，device_ids指定部署模型的显卡，数据类型是list
device_ids中的第一个GPU（即device_ids[0]）和model.cuda()或torch.cuda.set_device()中的第一个GPU序号应保持一致，否则会报错。此外如果两者的第一个GPU序号都不是0,比如设置为：
model=torch.nn.DataParallel(model,device_ids=[2,3])
model.cuda(2)

那么程序可以在GPU2和GPU3上正常运行，但是还会占用GPU0的一部分显存（大约500M左右），这是由于pytorch本身的bug导致的（截止1.4.0，没有修复这个bug）。
device_ids的默认值是使用可见的GPU，不设置model.cuda()或torch.cuda.set_device()等效于设置了model.cuda(0)

4. 多卡多线程并行torch.nn.parallel.DistributedDataParallel
（这个我是真的没有搞懂,,,,）
参考了这篇文章和这个代码，关于GPU的指定，多卡多线程中有2个地方需要设置
torch.cuda.set_device(args.local_rank)
torch.nn.parallel.DistributedDataParallel(model, device_ids=[args.local_rank])

模型/loss/tensor设置为.cuda()或.cuda(args.local_rank)均可，不影响正常运行。
5. 推荐设置方式：
(1) 单卡
使用CUDA_VISIBLE_DEVICES指定GPU，不要使用torch.cuda.set_device()，不要给.cuda()赋值。
(2) 多卡数据并行
直接指定CUDA_VISIBLE_DEVICES，通过调整可见显卡的顺序指定加载模型对应的GPU,不要使用torch.cuda.set_device()，不要给.cuda()赋值，不要给torch.nn.DataParallel中的device_ids赋值。比如想在GPU1,2,3中运行，其中GPU2是存放模型的显卡，那么直接设置
CUDA_VISIBLE_DEVICES=2,1,3

(3) 多卡多线程

Ⅶ ubuntu下怎么安装torch

Torch简介

Torch是一个广泛支持机器学习算法的科学计算框架，由于采用简单而快速的脚本语言LuaJIT和一个底层的C/CUDA实现，Torch易于使用且高效。

Torch安装

首先，值得注意的是，最新版的Torch支持Ubuntu，Fedora20，Fedora22，Centos7。但不支持Fedora21，Centos6。

参考官网安装流程安装，如下所示，
# in a terminal, run the commands
git clone https://github.com/torch/distro.git ~/torch --recursive
cd ~/torch; bash install-deps;
./install.sh12341234

在执行bash install-deps安装依赖时并未出错，但执行./install.sh时会出一些错误，见下面。

Torch安装问题汇总

错误1

错误类似于：
nvcc error : '***' died e to signal 2

解决方案：sudo ./install.sh

错误2
Error: Build error: Failed building.
Updating manifest for /root/torch/install/lib/luarocks/rocks
fftw3 scm-1 is now built and installed in /root/torch/install/ (license: BSD)123123

错误3
Error: Failed installing dependency: https://raw.githubusercontent.com/rocks-moonscript-org/moonrocks-mirror/master/luacrypto-0.3.2-1.src.rock - Could not find header file for OPENSSL
No file openssl/evp.h in /usr/local/include
No file openssl/evp.h in /usr/include
You may have to install OPENSSL in your system and/or pass OPENSSL_DIR or OPENSSL_INCDIR to the luarocks command.
Example: luarocks install luacrypto OPENSSL_DIR=/usr/local1234512345

参照Problem with Torch #86，执行sudo apt-get install -y libssl-dev安装libssl-dev，之后重新安装Torch即可。

错误4

提示缺少依赖lbase64 ，luacrypto，uuid 等，可直接执行luarocks install missed-package解决。

Ⅷ 如何有效地阅读PyTorch的源代码

运行 python setup.py build ，生成一遍 (非 install，防止覆盖已安装的pytorch)
顺着 setup.py build 命令看安装过程，顺着安装过程看相关实现代码
顺着 __init__.py 看 python 中 import torch 时，怎么把 C\C++ 代码实现的函数与类加载起来的、python层引入了哪些库