warp算法

❶ [图像算法]-Faster RCNN详解

paper： Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks
Tensorflow-faster r-cnn github: Tensorflow Faster RCNN for Object Detection

faster rcnn是何凯明等大神在2015年提出目标检测算法，该算法在2015年的ILSVRV和COCO竞赛中获得多项第一。该算法在fast rcnn基础上提出了RPN候选框生成算法，使得目标检测速度大大提高。

(1)image input；
(2)利用selective search 算法在图像中从上到下提取2000个左右的Region Proposal；
(3)将每个Region Proposal缩放(warp)成227*227的大小并输入到CNN，将CNN的fc7层的输出作为特征；
(4)将每个Region Proposal提取的CNN特征输入到SVM进行分类；
(5)对于SVM分好类的Region Proposal做边框回归，用Bounding box回归值校正原来的建议窗口，生成预测窗口坐标.
缺陷:
(1) 训练分为多个阶段，步骤繁琐：微调网络+训练SVM+训练边框回归器；
(2) 训练耗时，占用磁盘空间大；5000张图像产生几百G的特征文件；
(3) 速度慢：使用GPU，VGG16模型处理一张图像需要47s；
(4) 测试速度慢：每个候选区域需要运行整个前向CNN计算；
(5) SVM和回归是事后操作，在SVM和回归过程中CNN特征没有被学习更新.

(1)image input；
(2)利用selective search 算法在图像中从上到下提取2000个左右的建议窗口(Region Proposal)；
(3)将整张图片输入CNN，进行特征提取；
(4)把建议窗口映射到CNN的最后一层卷积feature map上；
(5)通过RoI pooling层使每个建议窗口生成固定尺寸的feature map；
(6)利用Softmax Loss(探测分类概率) 和Smooth L1 Loss(探测边框回归)对分类概率和边框回归(Bounding box regression)联合训练.

相比R-CNN，主要两处不同:
(1)最后一层卷积层后加了一个ROI pooling layer；
(2)损失函数使用了多任务损失函数(multi-task loss)，将边框回归直接加入到CNN网络中训练
改进:
(1) 测试时速度慢：R-CNN把一张图像分解成大量的建议框，每个建议框拉伸形成的图像都会单独通过CNN提取特征.实际上这些建议框之间大量重叠，特征值之间完全可以共享，造成了运算能力的浪费.
FAST-RCNN将整张图像归一化后直接送入CNN，在最后的卷积层输出的feature map上，加入建议框信息，使得在此之前的CNN运算得以共享.
(2) 训练时速度慢：R-CNN在训练时，是在采用SVM分类之前，把通过CNN提取的特征存储在硬盘上.这种方法造成了训练性能低下，因为在硬盘上大量的读写数据会造成训练速度缓慢.
FAST-RCNN在训练时，只需要将一张图像送入网络，每张图像一次性地提取CNN特征和建议区域，训练数据在GPU内存里直接进Loss层，这样候选区域的前几层特征不需要再重复计算且不再需要把大量数据存储在硬盘上.
(3) 训练所需空间大：R-CNN中独立的SVM分类器和回归器需要大量特征作为训练样本，需要大量的硬盘空间.FAST-RCNN把类别判断和位置回归统一用深度网络实现，不再需要额外存储.
(4) 由于ROI pooling的提出，不需要再input进行Corp和wrap操作，避免像素的损失，巧妙解决了尺度缩放的问题.

(1)输入测试图像；
(2)将整张图片输入CNN，进行特征提取；
(3)用RPN先生成一堆Anchor box，对其进行裁剪过滤后通过softmax判断anchors属于前景(foreground)或者后景(background)，即是物体or不是物体，所以这是一个二分类；同时，另一分支bounding box regression修正anchor box，形成较精确的proposal（注：这里的较精确是相对于后面全连接层的再一次box regression而言）
(4)把建议窗口映射到CNN的最后一层卷积feature map上；
(5)通过RoI pooling层使每个RoI生成固定尺寸的feature map；
(6)利用Softmax Loss(探测分类概率) 和Smooth L1 Loss(探测边框回归)对分类概率和边框回归(Bounding box regression)联合训练.

相比FASTER-RCNN，主要两处不同:
(1)使用RPN(Region Proposal Network)代替原来的Selective Search方法产生建议窗口；
(2)产生建议窗口的CNN和目标检测的CNN共享

改进:
(1) 如何高效快速产生建议框？
FASTER-RCNN创造性地采用卷积网络自行产生建议框，并且和目标检测网络共享卷积网络，使得建议框数目从原有的约2000个减少为300个，且建议框的质量也有本质的提高.

从上面的三张图可以看出，Faster R CNN由下面几部分组成：
1.数据集，image input
2.卷积层CNN等基础网络，提取特征得到feature map
3-1.RPN层，再在经过卷积层提取到的feature map上用一个3x3的slide window，去遍历整个feature map,在遍历过程中每个window中心按rate，scale（1:2,1:1,2:1）生成9个anchors，然后再利用全连接对每个anchors做二分类（是前景还是背景）和初步bbox regression，最后输出比较精确的300个ROIs。
3-2.把经过卷积层feature map用ROI pooling固定全连接层的输入维度。
4.然后把经过RPN输出的rois映射到ROIpooling的feature map上进行bbox回归和分类。

SPP-Net是出自论文《Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition》
由于一般的网络结构中都伴随全连接层，全连接层的参数就和输入图像大小有关，因为它要把输入的所有像素点连接起来,需要指定输入层神经元个数和输出层神经元个数，所以需要规定输入的feature的大小。而SPP-NET正好解决了这个问题。

如果原图输入是224x224，对于conv5出来后的输出，是13x13x256的，可以理解成有256个这样的filter，每个filter对应一张13x13的activation map.如果像上图那样将activation map pooling成4x4 2x2 1x1三张子图，做max pooling后，出来的特征就是固定长度的(16+4+1)x256那么多的维度了.如果原图的输入不是224x224，出来的特征依然是(16+4+1)x256；直觉地说，可以理解成将原来固定大小为(3x3)窗口的pool5改成了自适应窗口大小，窗口的大小和activation map成比例，保证了经过pooling后出来的feature的长度是一致的.

总结而言，当网络输入的是一张任意大小的图片，这个时候我们可以一直进行卷积、池化，直到网络的倒数几层的时候，也就是我们即将与全连接层连接的时候，就要使用金字塔池化，使得任意大小的特征图都能够转换成固定大小的特征向量，这就是空间金字塔池化的意义（多尺度特征提取出固定大小的特征向量）。

ROI pooling layer实际上是SPP-NET的一个精简版，SPP-NET对每个proposal使用了不同大小的金字塔映射，而ROI pooling layer只需要下采样到一个7x7的特征图.对于VGG16网络conv5_3有512个特征图，这样所有region proposal对应了一个7*7*512维度的特征向量作为全连接层的输入.

为什么要pooling成7×7的尺度？是为了能够共享权重。Faster RCNN除了用到VGG前几层的卷积之外，最后的全连接层也可以继续利用。当所有的RoIs都被pooling成（512\×7\×7）的feature map后，将它reshape 成一个一维的向量，就可以利用VGG16预训练的权重，初始化前两层全连接.

那么经过何种变换才能从图11中的窗口P变为窗口呢？比较简单的思路就是：

注意：只有当Proposal和Ground Truth比较接近时（线性问题），我们才能将其作为训练样本训练我们的线性回归模型，否则会导致训练的回归模型不work（当Proposal跟GT离得较远，就是复杂的非线性问题了，此时用线性回归建模显然不合理）.这个也是G-CNN: an Iterative Grid Based Object Detector多次迭代实现目标准确定位的关键. 线性回归就是给定输入的特征向量X，学习一组参数W，使得经过线性回归后的值跟真实值Y(Ground Truth)非常接近.即.那么Bounding-box中我们的输入以及输出分别是什么呢？

如上图中标识：
① rpn_cls：60*40*512-d ⊕ 1*1*512*18 > 60*40*92 逐像素对其9个Anchor box进行二分类
② rpn_bbox：60*40*512-d ⊕ 1*1*512*36>60*40*9*4 逐像素得到其9个Anchor box四个坐标信息

逐像素对Anchors分类标记
① 去除掉超过1000*600这原图的边界的anchor box
② 如果anchor box与ground truth的IoU值最大，标记为正样本，label=1
③ 如果anchor box与ground truth的IoU>0.7，标记为正样本，label=1
④ 如果anchor box与ground truth的IoU<0.3，标记为负样本，label=0
剩下的既不是正样本也不是负样本，不用于最终训练，label=-1

逐像素Bbox回归纠正
除了对anchor box进行标记外，另一件事情就是计算anchor box与ground truth之间的偏移量
令：ground truth:标定的框也对应一个中心点位置坐标x ,y 和宽高w ,h
anchor box: 中心点位置坐标x_a,y_a和宽高w_a,h_a
所以，偏移量：
△x=(x -x_a)/w_a △y=(y -y_a)/h_a
△w=log(w /w_a) △h=log(h /h_a)
通过ground truth box与预测的anchor box之间的差异来进行学习，从而是RPN网络中的权重能够学习到预测box的能力

接着进一步对Anchors进行越界剔除和使用nms非最大值抑制，剔除掉重叠的框；比如，设定IoU为0.7的阈值，即仅保留覆盖率不超过0.7的局部最大分数的box（粗筛）。最后留下大约2000个anchor，然后再取前N个box（比如300个）；这样，进入到下一层ROI Pooling时region proposal大约只有300个。

参考文献：

❷ 安克65w充oppo65w

1、SuperVOOC（超级闪充）发展史：

SuperVOOC 1.0：
2016年，OPPO首次提出了超级闪充(SuperVOOC)概念；采用双电芯串联设计，相同的电流情况下充电功率提升一倍达到50W，15分钟内就能充满一部2500mAh的手机。2018年，OPPO Find X超级闪充版和OPPO Find X兰博基尼版首发搭载。2021年，SUPERVOOC升级统一了诸多协议，并且升级为了代表欧加集团充电的品牌。

SuperVOOC 2.0：
充电功率提升接近至65W，室温25摄氏度环境下，第一次在即将商用的机型上实现了“30分钟充满等效4000mAh电池能量的手机”。在2019年10月发布的Reno Ace（中国大陆机型）上首次应用。

SUPERVOOC：
是对SuperVOOC及SuperVOOC2.0的升级，涵盖更多充电档位及更高充电功率。目前支持7个充电档位33W、50W、65W、67W、80W、150W、240W。

2、SuperVOOC 2.0对比SuperVOOC 1.0进行了哪些升级？
（1）适配器端：SuperVOOC 2.0适配器采用了第三代半导体——GaN氮化镓。氮化镓能带来充电工作效率的提升，同时实现更小的充电器体积。OPPO也会是第一批使用氮化镓的手机品牌。
（2）采用了新一代的串联双3C电芯，电芯采用MMT（极耳中置）工艺制造，使电池阻抗更低，能支持输入更大电流（10V6.5A），且有效控制温升。
（注：极耳是电池中的一种原材料，作为电池充放电的接触点。）
SuperVOOC采用了熔断式过压保护电路，能够带来更高的可靠性。
（3）算法优化：
① VFC 充电算法：改善90%-100%的充电区间效率，缩短最后10%的充电时间。
② VCVT智能调谐算法：以100mA一档为一单位智能调节电压电流，实现无级变速调整电压，提升充电效率，降低充电带来的热损耗。

3、SUPERVOOC对比SuperVOOC 2.0进行了哪些升级？
（1）协议端：SUPERVOOC额外兼容了Warp、Flashcharge协议，实现了对低压快充以及高压快充的全面兼容。
（2）手机端：SUPERVOOC高压版本采用了全新一代charge pump充电技术，内置高压转换与低压直充两种充电模式，根据适配器类型配置对应的充电模式，实现对高、低压适配器的完全兼容。

❸ HartSift: 一种基于GPU的高准确性和实时SIFT

尺度不变特征变换 (SIFT) 是最流行和最强大的特征提取算法之一，因为它对尺度、旋转和光照保持不变。它已被广泛应用于视频跟踪、图像拼接、同时定位和映射（SLAM）、运动结构（SFM）等领域。然而，高计算复杂度限制了其在实时系统中的进一步应用。这些系统必须在准确性和性能之间进行权衡以实现实时特征提取。他们采用其他更快但精度较低的算法，如 SURF 和 PCA-SIFT。为了解决这个问题，本文提出了一种使用 CUDA 的 GPU 加速 SIFT，命名为 HartSift，充分利用单机CPU和GPU的计算资源，实现高精度、实时的特征提取。实验表明，在 NIVDIA GTX TITAN Black GPU 上，HartSift 可以根据图像的大小在 3.14-10.57ms (94.61-318.47fps) 内处理图像。此外，HartSift 分别比 OpenCV-SIFT（CPU 版本）和 SiftGPU（GPU 版本）快 59.34-75.96 倍和 4.01-6.49 倍。同时，HartSift 的性能和 CudaSIFT（迄今为止最快的 GPU 版本）的性能几乎相同，而 HartSift 的准确度远高于 CudaSIFT。

SIFT算法可以提取大量显着特征，这些特征在缩放、旋转、光照和3D视点保持不变，还提供了跨越噪声和仿射失真的稳健匹配。但SIFT的高计算复杂度限制了其在大规模数据和实时系统中的进一步应用。而复杂度较低的算法，如SURF、PCA-SIFT的准确性又不太高。因此，在主流计算平台上实现高精度、实时的SIFT是一个重要而有意义的研究课题。

而SIFT算法具有很好的并行性，可以正确移植到GPU上。因此，在配备GPU的异构计算系统上实现高性能的SIFT具有重要的实用价值。

SIFT 算法包含三个阶段，包括高斯差分（DoG）金字塔的构建、精确的关键点定位和 128 维描述符生成。由于每个阶段都有自己的并行特性，因此必须使用不同的并行粒度和优化来实现高性能。尤其是后两个阶段，负载不平衡不利于GPU优化，会导致性能下降。

本文的主要贡献和创新可以概括如下：

有许多工作尝试在GPU上使用SIFT算法。

然而，为了实现高性能，他们省略了 SIFT 算法的一些重要步骤，例如将输入图像加倍、保持尺度变化的连续性和拟合二次函数以定位准确的关键点信息。作者的实验表明，这些遗漏会导致 SIFT 丢失很多关键点和准确性。

Lowe将输入图像尺寸加倍作为高斯金字塔 的最底层，每个尺度 通过高斯卷积产生：

高斯金字塔确定之后，利用相同Octave的层级相减，得到差分金字塔：

其中 ，在本文中， .

检测尺度空间极值

将DoG金字塔每个像素与相邻像素比较，同层8个，上下层9个，若像素是局部最大值或局部最小值，将其视为关键点候选。

去除无效关键点

去除较低对比度和不稳定边缘响应的候选关键点，通过将3D二次函数拟合到附近数据执行子像素插值，以获取精确的位置、比例和主曲率比。

方向分配

将候选关键点周围的梯度累积到36 bins的直方图中，根据每层的尺度计算搜索半径。每个紧邻像素由一个高斯加权窗口加权，梯度方向累计到36 bins的方向直方图中。峰值为主要梯度方向，同时超过峰值80%的局部峰值bin也被视为关键点方向。

对关键点周围像素计算梯度直方图，搜索半径比上一步骤大得多，同样用一个高斯加权函数用于为每个邻居的梯度值分配权重。

根据梯度方向将最终的梯度值累积到一个 360-bin 的圆形方向直方图。最后，直方图将被归一化、平滑并转换为 128D 描述符。

构建金字塔应该保持顺序，以保证尺度空间变化连续性。Acharya和Bjorkman为加快这一过程，牺牲准确性打破构建顺序。考虑到不能使准确性降低，构建顺序在HartSift中保留。

分离卷积核

对于 大小的卷积核处理 大小的图像需要进行 次运算，如果将2D卷积核拆解为两个1D的卷积核，计算量减少至 . 通过使用共享内存和向量化方法，更容易实现合并全局内存访问并减少一维卷积的冗余访问。

Uber 内核

Uber内核将多个不同任务放到一个物理内核中，在一个内核中并行处理任务，而不需要在内核之间切换。差分金字塔第 层由高斯金字塔第 和第 层决定。将高斯差分金字塔和高斯卷积核封装在单个核中，可以充分挖掘并行性。

线程不需要重复读取高斯金字塔第 层的值，这是由于第 层的值计算完后，结果会放在寄存器内而不是全局内存中。借助Uber内核的优势，我们可以节省 的空间和 的内核运行时间

异构并行

HartSift 采用异构并行方法来加速这一阶段。CPU 和 GPU 将并行协作，构建 DoG 金字塔。

由于GPU处理小图像没有优势，作者将 以下的图像放到CPU处理，大图像放到GPU处理。用户也可以自行设置分离点，确保CPU和GPU负载平衡。

存在两个问题：

负载均衡

Warp是GPU最小并行执行单元，即以锁步方式执行的 32 个线程的集合。若负载不均衡，则warp执行时间取决于最后一个线程完成的时间，warp负载不均衡会导致GPU效率降低。

由于候选关键点分布的随机性，几乎所有经线都包含不同数量的空闲线程。如果这些warp继续处理以下部分，就会出现两个级别的负载不平衡.

在去除无效的候选关键点部分时，线程将进行亚像素插值以获得准确的候选关键点信息，从而去除具有低对比度或不稳定边缘响应的关键点候选。换句话说，一些线程会比其他线程更早返回一次。负载不平衡会变得更加严重。

为了突破性能瓶颈，HartSift 引入了重新平衡工作负载和多粒度并行优化。

重新平衡工作负载

当检测到负载不平衡时，HartSift 将通过启动具有适当粒度的新内核并分派每个具有 32 个活动线程的新经线来重新平衡工作负载。

此外，启动三个内核分别处理这三个部分，不仅可以重新平衡工作量，还可以根据不同部分的并行特性提供多粒度的并行。

多粒度并行

重新平衡工作负载优化保证每个内核中的线程和经线被完全加载，多粒度并行优化保证工作负载将平均分配到线程和经线。此外，不同内核的并行粒度取决于工作负载的特性。

HartSift通过将一个线程映射到一个或多个像素，采用与关键点候选检测部分和无效关键点去除部分并行的线程粒度。然而，线程粒度并行会导致方向分配部分的负载不平衡，因为不同关键点的相邻区域半径不同。线程粒度并行会为单个线程分配过多的工作，这在某些情况下限制了硬件资源的利用率。所以在这部分应用混合粒度并行：扭曲粒度构建直方图，线程粒度找出并将主导方向分配给相应的关键点。

基于扭曲的直方图算法

作者针对每个关键点提出了一种基于扭曲粒度和原子操作的高性能直方图算法，以充分利用局部性。

该阶段关键点的邻域半径远大于前一阶段。需要为每个关键点累积数千个邻居到一个 360-bin 直方图。如果采用前一阶段的基于原子扭曲的直方图算法，会对这一阶段的性能产生不同的影响。

HartSift引入了一种atomic-free的直方图算法，进一步提升了这一阶段的性能。

该算法包含三个步骤：

为了消除线程间的负载不平衡，实现全局合并访问，HartSift 使用一个warp 来处理一个keypoint 的所有邻居。当线程计算出它们的方向 bin 时，它们需要根据bin变量的值将梯度值累加到局部直方图。考虑到有如此多的邻居并且一个经线的一些线程可能具有相同的 bin，算法1引入了一种无原子的多键约简方法来累积每个经线的部分和。这种方法可以利用warp级shuffle和vote指令完全消除原子操作和本地同步。它根据bin对经纱的线程进行分组并指定每组具有最低车道的线程作为队长线程。队长线程将保存他们自己的 bin 的部分总和，并将它们并行地累积到驻留在共享内存中的本地直方图，而不会发生 bank 冲突和同步。在遍历所有邻居后，HartSift 将最终的局部直方图复制到驻留在全局内存中的全局直方图。

本文提出了一种GPU上的并行SIFT，命名为Hart-Sift，它可以在单机内同时使用CPU和GPU来实现高精度和实时的特征提取。HartSift根据每个阶段的不同特点，通过适当采用不同的优化策略来提升性能，例如负载均衡、基于warp的直方图算法和不同尺度样本的atomic-free直方图算法等。在NVIDIA GTX TITAN Black GPU上，HartSift可以在3.14 ~ 10.57ms（94.61 ~ 318.47fps）内提取高精度特征，轻松满足高精度和实时性的苛刻要求。另外，与OpenCV-SIFT和SiftGPU相比，HartSift获得了59.34 ~ 75.96倍和4.01 ~ 6.49倍加速分别。同时，HartSift 和 CudaSIFT 的性能几乎相同，但 HartSift 远比 CudaSIFT 准确。

❹ 求CSS解释：word-warp word-break table-layout

word-wrap : normal | break-word 取值： normal :默认值。允许内容顶开指定的容器边界break-word :内容将在边界内换行。如果需要，词内换行( word-break )也将发生说明：设置或检索当当前行超过指定容器的边界时是否断开转行。
此属性仅作用于有布局的对象，如块对象。内联要素要使用该属性，必须先设定对象的 height 或 width 属性，或者设定 position 属性为 absolute ，或者设定 display 属性为 block 。
此属性对于 currentStyle 对象而言是只读的。对于其他对象而言是可读写的。
对应的脚本特性为 wordWrap 。 word-break : normal | break-all | keep-all 取值：normal :默认值。允许在词间换行break-all :该行为与亚洲语言的 normal 相同。也允许非亚洲语言文本行的任意字内断开。该值适合包含一些非亚洲文本的亚洲文本keep-all :与所有非亚洲语言的 normal 相同。对于中文，韩文，日文，不允许字断开。适合包含少量亚洲文本的非亚洲文本说明：设置或检索对象内文本的字内换行行为。尤其在出现多种语言时。
对于中文，应该使用 break-all 。
此属性对于 currentStyle 对象而言是只读的。对于其他对象而言是可读写的。
对应的脚本特性为 wordBreak 。 table-layout : auto | fixed 取值： auto :默认值。默认的自动算法。布局将基于各单元格的内容。表格在每一单元格内所有内容读取计算之后才会显示出来fixed :固定布局的算法。在这种算法中，表格和列的宽度取决于 col 对象的宽度总和，假如没有指定，则会取决于第一行每个单元格的宽度。假如表格没有指定宽度( width )属性，则表格被呈递的默认宽度为 100% 。说明：设置或检索表格的布局算法。
你可以通过此属性改善表格呈递性能。此属性导致IE以一次一行的方式呈递表格内容从而提供给信息用户更快的速度。此属性依据此下顺序使用其中一种方式布置表格栏宽度：
使用 col 或 colGroup 对象的宽度( width )属性信息。
使用表格第一行内的单元格的宽度( width )信息。
依据表格列数等分表格宽度。而不考虑表格内容的实际宽度。 假如单元格的内容超过了列宽度，内容将会被换行。假如无法换行，则内容会被裁切。假如此属性被设置为 fixed ，则 overflow 能够被用于控制处理溢出单元格( td )宽度的内容。假如表格行高度被指定了，那么换行的内容如果超出了指定表格行高度也会在纵向上被裁切。
设置此属性值为 fixed ，有助于提高表格性能。对于长表格效果尤其显着。
设置表格行高可以进一步提高呈递速度，浏览器不需要检测行内每一个单元格内容去确定行高就可以开始解析以及呈递。
此属性对于 currentStyle 对象而言是只读的。对于其他对象而言是可读写的。
对应的脚本特性为 tableLayout 。

❺ 目前做医学三维重建的厂家有哪些

第1章绪论
1.1医学图像三维重建的研究意义
1.2医学图像三维重建的应用
1.3国内外三维重建研究现状
1.4本书内容简介
第2章三维重建算法概述
2.1体数据三维数学模型
2.2医学图像体数据
2.2.1CT层片图像
2.2.2磁共振层片图像
2.3直接三维重建算法
2.3.1三维绘制模型
2.3.2图像空间为序的直接三维重建算法
2.3.3物体空间为序的直接三维重建算法
2.4间接三维重建算法
2.4.1基于等值面抽取的三维表面重建算法
2.4.2频域体绘制技术
2.5三维重建中的加速技术
2.6本章小结
第3章三维重建中关键技术研究
3.1Shear—warp投影算法原理
3.1.1物体空间中基本视向的选取
3.1.2Shear—warp变换的因子分解
3.2有序体数据的数据结构
3.3体素分类的快速三线性插值
3.3.1分类插值的体素模型
3.3.2体素分类插值运算量分析
3.3.3分类插值对三维重建效果分析比较
3.4本章小结
第4章基于最大密度投影的血管造影算法
4.1血管造影算法实现
4.1.1CT层片图像骨组织半自动分割去除算法
4.1.2采用传统光线追踪的最大密度投影算法的实现
4.2传统光线追踪算法优化分析
4.2.1最大密度投影算法中简化流程可行性分析
4.2.2采用多模式的最大密度投影效果比较
4.2.3对MRl图像血管造影结果条纹干扰的优化
4.3基于有序体数据的最大密度投影算法
4.3.1最大密度投影算法的计算量分析
4.3.2基于有序体数据最大密度投影算法的伪代码
4.3.3有序体数据的最大密度投影算法绘制速度比较分析
4.3.4血管造影图像质量比较分析
4.3.5头部MRl层片图像组血管造影结果
4.3.6头颈部MRl层片图像组血管造影结果
4.4本章小结
第5章基于等值面的三维表面重建
5.1对等值面的三维表面重建算法分类
5.2层片二维轮廓线三角形网格的表面重构
5.2.1二维轮廓线三角形网格划分算法的描述
5.2.2多分辨率三角形网格划分算法实现
5.2.3多分辨率三维表面重建结果
5.3对等值面的直接三维表面重建算法
5.3.1基于Shear—warp投影算法的直接三维表面重建
……
第6章三维体数据的直接体绘制
第7章基于微机三维重建系统的软件实现
第8章数字数据集的预处理
第9章数字人数据集的三维重建
第10章数字人眼角膜三维表面重建
附录一图目录
附录二表目录
参考文献
后记

❻ R-CNN 系列 object detection 算法

在 object detection 领域，近 5 年的突破性进展似乎都与一个名字有关系：Ross Girshick。梳理从 R-CNN，Fast R-CNN, Faster R-CNN 到 Mask R-CNN 等各种经典模型，Ross Girshick 都是作者之一，甚至连 YOLO 的作者中也出现了 Ross Girshick 的名字。

这位大神简历如下：

从算法到实现框架再到数据集，这位大神实现了一条龙的突破～

本文的目的是整理总结 R-CNN 系列算法的发展历程和模型本身的核心思想，不涉及太多技术细节（例如训练数据预处理，超参数设置等）。
参考文献主要是上述各算法的原文以及下列资源：

R-CNN，一般认为全称是 Region-based CNN 或者作者原文中提到的 Regions with CNN features。

概括地说，R-CNN 的步骤如下图所示：

下面详细介绍 R-CNN 中的关键环节。

对于输入的图片，首先利用 selective search 算法 生成约 2000 个 region。关于 selective search 算法可以参考 原文 ，也可以参考 我们之前的博客文章 。原文中提到 R-CNN 对各种 region proposal 算法没有偏好，之所以选择 selective search 算法仅仅是为了方便与前人工作做对比。

这一部分的目的是对于每一个 region，通过 CNN （原文选用 AlexNet） 进行特征提取，得到统一长度的 feature vector，以便后续的分类。

由于每个 region 的大小差别比较大，而 AlexNet 默认接收 227×227 pixel 的图片，这里就需要对 region 做一些预处理，主要是 region 大小的转化。

要把一个任意大小的图片转化成 227×227 像素的图片方法有很多，原文中介绍了 4 种方式：

分别是：

最终作者选择了 warp + padding 的方式，一方面 warp 相对来说是最简单的，直接把任意大小的图片缩放成 227×227 即可，另外 padding 是在原 region 周围稍微添加了一些像素点，从实际效果看提高了检测正确率。

将统一大小的 region 送入 CNN 中，进行特征提取。 如何得到这个 CNN 也是一个问题。

针对目标检测的数据集 ILSVRC detection dataset 包含了 200 类物体，PASCAL VOC (Visual Object Classes) 包含了 20 类物体。相对来说带有标签的训练数据比较少，不足以训练一个大型的 CNN，因此采用了 transfer learning 的技术。原文中并没有提到 transfer learning 这个名词，只是说 fine-tuning 。
首先借用在 ImageNet 上已经训练好的 CNN 模型（最初的文章中用了 AlexNet，后来 arXiv 上新版文章中用了 VGG，效果提升很明显），然后在 PASCAL 数据集上进行 fine-tuning。这里对 AlexNet 网络结构的改变只是将原本对应 ImageNet 1000 类输出的 classification layer 替换成了对应 N+1 类输出的 classification layer，该层权重随机初始化。对于 PASCAL 数据集 N=20，ILSVRC 数据集 N=200，另外 +1 对应 background 类型。

经过 fine-tuning 之后，CNN softmax layer 之前的 4096 维向量即为该 region 的 feature vector.

得到 region 的 feature vector 之后，送入 SVM 进行最后的分类。

这里 SVM 的训练是针对不同类型的物体分开进行的，每一类训练一个 SVM，它只给出针对这一类物体的分类结果。之所以最后用 SVM 分类，而不是直接用 CNN 的 softmax 进行分类，原文作者的解释是尝试过 softmax 之后发现效果比 SVM 差一些，但是同时指出如果调整一些训练策略，softmax 和 SVM 之间的差距有可能缩小。这也为后来基于 R-CNN 的改进埋下了伏笔。

得到所有 region 对应的检测结果（即包含某种类型物体的概率 score）之后，还有一步操作： Non-Maximum Suppression (NMS) 。如果两个 region 检测到同一类物体，比如都检测到了行人，一个 region score 较高，而另一个 score 较低，当这两个 region 的 IoU (intersection-over-union) 超过某个阈值时，即它们重合较多时，只保留那个 score 较高的 region.

object detection 的任务除了检测图中的物体，还要给出定位，即用 bounding box 尽量准确的圈出该物体。前边基于 region 的分类过程可能能够正确辨识出 region 中的物体，但是初始的 region 并不一定是一个合适的 bbox。在 R-CNN 最后又添加了一个线性回归模型，基于 feature vector 来预测正确的 bbox 相对于 region 的位置变换，即预测 bbox 应该如何调整。这个训练过程也是 class-specific 的。

在最终使用时，R-CNN 输出包含两部分：

理论上来说，更新 bbox 的位置之后，应该在新的 bbox 中重新进行分类，这样准确度可能更高一些，但是原文作者发现实际上并没有明显改进。因此，实际使用中并没有对新的 bbox 重新分类。

总的来说，上述 R-CNN 的训练是分多步走的：先是 fine-tuning 一个 CNN 得到 feature vector，然后训练 SVM 进行分类，最后还要再训练一个线性回归环节预测 bounding box 的调整。

Fast R-CNN 的改进是不再使用独立的 SVM 和线性回归，而是统一用 CNN 将这三个环节整合起来。Fast R-CNN 在训练时间和检测时间方面比当时已有的其他算法快若干数量级。

Fast R-CNN 整体框架如下：

基本步骤：

在上述各环节中，我认为比较关键的有两个：一是 RoI projection，即将 image 上的 RoI 映射到 feature map 上的 RoI。二是通过 RoI pooling layer 将 feature map 上不同大小的 RoI 转化成统一大小的 sub feature map。而这两个环节都借鉴了 SPPnets ，其中 RoI pooling layer 是 SPPnets 中 Spatial Pyramid Pooling layer 的特例。

原本 R-CNN 是在原图上选取若干RoI，然后经过 CNN 处理，最后提取出 feature vector。对于每个图片上不同的 RoI 来说，从输入到输出没有任何共享的东西。

RoI projection 的作用是将 R-CNN 中对 image RoI 的处理推迟到了 feature map 上，这样可以让一个 image 的所有 RoI 共享从 image 到 feature map 的卷积处理过程。这很显然会加速训练和测试过程。至于如何将 image RoI 映射到 feature map RoI，已经有了 非常细致的讨论 ，这里不再赘述。

如何将 feature map 上不同大小的 RoI 转化成统一大小的 sub feature map? 这里 有非常直观的动画演示。

概括如下：
假设我们已经得到下面的 feature map (只考虑 2D)

其中 RoI 为黑框部分，大小为 。

我们希望将 RoI 转化成 2×2 大小，可以选择一个 2×2 的窗口如下

对每一个格子进行 max pooling 操作，得到如下的 2×2 的 feature map

总的来说，如果 RoI 大小为 ，希望得到的 feature map 大小为 ，则窗口中格子数目为 。可以根据具体情况向上或向下取整。

结合实际应用，如果 CNN 网络选用 VGG16，结构如下：

将最后一个 max pooling layer 替换为 RoI pooling layer。前部的卷积层对输入图片的大小没有严格限制，这一限制主要是在 fully connected layer，所以为了配合 VGG16 网络结构，要确保每个 RoI 输出的 feature map 依然为 。

对于 VGG16 网络结构的修改还包括：

在 Fast R-CNN 中，region proposal 是由 CNN 网络之外的算法提供的，例如 selective search。相对于后续的 region recognition 过程，region proposal 这一步实际上是整个算法的速度瓶颈。

Faster R-CNN 之所以 "Faster"，就是因为提出了 Region Proposal Network (RPN) ，加速了 region proposal 过程。Faster R-CNN 本质上就是 RPN + Fast R-CNN.

整个 Faster R-CNN 结构如下：

或者更加详细的结构如下：

RPN 和 Fast R-CNN 共享从 image 到最后一层 CNN 输出的 feature map 这一段网络结构。 有些文章 也将 Faster R-CNN 看做三个模块：用于生成 feature map 的 Feature network，用于生成 region proposal 的 RPN，以及用于最终的 object detection 的 Detection network。我们这里还是采用 RPN + Fast R-CNN 的形式。

RPN 的输入是原始 image，输出是 region proposals。在具体实现中，RPN 是 fully convolutional network (FCN)，只包含 convolutional layer，原本在分类/回归中常用的全连通层也由卷积操作替代。

有了 region proposals，后边的操作与 Fast R-CNN 是相同的。

原文中采用 alternating training 的方式：

❼ 全球着名软件公司

全球着名软件公司

如今，不少企业都想拥有属于自己企业或产品的手机APP，但其中最困扰企业主的问题就是：开发一款手机APP到底需要多少钱？

简单点来说，要视手机APP的需求及质量而言，价位一般在几千到十几万左右，更高端的价格更高。

四、APP开发公司的所在地

需要注意的是，同样实力的APP开发公司，在不同的城市也会导致APP的成本费用高一些