做分布式优化算法的大牛知乎

A. 什么地方要用到分布式数据库 知乎

设计分布式数据库时，应特别考虑如下几个方面的问题：1. 数据保存 (存储分段/复制，横向/纵向表分区);2. 目录管理(catalog management): 命名，数据独立性3. 查询处理(基于代价的调优， 半合并)4. 数据更新(同步/异步)

B. 什么是 分布式梯度跟踪优化

一种基于随机梯度追踪技术的大数据二分类分布式优化方法，具体步骤为：设定二分类问题，获取训练样本数据、测试样本数据、样本特征；采用one‑hot编码将训练样本数据和测试样本数据扩展成向量数据，得到训练样本向量数据和测试样本向量数据；将训练样本向量数据进行智能体分配，结合梯度跟踪策略与随机平均梯度策略，建立带未知参数的分布式随机梯度跟踪策略S‑DIGing的问题模型；求解未知参数；将测试样本向量数据代入分布式随机梯度跟踪策略S‑DIGing的问题模型中进行二分类验证，并输出所述二分类问题对应的分布式随机梯度跟踪策略S‑DIGing的问题模型。极大降低了策略的复杂度和计算量，从而使S‑DIGing策略能够很好地处理大规模问题。响优化算法的收敛速度的问题，提出一种时延情形下的分布式Push-sum次梯度优化算法，该方法在权矩阵不具有正对角线元素时仍适用，并应用系统扩维的方法将有时延优化问题转化为无时延优化问题。在时延和次梯度有界且有向切换网络周期强连通的条件下，证明了所提出的分布式Push-sum次梯度优化算法的收敛性。研究表明：存在通信时延时的算法收敛速度比无时延时的收敛速度要慢，并具有较大的收敛误差。最后，通过数值仿真验证了研究的结论。

C. 知乎发布的分布式日志系统 Kids 意义在于哪里

“当然，在这之前，我们考察了一些项目，如scribe，但是这个货依赖thrift，且没有实时订阅功能，另外对scribe的xml风格的配置文件表示难以理解:-(。redis有发布/订阅功能，但是没有存储。其他诸如kafka，flume等项目基本都是基于java的，且较重，不合我们的口味。于是我们决定自己写一个支持订阅的scribe，同时实现scribe的分布式收集日志，和redis的发布/订阅功能。”

D. 知乎上有哪些 Android 开发的大牛

其实总有那么一些大牛因为表现的不怎么活跃而渐渐的消失在人们的视野里。

比如

@范怀宇@Oasis Feng

史岩 http://www.hu.com/people/shiyan

彭鹏 http://www.hu.com/people/peng-peng-98

邓鋆 http://www.hu.com/people/tdzl2003

林俊琦 http://www.hu.com/people/lin-jun-qi

沙舟 http://www.hu.com/people/sha-zhou

许飞：http://www.hu.com/people/yadizzz

邹宇：http://www.hu.com/people/zouyu

范怀宇：http://www.hu.com/people/guguiyu

Holly Lee：http://www.hu.com/people/holly-lee

梁泉：http://www.hu.com/people/liangquan

billycui: http://www.hu.com/people/billycui

朱勤斯 http://www.hu.com/people/zhu-qin-si

以上这些都全是知乎上的牛人了吧，和自己对那些大能表示一些个人的见解。

E. 知乎上有哪些比较活跃的数据库领域大牛

阿里云数据库团队比较熟，随手梳理了以下

丁奇：MySQL社区核心成员。专注于数据存储系统、MySQL 源码研究和改进、MySQL 性能优化和功能改进。

子嘉：Redis中国用户会发起人，Redis技术大学校长

叶翔：MongoDB江浙地区用户会主席
在此之前也是淘宝Tair分布式KV系统的技术负责人，负责过阿里云Memcache，Redis服务等，在阿里集团工作8年，一直在做NoSQL相关的技术。

德歌：阿里云 PostgreSQL技术负责人，PostgreSQL中国技术大学校长、GreenPlum源码深度研究者

彭立勋：参与了ACMUG（MySQL中国用户组）的发起和组建，担任副主席和杭州地区的组织者。MariaDB基金会唯一的中国成员

萧少聪：PostgreSQL 中国社区主席

F. 分布式数据库的查询优化

指在执行分布式查询时选择查询执行计划的方法和关系运算符的实现算法。根据系统环境的不同，查询优化所使用的算法也有所不同，通常分为远程广域网环境和高速局域网环境，其区别主要在网络的带宽。对于一元运算符可以采用集中式数据库中的查询优化方法。而对于二元运算符，由于涉及场地间的数据传输，因此必须考虑通信代价。分布式查询中常见的连接运算执行策略包括：
（1）半连接方法：利用半连接运算的转换方法R∞S=（RµS）∞S。假设场地1和场地2上分别有关系R和关系S，首先在S上执行连接属性上的投影并将结果传输至场地1，在场地1上执行关系R与投影的连接操作，再将结果传输至场地2与关系S执行连接操作。这种方法能够降低执行连接运算时的网络通信代价，主要适用于带宽较低的远程广域网络。
（2）枚举法方法：指枚举关系运算符的物理执行计划，通过对比执行计划的代价选择执行算法的方法。其中，连接运算符的物理执行计划包括嵌套循环方法、哈希连接法和归并连接法。枚举法主要适用于以磁盘IO代价为主的高速局域网环境。

G. 知乎有哪些大牛

知乎是一个真实的网络问答社区，社区氛围友好与理性，连接各行各业的精英。用户分享着彼此的专业知识、经验和见解，为中文互联网源源不断地提供高质量的信息。

---

首先我们来看下大牛的解释吧

大牛可不是说牛很大的意思哦，大牛是一个最近渐渐流行起来的一个网络用语，指在某个领域很突出的优秀人物，词语与“牛人”同义，也指极少数能力超过常人的人”或“在某个领域非常有影响力的人。指某一方面或领域中的优秀者，被称为大牛。

我眼中的大牛就是—— 了解人性的一切丑与恶，但一直保持内心纯净善良，不被浮躁肮脏的世界污染的人。 值得庆幸的是，我周围有好多这样的人，我以他们为荣。

H. 除了梯度下降 还有什么优化算法 深度学习 知乎

这要说梯度的意义了。梯度是一个向量，对应方向导数取得最大值的方向，也就是函数增长最快的方向，梯度的反向，就是函数下降最快的方向。要求最小值，自然可以用梯度下降法来求。

I. 那位大牛讲一下8皇后的优化

八皇后问题是一个古老而着名的问题，是回溯算法的典型例题。该问题是十九世纪着名的数学家高斯1850年提出：在8X8格的国际象棋上摆放八个皇后，使其不能互相攻击，即任意两个皇后都不能处于同一行、同一列或同一斜线上，问有多少种摆法。
高斯认为有76种方案。1854年在柏林的象棋杂志上不同的作者发表了40种不同的解，后来有人用图论的方法解出92种结果。
对于八皇后问题的实现，如果结合动态的图形演示，则可以使算法的描述更形象、更生动，使教学能产生良好的效果。下面是用Turbo C实现的八皇后问题的图形程序，能够演示全部的92组解。八皇后问题动态图形的实现，主要应解决以下两个问题。
（1）回溯算法的实现
（a）为解决这个问题，我们把棋盘的横坐标定为i，纵坐标定为j,i和j的取值范围是从1到8。当某个皇后占了位置(i,j)时，在这个位置的垂直方向、水平方向和斜线方向都不能再放其它皇后了。用语句实现，可定义如下三个整型数组：a[8],b[15],c[24]。其中：
a[j-1]=1 第j列上无皇后
a[j-1]=0 第j列上有皇后
b[i+j-2]=1 (i,j)的对角线（左上至右下）无皇后
b[i+j-2]=0 (i,j)的对角线（左上至右下）有皇后
c[i-j+7]=1 (i,j)的对角线（右上至左下）无皇后
c[i-j+7]=0 (i,j)的对角线（右上至左下）有皇后
（b）为第i个皇后选择位置的算法如下：
for(j=1;j<=8;j++) /*第i个皇后在第j行*/
if ((i,j)位置为空)） /*即相应的三个数组的对应元素值为1*/
{占用位置（i,j） /*置相应的三个数组对应的元素值为0*/
if i<8
为i+1个皇后选择合适的位置；
else 输出一个解
}
(2)图形存取
在Turbo C语言中，图形的存取可用如下标准函数实现：
size=imagesize(x1,y1,x2,y2) ;返回存储区域所需字节数。
arrow=malloc(size);建立指定大小的动态区域位图，并设定一指针arrow。
getimage(x1,y1,x2,y2,arrow);将指定区域位图存于一缓冲区。
putimage(x,y,arrow,)将位图置于屏幕上以（x，y）左上角的区域。
(3)程序清单如下
#include <graphics.h>
#include <stdlib.h>
#include <stdio.h>
#include <dos.h>
char n[3]={'0','0'};/*用于记录第几组解*/
int a[8],b[15],c[24],i;
int h[8]={127,177,227,277,327,377,427,477};/*每个皇后的行坐标*/
int l[8]={252,217,182,147,112,77,42,7}; /*每个皇后的列坐标*/
void *arrow;
void try(int i)
{int j;
for (j=1;j<=8;j++)
if (a[j-1]+b[i+j-2]+c[i-j+7]==3) /*如果第i列第j行为空*/
{a[j-1]=0;b[i+j-2]=0;c[i-j+7]=0;/*占用第i列第j行*/
putimage(h[i-1],l[j-1],arrow,COPY_PUT);/*显示皇后图形*/
delay(500);/*延时*/
if(i<8) try(i+1);
else /*输出一组解*/
{n[1]++;if (n[1]>'9') {n[0]++;n[1]='0';}
bar(260,300,390,340);/*显示第n组解*/
outtextxy(275,300,n);
delay(3000);
}
a[j-1]=1;b[i+j-2]=1;c[i-j+7]=1;
putimage(h[i-1],l[j-1],arrow,XOR_PUT);/*消去皇后，继续寻找下一组解*/
delay(500);
}}
int main(void)
{int gdrive=DETECT,gmode,errorcode;
unsigned int size;
initgraph(&gdrive,&gmode,"");
errorcode=graphresult();
if (errorcode!=grOk)
{printf("Graphics error\n");exit(1);}
rectangle(50,5,100,40);
rectangle(60,25,90,33);
/* 画皇冠 */
line(60,28,90,28);line(60,25,55,15);
line(55,15,68,25);line(68,25,68,10);
line(68,10,75,25);line(75,25,82,10);
line(82,10,82,25);line(82,25,95,15);
line(95,15,90,25);
size=imagesize(52,7,98,38); arrow=malloc(size);
getimage(52,7,98,38,arrow); /* 把皇冠保存到缓冲区 */
clearviewport();
settextstyle(TRIPLEX_FONT, HORIZ_DIR, 4);
setusercharsize(3, 1, 1, 1);
setfillstyle(1,4);
for (i=0;i<=7;i++) a=1;
for (i=0;i<=14;i++) b=1;
for (i=0;i<=23;i++) c=1;
for (i=0;i<=8;i++) line(125,i*35+5,525,i*35+5); /* 画棋盘 */
for (i=0;i<=8;i++) line(125+i*50,5,125+i*50,285);
try(1); /* 调用递归函数 */
delay(3000);
closegraph();
free(arrow);
}
二、循环实现 Java

/*
* 8皇后问题：
*
* 问题描述：
* 在一个8×8的棋盘里放置8个皇后，要求每个皇后两两之间不相冲突
*（在每一横列，竖列，斜列只有一个皇后）。
*
* 数据表示：
* 用一个 8 位的 8 进制数表示棋盘上皇后的位置：
* 比如：45615353 表示：
* 第0列皇后在第4个位置
* 第1列皇后在第5个位置
* 第2列皇后在第6个位置
* 。。。
* 第7列皇后在第3个位置
*
* 循环变量从 00000000 加到 77777777 （8进制数）的过程，就遍历了皇后所有的情况
* 程序中用八进制数用一个一维数组 data[] 表示
*
* 检测冲突：
* 横列冲突：data == data[j]
* 斜列冲突：(data+i) == (data[j]+j) 或者 (data-i) == (data[j]-j)
*
* 好处：
* 采用循环，而不是递规，系统资源占有少
* 可计算 n 皇后问题
* 把问题线性化处理，可以把问题分块，在分布式环境下用多台计算机一起算。
*
* ToDo：
* 枚举部分还可以进行优化，多加些判断条件速度可以更快。
* 输出部分可以修改成棋盘形式的输出
*
* @author cinc 2002-09-11
*
*/

public class Queen {
int size;
int resultCount;

public void compute ( int size ) {
this.size = size;
resultCount = 0;
int data[] = new int[size];
int count; // 所有可能的情况个数
int i,j;

// 计算所有可能的情况的个数
count = 1;
for ( i=0 ; i<size ; i++ ) {
count = count * size;
}
// 对每一个可能的情况
for ( i=0 ; i<count ; i++ ) {
// 计算这种情况下的棋盘上皇后的摆放位置，用 8 进制数表示
// 此处可优化
int temp = i;
for ( j=0 ; j<size ; j++ ) {
data [j] = temp % size;
temp = temp / size;
}
// 测试这种情况是否可行，如果可以，输出
if ( test(data) )
output( data );
}
}

/*
* 测试这种情况皇后的排列是否可行
*
*/
public boolean test( int[] data ) {
int i,j;
for ( i=0 ; i<size ; i++ ) {
for ( j=i+1 ; j<size ; j++ ) {
// 测试是否在同一排
if ( data == data[j] )
return false;
// 测试是否在一斜线
if ( (data+i) == (data[j]+j) )
return false;
// 测试是否在一反斜线
if ( (data-i) == (data[j]-j) )
return false;
}
}
return true;
}

/*
* 输出某种情况下皇后的坐标
*
*/
public void output ( int[] data ) {
int i;
System.out.print ( ++resultCount + ": " );
for ( i=0 ; i<size ; i++ ) {
System.out.print ( "(" + i + "," + data + ") " );
}
System.out.println ();
}
public static void main(String args[]) {
(new Queen()).compute( 8 );
}
}
三、八皇后问题的Qbasic版的解决方案

10 I = 1

20 A(I) = 1

30 G = 1

40 FOR K = I - 1 TO 1 STEP -1

50 IF A(I) = A(K) THEN 70

60 IF ABS(A(I) - A(K)) <> I - K THEN 90

70 G = 0

80 GOTO 100

90 NEXT K

100 IF I <> 8 THEN 180

110 IF G = 0 THEN 180

120 FOR L = 1 TO 8

130 PRINT USING “##”; A(L);

140 NEXT L

150 PRINT “*”;

160 M = M + 1

170 IF M MOD 3 = 0 THEN PRINT

180 IF G = 0 THEN 230

190 IF I = 8 THEN 230

200 I = I + 1

210 A(I) = 1

220 GOTO 30

230 IF A(I) < 8 THEN 270

240 I = I - 1

250 IF I = 0 THEN 290

260 GOTO 230

270 A(I) = A(I) + 1

280 GOTO 30

290 PRINT

300 PRINT “SUM=”; USING “##”; M;

310 PRINT

320 END
四、八皇后问题的高效解法-递归版

//8 Queen 递归算法
//如果有一个Q 为 chess=j;
//则不安全的地方是 k行 j位置,j+k-i位置,j-k+i位置

class Queen8{

static final int QueenMax = 8;
static int oktimes = 0;
static int chess[] = new int[QueenMax];//每一个Queen的放置位置

public static void main(String args[]){
for (int i=0;i<QueenMax;i++)chess=-1;
placequeen(0);
System.out.println("\n\n\n八皇后共有"+oktimes+"个解法 made by yifi 2003");
}

public static void placequeen(int num){ //num 为现在要放置的行数
int i=0;
boolean qsave[] = new boolean[QueenMax];
for(;i<QueenMax;i++) qsave=true;

//下面先把安全位数组完成
i=0;//i 是现在要检查的数组值
while (i<num){
qsave[chess]=false;
int k=num-i;
if ( (chess+k >= 0) && (chess+k < QueenMax) ) qsave[chess+k]=false;
if ( (chess-k >= 0) && (chess-k < QueenMax) ) qsave[chess-k]=false;
i++;
}
//下面历遍安全位
for(i=0;i<QueenMax;i++){
if (qsave==false)continue;
if (num<QueenMax-1){
chess[num]=i;
placequeen(num+1);
}
else{ //num is last one
chess[num]=i;
oktimes++;
System.out.println("这是第"+oktimes+"个解法 如下:");
System.out.println("第n行: 1 2 3 4 5 6 7 8");

for (i=0;i<QueenMax;i++){
String row="第"+(i+1)+"行: ";
if (chess==0);
else
for(int j=0;j<chess;j++) row+="--";
row+="++";
int j = chess;
while(j<QueenMax-1){row+="--";j++;}
System.out.println(row);
}
}
}
//历遍完成就停止
}

}

五、java实现//8 Queen 递归算法

//如果有一个Q 为 chess=j;
//则不安全的地方是 k行 j位置,j+k-i位置,j-k+i位置
class Queen8{

static final int QueenMax = 8;
static int oktimes = 0;
static int chess[] = new int[QueenMax];//每一个Queen的放置位置

public static void main(String args[]){
for (int i=0;i<QueenMax;i++)chess=-1;
placequeen(0);
System.out.println("\n\n\n八皇后共有"+oktimes+"个解法 made by yifi 2003");
}

public static void placequeen(int num){ //num 为现在要放置的行数
int i=0;
boolean qsave[] = new boolean[QueenMax];
for(;i<QueenMax;i++) qsave=true;

//下面先把安全位数组完成
i=0;//i 是现在要检查的数组值
while (i<num){
qsave[chess]=false;
int k=num-i;
if ( (chess+k >= 0) && (chess+k < QueenMax) ) qsave[chess+k]=false;
if ( (chess-k >= 0) && (chess-k < QueenMax) ) qsave[chess-k]=false;
i++;
}
//下面历遍安全位
for(i=0;i<QueenMax;i++){
if (qsave==false)continue;
if (num<QueenMax-1){
chess[num]=i;
placequeen(num+1);
}
else{ //num is last one
chess[num]=i;
oktimes++;
System.out.println("这是第"+oktimes+"个解法 如下:");
System.out.println("第n行: 1 2 3 4 5 6 7 8");

for (i=0;i<QueenMax;i++){
String row="第"+(i+1)+"行: ";
if (chess==0);
else
for(int j=0;j<chess;j++) row+="--";
row+="++";
int j = chess;
while(j<QueenMax-1){row+="--";j++;}
System.out.println(row);
}
}
}
//历遍完成就停止
}
}

六、c＃实现

采用的思路大致是这样：
将一个皇后向下移动一个位置；
如果没有成功移动（超出边界），失败；
如果成功移动，则判断当前位置是否可用？如果不可用，则重做 1；
继续给下一个皇后安排位置。
结束条件：
如果第一个皇后的所有位置都尝试完毕仍然没有可用的解决方案或者最后一个皇后已经安排完毕。
代码如下：
1// AppEntry.cs
2using System;
3
4namespace Chenglin
5{
6 class AppEntry
7 {
8 static void Main(string[] args)
9 {
10 int queenNumber = 8;
11 QueenRowCollection q = new QueenRowCollection(queenNumber);
12
13 bool flag;
14 DateTime timeStarted = DateTime.Now;
15 flag = q.PositionQueens();
16 TimeSpan ts = DateTime.Now.Subtract( timeStarted );
17
18
19 if( flag ) {
20 Console.WriteLine( q.ToString() );
21 }
22 else {
23 Console.WriteLine( "Failed" );
24 }
25
26 Console.WriteLine( " seconds has been elapsed.", ts.TotalSeconds );
27 }
28 }
29} 1// QueenRowCollection.cs
2using System;
3using System.Text;
4
5namespace Chenglin
6{
7 public class QueenRowCollection
8 {
9
10 public QueenRowCollection( int numberOfQueens ){
11 this.numberOfQueens = numberOfQueens;
12 this.rows = new QueenRow[ numberOfQueens ];
13
14 for( int i=0;i<numberOfQueens;i++ ){
15 rows = new QueenRow( numberOfQueens );
16 }
17 }
18
19 public bool PositionQueens()
20 {
21 return PositionQueen( 0 );
22 }
23
24 private bool PositionQueen( int row )
25 {
26 if( row>=this.numberOfQueens ) {
27 return true;
28 }
29
30 QueenRow q = rows[row];
31 while( q.MoveNext() )
32 {
33 if( PositionAvailable( row, q.CurrentPosition ) ) {
34 // An available position has been found for the current queen,
35 // and try to find a proper position for the next queen.
36 //
37 // If no available position can be found for the next queen,
38 // the current queen should move to the next position and try again.
39 //
40 if( PositionQueen( row+1 ) )
41 {
42 // Both the current queen and the next queen
43 // have found available positions.
44 //
45 return true;
46 }
47 }
48 }
49
50 // No position is available for the current queen,
51 //
52 return false;
53 }
54
55 private bool PositionAvailable( int row, int column ){
56 for( int i=row-1; i>=0; i-- )
57 {
58 if( rows.PositionOccupied( column ) )
59 return false;
60
61 if( rows.PositionOccupied( column-(i-row) ) )
62 return false;
63
64 if( rows.PositionOccupied( column+(i-row) ) )
65 return false;
66 }
67
68 return true;
69 }
70
71 public override string ToString()
72 {
73 StringBuilder s = new StringBuilder();
74
75 foreach( QueenRow q in rows ){
76 s.AppendFormat( "", q, Environment.NewLine );
77 }
78
79 return s.ToString();
80 }
81
82 private int numberOfQueens;
83 private QueenRow [] rows;
84 }
85} 1// QueenRow.cs
2using System;
3using System.Text;
4
5namespace Chenglin
6{
7 public class QueenRow
8 {
9 public QueenRow( int numberOfPositions )
10 {
11 this.numberOfPositions = numberOfPositions;
12 this.currentPosition = -1;
13 this.columns = new bool[ numberOfPositions ];
14 }
15
16 public bool MoveNext(){
17 if( currentPosition>=0 && currentPosition<this.numberOfPositions ){
18 columns[currentPosition] = false;
19 }
20
21 if( currentPosition<this.numberOfPositions-1){
22 currentPosition ++;
23 columns[currentPosition] = true;
24 return true;
25 }
26 else {
27 currentPosition = -1;
28 return false;
29 }
30 }
31
32 public bool PositionOccupied( int column ){
33 if( column<0 || column>=numberOfPositions ){
34 return false;
35 }
36
37 return columns[column];
38 }
39
40 public override string ToString()
41 {
42 StringBuilder s = new StringBuilder();
43
44 foreach( bool b in columns ){
45 s.AppendFormat( " ", (b ? "*" : "-") );
46 }
47
48 return s.ToString();
49 }
50
51 public int CurrentPosition
52 {
53 get { return currentPosition; }
54 }
55
56 private int currentPosition;
57 private int numberOfPositions;
58 private bool [] columns;
59 }
60}

程序运行的时候，当皇后个数增加的时候，运行的时间也会急剧增加！下面这副图表示了皇后个数与运行时间的大致关系：

J. 分布式数据库查询优化写这个论文的话有推荐的书吗

Distributed Algorithms An Intuitive Approach.
一个小节的内容就一篇论文至少。作者概括了下算法细节和给了相关举例。有人评价很高，我评价一般，结合具体论文看会效果好，不过略吃力，然而直接看也略吃力，因为作者太高度概括，不好理解，没有大部分原文教材那种怕你不懂的啰嗦的特点。所以书也就挺薄的，才200多页而已。

Distributed Systems concepts and design.
基本上分布式系统的各基本细节都涵盖了。系统级别书籍，略硬，算厚。这本我也还在磕。

Introction to Distributed Algorithms second edition.
这本是祖师爷级别的经典教材。不过我还没读过，评价略高，某些美帝高校课堂参考教材就是这本。没有读是因为网上的pdf都没有索引，所以先读上一本了。

Distributed Computing Principle, Algorithms, and Systems.
第一本算师父带入门，对分布式算法有大致框架和了解的话。这本可以有助于理解得更深。所以建议先读第一本，再这本。

Principles of Distributed Database Systems.
这本是我唯一在America Amazon找到的关于分布式数据库并且评价较高的教材。不过这本还没排上让我读的行程，不知内容如何。