js实现贝叶斯算法

⑴ 求朴素贝叶斯算法源码

ICTCLAS中文分词for Lucene.Net接口代码(实现Analyzer):
1using System;
2using System.Collections.Generic;
3using System.Text;
4using System.IO;
5
6using Lucene.Net.Analysis;
7using Lucene.Net.Analysis.Standard;
8
9namespace AspxOn.Search.FenLei
10{
11
12 /**//// <summary>
13 /// ICTCLAS分词组件for Lucene.net接口
14 /// </summary>
15 public class ICTCLASAnalyzer : Analyzer
16 {
17 //定义要过滤的词
18 public static readonly System.String[] CHINESE_ENGLISH_STOP_WORDS = new string[428];
19 public string NoisePath = Environment.CurrentDirectory + "\\data\\stopwords.txt";
20
21 public ICTCLASAnalyzer()
22 {
23 StreamReader reader = new StreamReader(NoisePath, System.Text.Encoding.Default);
24 string noise = reader.ReadLine();
25 int i = 0;
26
27 while (!string.IsNullOrEmpty(noise))
28 {
29 CHINESE_ENGLISH_STOP_WORDS[i] = noise;
30 noise = reader.ReadLine();
31 i++;
32 }
33
34 }
35
36 /**//**//**//// Constructs a {@link StandardTokenizer} filtered by a {@link
37 /// StandardFilter}, a {@link LowerCaseFilter} and a {@link StopFilter}.
38 ///
39 public override TokenStream TokenStream(System.String fieldName, System.IO.TextReader reader)
40 {
41 TokenStream result = new ICTCLASTokenizer(reader);
42 result = new StandardFilter(result);
43 result = new LowerCaseFilter(result);
44 result = new StopFilter(result, CHINESE_ENGLISH_STOP_WORDS);
45 return result;
46 }
47
48
49 }
50}

ICTCLAS中文分词for Lucene.Net接口代码(实现Tokenizer):

1using System;
2using System.Collections.Generic;
3using System.Text;
4
5using Lucene.Net.Analysis;
6using SharpICTCLAS;
7using System.IO;
8
9namespace AspxOn.Search.FenLei
10{
11 public class ICTCLASTokenizer : Tokenizer
12 {
13 int nKind = 1;
14 List<WordResult[]> result;
15 int startIndex = 0;
16 int endIndex = 0;
17 int i = 1;
18 /**//**/
19 /**////
20 /// 待分词的句子
21 ///
22 private string sentence;
23 /**//**/
24 /**//// Constructs a tokenizer for this Reader.
25 public ICTCLASTokenizer(System.IO.TextReader reader)
26 {
27 this.input = reader;
28 sentence = input.ReadToEnd();
29 sentence = sentence.Replace("\r\n", "");
30 string DictPath = Path.Combine(Environment.CurrentDirectory, "Data") + Path.DirectorySeparatorChar;
31 //Console.WriteLine("正在初始化字典库，请稍候");
32 WordSegment wordSegment = new WordSegment();
33 wordSegment.InitWordSegment(DictPath);
34 result = wordSegment.Segment(sentence, nKind);
35 }
36
37 /**//**/
38 /**//// 进行切词，返回数据流中下一个token或者数据流为空时返回null
39 ///
40 public override Token Next()
41 {
42 Token token = null;
43 while (i < result[0].Length - 1)
44 {
45 string word = result[0][i].sWord;
46 endIndex = startIndex + word.Length - 1;
47 token = new Token(word, startIndex, endIndex);
48 startIndex = endIndex + 1;
49
50 i++;
51 return token;
52
53 }
54 return null;
55 }
56
57 }
58}
中文分词器代码：

1using System;
2using System.Collections.Generic;
3using System.Text;
4using System.IO;
5
6using Lucene.Net.Analysis;
7using Lucene.Net.Analysis.Standard;
8using Lucene.Net.Documents;
9
10using Lucene.Net.Analysis.Cn;
11using Lucene.Net.Analysis.KTDictSeg;
12
13namespace AspxOn.Search.FenLei
14{
15 /**//// <summary>
16 /// 中文分词器
17 /// </summary>
18 public class ChineseSpliter
19 {
20 public static string Split(string text, string splitToken)
21 {
22 StringBuilder sb = new StringBuilder();
23
24 Analyzer an = new ICTCLASAnalyzer();
25
26 //TokenStream ts = an.ReusableTokenStream("", new StringReader(text));
27
28 TokenStream ts = an.TokenStream("", new StringReader(text));
29
30 Lucene.Net.Analysis.Token token;
31 while ((token = ts.Next()) != null)
32 {
33 sb.Append(splitToken + token.TermText());
34 }
35
36 return sb.ToString().Substring(1);
37 }
38 }
39}
先验概率计算代码：

1using System;
2using System.Collections.Generic;
3using System.Text;
4
5namespace AspxOn.Search.FenLei
6{
7 /**//// <summary>
8 /// 先验概率（事先概率）计算
9 /// </summary>
10 public class PriorProbability
11 {
12 private static TrainingDataManager tdm = new TrainingDataManager();
13
14 /**//// <summary>
15 /// 计算先验概率
16 /// </summary>
17 /// <param name="c">给定的分类</param>
18 /// <returns>给定条件下的先验概率</returns>
19 public static float CaculatePc(string c)
20 {
21 float ret = 0F;
22 float Nc = tdm.(c);
23 float N = tdm.GetTrainFileCount();
24 ret = Nc / N;
25 return ret;
26 }
27 }
28}

1using System;
2using System.Collections.Generic;
3using System.Text;
4
5namespace AspxOn.Search.FenLei
6{
7 /**//// <summary>
8 /// 条件概率计算
9 /// </summary>
10 public class ClassConditionalProbability
11 {
12
13 private static TrainingDataManager tdm = new TrainingDataManager();
14 private static float M = 0F;
15
16 /**//// <summary>
17 /// 类条件概率
18 /// </summary>
19 /// <param name="x">给定关键字</param>
20 /// <param name="c">给定分类</param>
21 /// <returns></returns>
22 public static float CaculatePxc(string x, string c)
23 {
24 float ret = 0F;
25 float Nxc = tdm.(c, x);
26 float Nc = tdm.(c);
27 float V = tdm.GetTrainingClassifications().Length;
28
29 ret = (Nxc + 1) / (Nc + V + M);//为避免出现0这样的极端情况，进行加权处理
30
31 return ret;
32 }
33 }
34}

⑵ 如何使用JavaScript构建机器学习模型

如何使用JavaScript构建机器学习模型

目前，机器学习领域建模的主要语言是 Python 和 R，前不久腾讯推出的机器学习框架 Angel 则支持 Java 和 Scala。本文作者 Abhishek Soni 则用行动告诉我们，开发机器学习模型，JavaScript 也可以。

JavaScript？我不是应该使用 Python 吗？甚至 Scikit-learn 在 JavaScript 上都不工作。

这是可能的，实际上，连我自己都惊讶于开发者对此忽视的态度。就 Scikit-learn 而言，Javascript 的开发者事实上已经推出了适用的库，它会在本文中有所提及。那么，让我们看看 Javascript 在机器学习上能够做什么吧。

根据人工智能先驱 Arthur Samuel 的说法，机器学习为计算机提供了无需明确编程的学习能力。换句话说，它使得计算机能够自我学习并执行正确的指令，无需人类提供全部指导。

谷歌已经把自己移动优先的策略转换到人工智能优先很久了。

为什么 JavaScript 在机器学习界未被提及过？

• 慢（真的假的？）

• 矩阵操作很困难（这里有库，比如 math.js）

• 仅用于 Web 开发（然而这里还有 Node.js）

• 机器学习库通常是在 Python 上的（还好，JS 的开发者人数也不少）

在 JavaScript 中有一些可供使用的预制库，其中包含一些机器学习算法，如线性回归、SVM、朴素贝叶斯等等，以下是其中的一部分。

• brain.js（神经网络）

• Synaptic（神经网络）

• Natural（自然语言处理）

• ConvNetJS（卷积神经网络）

• mljs（一组具有多种功能的子库）

首先，我们将使用 mljs 回归库来进行一些线性回归操作。

参考代码：https://github.com/abhisheksoni27/machine-learning-with-js

1. 安装库

• $ npm install ml-regression csvtojson


• $ yarn add ml-regression csvtojson



ml-regression 正如其名，负责机器学习的线性回归。

csvtojson 是一个用于 node.js 的快速 CSV 解析器，它允许加载 CSV 数据文件并将其转换为 JSON。

2. 初始化并加载数据

下载数据文件（.csv），并将其加入你的项目。

链接：http://www-bcf.usc.e/~gareth/ISL/Advertising.csv

如果你已经初始化了一个空的 npm 项目，打开 index.js，输入以下代码。

• const ml = require('ml-regression');


• const csv = require('csvtojson');


• const SLR = ml.SLR; // Simple Linear Regression



• const csvFilePath = 'advertising.csv'; // Data


• let csvData = [], // parsed Data


• X = [], // Input


• y = []; // Output



• let regressionModel;



我把文件放在了项目的根目录下，如果你想放在其他地方，请记得更新 csvFilePath。

现在我们使用 csvtojson 的 fromFile 方法加载数据文件：

• csv()


• .fromFile(csvFilePath)


• .on('json', (jsonObj) => {


• csvData.push(jsonObj);


• })


• .on('done', () => {


• dressData(); // To get data points from JSON Objects


• performRegression();


• });



3. 打包数据，准备执行

JSON 对象被存储在 csvData 中，我们还需要输入数据点数组和输出数据点。我们通过一个填充 X 和 Y 变量的 dressData 函数来运行数据。

• function dressData() {


• /**


• * One row of the data object looks like:


• * {


• * TV: "10",


• * Radio: "100",


• * Newspaper: "20",


• * "Sales": "1000"


• * }


• *


• * Hence, while adding the data points,


• * we need to parse the String value as a Float.


• */


• csvData.forEach((row) => {


• X.push(f(row.Radio));


• y.push(f(row.Sales));


• });


• }



• function f(s) {


• return parseFloat(s);


• }



4. 训练模型开始预测

数据已经打包完毕，是时候训练我们的模型了。

为此，我们需要写一个 performRegression 函数：

• function performRegression() {


• regressionModel = new SLR(X, y); // Train the model on training data


• console.log(regressionModel.toString(3));


• predictOutput();


• }



performRegression 函数有一个方法 toString，它为浮点输出获取一个名为 precision 的参数。predictOutput 函数能让你输入数值，然后将模型的输出传到控制台。它是这样的（注意，我使用的是 Node.js 的 readline 工具）：

• function predictOutput() {


• rl.question('Enter input X for prediction (Press CTRL+C to exit) : ', (answer) => {


• console.log(`At X = ${answer}, y = ${regressionModel.predict(parseFloat(answer))}`);


• predictOutput();


• });


• }



以下是为了增加阅读用户的代码

• const readline = require('readline'); // For user prompt to allow predictions



• const rl = readline.createInterface({


• input: process.stdin,


• output: process.stdout


• });



5. 大功告成！

遵循以上步骤，你的 index.js 应该是这样：

• const ml = require('ml-regression');


• const csv = require('csvtojson');


• const SLR = ml.SLR; // Simple Linear Regression



• const csvFilePath = 'advertising.csv'; // Data


• let csvData = [], // parsed Data


• X = [], // Input


• y = []; // Output



• let regressionModel;



• const readline = require('readline'); // For user prompt to allow predictions



• const rl = readline.createInterface({


• input: process.stdin,


• output: process.stdout


• });



• csv()


• .fromFile(csvFilePath)


• .on('json', (jsonObj) => {


• csvData.push(jsonObj);


• })


• .on('done', () => {


• dressData(); // To get data points from JSON Objects


• performRegression();


• });



• function performRegression() {


• regressionModel = new SLR(X, y); // Train the model on training data


• console.log(regressionModel.toString(3));


• predictOutput();


• }



• function dressData() {


• /**


• * One row of the data object looks like:


• * {


• * TV: "10",


• * Radio: "100",


• * Newspaper: "20",


• * "Sales": "1000"


• * }


• *


• * Hence, while adding the data points,


• * we need to parse the String value as a Float.


• */


• csvData.forEach((row) => {


• X.push(f(row.Radio));


• y.push(f(row.Sales));


• });


• }



• function f(s) {


• return parseFloat(s);


• }



• function predictOutput() {


• rl.question('Enter input X for prediction (Press CTRL+C to exit) : ', (answer) => {


• console.log(`At X = ${answer}, y = ${regressionModel.predict(parseFloat(answer))}`);


• predictOutput();


• });


• }



到你的终端上运行 node index.js，得到的输出会是这样：

• $ node index.js


• f(x) = 0.202 * x + 9.31


• Enter input X for prediction (Press CTRL+C to exit) : 151.5


• At X = 151.5, y = 39.98974927911285


• Enter input X for prediction (Press CTRL+C to exit) :



恭喜！你刚刚在 JavaScript 中训练了第一个线性回归模型。

⑶ 贝叶斯分类算法的分类

(1) 朴素贝叶斯算法
设每个数据样本用一个n维特征向量来描述n个属性的值，即：X={x1，x2，…，xn}，假定有m个类，分别用C1, C2,…，Cm表示。给定一个未知的数据样本X（即没有类标号），若朴素贝叶斯分类法将未知的样本X分配给类Ci，则一定是
P(Ci|X)>P(Cj|X) 1≤j≤m，j≠i
根据贝叶斯定理
由于P(X)对于所有类为常数，最大化后验概率P(Ci|X)可转化为最大化先验概率P(X|Ci)P(Ci)。如果训练数据集有许多属性和元组，计算P(X|Ci)的开销可能非常大，为此，通常假设各属性的取值互相独立，这样
先验概率P(x1|Ci)，P(x2|Ci)，…，P(xn|Ci)可以从训练数据集求得。
根据此方法，对一个未知类别的样本X，可以先分别计算出X属于每一个类别Ci的概率P(X|Ci)P(Ci)，然后选择其中概率最大的类别作为其类别。
朴素贝叶斯算法成立的前提是各属性之间互相独立。当数据集满足这种独立性假设时,分类的准确度较高，否则可能较低。另外，该算法没有分类规则输出。
(2) TAN算法（树增强型朴素贝叶斯算法）
TAN算法通过发现属性对之间的依赖关系来降低NB中任意属性之间独立的假设。它是在NB网络结构的基础上增加属性对之间的关联(边)来实现的。
实现方法是：用结点表示属性，用有向边表示属性之间的依赖关系，把类别属性作为根结点，其余所有属性都作为它的子节点。通常，用虚线代表NB所需的边，用实线代表新增的边。属性Ai与Aj之间的边意味着属性Ai对类别变量C的影响还取决于属性Aj的取值。
这些增加的边需满足下列条件：类别变量没有双亲结点，每个属性有一个类别变量双亲结点和最多另外一个属性作为其双亲结点。
找到这组关联边之后，就可以计算一组随机变量的联合概率分布如下：
其中ΠAi代表的是Ai的双亲结点。由于在TAN算法中考虑了n个属性中(n-1)个两两属性之间的关联性，该算法对属性之间独立性的假设有了一定程度的降低，但是属性之间可能存
在更多其它的关联性仍没有考虑，因此其适用范围仍然受到限制。

⑷ 贝叶斯算法是什么

贝叶斯算法是统计学的一种分类方法，它是一类利用概率统计知识进行分类的算法。在许多场合，朴素贝叶斯（Naïve Bayes，NB)分类算法可以与决策树和神经网络分类算法相媲美，该算法能运用到大型数据库中，而且方法简单、分类准确率高、速度快。

由于贝叶斯定理假设一个属性值对给定类的影响独立于其它属性的值，而此假设在实际情况中经常是不成立的，因此其分类准确率可能会下降。为此，就衍生出许多降低独立性假设的贝叶斯分类算法，如TAN(tree augmented Bayes network)算法。

贝叶斯算法的主要步骤：

1、收集大量的垃圾邮件和非垃圾邮件，建立垃圾邮件集和非垃圾邮件集。

2、提取邮件主题和邮件体中的独立字符串，例如ABC32，￥234等作为TOKEN串并统计提取出的TOKEN串出现的次数即字频。按照上述的方法分别处理垃圾邮件集和非垃圾邮件集中的所有邮件。

3、每一个邮件集对应一个哈希表，hashtable_good对应非垃圾邮件集而hashtable_bad对应垃圾邮件集。表中存储TOKEN串到字频的映射关系。

⑸ 用C++完成贝叶斯分类算法的设计与实现

你算法都有了，那报告上无非是写写啥是贝叶斯分类算法，自己选用什么开发工作实现，大体上的代码结构（设计那些类，类的功能和层次关系）不就ok了吗，老师又不会看你代码，你就是写一坨字母上去估计也能通过开题报告。天下文章一大抄，奉劝兄台要善于综合利用。

⑹ 贝叶斯分类算法的基本步骤

主要有以下7个步骤：
1. 收集大量的垃圾邮件和非垃圾邮件，建立垃圾邮件集和非垃圾邮件集。
2. 提取邮件主题和邮件体中的独立字符串，例如 ABC32，￥234等作为TOKEN串并统计提取出的TOKEN串出现的次数即字频。按照上述的方法分别处理垃圾邮件集和非垃圾邮件集中的所有邮件。
3. 每一个邮件集对应一个哈希表，hashtable_good对应非垃圾邮件集而hashtable_bad对应垃圾邮件集。表中存储TOKEN串到字频的映射关系。
4. 计算每个哈希表中TOKEN串出现的概率P=（某TOKEN串的字频）/（对应哈希表的长度）。
5. 综合考虑hashtable_good和hashtable_bad，推断出当新来的邮件中出现某个TOKEN串时，该新邮件为垃圾邮件的概率。数学表达式为：
A 事件 ---- 邮件为垃圾邮件；
t1,t2 …….tn 代表 TOKEN 串
则 P （ A|ti ）表示在邮件中出现 TOKEN 串 ti 时，该邮件为垃圾邮件的概率。
设
P1 （ ti ） = （ ti 在 hashtable_good 中的值）
P2 （ ti ） = （ ti 在 hashtable_ bad 中的值）
则 P （ A|ti ） =P2 （ ti ） /[ （ P1 （ ti ） +P2 （ ti ） ] ；
6. 建立新的哈希表hashtable_probability存储TOKEN串ti到P（A|ti）的映射
7. 至此，垃圾邮件集和非垃圾邮件集的学习过程结束。根据建立的哈希表 hashtable_probability可以估计一封新到的邮件为垃圾邮件的可能性。
当新到一封邮件时，按照步骤2，生成TOKEN串。查询hashtable_probability得到该TOKEN 串的键值。
假设由该邮件共得到N个TOKEN 串，t1,t2…….tn,hashtable_probability中对应的值为 P1 ， P2 ， ……PN ， P(A|t1 ,t2, t3……tn) 表示在邮件中同时出现多个TOKEN串t1,t2……tn时，该邮件为垃圾邮件的概率。
由复合概率公式可得
P(A|t1 ,t2, t3……tn)=（P1*P2*……PN）/[P1*P2*……PN+（1-P1）*（1-P2）*……（1-PN）]
当 P(A|t1 ,t2, t3……tn) 超过预定阈值时，就可以判断邮件为垃圾邮件。

⑺ 如何利用贪心法构建贝叶斯网络代码

基于matlab的贝叶斯网络工具箱BNT是kevin p.murphy基于matlab语言开发的关于贝叶斯网络学习的开源软件包，提供了许多贝叶斯网络学习的底层基础函数库，支持多种类型的节点（概率分布）、精确推理和近似推理、参数学习及结构学习、静态模型和动态模型。
贝叶斯网络表示：BNT中使用矩阵方式表示贝叶斯网络，即若节点i到j有一条弧，则对应矩阵中（i，j）值为1，否则为0。
结构学习算法函数：BNT中提供了较为丰富的结构学习函数，都有：
1. 学习树扩展贝叶斯网络结构的TANC算法learn_struct_tan().
2. 数据完整条件下学习一般贝叶斯网络结构的K2算法learn_struct_k2()、贪婪搜索GS（greedy search）算法learn_struct_gs()和爬山HC（hill climbing）算法learn_struct_hc()等。
3. 缺失数据条件下学习一般贝叶斯网络结构的最大期望EM（expectation maximization）算法learn_struct_EM（）和马尔科夫链蒙特卡罗MCMC（Markov Chain Monte Carlo）learn_struct_mcmc()算法等。
参数学习算法函数：BNT中也提供了丰富的参数学习函数，都有：
1． 完整数据时，学习参数的方法主要有两种：最大似然估计learn_params()和贝叶斯方法bayes_update_params();
2． 数据缺失时，如果已知网络拓扑结构，用EM算法来计算参数，倘若未知网络拓扑结构，使用结构最大期望SEM（structure EM）算法learn_struct_SEM()。
推理机制及推理引擎：为了提高运算速度，使各种推理算法能够有效应用，BNT工具箱采用了引擎机制，不同的引擎根据不同的算法来完成模型转换、细化和求解。这个推理过程如下：

BNT中提供了多种推理引擎，都有：
1． 联合树推理引擎jtree_inf_engine();
2． 全局联合树推理引擎global_joint_inf_engine();
3． 信念传播推理引擎 belprop_inf_engine();
4． 变量消元推理引擎 var_elim_inf_engine().

⑻ 朴素贝叶斯算法的原理是什么

朴素贝叶斯分类（NBC）是以贝叶斯定理为基础并且假设特征条件之间相互独立的方法，以特征词之间独立作为前提假设，学习从输入到输出的联合概率分布，再基于学习到的模型。

朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。

最为广泛的两种分类模型是决策树模型(Decision Tree Model)和朴素贝叶斯模型（Naive Bayesian Model，NBM）。和决策树模型相比，朴素贝叶斯分类器(Naive Bayes Classifier 或 NBC)发源于古典数学理论，有着坚实的数学基础，以及稳定的分类效率。

同时，NBC模型所需估计的参数很少，对缺失数据不太敏感，算法也比较简单。理论上，NBC模型与其他分类方法相比具有最小的误差率。但是实际上并非总是如此，这是因为NBC模型假设属性之间相互独立，这个假设在实际应用中往往是不成立的，这给NBC模型的正确分类带来了一定影响。

朴素贝叶斯算法（Naive Bayesian algorithm) 是应用最为广泛的分类算法之一。

朴素贝叶斯方法是在贝叶斯算法的基础上进行了相应的简化，即假定给定目标值时属性之间相互条件独立。也就是说没有哪个属性变量对于决策结果来说占有着较大的比重，也没有哪个属性变量对于决策结果占有着较小的比重。

虽然这个简化方式在一定程度上降低了贝叶斯分类算法的分类效果，但是在实际的应用场景中，极大地简化了贝叶斯方法的复杂性。