刪除溫度異常值python

Ⅰ python怎麼實現數據的異常值的處理

異常值也稱離群值,具體地說,判斷標准依據實際情況,根據業務知識及實際需要而定.
要是一般地說,可以用公式計算：
upper adjacent value = 75th percentile + (75th percentile – 25th percentile) * 1.5
lower adjacent value = 25th percentile – (75th percentile – 25th percentile) * 1.5
翻譯過來：
上界=75%分位數+（75%分位數-25%分位數）*1.5
下界=25%分位數- （75%分位數-25%分位數）*1.5
比上界大的,和比下界小的都是異常值.

Ⅱ 異常值處理

異常值處理的常用方法：直接將該條觀測刪除在SPSS軟體里有2種不同的刪除方法，整條刪除和成對刪除。

Gn——格拉布斯檢驗統計量：

確定檢出水平α，查表（見GB4883）得出對應n，α的格拉布斯檢驗臨界值G1-α(n)。

當Gn>G1-α(n),則判斷Xn為異常值，否則無異常值。

給出剔除水平α』的G1-α』(n),當當Gn>G1-α』(n)時,Xn為高度異常值，應剔除。

測區混凝土強度標准差：

取檢出水平α為5%，剔除水平α』為1%，按雙側情形檢驗，從附表中查得檢出水平α對應格拉布斯檢驗臨界值G0.975,剔除水平α』對應格拉布斯檢驗臨界值G0.995。

若Gn>Gn』，且Gn>G0.975，則判斷fn為異常值，否則，判斷無異常值；

若Gn>Gn』，且Gn>G0.995，則判斷fn為高度異常值，可考慮剔除；

若Gn』>Gn，且Gn』>G0.975，則判斷f1為異常值，否則，判斷無異常值；

若Gn』>Gn，且Gn』>G0.995，則判斷f1為高度異常值，可考慮剔除。

以上內容參考：網路-異常值

Ⅲ 用spss做回歸分析中怎樣刪除異常值

spss沒有辦法做 要用stata做,用winsor命令,擅長離群值。
SPSS（Statistical Proct and Service Solutions），「統計產品與服務解決方案」軟體。最初軟體全稱為「社會科學統計軟體包」（SolutionsStatistical Package for the Social Sciences），但是隨著SPSS產品服務領域的擴大和服務深度的增加，SPSS公司已於2000年正式將英文全稱更改為「統計產品與服務解決方案」，標志著SPSS的戰略方向正在做出重大調整。為IBM公司推出的一系列用於統計學分析運算、數據挖掘、預測分析和決策支持任務的軟體產品及相關服務的總稱SPSS，有Windows和Mac OS X等版本。

Ⅳ 如何剔除數據中的異常值

剔除數據中的異常值的方法：

一、異常值檢測

異常值的檢驗有很多種方法，最常見的是圖示法，也有使用分析方法進行探索。

箱盒圖：實驗研究時經常使用，非常直觀的展示出異常數據。

散點圖：研究X和Y的關系時，可直觀展示查看是否有異常數據。

描述分析：可通過最大最小值等各類指標大致判斷數據是否有異常。

其它：比如結合正態分布圖，頻數分析等判斷是否有異常值。

二、異常值判定

上述已經說明異常值會帶來嚴重的影響，扭曲數據結論等。那麼首先需要設定異常值的標准，然後再對其進行處理。異常值的判定標准並不統一，更多是通過人為標准進行設定，SPSSAU提供以下幾類判定規則：

1、設置為Null值；此類處理最簡單，而且絕大多數情況下均使用此類處理；直接將異常值「幹掉」，相當於沒有該異常值。如果異常值不多時建議使用此類方法。

2、填補；如果異常值非常多時，則可能需要進行填補設置，SPSSAU共提供平均值，中位數，眾數和隨機數共四種填補方式。建議使用平均值填補方式。

Ⅳ python異常值處理

如果你用 Python 編程，那麼你就無法避開異常，因為異常在這門語言里無處不在。打個比方，當你在腳本執行時按 ctrl+c 退出，解釋器就會產生一個 KeyboardInterrupt 異常。而 KeyError、ValueError、TypeError 等更是日常編程里隨處可見的老朋友。

異常處理工作由「捕獲」和「拋出」兩部分組成。「捕獲」指的是使用 try ... except 包裹特定語句，妥當的完成錯誤流程處理。而恰當的使用 raise 主動「拋出」異常，更是優雅代碼里必不可少的組成部分。

異常分類

BaseException所有異常的基類
Exception常見錯誤的基類
ArithmeticError所有數值計算錯誤的基類
Warning警告的基類

AssertError斷言語句（assert）失敗
AttributeError嘗試訪問未知的對象屬性
DeprecattionWarning關於被棄用的特徵的警告
EOFError用戶輸入文件末尾標志EOF（Ctrl+d）
FloattingPointError浮點計算錯誤
FutureWarning關於構造將來語義會有改變的警告
GeneratorExitgenerator.close()方法被調用的時候
ImportError導入模塊失敗的時候
IndexError索引超出序列的范圍
KeyError字典中查找一個不存在的關鍵字
KeyboardInterrupt用戶輸入中斷鍵（Ctrl+c）
MemoryError內存溢出（可通過刪除對象釋放內存）
NamerError嘗試訪問一個不存在的變數
NotImplementedError尚未實現的方法
OSError操作系統產生的異常（例如打開一個不存在的文件）
OverflowError數值運算超出最大限制
OverflowWarning舊的關於自動提升為長整型（long）的警告
PendingDeprecationWarning關於特徵會被遺棄的警告
ReferenceError弱引用（weakreference）試圖訪問一個已經被垃圾回收機制回收了的對象
RuntimeError一般的運行時錯誤
RuntimeWarning可疑的運行行為（runtimebehavior）的警告
StopIteration迭代器沒有更多的值
SyntaxErrorPython的語法錯誤
SyntaxWarning可疑的語法的警告
IndentationError縮進錯誤
TabErrorTab和空格混合使用
SystemErrorPython編譯器系統錯誤
SystemExitPython編譯器進程被關閉
TypeError不同類型間的無效操作
UnboundLocalError訪問一個未初始化的本地變數（NameError的子類）
UnicodeErrorUnicode相關的錯誤（ValueError的子類）
UnicodeEncodeErrorUnicode編碼時的錯誤（UnicodeError的子類）
UnicodeDecodeErrorUnicode解碼時的錯誤（UnicodeError的子類）
UserWarning用戶代碼生成的警告
ValueError傳入無效的參數
ZeroDivisionError除數為零

Ⅵ 如何剔除數據中的異常值

剔除數據中的異常值的方法：

箱盒圖：實驗研究時經常使用，非常直觀的展示出異常數據。

散點圖：研究X和Y的關系時，可直觀展示查看是否有異常數據。

描述分析：可通過最大最小值等各類指標大致判斷數據是否有異常。

其它：比如結合正態分布圖，頻數分析等判斷是否有異常值。

定義：

異常值outlier：一組測定值中與平均值的偏差超過兩倍標准差的測定值 。與平均值的偏差超過三倍標准差的測定值，稱為高度異常的異常值。在處理數據時，應剔除高度異常的異常值。異常值是否剔除，視具體情況而定。

在統計檢驗時，指定為檢出異常值的顯著性水平α=0.05，稱為檢出水平；指定為檢出高度異常的異常值的顯著性水平α=0.01，稱為舍棄水平，又稱剔除水平(reject level)。

Ⅶ Python 異常處理總結

什麼是異常？

異常即是一個事件，該事件會在程序執行過程中發生，影響了程序的正常執行。一般情況下，在Python無法正常處理程序時就會發生一個異常。

異常是Python對象，表示一個錯誤。當Python腳本發生異常時我們需要捕獲處理它，否則程序會終止執行。

python提供了兩個非常重要的功能來處理python程序在運行中出現的異常和錯誤。你可以使用該功能來調試python程序。

異常處理： 本站Python教程會具體介紹。
斷言(Assertions)：本站Python教程會具體介紹。

異常處理

捕捉異常可以使用try/except語句。try/except語句用來檢測try語句塊中的錯誤，從而讓except語句捕獲異常信息並處理。如果你不想在異常發生時結束你的程序，只需在try里捕獲它。

語法：

以下為簡單的try….except…else的語法：

try的工作原理是，當開始一個try語句後，python就在當前程序的上下文中作標記，這樣當異常出現時就可以回到這里，try子句先執行，接下來會發生什麼依賴於執行時是否出現異常。

· 如果當try後的語句執行時發生異常，python就跳回到try並執行第一個匹配該異常的except子句，異常處理完畢，控制流就通過整個try語句（除非在處理異常時又引發新的異常）。

· 如果在try後的語句里發生了異常，卻沒有匹配的except子句，異常將被遞交到上層的try，或者到程序的最上層（這樣將結束程序，並列印預設的出錯信息）。

· 如果在try子句執行時沒有發生異常，python將執行else語句後的語句（如果有else的話），然後控制流通過整個try語句。

實例

下面是簡單的例子，它打開一個文件，在該文件中的內容寫入內容，且並未發生異常：

以上程序輸出結果：

實例

下面是簡單的例子，它打開一個文件，在該文件中的內容寫入內容，但文件沒有寫入許可權，發生了異常：

以上程序輸出結果：

使用except而不帶任何異常類型

你可以不帶任何異常類型使用except，如下實例：

以上方式try-except語句捕獲所有發生的異常。但這不是一個很好的方式，我們不能通過該程序識別出具體的異常信息。因為它捕獲所有的異常。

使用except而帶多種異常類型

你也可以使用相同的except語句來處理多個異常信息，如下所示：

try-finally 語句

try-finally 語句無論是否發生異常都將執行最後的代碼。

實例

如果打開的文件沒有可寫許可權，輸出如下所示：

同樣的例子也可以寫成如下方式：

當在try塊中拋出一個異常，立即執行finally塊代碼。finally塊中的所有語句執行後，異常被再次提出，並執行except塊代碼。參數的內容不同於異常。

異常的參數

一個異常可以帶上參數，可作為輸出的異常信息參數。你可以通過except語句來捕獲異常的參數，如下所示：

變數接收的異常值通常包含在異常的語句中。在元組的表單中變數可以接收一個或者多個值。

元組通常包含錯誤字元串，錯誤數字，錯誤位置。

實例

以下為單個異常的實例：

以上程序執行結果如下：

觸發異常

我們可以使用raise語句自己觸發異常

raise語法格式如下：

語句中Exception是異常的類型（例如，NameError）參數是一個異常參數值。該參數是可選的，如果不提供，異常的參數是」None」。

最後一個參數是可選的（在實踐中很少使用），如果存在，是跟蹤異常對象。

實例

一個異常可以是一個字元串，類或對象。 Python的內核提供的異常，大多數都是實例化的類，這是一個類的實例的參數。

定義一個異常非常簡單，如下所示：

注意：為了能夠捕獲異常，」except」語句必須有用相同的異常來拋出類對象或者字元串。

例如我們捕獲以上異常，」except」語句如下所示：

用戶自定義異常

通過創建一個新的異常類，程序可以命名它們自己的異常。異常應該是典型的繼承自Exception類，通過直接或間接的方式。

以下為與RuntimeError相關的實例，實例中創建了一個類，基類為RuntimeError，用於在異常觸發時輸出更多的信息。

在try語句塊中，用戶自定義的異常後執行except塊語句，變數 e 是用於創建Networkerror類的實例。

在你定義以上類後，你可以觸發該異常，如下所示：

來源 | 腳本之家 原文鏈接：http://www.jb51.net/article/47996.htm

Ⅷ Winsorize數據處理和刪除異常值的區別是什麼

您好，1、winsorize是用相應分位數的值替代分位數之外的值，而不是刪掉，這樣可以最大限度的保存數據信息另外，這個跟數據多少沒關系。主要是根據已有文獻來的，如果別人用winsorize你也要用，否則你的結論和別人的沒有可比性。不過就我看來，至少在金融領域，使用winsorize比較普遍，刪除異常值的做法越來越少的被使用了。
2、異常值處理，原理大致是將異常值修建成與正常分布最大值or 最小值相同。
eg，如果你的log_size都在20左右，例如在15~20之間區間浮動，有些特別大或特別小的值出現，用winsorize就會把他們變成區間的最大值or最小值。這個「特別大」or「特別小」是你自己可以定義的，如果你認為比20高出10%算作異常值，那麼22就會被修改成20，放在樣本里。

Ⅸ 測試中的異常數據剔除用什麼方法

統計學中剔除異常數據的方法很多，但在檢測和測試中經常用的方法有2種：

1-拉依達准則(也稱之為3σ准則)：

很簡單，就是首先求得n次獨立檢測結果的實驗標准差s和殘差，│殘差│大於3s的測量值即為異常值刪去，然後重新反復計算，將所有異常值剔除。

但這個方法有局限，數據樣本必須大於10，一般要求大於50。所以，這個方法現在不常用了，國標裡面已經剔除該方法！

2-格拉布斯准則（Grubbs）：

這個方法比較常用，尤其是我們檢測領域。

方法也很簡單，還是首先求得n次獨立檢測結果的實驗標准差s和殘差，│殘差│/s的值大於g(n)的測量值即為異常值，可刪去；同樣重新反復計算之，將所有異常值剔除。

g(n)指臨界系數,可直接查表獲得. 95%的系數可參見下表：

Ⅹ 如何判定溫度列數據中的缺失值和異常值

可以通過數據清洗與整理來判斷，具體方法如下：
數據清洗：當發現數據中的缺失與異常值時進行數據處理。
第一步：檢查原表——先檢查原表是否是同樣的數據
第二步：確認問題——檢查此數據是如何收集而來，和業務團隊確認
第三步：數據清洗——從技術角度評估該數據是否缺失/異常，以及如何進行處理
1、遇到數據缺失時，可以依次思考以下問題：缺失的信息來自於哪個數據表？在原表中它們也是缺失的嗎？如果在原表也缺失，那麼是否是有收集信息的疏漏？
當判定該數據為缺失值時，往往會通過python等工具進行缺失值填充
數據整理：為了能夠進一步進行數據分析，將進行數據整理環節。
1、對數據進行統一的格式化和命名規則處理
2、對某些信息進行重新編碼以滿足後續分析需求。