「教學」如何驗證防毒軟體測試報告呢？
這星期四 (6月28日)，我們實驗室 (Malware-Test Lab) 將要公佈防毒軟體評測報告，趕在這個之前，我想要先跟各位說明「如何驗證防毒軟體測試報告呢？」。為什麼要寫這篇文章呢？最主要是因為國外的測試機構都沒有把詳細的測試結果公佈出來，大部分的人，只會看到偵測率的部份，其他的部分，應該都看不到，但在那裡面藏了很多各位所不知道的秘密，所以，有必要跟各位分享一下囉。
在說明之前，我要先說明測試方法，目前大部分的防毒軟體測試組織都只針對偵測率部份做評比 (由於人力及財力的問題，目前我們也只能做這部份，不過，將來會慢慢加入其他測試項目)，理由很簡單，因為只要擁有樣本即可做此項測試。那為什麼不做其他測試項目呢？因為技術問題和測試時間較久，大部分的測試組織都不做這些項目，但這些測試項目對防毒軟體的好壞影響蠻大的，到最後，消費者只能比較偵測率的高低，以做為購買防毒軟體的依據。假若各位了解這些測試方法的話，就比較不容易受到矇騙，而進一步要求防毒軟體廠商公布使用其他測試方法所得到的測試結果，這樣一來，各位就知道哪些防毒軟體是比較好的。
那如何驗證防毒軟體測試報告呢？測試機構至少需要提供下列三個數據，我們才能驗證測試報告：
更新記錄檔 (Update Logs) (必要)
掃描記錄檔 (Scan Logs) (必要)
樣本的 MD5 或 SHA1 值 (非必要)
為什麼呢？
關於第一點，如果測試機構沒有提供更新記錄檔的話，有可能他們所使用的產品、掃毒引擎 (Virus Scan Engine) 或 病毒特徵碼 (Virus Signature) 是由廠商特別提供的版本 (Special Build)，根本沒有放置在防毒軟體廠商的官方網站上，簡直只是為了通過測試，雙方配合演出而已。
關於第二點，如果測試機構沒有提供掃描記錄檔的話 (有些防毒軟體根本沒有完整的記錄檔)，有可能他們不是使用產品在做測試，而是使用無圖形介面的掃描引擎 (Command-line Virus Scanner)。這樣有什麼好處，可以做自動化測試，比較方便，而且，此掃毒引擎介面通常由掃描引擎部門所開發出來，比較沒有產品整合的問題。另一個可能是無法算出真正的偵測率，各位通常所看到的偵測率是由圖形介面顯示出來的結果，此結果有可能有灌水之嫌 (從我們的測試經驗中，有蠻多這種情形發生)，所以，必須經由掃描記錄檔才可以算出真正的偵測率。
關於第三點，如果測試機構有提供樣本的 MD5 或 SHA1 值的話 (最好是提供樣本囉，但大部分的測試組織都不可能提供樣本給其他單位)，擁有很多樣本的單位或個人，就可以檢查到底這些測試機構所使用樣本的重複率有多高。如果重複率很高，而每個測試機構所公佈的測試報告差異甚大，就可以知道有些測試組織可能將測試報告動過手腳。
希望以上三點說明，能讓各位更了解如何看待防毒軟體測試報告，進而要求測試機構或廠商提供或公佈更多的資訊，這樣才不會造成資訊不對稱，而造成錯誤的決定。
本文來自：大砲開講
[ 本帖最後由 la-x 於 2007-6-27 14:17 編輯 ]
