網站系統、應用程式設計開發

建站服務館 | KM知識庫 | 客戶支援
  前線網路科技
營業項目   基礎 5 主機 3 系統 6 設計 4 企業 3 門市 7 專業人士 3 組織 3 程序管控 3 市場行銷 5 管理 7
部門    業務服務 11 技術支援 8 系統管理 17 研究發展 6 營運管理 7
   網站系統、應用程式設計開發
   首頁  |  e化專欄  |  建站服務  |  建站服務評選  |  合作  |  留言  |  工具書  |  員工  |  更多  |   客戶專區  | 
   Welcome 使用者 訪客   


    應用在大量數據分析的程式-效率改善
  • 相關分類
技術開發 (5)
全部
全部 (16)

  • 其他
應用程式
應用程式 (8)
iGoogle (4)

e化專欄 more
設計
研究發展

應用在大量數據分析的程式-效率改善 留言 | eDM | 回上一頁
e化專欄


技術開發

當spammer可能藉由互動元件,在您的網站上製造SPAM資訊,您應該採取有效的防制管理,來避免那些垃圾貼文或惡意資訊,如果放任不管,它們會侵蝕您的網站,會傷及正常訪客的使用權益,因此您需要採用或建立SPAM防制的管理機制,維護網站的健康狀態。
有擴充能力與彈性化是快速應變的IT優勢。開發人員除了寫出程式外,改善程式執行效率也很重要。


    程式執行效率的必要性與非必要性


  • 取代繁瑣的人工,程式目的在省人力與自動化
    選定可供分析的樣本資料,把數據讀取進來,依各種所需要的分析類別與需求目標,寫成程式來取代人力。
    即將實體流程,從頭跑到尾,老老實實地跑一遍。此階段可以忽略程式效率
  • 非必要: 通常數據的量如果不大,只要把結果正確地透過程式執行出來,這樣就可以。
  • 必要: 一旦數據很大,程式跑的時間會大幅增加,除了讓人多花時間等待結果,也會造成cpu瞬間的loading變得很大,會破壞整體的performance,這時候一定要考量到程式的執行效率效能好的程式不能只要求CPU,DRAM提升,除了除bugs外,程式的執行效率也必需檢驗。



    我們以實例用Benchmark做說明:


  • 一個有關LOG的樣本數據
    1722筆,檔案SIZE=117k,三欄的資料包括時間、ip、網址
    分析來自的國家、入口處、入口處的國家、使用的語言、使用者的ISP


  • 以同樣的輸出結果,透過五次的程式效率改善,並用Benchmark來測試改善效率
    • 第一次
      從頭跑到尾,老老實實地跑一遍。
      Benchmark: 28 wallclock secs (22.69 usr + 0.12 sys = 22.81 CPU)

    • 第二次
      改善主程式區,增加邏輯條件,略過沒必要的執行副程式
      Benchmark: 14 wallclock secs (13.27 usr + 0.20 sys = 13.47 CPU)
      已經cut 1/2

    • 第三次
      更改主要副程式,略過已經執行的程序,並標註檢查過,別再來一遍。
      Benchmark: 4 wallclock secs ( 3.46 usr + 0.03 sys = 3.49 CPU)
      再cut 1/3

    • 第四次
      更改次要副程式,記取檢查標註,該來的才來。
      Benchmark: 3 wallclock secs ( 3.09 usr + 0.06 sys = 3.15 CPU)
      已經cut 3/4

    • 第五次
      微調測試,看效率的改善空間,如果可以接受,就收工了。
      Benchmark: 3 wallclock secs ( 2.99 usr + 0.05 sys = 3.04 CPU)
      能cut的不多了


  • 結果:
    原本需要3,444次的程序,才能跑完結果,但經過改善後,只需要416次就夠了,程序約減少至原本所需的12%,Loading 減少約1/7~1/9,執行時間也大幅縮短由 28 wallclock secs 減至 3 wallclock secs.













  延伸閱讀
應用在大量數據分析的程式-效率改善
« 交叉比對 » 程式化動態網頁轉換成靜態網頁 / 互動元件程式的SPAM防制 / 人際-程式設計 /
比對
6072
程式化動態網頁轉換成靜態網頁 .(10072)
互動元件程式的SPAM防制 .(6825)
人際-程式設計 .(5610)
管理-程式設計 .(4830)
商務-程式設計 .(4662)
資訊-程式設計 .(4410)
探索記錄瞭解自然生態的好工具(科學分類的自動化) (3995)
小資源大運用的 B-DAP 極簡資料庫程式 .(3828)
提供各種網站程式設計 .(3272)
工具開發(商品比較PK評選)-eValue 模組化運用 (2278)
PERL網路程式開發設計 .(4893)
iMC-FT iMC-MIO網路資料交換中心程式設計 .(4202)
• as101: MA2530-300商品展示網站-e化工作平台 (23)
• as101: MA1450-200商品展示網站-e化工作平台 (23)



Tags

, 自動化 , 效能 , LOG , 程序 , 分析 , 應用 , 效率 , 時間 , , 程式 , 資料 ,


prev : 互動元件程式的SPAM防制 | next : 因應彈性欄位組的新增、擴大以至於獨立的設計
sec

作者管理 介紹說明編輯 | e化專欄分類編輯 (技術開發) 


網站系統、應用程式設計開發    e化平台、資料庫、自動化、應用程式、系統程式、網站程式設計
Powered areA Web Tech.(cdv.112_:9-3-3----)CDMS KM (cj|na)