目錄
第1部分概述
第1章互聯網大數據
1.1從IT走嚮DT
1.1.1信息化與Web時代
1.1.2大數據時代
1.2互聯網大數據及其特點
1.3互聯網大數據處理的相關技術
1.3.1技術體係構成
1.3.2相關技術研究
1.4互聯網大數據技術的發展
1.5本書內容安排
思考題
第2部分互聯網大數據的獲取
第2章Web頁麵數據獲取
2.1網絡爬蟲技術概述
2.2爬蟲的內核技術
2.2.1Web服務器連接器
2.2.2頁麵解析器
2.2.3爬行策略搜索
2.3主題爬蟲技術
2.3.1主題爬蟲模塊構成
2.3.2主題定義
2.3.3鏈接相關度估算
2.3.4內容相關度計算
2.4動態Web頁麵獲取技術
2.4.1動態頁麵的分類
2.4.2動態頁麵的獲取方法
2.4.3模擬瀏覽器的實現
2.4.4基於腳本解析的實現
2.5微博信息內容獲取技術
2.6DeepWeb數據獲取技術
2.6.1相關概念
2.6.2DeepWeb數據獲取方法
2.7反爬蟲技術與反反爬蟲技術
2.7.1反爬蟲技術
2.7.2反反爬蟲技術
2.7.3爬蟲技術的展望
思考題
第3章互聯網大數據的提取技術
3.1Web頁麵內容提取技術
3.1.1Web頁麵內容提取的基本任務
3.1.2Web頁麵解析方法概述
3.1.3基於HTMLParser的頁麵解析
3.1.4基於Jsoup的頁麵解析
3.2基於統計的Web信息抽取方法
3.3其他互聯網大數據的提取
3.4阿裏雲公眾趨勢分析中的信息提取應用
3.5互聯網大數據提取的挑戰性問題
思考題
第3部分互聯網大數據的結構化處理與分析技術
第4章結構化處理技術
4.1互聯網大數據中的文本信息特徵
4.2中文文本的詞匯切分
4.2.1詞匯切分的一般流程
4.2.2基於詞典的分詞方法
4.2.3基於統計的分詞方法
4.2.4歧義處理
4.3詞性識彆
4.3.1詞性標注的難點
4.3.2基於規則的方法
4.3.3基於統計的方法
4.4新詞識彆
4.5停用詞的處理
4.6英文中的詞形規範化
4.7開源工具與平颱
4.7.1開源工具及應用
4.7.2阿裏分詞器
思考題
第5章大數據語義分析技術
5.1語義及語義分析
5.2詞匯級彆的語義技術
5.2.1詞匯的語義關係
5.2.2知識庫資源
5.2.3詞嚮量
5.2.4詞匯的語義相關度計算
5.3句子級彆的語義分析技術
5.4命名實體識彆技術
5.4.1命名實體識彆的研究內容
5.4.2人名識彆方法
5.4.3地名識彆方法
5.4.4時間識彆方法
5.4.5基於機器學習的命名實體識彆
5.5大數據語義分析技術的發展
思考題
第6章大數據分析的模型與算法
6.1大數據分析技術概述
6.2特徵選擇與特徵提取
6.2.1特徵選擇
6.2.2特徵提取
6.2.3基於深度學習的特徵提取
6.3文本的嚮量空間模型
6.3.1嚮量空間模型的維
6.3.2嚮量空間模型的坐標
6.3.3嚮量空間模型中的運算
6.3.4文本型數據的邏輯存儲結構
6.4文本的概率模型
6.4.1Ngram模型
6.4.2概率主題模型
6.5分類技術
6.5.1分類技術概要
6.5.2經典的分類技術
6.6聚類技術
6.7迴歸分析
6.7.1迴歸分析的基本思路
6.7.2綫性迴歸
6.7.3加權綫性迴歸
6.7.4邏輯迴歸
6.8大數據分析算法的並行化
6.8.1並行化框架
6.8.2矩陣相乘的並行化
6.8.3經典分析算法的並行化
6.9基於阿裏雲大數據平颱的數據挖掘實例
6.9.1網絡數據流量分析
6.9.2網絡論壇話題分析
思考題
第7章大數據隱私保護
7.1隱私保護概述
7.2隱私保護模型
7.2.1隱私泄露場景
7.2.2k匿名及其演化
7.2.31多元化
7.3位置隱私保護
7.4社會網絡隱私保護
思考題
第8章大數據技術平颱
8.1概述
8.2大數據技術平颱的分類
8.3大數據存儲平颱
8.3.1大數據存儲需要考慮的因素
8.3.2HBase
8.3.3MongoDB
8.3.4Neo4j
8.3.5雲數據庫
8.3.6其他
8.4大數據可視化
8.4.1大數據可視化的挑戰
8.4.2大數據可視化方法
8.4.3大數據可視化工具
8.5Hadoop
8.5.1Hadoop概述
8.5.2Hadoop生態圈及關鍵技術
8.5.3Hadoop的版本
8.6Spark
8.6.1Spark的概述
8.6.2Spark的生態圈
8.6.3SparkSQL
8.6.4Spark Streaming
8.6.5Spark機器學習
8.7阿裏雲大數據平颱
8.7.1飛天係統
8.7.2大數據集成平颱
思考題
第4部分綜 閤 應 用
第9章基於阿裏雲大數據技術的個性化新聞推薦
9.1目的與任務
9.2係統架構
9.3存儲設計
9.3.1RDS
9.3.2OSS
9.3.3OTS
9.3.4MaxCompute
9.4軟件架構
9.4.1ECS
9.4.2爬蟲
9.4.3模型訓練
9.4.4分類過程
9.4.5開源代碼
9.5阿裏雲大數據的應用開發
9.5.1開發環境
9.5.2部署
9.5.3運行與測試
思考題
參考文獻
· · · · · · (收起)