幫助中心 | 我的帳號 | 關於我們

大數據開發者權威教程(大數據技術與編程基礎)

  • 作者:編者:Wrox國際IT認證項目組|譯者:顧晨
  • 出版社:人民郵電
  • ISBN:9787115493507
  • 出版日期:2018/12/01
  • 裝幀:平裝
  • 頁數:499
人民幣:RMB 109 元      售價:
放入購物車
加入收藏夾

內容大鋼
    「大數據」近年成為IT領域的熱點話題,人們每天都會通過互聯網、移動設備等產生大量數據。如何管理大數據、掌握大數據的核心技術、理解大數據相關的生態系統等,是作為大數據開發者必須學習和熟練掌握的。本系列書以「大數據開發者」應掌握的技術為主線,共分兩卷,以7個模塊分別介紹如何管理大數據生態系統、如何存儲和處理數據、如何利用Hadoop工具、如何利用NoSQL與Hadoop協同工作,以及如何利用Hadoop商業發行版和管理工具。本系列書涵蓋了大數據開發工作的核心內容,全面且詳盡地涵蓋了大數據開發的各個領域。
    Wrox國際IT認證項目組編顧晨譯的《大數據開發者權威教程(大數據技術與編程基礎)》為第1卷,共4個模塊,分別介紹大數據基礎知識、大數據生態系統的管理、HDFS和MapReduce以及Hadoop工具(如Hive、Pig和Oozie等)。
    本書適用於想成為大數據開發者以及所有對大數據開發感興趣的技術人員和決策者閱讀。

作者介紹
編者:Wrox國際IT認證項目組|譯者:顧晨

目錄
模塊1 大數據入門
  第1講 大數據簡介
    1.1  什麼是大數據
      1.1.1  大數據的優勢
      1.1.2  挖掘各種大數據源
    1.2  數據管理的歷史——大數據的演化
    1.3  大數據的結構化
    1.4  大數據要素
      1.4.1  數據量
      1.4.2  速度
      1.4.3  多樣性
    1.5  大數據在商務環境中的應用
    1.6  大數據行業中的職業機會
      1.6.1  職業機會
      1.6.2  所需技能
      1.6.3  大數據的未來
      練習
      備忘單
  第2講 大數據在商業上的應用
    2.1  社交網路數據的重要性
    2.2  金融欺詐和大數據
    2.3  保險業的欺詐檢測
    2.4  在零售業中應用大數據
      練習
      備忘單
  第3講 處理大數據的技術
    3.1  大數據的分散式和並行計算
      3.1.1  並行計算技術
      3.1.2  虛擬化及其對大數據的重要性
    3.2  Hadoop簡介
    3.3  雲計算和大數據
      3.3.1  大數據計算的特性
      3.3.2  雲部署模型
      3.3.3  雲交付模型
      3.3.4  大數據云
      3.3.5  大數據云市場中的供應商
      3.3.6  使用雲服務所存在的問題
    3.4  大數據內存計算技術
      練習
      備忘單
  第4講 了解Hadoop生態系統
    4.1  Hadoop生態系統
    4.2  用HDFS存儲數據
      4.2.1  HDFS架構
      4.2.2  HDFS的一些特殊功能
    4.3  利用Hadoop MapReduce處理數據
      4.3.1  MapReduce是如何工作的
      4.3.2  MapReduce的優點和缺點
      4.3.3  利用Hadoop YARN管理資源和應用
    4.4  利用HBase存儲數據

    4.5  使用Hive查詢大型資料庫
    4.6  與Hadoop生態系統的交互
      4.6.1  Pig和Pig Latin
      4.6.2  Sqoop
      4.6.3  Zookeeper
      4.6.4  Flume
      4.6.5  Oozie
      練習
      備忘單
  第5講 MapReduce基礎
    5.1  MapReduce的起源
    5.2  MapReduce是如何工作的
    5.3  MapReduce作業的優化技術
      5.3.1  硬體/網路拓撲
      5.3.2  同步
      5.3.3  文件系統
    5.4  MapReduce的應用
    5.5  HBase在大數據處理中的角色
    5.6  利用Hive挖掘大數據
      練習
      備忘單
模塊2 管理大數據生態系統
  第1講 大數據技術基礎
    1.1  探索大數據棧
    1.2  冗余物理基礎設施層
      1.2.1  物理冗余網路
      1.2.2  管理硬體:存儲和伺服器
      1.2.3  基礎設施的操作
    1.3  安全基礎設施層
    1.4  介面層以及與應用程序和互聯網的雙向反饋
    1.5  可操作資料庫層
    1.6  組織數據服務層及工具
    1.7  分析數據倉庫層
    1.8  分析層
    1.9  大數據應用層
    1.10  虛擬化和大數據
    1.11  虛擬化方法
      1.11.1  伺服器虛擬化
      1.11.2  應用程序虛擬化
      1.11.3  網路虛擬化
      1.11.4  處理器和內存虛擬化
      1.11.5  數據和存儲虛擬化
      1.11.6  用管理程序進行虛擬化管理
      1.11.7  抽象與虛擬化
      1.11.8  實施虛擬化來處理大數據
      練習
      備忘單
  第2講 大數據管理系統——資料庫和數據倉庫
    2.1  RDBMS和大數據環境
    2.2  非關係型資料庫

      2.2.1  鍵值資料庫
      2.2.2  文檔資料庫
      2.2.3  列式資料庫
      2.2.4  圖資料庫
      2.2.5  空間資料庫
    2.3  混合持久化
    2.4  將大數據與傳統數據倉庫相集成
      2.4.1  優化數據倉庫
      2.4.2  大數據結構與數據倉庫的區別
    2.5  大數據分析和數據倉庫
    2.6  改變大數據時代的部署模式
      2.6.1  設備模型
      2.6.2  雲模型
      練習
      備忘單
  第3講 分析與大數據
    3.1  使用大數據以獲取結果
      3.1.1  基本分析
      3.1.2  高級分析
      3.1.3  可操作性分析
      3.1.4  貨幣化分析
    3.2  是什麼構成了大數據
      3.2.1  構成大數據的數據
      3.2.2  大數據分析演算法
      3.2.3  大數據基礎設施支持
    3.3  探索非結構化數據
    3.4  理解文本分析
      3.4.1  分析和提取技術
      3.4.2  理解提取的信息
      3.4.3  分類法
      3.4.4  將結果與結構化數據放在一起
    3.5  建立新的模式和方法以支持大數據
      3.5.1  大數據分析的特徵
      3.5.2  大數據分析的應用
      3.5.3  大數據分析框架的特性
      練習
      備忘單
  第4講 整合數據、實時數據和實施大數據
    4.1  大數據分析的各個階段
      4.1.1  探索階段
      4.1.2  編纂階段
      4.1.3  整合和合併階段
    4.2  大數據集成的基礎
      4.2.1  傳統ETL
      4.2.2  ELT——提取、載入和轉換
      4.2.3  優先處理大數據質量
      4.2.4  數據性能分析工具
      4.2.5  將Hadoop用作ETL
    4.3  流數據和複雜的事件處理
      4.3.1  流數據

      4.3.2  複雜事件處理
      4.3.3  區分CEP和流
      4.3.4  流數據和CEP對業務的影響
    4.4  使大數據成為運營流程的一部分
    4.5  了解大數據的工作流
    4.6  確保大數據有效性、準確性和時效性
      4.6.1  數據的有效性和準確性
      4.6.2  數據的時效性
      練習
      備忘單
  第5講 大數據解決方案和動態數據
    5.1  大數據作為企業戰略工具
      5.1.1  階段1:利用數據做計劃
      5.1.2  階段2:執行分析
      5.1.3  階段3:檢查結果
      5.1.4  階段4:根據計劃行事
    5.2  實時分析:把新的維度添加到周期
      5.2.1  階段5:實時監控
      5.2.2  階段6:調整影響
      5.2.3  階段7:實驗
    5.3  對動態數據的需求
    5.4  案例1:針對環境影響使用流數據
      5.4.1  這是怎麼做到的
      5.4.2  利用感測器提供實時信息
      5.4.3  利用實時數據進行研究
    5.5  案例2:為了公共政策使用大數據
      5.5.1  問題
      5.5.2  使用流數據
    5.6  案例3:在醫療保健行業使用流數據
      5.6.1  問題
      5.6.2  使用流數據
    5.7  案例4:在能源行業使用流數據
      5.7.1  利用流數據提高能源效率
      5.7.2  流數據的使用推進了可替代能源的生產
    5.8  案例5:用實時文本分析提高客戶體驗
    5.9  案例6:在金融業使用實時數據
      5.9.1  保險
      5.9.2  銀行
      5.9.3  信用卡公司
    5.10  案例7:使用實時數據防止保險欺詐
      練習
      備忘單
模塊3 存儲和處理數據:HDFS和MapReduce
  第1講 在Hadoop中存儲數據
    1.1  HDFS
      1.1.1  HDFS的架構
      1.1.2  使用HDFS文件
      1.1.3  Hadoop特有的文件類型
      1.1.4  HDFS聯盟和高可用性
    1.2  HBase

      1.2.1  HBase的架構
      1.2.2  HBase模式設計準則
    1.3  HBase編程
    1.4  為有效的數據存儲結合HDFS和HBase
    1.5  為應用程序選擇恰當的Hadoop數據組織
      1.5.1  數據被MapReduce獨佔訪問時
      1.5.2  創建新數據時
      1.5.3  數據尺寸太大時
      1.5.4  數據用於實時訪問時
      練習
      備忘單
  第2講 利用MapReduce處理數據
    2.1  開始了解MapReduce
      2.1.1  MapReduce框架
      2.1.2  MapReduce執行管道
      2.1.3  MapReduce的運行協調和任務管理
    2.2  第一個MapReduce應用程序
    2.3  設計MapReduce的實現
      2.3.1  使用MapReduce作為並行處理的框架
      2.3.2  MapReduce的簡單數據處理
      2.3.3  構建與MapReduce的連接
      2.3.4  構建迭代的MapReduce應用程序
      2.3.5  用還是不用MapReduce
      2.3.6  常見的MapReduce設計提示
      練習
      備忘單
  第3講 自定義MapReduce執行
    3.1  用InputFormat控制MapReduce的執行
      3.1.1  為計算密集型應用程序實施InputFormat
      3.1.2  實現InputFormat控制map的數量
      3.1.3  為多HBase表實現InputFormat
    3.2  用你自定義RecordReader的方式讀取數據
    3.3  用自定義OutputFormat組織輸出數據
    3.4  自定義RecordWriter以你的方式寫數據
    3.5  利用結合器優化MapReduce執行
    3.6  用分區器來控制reducer的執行
      練習
      備忘單
  第4講 測試和調試MapReduce應用程序
    4.1  MapReduce應用程序的單元測試
      4.1.1  測試mapper
      4.1.2  測試reducer
      4.1.3  集成測試
    4.2  用Eclipse進行本地程序測試
    4.3  利用日誌文件做Hadoop測試
    4.4  利用工作計數器進行報表度量
    4.5  在MapReduce中的防禦式編程
      練習
      備忘單
  第5講 實現MapReduce WordCount程序——案例學習

    5.1  背景
      5.1.1  句子層級的情感分析
      5.1.2  情感詞法採集
      5.1.3  文檔級別的情感分析
      5.1.4  比較情感分析
      5.1.5  基於外觀的情感分析
    5.2  場景
    5.3  數據解釋
    5.4  方法論
    5.5  方法
模塊4 利用Hadoop工具Hive、Pig和Oozie提升效率
  第1講 探索Hive
    1.1  介紹Hive
      1.1.1  Hive數據單元
      1.1.2  Hive架構
      1.1.3  Hive元數據存儲
    1.2  啟動Hive
      1.2.1  Hive命令行界面
      1.2.2  Hive變數
      1.2.3  Hive屬性
      1.2.4  Hive一次性命令
    1.3  執行來自文件的Hive查詢
      1.3.1  shell執行
      1.3.2  Hadoop dfs命令
      1.3.3  Hive中的註釋
    1.4  數據類型
      1.4.1  基本數據類型
      1.4.2  複雜數據類型
      1.4.3  Hive內置運算符
    1.5  Hive內置函數
    1.6  壓縮的數據存儲
    1.7  Hive數據定義語言
      1.7.1  管理Hive中的資料庫
      1.7.2  管理Hive中的表
    1.8  Hive中的數據操作
      1.8.1  將數據載入Hive表
      1.8.2  將數據插入表
      1.8.3  插入至本地文件
      練習
      備忘單
  第2講 高級Hive查詢
    2.1  HiveQL查詢
      2.1.1  SELECT查詢
      2.1.2  LIMIT子句
      2.1.3  嵌入查詢
      2.1.4  CASE…WHEN…THEN
      2.1.5  LIKE和RLIKE
      2.1.6  GROUP BY
      2.1.7  HAVING
    2.2  使用函數操作列值

      2.2.1  內置函數
      2.2.2  用戶定義函數
    2.3  Hive中的連接
      2.3.1  內連接
      2.3.2  外連接
      2.3.3  笛卡兒積連接
      2.3.4  Map側的連接
      2.3.5  ORDER BY
      2.3.6  UNION ALL
    2.4  Hive的最佳實踐
      2.4.1  使用分區
      2.4.2  規範化
      2.4.3  有效使用單次掃描
      2.4.4  桶的使用
    2.5  性能調優和查詢優化
      2.5.1  EXPLAIN命令
      2.5.2  LIMIT調優
    2.6  各種執行類型
      2.6.1  本地執行
      2.6.2  並行執行
      2.6.3  索引
      2.6.4  預測執行
    2.7  Hive文件和記錄格式
      2.7.1  文本文件
      2.7.2  序列文件
      2.7.3  RCFile
      2.7.4  記錄格式(SerDe)
      2.7.5  Regex SerDe
      2.7.6  Avro SerDe
      2.7.7  JSON SerDe
    2.8  HiveThrift服務
      2.8.1  啟動HiveThrift伺服器
      2.8.2  使用JDBC的樣例HiveThrift客戶端
    2.9  Hive中的安全
      2.9.1  認證
      2.9.2  授權
      練習
      備忘單
  第3講 用Pig分析數據
    3.1  介紹Pig
      3.1.1  Pig架構
      3.1.2  Pig Latin的優勢
    3.2  安裝Pig
      3.2.1  安裝Pig所需條件
      3.2.2  下載Pig
      3.2.3  構建Pig庫
    3.3  Pig的屬性
    3.4  運行Pig
    3.5  Pig Latin應用程序流
    3.6  開始利用Pig Latin

      3.6.1  Pig Latin結構
      3.6.2  Pig數據類型
      3.6.3  Pig語法
    3.7  Pig腳本介面
    3.8  Pig Latin的腳本
      3.8.1  用戶定義函數
      3.8.2  參數替代
    3.9  Pig中的關係型操作
      3.9.1  FOREACH
      3.9.2  FILTER
      3.9.3  GROUP
      3.9.4  ORDER BY
      3.9.5  DISTINCT
      3.9.6  JOIN
      3.9.7  LIMIT
      3.9.8  SAMPLE
      練習
      備忘單
  第4講 Oozie對數據處理進行自動化
    4.1  開始了解Oozie
    4.2  Oozie工作流
      4.2.1  在Oozie工作流中執行非同步活動
      4.2.2  實現Oozie工作流
    4.3  Oozie協調器
    4.4  Oozie套件
    4.5  利用EL的Oozie參數化
      4.5.1  工作流函數
      4.5.2  協調器函數
      4.5.3  套件函數
      4.5.4  其他EL函數
    4.6  Oozie作業執行模型
    4.7  訪問Oozie
    4.8  Oozie SLA
      練習
      備忘單
  第5講 使用Oozie
    5.1  業務場景:使用探測包驗證關於位置的信息
    5.2  根據探測包設計位置驗證
    5.3  設計Oozie工作流
    5.4  實現Oozie工作流應用程序
      5.4.1  實現數據準備工作流
      5.4.2  實現考勤指數和集群簇的工作流
    5.5  實現工作流的活動
      5.5.1  從java行為中填充執行上下文
      5.5.2  在Oozie工作流中使用MapReduce作業
    5.6  實現Oozie協調器應用程序
    5.7  實現Oozie套件應用程序
    5.8  部署、測試和執行Oozie應用程序
      5.8.1  使用Oozie CLI執行Oozie應用程序
      5.8.2  將參數傳遞給Oozie作業

      5.8.3  決定如何將參數傳遞給Oozie作業
      練習
      備忘單

  • 商品搜索:
  • | 高級搜索
首頁新手上路客服中心關於我們聯絡我們Top↑
Copyrightc 1999~2008 美商天龍國際圖書股份有限公司 臺灣分公司. All rights reserved.
營業地址:臺北市中正區重慶南路一段103號1F 105號1F-2F
讀者服務部電話:02-2381-2033 02-2381-1863 時間:週一-週五 10:00-17:00
 服務信箱:bookuu@69book.com 客戶、意見信箱:cs@69book.com
ICP證:浙B2-20060032