您的位置:首頁 > 國內新聞

重慶·選擇不凡 華為云城市峰會2019,為您揭開大數據的未來之路

時間:2019-08-31
?

“大數據”的概念已存在超過15年。在社會對其浮躁的認識消退之后,它已經在各個領域成熟,從最初的互聯網搜索行業到企業運營和制造,再到城市。治理和教育等。

當“大數據”從一些組織的技術殺手變為每個企業可以快速應用的通用技術時,技術發展似乎已經進入了一個相對穩定的答案。我們不禁要問,大數據的未來在哪里?

我們不討論當今每個人都熟悉的經典應用案例,而是來自作者的替代大數據體驗。

你正在玩游戲,其他人在玩“大數據”。

去年,“吃雞”游戲《絕地求生》大火,我也積極打電話給相應的朋友圈,除了加班投資雞隊之外,當然大部分時間都不可避免地會變成“盒子”開場殺戮的開始)。

所以,為了改善記錄,我改變了1080TI顯卡,升級了2個內存,并購買了高性能鼠標,但這仍然是一個悲劇。再一次證實,毛主席說的是“這不是決定戰爭結果的一兩件新武器”。

直到我最近看到一篇文章,我從大數據的角度分析了20G游戲日志數據,這讓我意識到。

該文章的作者獲得了近70萬個游戲中數據集的殺戮,然后使用Mathematica工具進行簡單的大數據分析,并得出了幾個結論。

1.首先,通過分析兇手和被殺者的相對位置信息,可以得出結論:“房屋靠近房屋的視覺死角可以大大降低被殺的幾率?!?

2.通過分析殺戮的坐標信息并分析最容易被殺的游戲區域,玩家可以根據自己的游戲策略選擇進入高風險區域或避開高風險區域。

3.通過對殺人次數的統計,可以得出結論:“殺死15個對手的玩家有75%的機會贏得比賽”。說明在游戲中,只有殺死對手才是贏得最后勝利的關鍵。

根據大數據分析的結論,我開始玩了幾天。雖然我仍然沒有吃雞肉,但整體游戲性能卻有了顯著提升。只要有數據,每個人都可以播放大數據。

2.今天大數據是如何發生的?

2004年左右,谷歌發表了三篇論文,標志著計算機大數據時代的開啟。這三篇文章是《分布式文件系統 GFS》,《分布式計算框架 MapReduce》和《NoSQL 數據庫 BigTable》,俗稱“三駕馬車”。

2005年,由于其技術效率,Hadoop由Apache Software Foundation作為開源應用程序引入。

2008年底,計算社區聯盟發布了一份白皮書《大數據計算:在商務、科學和社會領域創建革命性突破》,成為第一個提出大數據概念的機構。

2010年,Kenneth Cookeer在《經濟學人》上發布了大數據報告《數據,無所不在的數據》,成功地看到了大數據時代的趨勢。

2012年,Victor Meyer Schonberg發表了《大數據時代:生活、工作與思維的大變革》,提出大數據的核心是預測。這本書也成為大數據的必讀書。

2012年,美國政府在白宮網站上發布了《大數據研究和發展倡議》,標志著大數據已成為時代的重要特征。

2014年,“大數據”這個詞首次出現在中國《政府工作報告》,引發了國內大數據研究和應用浪潮。

2016年,Spark在大數據行業中大受歡迎,包括小發貓在內的大公司都采用了這種經濟實惠的分布式計算開源框架。它標志著大數據的新技術里程碑。

2019年,著名的大數據軟件公司Cloudera和Hortonworks宣布合并,另一個大數據獨角獸MapR被HPE收購,標志著大數據商業軟件時代的結束,并預示著大數據的另一個未來。

3.大數據的未來在哪里?

在過去十年中,硬件性能,尤其是網絡性能,一直是大數據應用的瓶頸。 Genius架構師自然會想到集群大數據系統架構。

1)分布式集群的集中部署

單服務器提供有限的計算能力,使用大規模服務器形成分布式集群,數萬個普通CPU并行計算突破了單服務器計算能力限制。

2)數據被分發并存儲在物理機的每個硬盤上

每臺服務器安裝幾十個普通硬盤,并使用多臺服務器構建分布式存儲系統,有效解決了大規模數據存儲的問題。

3)數據本地化

從遠程物理機讀取數據的數據處理任務很昂貴。將數據作為“中心”,數據處理任務將遷移到數據所在的物理機器,從而有效降低網絡帶寬并確保整體性能。

這是集成的大數據技術架構。經過十多年的發展,網絡性能提升了100倍,內存容量增加了數十倍。大數據處理的瓶頸逐漸從網絡轉移到CPU,并且上述集成計算架構的缺點逐漸顯現。

1)剛性擴張,浪費資源

不同場景所需的存儲空間和功率比是不同的。在實際使用中,要么計算資源達到瓶頸,要么存儲容量不足,集群只能嚴格擴展,導致集群資源浪費。

2)資源不靈活

在不同的情況下,不同時期所需的計算能力不固定,并且存在峰值和谷值。在物理機器中存儲數據使得不可能大規模地關閉空閑節點,從而導致空閑功率和能量浪費。

3)數據島

由于多種數據類型的企業數據和存儲在不同系統中共存,形成了數據孤島,并且相互訪問轉換的成本很高,這限制了對數據價值的進一步探索。

4)工作擁擠

隨著數據采集技術和網絡技術的發展,企業已成為EB級數據的正常狀態,單個大數據分析操作需要讀取數百TB甚至PB級數據,而且多任務并發性非常高容易發生工作擁堵。影響公司的正常運作。

華為預測,到2025年,全球新的數據存儲容量將達到180ZB,企業的數據利用率將達到86%。如此龐大的數據如何有效地分析其價值?顯然,現有的大數據架構已經不能滿足未來的需求。那么,大數據的未來在哪里?

8月27日,在重慶悅來國際會議中心舉行的“重慶選擇不尋常的華為云城峰會2019”,將發布鯤鵬大數據解決方案,揭示大數據的未來。想進一步了解峰會詳情,搜索:華為云官方網站 - 最新活動 - 城市峰會 - 重慶,選擇非凡的華為云城峰會2019。

img_pic_1566274239_0.png

  • 友情鏈接:
  • 萬家新聞網 版權所有? www.salemonice.com 技術支持:萬家新聞網| 網站地圖

    五指山| 滕州| 蚌埠| 寿光| 天门| 绍兴| 伊犁| 孝感| 安康| 张家界| 宿迁| 大理| 东海| 三亚| 东营| 铁岭| 沭阳| 改则| 象山| 安顺| 宜宾| 芜湖| 龙岩| 淄博| 库尔勒| 馆陶| 澄迈| 邹平| 江西南昌| 汉川| 怀化| 淄博| 巴中| 遂宁| 洛阳| 嘉善| 池州| 五家渠| 涿州| 凉山| 阿克苏| 宜昌| 公主岭| 鞍山| 海丰| 单县| 南阳| 湘西| 白银| 淮南| 琼中| 鄂尔多斯| 楚雄| 南京| 辽源| 五家渠| 泰州| 荣成| 三亚| 招远| 长垣| 泉州| 河池| 绵阳| 聊城| 霍邱| 昌吉| 枣阳| 曹县| 偃师| 高雄| 常德| 辽阳| 池州| 楚雄| 保亭| 惠州| 海拉尔| 清徐| 枣阳| 昭通| 晋中| 临汾| 广饶| 庆阳| 盘锦| 武安| 扬州| 安康| 烟台| 陇南| 徐州| 潍坊| 陕西西安| 河源| 宜昌| 澳门澳门| 瓦房店| 灌南| 焦作| 温岭| 贵港| 大兴安岭| 石河子| 通辽| 万宁| 玉林| 河南郑州| 湛江| 辽源| 甘南| 普洱| 连云港| 百色| 大理| 晋城| 那曲| 乳山| 莆田| 陕西西安| 绥化| 张掖| 武夷山| 江苏苏州| 清徐| 临夏| 西藏拉萨| 霍邱| 日土| 仁寿| 和田| 广元| 昆山| 临夏| 镇江| 高雄| 鹤岗| 屯昌| 昆山| 明港| 红河| 哈密| 宝鸡| 九江| 乳山| 台北| 鸡西| 长垣| 邹城| 锡林郭勒| 和县| 邹城| 通化| 寿光| 临沂| 台北| 晋城| 简阳| 黔南| 香港香港| 乐山| 改则| 昆山| 兴安盟| 葫芦岛| 丹阳| 荣成| 赤峰| 象山| 汉川| 西藏拉萨| 沛县| 新乡| 安康| 博尔塔拉| 海拉尔| 青海西宁| 乐清| 嘉善| 宁波| 三亚| 甘孜| 文昌| 九江| 鹤壁| 株洲| 乐山| 忻州| 吉林长春| 兴安盟| 东阳| 阜新| 渭南| 巴音郭楞| 巴彦淖尔市| 伊犁| 临沂| 天长| 甘南| 鹤岗| 陕西西安| 白城| 广饶| 保亭| 招远| 宁德| 绍兴| 上饶| 铁岭| 东营| 宣城| 乌兰察布| 宿州| 澳门澳门| 巢湖| 广元| 汕尾| 临夏| 宝鸡| 张家口| 白山| 广元| 南平| 东方| 咸宁| 咸阳| 德清| 章丘| 盘锦| 基隆| 溧阳| 海门| 灌南| 克孜勒苏| 文昌| 凉山| 永康| 新疆乌鲁木齐| 溧阳| 庆阳| 濮阳| 潍坊| 晋江| 泰州| 甘孜| 包头| 莆田| 淄博| 烟台| 咸阳| 巴中| 辽源| 吴忠| 吉林| 陇南| 新余| 厦门| 阿勒泰| 任丘| 广安| 济南| 怒江| 清远| 锦州| 洛阳| 湖南长沙| 柳州| 余姚| 燕郊| 阿里| 和县| 哈密| 葫芦岛| 牡丹江| 防城港| 三亚| 唐山| 吉安| 岳阳| 东阳| 南通| 齐齐哈尔| 河北石家庄| 甘南| 鸡西| 南平| 长治| 灌云| 台山| 巴彦淖尔市| 兴化| 六盘水| 鸡西| 中山| 沛县| 朝阳| 石嘴山| 雅安| 山西太原| 黄南|