前言:中文期刊網精心挑選了大數據時代的缺點范文供你參考和學習,希望我們的參考范文能激發你的文章創作靈感,歡迎閱讀。
大數據時代的缺點范文1
計算機隨著時代的進步已經進入千家萬戶,而計算機網絡技術也隨著計算機的普及得到了最廣泛地應用和推廣。尤其是近幾年,隨著物聯網以及云計算等計算的快速發展,信息以及數據量在高速增長,而人類已經步入大數據時代。但是,與此同時,計算機網絡技術的快速發展使得網絡信息安全成為網絡的一個重要安全隱患,其不僅會使整個計算機系統出現癱瘓現象,還會導致系統無法正常運轉,給網絡用戶造成經濟損失。由此可見,加大對計算機網絡信息安全技術方面的研究,從而提高大數據環境下網絡的安全性,將具有十分重要的現實意義。
1大數據時代以及網絡信息安全分析
1.1大數據時代概述
隨著計算機網絡以及通信技術的快速發展和應用,全球信息化程度越來越高,幾乎各行各業以及各個領域都被計算機網絡所覆蓋,同時大量數據和信息也逐漸滲透到其中,最終促進了信息行業以及網絡通信行業的高度發展,這就表示人類已經邁入大數據時代。大數據時代主要是通過數據和信息的形式滲透到各個領域和行業中,然后再通過感知、共享和保存海量信息以及數據來構建數字世界。在大數據時代下,人們逐漸開始通過對事實數據的分析與參考,來做出各種決策或者是來看待各種問題。由此可見,大數據時代將引領社會的巨大變革。
1.2大數據時代下的網絡信息安全問題
隨著計算機網絡技術的廣泛應用,在各個領域內發揮的作用越來越突出,而大數據就是在這種背景下形成的,信息和數據對于生產和生活的發展起著越來越重要的作用,因此,對信息和數據安全的保護也就顯得十分重要,而要想實現對信息和數據的安全保護,就要從計算機網絡信息安全技術入手。在大數據時代下,計算機網絡信息安全涉及各種不同的領域和技術,只有通過對多種相關技術的綜合利用。才能夠在一定程度上確保計算機網絡的安全性。大數據時代下,計算機網絡信息安全問題帶來的威脅有以下幾個方面。第一,泄密。大數據時代下,網絡對一些比較敏感數據和信息的傳輸與處理越來越多,該系統一旦出現泄密等安全問題,那么就會造成極大的影響,尤其是軍事單位以及政府機構,泄漏會對其造成更大的危害。第二,服務中斷。如果系統受到惡意攻擊,那么就很有可能使得整個計算機系統不能正常運轉,例如:視頻會議中斷以及內部文件無法流轉等,這不僅會導致正常工作的混亂,而且還大大降低了工作效率。第三,經濟損失。當前,很多行業的計算機系統內部具有很多敏感性的數據和信息,尤其是一些金融行業的財務方面的數據和資料,一旦受到惡意攻擊,就會給本單位或者公司帶來不可估量的經濟損失。
2大數據時代下計算機網絡信息安全技術分析
2.1數據加密技術
針對重要的數據,利用相關技術手段將其轉變為亂碼進行傳送,這就是所謂的加密技術。當數據以亂碼的形式傳送到目的地后,還要利用一定的還原技術對其進行解密。私人密鑰和公開密鑰加密分別是加密技術的兩大類技術。對于私人密鑰加密技術來說,其主要是使用了相同的密鑰來進行數據的加密和解密,也就是說采用了對稱的密碼編碼技術,加密的密鑰同時也是解密的密鑰,因此,可以將這種加密方式稱之為對稱加密算法。在密碼學中,對稱加密算法的典型代表是DES算法,即數據加密標準算法。對于公開密鑰加密技術來說,其與私人加密算法不同,該種加密算法主要是應用兩個密鑰,即私有的和公開的密鑰。這兩種密鑰是一對,在計算機系統中如果數據加密的形式采用了私有密鑰,那么必須使用其所對應的公開密鑰才能夠解密;如果數據加密形式采用了公開密鑰,那么必須使用其所對應的私有密鑰才能夠解密。因此,這種算法也可以稱之為非對稱加密算法,因為其使用的是不同的密鑰。在密碼學中,RSA算法是公開密鑰的典型代表。私有密鑰的優點是運算速度快、使用簡單快捷。但是,私有密鑰的缺點是具有較為繁瑣的過程和潛在的危險,要求密鑰的分發必須安全可靠。公開密鑰的優點是具有較好的保密性,并使用戶密鑰交換的需要得以消除。但是公開密鑰的缺點是速度慢,無論是加密還是解密,其所需要的時間較長。因此,公開密鑰比較適合一些較少數據的加密。對于一些重要的計算機系統來說,可以采用以上兩種算法相結合的方式來進行專用應用程序的設計。針對用戶通信建立之初或者用戶認證時,一定要采用公開加密算法,當利用該種密鑰形式建立連接之后,雙方再針對通信進行私有密鑰的協商,而要采用私有密鑰來進行后續的加密和解密工作,從而有效克服私有密鑰以及公開密鑰的缺點。
2.2防火墻技術
作為網絡信息安全的一種有效保障,防火墻一般處于網絡邊界上,而且其對于不同類型的網絡通信都是通過制定一系列規則來進行拒絕或者同意。當前,在對防火墻進行選擇、部署和配置時應當注意以下幾個方面。(1)為了能夠實現私有地址與合法地址之間的合法轉換,防火墻還必須具備NAT功能。(2)因為很多網絡一般都有多個子網組成,因此,在進行防火墻部署時,應當在一些重要子網的邊界考慮其部署情況,而不是僅僅局限于整個網絡邊界。(3)作為防火墻中最為重要的一部分內容,規則起著很關鍵的作用。但是有的單位并沒有考慮到這一點,規則安裝完成之后就再沒有對其進行完善和更新,這樣防火墻就容易出現安全隱患,因為網絡攻擊方式以及網絡入侵技術是不斷變化的,而防火墻規則也應當及時跟上變化,進行及時修改。(4)防火墻要按照“最小授權”原則來進行科學配置,并確定有必要時,才能夠允許通過。(5)要對防火墻規則順序進行關注,一旦發現符合條件的防火墻規則順序,則立即對其進行處理,這樣就避免了很多后續重復性檢查工作。(6)防火墻一般都具備日志功能,因此一定要注意做好其審計工作,將危害系統安全的訪問用日志記錄下來,從而有利于系統盡早發現安全隱患,并隨之做出響應,確保系統安全運行。
2.3NAT技術
NAT,即網絡地址轉換,其主要用于私有地址與合法地址之間的合法轉換。NAT雖然沒有服務器或者防火墻等功能,但是能夠有效地避免內部服務器真正地址的外泄,因為NAT能夠通過地址轉換實現對內部拓撲結構的隱藏,從而使得外部網絡不容易對其進行攻擊。一般情況下,通過防火墻或者路由器就能夠實現NAT功能,主要分為靜態和動態兩種實現類型。對于靜態的NAT來說,主要適用于需要給外部提供服務的機器,因為它能夠將內部地址單獨轉換成一個外部地址。對于靜態NAT映射的服務器而言,由于其擁有內部私有地址,因此,需要嚴格控制其系統安全以及訪問控制,否則這些私有地址很可能會成為計算機系統受到外部攻擊的跳板,所以,需要特別加以注意。對于動態NAT來說,適用于一些普通的計算機,它能夠將多個內部地址轉換為多個動態選擇性的外部地址。
3結語
綜上所述,隨著科技的快速發展,網絡信息安全攻擊手段也在不斷變化和發展。因此,計算機網絡信息安全技術也不應是一個靜止概念,而是隨之不斷向前發展的。本文主要從3個方面探究了大數據時代下計算機網絡信息安全技術,即數據加密技術、防火墻技術以及NAT技術,希望能夠為人們提供更好的計算機網絡環境。
作者:劉青華 付強 單位:吉林省敦化市公安局 吉林省公安廳網安總隊
參考文獻
大數據時代的缺點范文2
關鍵詞:大數據;檔案大數據;檔案館
1 大數據和檔案大數據
1.1 大數據概念的界定
大數據(big data),或稱“巨量資料”,指的是所涉及的資料量規模巨大到無法透過目前主流軟件工具,在合理時間內達到獲取、管理、處理并整理成為幫助企業經營決策更積極目的的數據,即不能用隨機分析法(抽樣調查)這樣的捷徑,對于大數據概念的起源,學術界還沒有統一的定論,在工信部的《2014年大數據白皮書》中,認為大數據概念來源于2011年麥肯錫、世界經濟論壇等機構的相關研究。這些機構通過研究海量數據在社交網絡、網絡廣告、電子商務、數據挖掘中的應用,使全社會開始重新審視數據中蘊含的巨大價值,并隨后在全世界興起了一股大數據的熱潮。
1.2 大數據的特點
大數據的特點有很多種說法,IBM認為大數據有三個特征(3V),即Volume,Variety,Velocity,還有學者從Size,Resolution,Scope這三個角度來定義大數據,即數據規模足夠大,數據的深度足夠深,以及數據的廣度足夠寬,在這里,本文采用主流的“4V”來對大數據進行特點概括,即Volume,Velocity,Variety,Veracity。
①Volume,即數據量巨大,甚至能夠達到PB數量級或者更大;
②Velocity,數據種類眾多,包括視頻、音頻、圖片、日志、地理位置信息等多種類型數據
③Variety,即價值密度低,而商用價值高,大數據多數為半結構化和非結構化的數據
④Veracity,要求處理速度快,大數據的處理技術上與云計算、集群網格計算、分布式計算等技術的應用緊密相關,一般要求在秒極時間范圍內給出分析結果,時間太長就可能失去了大數據的分析價值,這一點與傳統的數據挖掘技術有著本質的不同。
1.3 檔案資源符合大數據的特征
①檔案數據體量巨大(Volume)。目前,單個國家綜合檔案館檔案資源總量基本達到了TB級,考慮到每個檔案館資源的不同,以及各類檔案部門保存的檔案數量,必將達到PB級甚至EB級。據統計,2011年,各級國家檔案館館藏已達3,3億卷,到2020年,館藏將達到6億多卷,如果加上企事業各類檔案部門館藏,將是一個海量資源庫。
②檔案資源種類多(Velocity)。檔案資源以文本類為主,還有大量的音視頻檔案、照片圖片檔案、圖紙、憑證檔案、地理信息、網絡日志等,都是非結構化數據,描述這些檔案資源的元數據又是結構化數據。海量結構化數據與非結構化數據的混合正是傳統數據處理難以解決的問題,符合大數據的多樣性特征。
③檔案價值高,但價值密度低(Variety)。檔案留存著社會的歷史記,具有很高的歷史價值。然而對當前應用來說,海量檔案信息,每次可能利用的數據非常少,存在著價值密度低的特點。如視頻,連續不間斷攝制過程中,可能有用的數據僅僅有一兩秒,這些檔案信息蘊含著巨大的潛能,需要人員、流程與技術的密切配合,方能將其轉化為更大的真正價值。
④處理速度要求高(Veracity)。大數據要求實時或近乎實時的處理速度,這對企事業單位來說沒問題,對于國家檔案館來說好像要求過高,其實不然,傳統檔案利用方式是被動地等待用戶來查找原始信息,給社會留下“故紙堆”的印象,如果改被動服務為及時、準確地主動服務,這種主動服務不僅提供檔案原始信息,還應提供BI、預測分析、內容分析、輔助決策分析等。
2 大數據給檔案館帶來的影響分析
2.1 大數據技術給檔案館發展帶來的機遇
從資源角度而言,檔案是社會組織和個人在社會實踐活動中直接形成的具有清晰、確定的原始記錄作用的固化信息。大數據時代,檔案概念存在著嚴重的泛化問題,很多之前不能被稱之為檔案的信息在大數據時代都可能變成檔案,這就造成了檔案數量的急劇增長,“每一條記錄都將變成具有長期保存價值的檔案,這些單位價值密度低的記錄信息將作為不可分割的整體來發揮檔案的價值。這也就意味著”一切具有保存價值的文件、數據、視頻、實物都將視為檔案,基于信息系統的電子文件在形成之后‘一秒鐘’即形成‘電子檔案’”。檔案館將“更多地關注一些底層化、碎片化、復雜化的信息。
(2)從管理角度而言,大數據時代的到來,推動了檔案管理的變革。不同于傳統的手工管理,大數據時代的檔案管理將在云平臺上建設云檔案系統,實現云存儲,檔案館傳統的“收管用”也將發生變化,“收”是將數據實時、自動歸集,“管”是將采用云平臺存儲、計算、分析,“用”則是分析、發現與預測,為社會、企業創造價值。從大量數據中分析潛在的價值,決定著大數據時代檔案館的發展水平及方向,這就意味著大數據時代,“檔案館的傳統業務將向檔案資源的數據分析、數據挖掘方向轉移,對大量數據的分析與處理將成為檔案館的主要業務。
(3)從服務角度而言,大數據時代檔案館的服務內容、服務方式、服務目的均將發生改變。檔案服務將“朝著社會化、多元化、開放性和先進性發展,以企業、客戶個性化的需求為導向,提供網絡化、智能化服務。大數據的發展將實現真正的個性化服務,“不僅提供用戶所需要的信息,還通過對用戶需求進行分析,提供基于海量分布式資源的精細化知識組織輸出,實現“信息+解決方案”的一站式服務。
(4)從思維角度而言,大數據時代的到來,將從多個方面變革傳統的檔案館思維模式,為檔案館管理、服務及業務理念帶來顛覆性的變化。管理思維上,將推動檔案館從經驗驅動到循數管理的轉變,讓“數據說出話來”;服務思維上,檔案館的服務理念將實現從供給導向到需求導向的轉變,實現從資源密集型服務到服務主導型的轉變;業務思維上,從追尋“因果律”走向審視“相關性”,從出現問題――邏輯分析――找出因果關系――提出解決方案的逆向思維模式,到收集數據――量化分析――找出相互關系――提出優化方案的正向思維模式轉變。
2.2 檔案館推進大數據的挑戰
2.2.1檔案服務利用方式急需革新
大數據技術發展推動了檔案管理的科學化,在龐大的數據信息源的支持下,檔案館的服務將走向結論化、知識化和智能化,從而改變以往簡單復制、查閱等利用方式,減少了服務過程中的不確定性。而且用戶希望提供個性化、可視化服務,也對檔案部門的服務利用提出了新的需求。大數據時代的發展將實現真正的個性化服務,不僅提供用戶所需要的信息,還通過對用戶需求進行分析,提供基于海量分布式資源的精細化知識組織輸出,即實現信息解決方案的一站式服務。檔案服務方式的革新對檔案館提出了很高的要求。
2.2.2技術的滯后跟不上大數據的發展
檔案館自身技術的滯后也引起了研究者的深刻憂慮。在檔案大數據的檢索方面,“如何在大量的檔案數據中快速而準確地檢索到所需的信息”;在檔案大數據的分析方面,如何實現大數據處理方法和工具的簡易化和自動化;在檔案大數據的展示方面,如何實現最終結果的可視化:在檔案大數據的利用方面,如何在海量數據中抽取和挖掘有用的信息和知識并提供給用戶,進行專業化處理,實現數據“增殖”。這些實質性的問題若得不到妥善的解決,大數據的發展、普及和深入將遭遇嚴峻的挑戰。
2.2.3思維觀念的及時調整
在新事物的推進過程中,還要特別注意不要陷入極端的思維誤區,一般情況下檔案館在推進大數據的過程中容易陷入兩種思維誤區,一種是完全的否定大數據,沒有大數據觀念,無視大數據時代的來臨,不想改變,采取固守原狀的鴕鳥政策;二是泛大數據化,即不加鑒別地收集保存一切數據,從而使得檔案館陷入數據沼澤,數據數量太多進而喪失了自己的特色,此外人才問題也是一個很大的挑戰,檔案專業技術人才及信息技術人才的匱乏將極大地阻礙檔案館大數據的發展。
3 大數據在檔案信息化工作中應用的應對策略
(1)轉變服務觀念。目前大多數檔案部門依然是幾十年前的服務觀念:被動的等待利用者,提供的服務主要還是檔案信息內容,隨著檔案信息化工作的開展,檔案目錄、部分檔案全文經數字化后上網供利用者瀏覽,這是主動服務思想的體現。一些檔案部門也在嘗試_展進一步的主動服務工作,比如,北京房山區提出“基于數據挖掘的檔案信息資源深度開發與利用”等,盡管是傳統的數據倉庫應用,但服務的主動性已經有了很大的提升,是一大進步。
(2)開展檔案數字化工作,提高紙質檔案數字化率,盡可能的將館藏傳統檔案進行數字化,如果數字化率比較低,數據肯定不全有遺漏,抓緊實施電子文件管理工程,進行電子文件收集管理與保存工作,在進行檔案數字化的過程中,由于同一份傳統檔案可能存在多個全宗或立檔單位都存在,在大數據處理前需要進行,以免增加超級計算機或服務器集群的負擔。有兩種方法。一種方法是利用檔案目錄,各檔案部門基本都已建設自己館藏的檔案條目,先把條目上傳,根據條目比對檔案的重復性,將結果反饋給相應的檔案部門,以一個檔案部門為主進行數字化,其他部門或下載拷貝相關鏈接關聯相應檔案,該方法條目上傳到上一級檔案部門,由上級檔案部門統籌安排進行數字化,該方法的優點是節省資源,有限的資源可以盡可能多地數字化,缺點是協調,統籌不容易。另一種方法則是各部門分別數字化自己的館藏,將數字化結果全部上傳到數據治理計算機,由數據治理計算機進行全文比對。該方法優點是比對準確,缺點是資源有所浪費,同時加重了數據治理服務器的負擔。兩種各有利弊,應當靈活使用。
規劃全國性或區域性的檔案資源云服務。大數據的基礎是云計算,同時檔案信息資源的整合也應該建立在云計算基礎之上,可以考慮建設全國或區域性的公有云,實現全國或區域內檔案條目的集中與共享,實現檔案的存放與共享,甚至可以實現區域內所有電子文件、數字檔案的存儲,下級檔案部門保留檔案鏈接地址即可。這樣的前提是訪問公有云的是高速網絡。公有云下,區域內檔案部門可以建設自己的私有云。檔案云資源的建設使得大數據平臺有了強有力的數據支撐。
(4)提升檔案工作員工綜合素養。要建設檔案強國,首先要建立一支與檔案強國相匹配的檔案工作員工隊伍,特別是大數據時代,檔案工作不再是原先的裝裝訂訂,檔案利用也不是簡單的查閱,檔案人員應從數據的視角看待檔案,以大數據推動檔案館的管理和服務。這也對檔案人員提出了更高的要求,大數據時代,檔案館人員要努力向“數據科學家”轉變,大力提升綜合技能,一是具備一定數學知識能夠建數據模型,二是能夠利用信息技術建數據模型分析系統,三是處理數據,得出結論和自己的見解。
大數據時代的缺點范文3
大數據時代的到來,給與之密切相關的統計學專業帶來了前所未有的機遇與挑戰。本文針對統計學專業的自身特點,分析了專業中存在的問題,并從人才培養目標的定位,課程的調整與設置,教學手段創新和完善教學評估體系等幾個方面提出了一些合理化的建議。
關鍵詞:
大數據;統計學;教學改革
一、引言
最早提出“大數據”時代到來的是全球知名咨詢公司麥肯錫,現在的社會是一個高速發展的社會,科技發達,信息流通,人們之間的交流越來越密切,生活也越來越方便,大數據就是這個高科技時代的產物。大數據具有以下的鮮明特點:第一個特征是數據量大。第二個特征是數據類型繁多,多類型的數據對數據的處理能力提出了更高的要求。第三個特征是數據價值密度相對較低,如何通過強大的機器算法更迅速地完成數據的價值“提純”,是大數據時代亟待解決的難題。第四個特征是處理速度快,時效性要求高,這是大數據區分于傳統數據挖掘最顯著的特征。統計學專業是與數據分析處理聯系最為緊密的學科之一。大數據時代的到來不僅為統計學專業的發展帶來的前所未有的機遇,同時也帶來了巨大挑戰。傳統的統計學專業已不再適應大數據時代的信息爆發式增長的要求,這就要求我們應該對統計學專業進行重新定位,并在此基礎上調整相關課程,改革傳統的教學手段以及完善教學評價體系,以適應大數據時代的到來。
二、統計學專業改革的建議
(一)人才培養目標的重新定位如果說以往的統計學專業是以培養簡單的“應用型”人才為目標,那么隨著大數據時代的到來,社會不僅僅需要會應用基礎統計知識處理相關領域的問題的單一的應用型人才,而是對人才提出了更高的要求:大數據時代下的統計學專業的人才除了應該具備基礎的數據收集,處理和分析的能力之外,還應該了解相關應用領域的背景知識,而且應具備很強的自我學習能力,以適應大數據時代數據量大,總類繁多,時效性高等發展特點。因此,統計學人才培養目標應該重新作出調整,應該以培養全新的“復合型”統計人才為新的目標。
(二)課程設置的調整隨著人才培養目標的重新定位,隨之而來的就是應該對不再適應時展要求的課程進行必要的調整。首先,大數據的分析和處理與以往的經典分析方法有很大不同,以往的統計分析方法主要是建立在抽樣基礎之上,而大數據時代信息處理迅速,信息獲得途徑廣泛,而且信息價值密度低,這就要求數據處理時,可以以全體作為樣本,而不是進行抽樣;分析時必須考慮所有數據而不是剔除所謂的異常數據。因此,以往的經典統計分析方法已不再適應大數據的處理和分析,必須適當的調整經典分析方法的課程設置,增加新的適用于大數據分析的課程。其次,隨著數據量的爆發式增長,所有的統計工作對計算機的依賴程度越來越高,這就要求統計學專業的學生不僅掌握統計學專業的基礎知識,同時應該熟練掌握計算機專業知識相關知識,因此,在課程安排時,應注意計算機相關課程的適當增加。基于上述原因,可以考慮增加如下課程:機器學習,模擬算法,數據挖掘,R語言軟件分析等課程,同時適當降低傳統分析方法課程的學時比重。此外,為了使學生能夠對相關應用領域的背景知識有所了解,可適當增設與應用領域相關的通識課程。
(三)教學模式與手段的創新以往的教學模式,通常是以課堂教學,掌握書本經典理論為主。雖然,傳統教學手段有著學生理論基礎扎實等諸多優點,但是同時也存才學生過于偏重理論知識的掌握,動手能力不足,理論與實踐脫節等缺點。隨著社會的發展,尤其統計學專業自身具有鮮明的應用專業特點。只采用傳統的教學模式和手段顯然不再適合大數據時代的需要;同時,隨著大數據時代的到來,多媒體手段日益豐富多彩,為傳統教學的創新提供了必要的支持。因此,為了適應大數據時代人才的要求,必須改革傳統的教學手段和模式,在傳統教學基礎上,加大實驗教學的比重,在傳統教學外,增加社會實踐環節,引入微課慕課,翻轉課堂等全新教學模式,以提高學生的學習興趣,鍛煉學生理論應用于實踐的能力,從而為以后使用大數據時代的工作打下堅實的基礎。
(四)教學評價體系的完善傳統的教學評價體系,通常是采用書面考核的方式對學生的學習進行評價,隨著時代的發著,單純的筆試評價不足以衡量學生的全面能力,最后導致出現高分低能的情況的出現。為了適應大數據時代對人才多方面能力的需求,必須對傳統的考核評價體系做出適當的調整,以評價學生的多方面能力,尤其是動手能力,學習能力和應用相關理論處理實際問題的能力。具體可以采用多種考核方法相結合的方式。如:增加平時的考核力度,增加實踐項目的考核,通過布置適當的項目論文,采用答辯的形式,以鍛煉學生適應以后工作,獨立分析解決問題的能力。此外,傳統教學評價體系通常是單方面的,只有對學生成績的評價,為了適應大數據時代的到來,全面提高教學質量,可采取雙向教學評價體系,如:增加學生對教學環節的評價體系。以及教師間同行間的評價體系等。
三、啟示
大數據時代的缺點范文4
關鍵詞:大數據 教育 個性化教育
一、何為大數據
"大數據"是一個體量特別大,數據類別特別大的數據集,并且這樣的數據集無法用傳統數據庫工具對其內容進行抓取、管理和處理。要理解大數據這一概念,首先要從"大"入手,"大"是指數據規模,大數據一般指在10TB(1TB=1024GB)規模以上的數據量。大數據同過去的海量數據有所區別,其基本特征可以用4個V來總結(Vol-ume、Variety、Value和Veloc-ity),即體量大、多樣性、價值密度低、速度快。
第一,數據體量巨大。從TB級別,躍升到PB級別。
第二,數據類型繁多,如網絡日志、視頻、圖片、地理位置信息,等等。
第三,價值密度低。以視頻為例,連續不間斷監控過程中,可能有用的數據僅僅有一兩秒。
第四,處理速度快。最后這一點也是和傳統的數據挖掘技術有著本質的不同。物聯網、云計算、移動互聯網、車聯網、手機、平板電腦、PC以及遍布地球各個角落的各種各樣的傳感器,無一不是數據來源或者承載的方式。
二、大數據與傳統數據的區別
大數據與傳統數據的區別在于對于“數據”的理解更為深入,許多我們曾經并沒有重視的,或者缺乏技術與方法去收集的信息,現在都可以作為“數據”進行記錄與分析。大數據與傳統數據最本質的區別體現在采集來源以及應用方向上。
傳統數據挖掘方式,采集方法、內容分類,采信標準等都已存在既有規則,方法論完整。大數據挖掘是新鮮事物,還還沒有形成清新的方法、路徑以及評判標準。
傳統數據來源于階段性的、針對性的評估,其采樣過程可能有系統誤差;大數據來源于過程性的、即時性的行為與現象記錄,第三方、技術型的觀察采樣的方式,誤差較小。
傳統數據分析所需要的人才、專業技能以及設施設備都較為普通,易獲得:大數據挖掘需要的人才,專業技能以及設施設備要求較高,并且從業者需要有創新意識。
三、大數據對教育的影響
1.對教育理念和教育思維的影響
隨著大數據時代的來臨,教育理念、教育思維方式也有了很大改變。教育領域各方面都充滿了大數據。學生、教師的一言一行,學校里的一切事物,都可以轉化為數據。當每個在校學生都能用計算機終端學習時,包括上課、讀書、寫筆記、做作業、發微博、進行實驗、討論問題、參加各種活動等,這些都將成為教育大數據的來源。大數據比起傳統的數字具有深刻的含義和價值。教育將不再是靠理念和經驗來傳承的社會科學,大數據時代的教育將步入實證時代,變成一門實實在在的基于數據的實證科學。大數據使得教育者的思維方式發生了深刻變化。傳統的教育大多是教育主管部門和教育者通過教學經驗的學習、總結和繼承來展開的,但是有些經驗是不具有科學性的,常識有時會影響人們的判斷。大數據時代將可以通過對教育數據的分析,挖掘出教學、學習、評估等符合學生實際與教學實際的情況,這樣就可以有的放矢地制定、執行教育政策,制定出更符合實際的教育教學策略。
2.對個性化教育的推動作用
大數據對教育帶來的一個變化在于實施個性化教育具有了可能性,真正實現從群體教育的方式轉向個體教育。利用大數據技術,我們可以去關注每一個學生個體的微觀表現。通過這些微觀數據的整合能夠詮釋教學過程中學生個體的學習狀態、表現和水平。大數據技術將給教師提供最為真實、最為個性化的學生特點信息,教師在教學過程中可以有針對性地進行因材施教。比如,在課堂學習過程中,哪些學生注意基礎部分,哪些學生注意實踐內容,哪些學生完成某一練習,哪些學生可以閱讀推薦書目,等等。不僅如此,當學生在完成教師布置的作業時,也能通過數據分析強化學習。比如,通過電子設備做作業時,某一類型的題目有幾次全對,就可以把類似的題目跳過;如果某個類型的題目犯錯,系統則可進行多次強化,這樣不僅提高了學習效率,也減輕了學生的學習負擔。
3.重新構建教學評價方式
教學評價中利用大數據分析,可以通過技術層面來評價、分析,進而提升教學活動,從依靠經驗評價轉向基于數據評價。教學評價的方式不再是經驗式的,而是可以通過大量數據的“歸納”,找出教學活動的規律,更好地優化、改進教學過程。通過大數據分析,還可以發現學生思想、心態與行為的變化情況,可以分析出每個學生的特點,從而發現優點,規避缺點,矯正不良思想行為。此外,大數據通過技術手段,記錄教育教學的過程,實現了從結果評價轉向過程性評價。同時,這些數據也可以促使教師進行教學反思,自己在哪些方面需要改進,從而促進和優化教學實施過程。
4.加強學校基于數據的管理
大數據對于學校管理具有重要的價值,有利于實現學校管理的精確化、科學化。學校管理離不開信息,學校是培養各類專門人才、傳授知識和創造知識的場所,擁有眾多的專業學科,與國內外聯系廣泛,每天進行著各種教學、科研及其管理活動,蘊藏著十分豐富的信息資源。學校管理中的各種決策和控制活動,都是以大量的數據為基礎的,并不斷產生各種新的數據。大數據的處理和挖掘對于學校管理具有關鍵作用。利用大數據技術,著眼于管理決策、管理活動、管理過程控制,全面歸集學校管理大數據。比如,針對教務管理、行政管理、科研管理、人事管理、財務管理、后勤管理等各類領域,進行全校系統的規劃、梳理,具體細化數據收集標準規范,及時歸集,形成全校管理大數據。同時,針對重要管理對象的數據,由多個源頭、從不同方向對同一個對象進行數據記錄,數據之間可以互相印證,形成多源的管理對象大數據。此外,利用大數據分析技術,為學校網絡信息安全管理也提供了重要的手段。
結束語:
在大數據大環境下,對現代教育既是機遇,更是挑戰,大數據必將對教育的方方面面產生深遠的影響,從而帶來一場教育界的大革命。
參考文獻
[1] 魏忠 何立友 大數據:開啟面向未來的教育革命 [J] 中小學信息技術教育 2013(10)
[2] 沈學瑁 大數據對教育意味著什么 [J] 上海教育科研 2013(9)
大數據時代的缺點范文5
關鍵詞 大數據 檔案 檔案管理
中圖分類號:G270.7 文獻標識碼:A
1大數據背景下檔案管理的發展趨勢及特點
檔案是人類智慧的一種物態結晶,是人類認識和改造世界的原始記錄,學術界尊之為“歷史文明之母”。透過檔案,人們可以繼承和發揚優良的文化傳統,借鑒和吸取人類社會優秀的文明成果,以服務于和諧社會的建設。隨著大數據時代的來臨,對檔案管理產生了廣泛而深刻的影響。首先從思想觀念角度來說,要轉變認為歷史上積累下來的大量檔案信息、文檔已經沒有利用的價值,已經完成其使用價值的舊觀念。在大數據時代,要對這些海量信息進行整合重組,建立統一的平臺,并使那些從前分割、封閉的檔案架構邁向大數據時代的開放、協同、互動的架構,建立跨系統、跨越平臺、數據結構的檔案信息服務平臺,達到有效合理地利用這些“過時”的檔案信息。
2檔案管理引入大數據帶來的新挑戰
大數據的出現改變了傳統的管理方式,在信息來源、處理方式等方面都會帶來革命性的變化。檔案管理部門必須主動轉變檔案管理舊的思維方式,學習和利用大數據技術創新檔案工作,樹立服務網絡化思維、信息化思維、技術性思維和資源共享性思維,并在實踐中學會主動運用,以便滿足未來利用者的需求。
傳統的檔案管理主要基于手工整理、編目,主要是以紙質檔案為主。在計算機管理時代,通過運用計算機和相關軟件進行檔案管理,出現了紙質檔案與電子檔案并存。在大數據時代,檔案管理將實現云平臺上建設云檔案系統,實現云儲存。將各類有價值的信息資源整合、分析、挖掘,形成檔案的知識庫,為決策提供服務,創造價值。
檔案管理主要是收集、整理、利用3 個環節,在傳統的方式中收集是由各個部門移交,整理主要是手工,利用是被動式的服務。在信息化時代,采取部門移交和電子文檔歸檔相結合的方式,整理可以利用計算機輔助進行,利用是對現有信息進行二次加工和編研,更像是對以往信息的歸類總結,對現實缺乏指導意義。大數據時代,收集將會是數據實時、自動歸檔,整理將實現云平臺存儲、分析,利用則是針對現實需要對數據進行分析、計算和預測,實現其價值,對現實更有指導作用。
3大數據背景下提升檔案管理水平的對策
3.1改變傳統觀念
檔案館長期以來采取的是“供給導向”的發展模式,往往從自身業務的角度出發,有什么樣的內容就提供什么樣的服務,利用者常常面臨著“提供的服務不需要,需要的服務找不到”的尷尬情況。隨著大數據在其他領域應用優勢的不斷凸顯,用戶對檔案館精品化、多元化、個性化的服務需求越來越強烈,如果繼續采取無所作為的觀念,那么檔案館將會失去未來的發展機會,甚至會失去存在的意義,成為一座“信息孤島”。因此,檔案館要實現從供給導向到需求導向的觀念轉變,以用戶的需求為導向,充分挖掘和利用各方面的資源和能力來滿足用戶的需求。
3.2加強標準規范的建設
在大數據時代下,信息眾多無法管理。為此必須首先本著“確保數字檔案資源格式統一、數據規范、長期可讀、便于共享”的原則制定標準、統一的規范,避免信息雜亂無章。在檔案管理工作中,應該根據工作實際,積極采用國際標準和國外先進標準,制定、修訂各類適合我國檔案管理標準,并與圖書、情報的國際、國內標準相一致以便于信息互換和共享。在大數據時代,根據電子文件管理的需要,應該制定統一的電子文件形成標準和電子文件歸檔規范,以規范各業務系統數據的形成。同時,還積極引入檔案(文件)管理體系國際標準,對各類檔案定期檢查梳理。
3.3重視檔案資源庫建設
在大數據時代,檔案館要盡可能多地收集和保存數據,做到全覆蓋,盡可能地為科研生產提供詳實的資料。首先,要做好存量檔案的數字化,把現有保存的紙質等傳統載體的檔案進行數字化處理。而在處理的過程中要按照利用程度的高低,分門別類、循序漸進,行政黨群類的發文、收文;科研類中的獎狀、證書、合同、課題;基建類的施工、竣工圖紙等,由于利用率非常{,應該是高校檔案數字化的重心。對已經數字化處理的檔案材料要注重質量,不但要保證掃描后的數字檔案內容完整、畫面清晰,與原件對應,還要確保其具有法律效力。不能出現漏掃、錯掃、掃描不清、掃描不全等情況。通過全程、全面質量控制方法來確保數字化質量。
3.4構建大數據檔案資源平臺
有了海量的檔案資源,而利用者無法有效利用,那樣只會浪費資源。因此通過構建檔案信息資源共享平臺,才能有效地提高檔案資源利用效率。目前國家建立了全國開放的檔案信息資源共享平臺,通過與各級檔案館已有的開放平臺連接,達到資源的共享。目前檔案館需要對已經數字化的檔案,尚未放入信息資源共享平臺的要盡快放入數據庫或局域網提供內部利用;對于尚未開放鑒定的要盡快鑒定開放,把盡可能多的檔案資源放入共享平臺,以便提供社會共享。
4結語
檔案部門在新媒介環境中開展檔案宣傳工作時,需要同時利用傳統媒介和新興媒介,雙管齊下,相互融合,發揮各自的優勢,彌補對方的缺點,以盡可能多的途徑和方式將民眾感興趣的檔案內容傳遞給民眾,時刻感受到檔案的氣息。
參考文獻
[1] 趙媛媛.基于新媒介的檔案宣傳研究[D].天津:天津師范大學,2014.
大數據時代的缺點范文6
【關鍵詞】停電信息 移動終端 定位
隨著國家發展改革的不斷深化,國有企業的社會責任不斷增強,服務質量需要不斷提升。對于電力企業而言,在做好“電”這個商品本身的質量(電壓、頻率和波形)的基礎之上,供電可靠性也是重要指標,必須想方設法減少停電的時間和次數。如果有必須停電的情況,在停電前應及時計劃停電信息。為促進服務質量提升,可以探索一種在移動終端上主動推送式的停電信息方式。
1 現有停電信息模式探討
1.1 現有停電信息模式
目前在線路計劃停電之前,供電公司會將停電信息通過報紙等媒體予以告知性,而在公用變壓器計劃停電之前,供電公司會將停電信息張貼到住宅區。用戶也可通過瀏覽特定網站獲知,或者通過微信軟件等移動終端手動查詢方法。用戶也可以撥打供電服務電話或瀏覽供電企業網站來查詢近期停電信息。
1.2 現有停電信息模式探討
目前的停電信息形式多樣、媒介不同,并可以通過有效管理手段及時準確地停電信息,但在這種模式下,用戶始終處于被動接收信息的狀態。而在大信息時代,各類紛繁的信息充斥著每個人的生活,并且隨著供電可靠性的提升,用戶就需要在偶爾有計劃停電的情況下從大量的信息中篩選出有效準確的停電信息,這對于一般用戶而言有較大信息缺失的可能。
2 停電信息新模式的探索
2.1 通過電話定位停電信息
時常會在通過城市交界處時,手機會接收到到達某城市的歡迎信息。使用類似移動基站定位方式來匹配并發送停電信息成為一種選擇。用移動基站信息與停電位置信息匹配后得出二維數據表,再與移動終端用戶所處位置匹配,用手機短信的方式通知在計劃停電區域內的用戶。
2.2 計算機甄別停電區域并自動電話通知用戶
用計算機自動甄別供電企業的停電區域信息涉及的相關用戶,取得供電企業用戶信息庫中相關用電地址和聯系電話等信息,匹配停電區域得出涉及到的相關用戶的聯系電話,并通過自動語音撥號或者短信通知等方法通知相關用戶,使用此種通知方式能夠直接在停電信息后實現自動通知,在時效性和便捷性方面具有較大優點。
2.3 基于移動終端定位的主動推送式停電信息
在移動終端中安裝主動推送式停電信息的APP應用,或者嵌入主動推送式停電信息功能的其他應用程序。在供電企業停電信息后,應用程序將生成停電覆蓋范圍和時間,用戶的移動終端定位模塊能夠獲得使用者的實時位置信息,當判斷到使用者進入到計劃停電范圍內,或者部分移動終端帶有統計“常到的地點”功能所記錄的地點位置與計劃停電覆蓋范圍有交集時,移動終端能夠主動推送停電信息,提示用戶注意。
3 停電信息新模式的比較和信息主動式應用的擴展
3.1 停電信息新模式的比較
通過電話定位停電信息的模式可以模糊匹配用戶所在位置并及時收取相關停電信息,但缺點在于這種模式很大程度上信息的有效性和準確性取決于用戶所處位置,用戶所在的很多地點可能僅僅是短時停留,用戶將會收到很多無用信息。計算機甄別停電區域并自動電話通知用戶的方式可以直接在停電信息后實現自動通知,能夠及時準確地發送到用戶戶號對應的聯系電話,但是缺點是很多用戶并不愿意在供電企業的用電信息庫中填入詳細的聯系方式或者及時更新,另外會增加信息的費用,在經濟性和率方面均不夠理想。基于移動終端定位的主動推送式停電信息方式可以在大數據時代隨著移動終端和定位技術的發展較為準確地判斷分析用戶關心的位置信息,準確及時地停電信息,另外,一次性地軟件開發費用與重復性的電話通知費用相比在經濟性方面也有很大的優勢,移動終端通過部署的應用程序在后臺主動搜集和分析后將數據直觀地推送到屏幕通知區域能夠讓用戶獲得很好的用戶體驗。
3.2 信息主動式應用的擴展
隨著大數據時代的到來和信息技術、移動技術的發展,智能城市和智能電網從概念到實際推動的趨勢,城市用戶生活信息獲取的便捷性與爆炸式大數據信息的模式之間的矛盾日趨嚴重,使用信息主動式應用不但可以在供電企業停電信息的方面,而且在城市市民用水、電視、網絡、社區活動等多方面多維度廣泛拓展,更加可以逐步進階為互動式平臺,普通用戶如果有重要事宜也可以上傳保障申請或優質服務的申請,服務提供商利用大數據平臺分析匯總區域內申請,由行政管理部門審核批準,在計劃檢修時考慮到相關因素,形成互動式、在線式智能生活服務平臺,將技術的發展轉化為便民的舉措,提高城市居民的幸福指數。
參考文獻
[1]維克托.邁爾.舍恩伯格.大數據時代[M].杭州:浙江人民出版社,2012.
[2]大數據時代下的大數據到底有多大?[J].中國大數據.2014(03)6.
[3]帶您了解大數據[J].中國大數據,2014(03)25.
[4]王元虎,周東明.衛星時鐘在電網中應用的若干技術問題:中國電力,1998, 31(2):10-13.