1. <menuitem id="xgxcv"><dfn id="xgxcv"></dfn></menuitem>

              • 自動秒收錄
              • 軟件:1973
              • 資訊:58193|
              • 收錄網站:238287|

              IT精英團

              大數據測試類型大數據測試步驟

              大數據測試類型大數據測試步驟

              瀏覽次數:
              評論次數:
              編輯: 樂詠
              信息來源: ITPUB
              更新日期: 2022-08-13 01:12:06
              摘要

              1.隨著數據工程和數據分析技術的不斷進步,大數據測試是不可避免的。2.大數據處理可以是批處理,實時或交互式處理3.測試大數據應用程序的3個階段是數據分級驗證“MapReduce”驗證輸出驗證階段4.架

              • 正文開始
              • 相關閱讀
              • 推薦作品

              1.隨著數據工程和數據分析技術的不斷進步,大數據測試不可避免。

              2.大數據處理可以是批處理、實時或交互式處理

              3.測試大數據應用程序的3個階段是

              數據分類驗證

              MapReduce驗證

              輸出驗證階段

              4.架構測試是大數據測試的重要階段,因為設計糟糕的系統可能會導致前所未有的錯誤和性能下降。

              5.大數據的性能測試包括驗證。

              數據吞吐量

              數據處理

              組件性能

              6.大數據測試與傳統數據測試在數據、基礎設施、驗證工具等方面有很大不同。

              7.大數據測試挑戰包括虛擬化、測試自動化和大型數據集的處理。大數據應用的性能測試也是一個問題。

              3354大綱

              什么是大數據?

              大數據是一個龐大的數據集,傳統計算技術無法處理。這些數據集的測試需要通過各種工具、技術和框架來處理。大數據涉及數據創建、存儲、檢索和分析,在數量、多樣性和速度方面都很出色。

              大數據測試類型

              測試大數據應用更多的是驗證其數據處理,而不是測試軟件產品的單個功能。說到大數據測試,性能和功能測試是關鍵。

              在大數據測試中,QA工程師使用集群和其他組件來驗證TB級數據的成功處理。因為處理速度非???,所以需要很高的測試技能。處理有三種類型:批處理、實時處理和交互處理。

              同時,數據質量也是大數據測試的重要因素。在測試應用程序之前,有必要檢查數據的質量,并將其視為數據庫測試的一部分。它包括檢查各種字段,如一致性、準確性、重復性、一致性、有效性、數據完整性等。

              大數據測試步驟

              01

              數據階段驗證

              大數據測試的第一步,也稱為前hadoop階段,包括以下驗證:

              1.應該驗證來自各個方面的數據資源,以確保將正確的數據加載到系統中。

              2.將源數據與推送到Hadoop系統的數據進行比較,確保它們相匹配。

              3.驗證是否提取了正確的數據,并將其加載到HDFS的正確位置。在這個階段,您可以使用工具Talend或Datameer來驗證數據階段。

              02

              MapReduce身份驗證

              大數據測試的第二步是MapReduce的驗證。在這個階段,測試人員在每個節點上驗證業務邏輯,然后在運行多個節點后進行驗證,以確保以下操作的正確性:

              1.映射和簡化過程正常工作。

              2.對數據實施數據聚合或隔離規則。

              3.生成鍵值對

              4.執行Map和Reduce過程后驗證數據。

              03

              輸出級驗證

              大數據測試的最后或第三階段是輸出驗證過程。生成數據文件,并將文件移動到EDW(企業數據倉庫:)或任何其他基于需求的系統。第三階段的活動包括:

              1.檢查是否正確應用了轉換規則。

              2.檢查數據完整性和成功加載到目標系統的數據。

              3.通過將目標數據與HDFS文件系統數據進行比較,檢查數據是否損壞。

              建筑測試

              doop處理大量的數據,并且是非常耗費資源的。因此,架構測試對于確保您的大數據項目的成功至關重要。系統設計不當或設計不當可能導致性能下降,系統不能滿足要求。至少,性能和故障轉移測試服務應該在Hadoop環境中完成。

              性能測試包括測試作業完成時間,內存使用率,數據吞吐量和類似的系統指標。而故障轉移測試服務的動機是為了驗證在數據節點發生故障的情況下數據處理是否無縫地發生。

              性能測試

              大數據性能測試包括兩個主要的行動,數據采集和整個過程:在這個階段,測試人員驗證快速系統如何消耗來自各種數據源的數據。測試涉及識別隊列在給定時間框架內可以處理的不同消息。它還包括如何快速將數據插入到底層數據存儲中,例如插入到Mongo和Cassandra數據庫中。

              • 數據處理:它涉及驗證執行查詢或映射縮減作業的速度。它還包括在底層數據存儲填充到數據集中時獨立測試數據處理。例如,在底層HDFS上運行Map Reduce作業

              • 子組件性能:這些系統由多個組件組成,而且必須單獨測試每個組件。例如,消息的索引和消費速度有多快,mapreduce作業,查詢性能,搜索等

              性能測試方法

              大數據應用性能測試涉及大量結構化和非結構化數據的測試,并且需要特定的測試方法來測試這些海量數據。

              01

              性能測試按此順序執行

              1.過程從設置要測試性能的大數據群集開始

              2.確定和設計相應的工作量

              3.準備個人客戶(自定義腳本創建)

              4.執行測試并分析結果(如果不滿足目標,則調整組件并重新執行)

              5.最佳配置

              02

              性能測試的參數

              性能測試需要驗證的各種參數:

              1.數據存儲:數據如何存儲在不同的節點中

              2.提交日志:允許增長的提交日志有多大

              3.并發性:有多少個線程可以執行寫入和讀取操作

              4.緩存:調整緩存設置“行緩存”和“鍵緩存”。

              5.超時:連接超時值,查詢超時值等

              6.JVM參數:堆大小,GC收集算法等

              7.地圖降低性能:排序,合并等

              8.消息隊列:消息速率,大小等。

              03

              測試環境需求

              測試環境需求取決于您正在測試的應用程序的類型。對于大數據測試,測試環境應該包含:

              1.它應該有足夠的空間來存儲和處理大量的數據

              2.它應該有分布式節點和數據的集群

              3.它應該有最低的CPU和內存利用率,以保持高性能。

              大數據測試面臨的挑戰

              01

              自動化

              大數據的自動化測試需要具有技術專長的人員。另外,自動化工具不具備處理測試過程中出現的意外問題的能力。

              02

              虛擬化

              這是測試的一個不可缺少的階段。虛擬機延遲會在實時大數據測試中造成計時問題。在大數據中管理圖像也是一件麻煩事。

              03

              大數據集

              1.需要驗證更多的數據,并需要更快地完成

              2.需要自動化測試工作

              3.需要能夠跨不同的平臺進行測試

              性能測試挑戰

              1.多種技術組合:每個子組件屬于不同的技術,需要單獨測試

              2.不可用的特定工具:沒有一個工具可以執行端到端的測試。例如,NoSQL可能不適合消息隊列

              3.測試腳本:需要高度的腳本來設計測試場景和測試用例

              4.測試環境:數據量大,需要特殊的測試環境

              5.監控解決方案:存在有限的解決方案,可以監控整個環境

              6.診斷解決方案:需要定制解決方案來深入了解性能瓶頸區域



              “在看”的永遠18歲~
              業務運維——打破運維壁壘
              ? 上一篇 2022-08-13
              • 業務運維——打破運維壁壘
                0閱讀 0條評論 個贊
                隨著互聯網規模的不斷壯大,越來越多的數字化產品走進了人們的視線中:在線購票、網絡訂餐、線上購物等為人們的生活提供了極大的便利,改變了人們的生活方式,而在這些便利背后有無數的人來進行保障。APM現狀如何……
              • Kubernetes的網絡模型指南 發現之后太重要了~
                0閱讀 0條評論 個贊
                Kubernetes通過整合規模龐大的容器實例形成集群,這些容器實例可能運行在異構的底層網絡環境中,如何保證這些容器間的互通是實際生產環境中首要考慮的問題之一。Kubernetes網絡基本要求Kub……
              • Linux下 如何自動壓縮備份日志?
                0閱讀 0條評論 個贊
                背景系統中安裝了前置機服務,該服務由銀行提供。前置機日志打印的非常詳細,同時并未進行壓縮處理。這導致的直接后果就是,每天會有5G左右的日志產生。過不了多久就需要手動壓縮備份一次。當今天系統再次報警磁……
              • 從Kubectl Top看Kubernetes是如何監控資源的?
                0閱讀 0條評論 個贊
                一.前言kubectltop可以很方便地查看node、pod的實時資源使用情況:如CPU、內存。這篇文章會介紹其數據鏈路和實現原理,同時借kubectltop闡述k8s中的監控體系,……
              • 如何在Linux上正確使用cat命令
                0閱讀 0條評論 個贊
                cat可能是您將在Linux上首先學習的命令之一。以下是在Linux上使用cat的正確方法(和錯誤方法)。您將在Linux上使用的最基本的命令之一是cat。乍一看似乎很神秘,但實際……
              發表評論 共有條評論
              用戶名: 密碼:
              驗證碼: 匿名發表
              • 這個困擾程序員50年的問題終于要解決了?
                1閱讀 0條評論 個贊
                作者lHollis來源lHollis(ID:hollischuang)近日,Google、微軟、facebook和亞馬遜終于忍不了了,聯合呼吁廢除閏秒,什么是閏秒呢?閏秒到底做錯了什么?為什……
              • 理解Kubernetes集群中的服務通信
                0閱讀 0條評論 個贊
                深入了解支持服務間通信的3個原生K8s對象:ClusterIPService、DNS和Kube-Proxy。概述傳統的服務到服務通信在進入Kubernetes生態系統之前,快速了解一……
              • 大廠大數據平臺核心架構全層面圖解
                0閱讀 0條評論 個贊
                我們先來看看這張圖,這是某公司使用的大數據平臺架構圖,大部分公司應該都差不多:從這張大數據的整體架構圖上看來,大數據的核心層應該是:數據采集層、數據存儲與分析層、數據共享層、數據應用層,可能叫法有所不……
              • Kubernetes的網絡模型指南 發現之后太重要了~
                0閱讀 0條評論 個贊
                Kubernetes通過整合規模龐大的容器實例形成集群,這些容器實例可能運行在異構的底層網絡環境中,如何保證這些容器間的互通是實際生產環境中首要考慮的問題之一。Kubernetes網絡基本要求Kub……
              • Redis內存優化技巧 小內存存大數據
                0閱讀 0條評論 個贊
                大家好,我是「碼哥」,大家可以叫我靚仔。這次碼哥跟大家分享一些優化神技,當你面試或者工作中你遇到如下問題,那就使出今天學到的絕招,一招定乾坤!?如何用更少的內存保存更多的數據?我們應該從Redis……
              • AI降維來襲 世界上幾乎所有已知的蛋白質結構都是開源的!
                1閱讀 0條評論 個贊
                轉自:機器之心科學界已知的幾乎所有蛋白質結構,都在這里了。蛋白質是生命的基礎構件,它們由氨基酸鏈組成,折疊成不同的復雜形狀。蛋白質的功能通常由其3D結構決定。如果我們了解蛋白質的折疊方式,就可以開……
              • 齊:從技術發展的角度來看 數據中心應該是下一代的數據倉庫
                0閱讀 0條評論 個贊
                技術專家祁國輝前Oracle云平臺事業部電信行業技術總監【作者介紹】網名"atiger",前Oracle云平臺事業部電信行業技術總監。擁有超過25年數據庫和數據倉庫HK經驗。曾創辦著名數據倉庫……
              • 跳羚最常用的七種注解 哪些你還不知道?
                0閱讀 0條評論 個贊
                隨著技術的更新迭代,Java5.0開始支持注解。而作為java中的領軍框架spring,自從更新了2.5版本之后也開始慢慢舍棄xml配置,更多使用注解來控制spring框架。而spring的的注解那么……
              • MySQL什么時候用表鎖和行鎖?
                7閱讀 0條評論 個贊
                MySQLInnodb的鎖可以說是執行引擎的并發基礎了,有了鎖才能保證數據的一致性。眾所周知,我們都知道Innodb有全局鎖、表級鎖、行級鎖三種,但你知道什么時候會用表鎖,什么時候會用行鎖嗎?……
              • Python神操作!無序的文件重命名編號!
                0閱讀 0條評論 個贊
                最近有位讀者朋友遇到了一個小問題,私聊找我答疑。感覺也會有其他同學會遇到,所以干脆分享出來。如下圖所示,在本地文件夾中有這樣一堆視頻文件,在這種情況下并不是亂序的。但是將其上傳到網盤中后,就會經常變成……
              • 如何在Linux上正確使用cat命令
                0閱讀 0條評論 個贊
                cat可能是您將在Linux上首先學習的命令之一。以下是在Linux上使用cat的正確方法(和錯誤方法)。您將在Linux上使用的最基本的命令之一是cat。乍一看似乎很神秘,但實際……
              • 構建企業云原生日志系統架構
                0閱讀 0條評論 個贊
                ?本文轉自大數據老司機的博客,原文:https://www.cnblogs.com/liugp/p/16463920.html,版權歸原作者所有。一、概述?ELK是三個開源軟件的縮寫,分別表示:El……
              • Linux運維工程師十大基本功點
                0閱讀 0條評論 個贊
                本人是Linux運維工程師,對這方面有點心得,現在我說說要掌握哪方面的工具吧說到工具,在行外可以說是技能,在行內我們一般稱為工具,就是運維必須要掌握的工具。我就大概列出這幾方面,這樣入門就基本沒問題了……
              • Linux下 如何自動壓縮備份日志?
                0閱讀 0條評論 個贊
                背景系統中安裝了前置機服務,該服務由銀行提供。前置機日志打印的非常詳細,同時并未進行壓縮處理。這導致的直接后果就是,每天會有5G左右的日志產生。過不了多久就需要手動壓縮備份一次。當今天系統再次報警磁……
              • 淺談數據庫的行存儲和列存儲
                2閱讀 0條評論 個贊
                原文:my.oschina.net/gaussdb/blog/5544252好多人最開始學習數據庫的時候,是關系數據庫,數據以表格形式存儲,一行表示一條記錄。其實這種就是典型的行存儲(Row-base……
              • 如何在Linux中連接到串行控制臺
                0閱讀 0條評論 個贊
                串行端口連接允許用戶在沒有顯示器的情況下控制系統。下面介紹如何在Linux中訪問和使用串行控制臺。處理嵌入式Linux項目時必不可少的元素之一是通過串行控制臺接口訪問您的設備。為此,您正在開發……
              • 指針在C語言中沒那么難~
                0閱讀 0條評論 個贊
                正文指針在C語言中是一塊很重要的內容,也是比較難理解的一塊內容,我們需要反復學習反復鞏固才可以對其有所了解。之前也分享過指針相關的筆記,但是都比較雜,本篇筆記匯總一下指針相關的內容,包含了挺多指針相關……
              • :除了“加機” 其實你的微服務還可以這樣優化
                0閱讀 0條評論 個贊
                生產實踐中,如果遇到業務流量變高導致服務負載升高甚至報警,我們的第一反應往往是「加機器」。俗話說,能用錢解決的問題都不是問題。俗話又說,充錢你就能變得更強。但是,作為一個有理想有抱負的架構師,除了「加……
              • 你知道Linux內核版本控制方案是什么嗎?
                0閱讀 0條評論 個贊
                每個Linux內核版本都有一個與之關聯的不同版本號。你有沒有想過Linux內核版本號是如何形成的?如果是Linux有段時間了,應該知道Linux發行版具有獨特的版本,并且每個版本都有特……
              • 這些又傻又甜的Linux命令 沒人會教你!
                0閱讀 0條評論 個贊
                原創:小姐姐味道(微信公眾號ID:xjjdog),歡迎分享,轉載請保留此信息。Linux上的命令非常多,為了掌握它,很多同學耗盡了自己的腦細胞,憔悴了自己的容顏,結果記憶了一大堆垃圾命令,用過之后就忘……
              • 小貸上半場:分化下的“去”與“留”
                0閱讀 0條評論 個贊
                小貸行業的發展仍將延續分化之勢?!?/div>
              • 如何用打勾列表構建寫作體系?
                1閱讀 0條評論 個贊
                以及怎么在滴答清單運用起來呢?很簡單,按照 GTD 方法進行搭建:收集 —&gt; 分類 —&gt; 處理。2)在「4 已完成」的階段,我會把文……
              • 數十家美國科技公司招聘員工踩剎車:微軟和谷歌加入浪潮
                0閱讀 0條評論 個贊
                隨著對經濟衰退的擔憂不斷加劇——通貨膨脹、烏克蘭戰爭和持續的流行病造成了損失——許多科技公司正在重新考慮他們的人員需求,其中一些公司開始凍結招聘、取消聘用,甚至開始裁員?!?/div>
              • 長城汽車“王者”時代結束 為什么是他的接班人?
                0閱讀 0條評論 個贊
                7月24日晚,長城汽車公告,王鳳英因工作調整申請辭去公司總經理職務,繼續在公司從事戰略管理相關工作,而總經理一職則由穆峰擔任?!?/div>
              • 對算法工程師技術的反思!
                0閱讀 0條評論 個贊
                作者|努力的伍六七整理|極市平臺https://zhuanlan.zhihu.com/p/395255446大家周末愉快呀!這里是NewBeeNLP。做一個算法工程師最重要的素質是在海量的算法方案中理……
              • 上海警方破獲轄區首例醫療詐騙案
                0閱讀 0條評論 個贊
                讓人又愛又恨的場景金融……
              • 靠譜的成長團隊是什么樣子的?
                7閱讀 0條評論 個贊
                如果問世界上所有企業的共性是什么?答案應該是“追求增長”,這不僅是一家企業能夠保持市場地位的源動力,同時也是驗明其商業價值的最佳佐證。在互聯網時……
              • 銀監會回應“提現難”:將依法依規處置 將陸續啟動5萬元以上客戶先行賠付
                0閱讀 0條評論 個贊
                7月17日,銀保監會有關部門負責人就近期重點工作進展接受了《中國銀行保險報》記者采訪?!?/div>
              • 內存業務年收入百億 蔣伯龍沖刺注冊“創業板內存第一股”
                0閱讀 0條評論 個贊
                你看好存儲器行業的發展嗎?作者 | 徐長卿編輯丨高巖來源 | 野馬財經全球“缺芯”危機大背景下,主營存儲芯片的江波龍沖刺上市。近日,深圳市江波龍……
              • 微云服務重金收購線上小貸 進入婚戀階段
                4閱讀 0條評論 個贊
                要做“信貸行業的貝殼網”。金融科技公司微米云服在場景端和資產端布局動作加快,甚至推出基于相親場景的婚戀分期產品。該分期產品由微米云服投資的甜識婚戀負責運營,入口位于甜識婚戀線上渠道?!?/div>
              • 趕緊退錢!這個百億迅雷P2P有了最新進展 其創始人是阿里高管
                13閱讀 0條評論 個贊
                本次資金清退自2022年7月18日起至7月31日止。共分三批次清退,第一批清退的時間從7月18日開始,對象為6月20日后完成登記核實且有實際損失的出借人;第二批清退的時間從7月25日開始,對象為未登記核實且有實際損失的出借人(金額大于50元(含));第三批清退的時間從7月25日開始,對象為未登記核實且有實際損失的出借人(金額小于50元)。愛財集團的創始人、董事長兼CEO錢志龍,曾是阿里第75號員工。2010年,錢志龍以支付寶消費者事業部總經理的身份離職創業,創辦愛財集團?!?/div>
              • 銀保監會:上半年新增公司貸款過半投向民營企業
                0閱讀 0條評論 個贊
                銀保監會最新數據顯示,截至6月末,銀行業金融機構民營企業貸款余額58.2萬億元,同比增長11.4%,有貸款余額民營企業戶數8347萬戶。今年以來,大量民營小微企業獲得了線上融資,同時,更多的信用貸款發放給了民營企業。目前,民營企業信用貸款余額已達9.8萬億元,同比增幅達28.7%。今年上半年,銀行業為150萬戶中小微企業和個體工商戶辦理了貸款延期還本付息,延期金額超過3萬億元。統計還顯示,今年上半年新發放民營企業貸款年化利率為4.74%?!?/div>
              • 尹蓓消費金融被罰80萬 共計1200萬元
                0閱讀 0條評論 個贊
                7月21日,北京銀保監局行政處罰信息顯示,北銀消費金融有限公司因互聯網貸款業務風險管理有效性不足、對合作機構管理不到位,被監管責令改正并處罰款80萬元。據統計,北銀消費金融自開業以來已多次吃到罰單,公司及相關責任人合計罰沒金額超過1200萬元?!?/div>
              • 《穩增長 信未來》常恒發布2022年下半年資產配置策略指引
                0閱讀 0條評論 個贊
                8月9日,正值恒昌首屆“88財商節”期間,為洞察經濟趨勢,把脈市場變化,幫助投資者理順投資邏輯,恒昌在《恒心·七日談》直播欄目特別發布了“穩增長 信未來”——《2022下半年宏觀經濟展望及資產配置策略指引》?!?/div>
              • 2022 Tik Tok電子商務服務商大會落幕 聚焦三個方向的服務商生態
                0閱讀 0條評論 個贊
                7月22日,2022抖音電商服務商大會成功舉辦?!?/div>
              • “養牛種草的農民”每年向蒙牛銷售2.5億元鮮奶 即將收獲IPO
                0閱讀 0條評論 個贊
                公開信息顯示,今年已有14家乳企啟動上市計劃,這其中包括5月已經上市的陽光乳業、IPO聲勢浩大的認養一頭牛、以及宜品、花花牛、衛崗乳業等中小乳企……
              • 這家支付公司卷入巨額洗錢案 涉案金額近百億!
                0閱讀 0條評論 個贊
                支付機構廣東信匯竟有人員從事違法行為,兩年期間,廣東信匯代付業務涉及的充值、代付總流入資金近百億。實控人曾被公安局立案?!?/div>
              • 銀監會:加強商業銀行互聯網貸款業務管理 股票業務過渡期到明年6月底
                1閱讀 0條評論 個贊
                銀保監會發布《關于加強商業銀行互聯網貸款業務管理,提升金融服務質效的通知》,其中明確,履行貸款管理主體責任。商業銀行應當提高互聯網貸款風險管控能力,獨立有效開展身份驗證、授信審批和合同簽訂,嚴格履行貸款調查、風險評估、授信管理、貸款資金監測等主體責任,嚴格落實金融管理部門對征信、支付和反洗錢等方面的要求,防范貸款管理“空心化”?;ヂ摼W貸款涉及與合作機構開展營銷獲客、支付結算、信息科技等合作的,商業銀行應當加強核心風控環節管理,不得因業務合作降低風險管控標準?!?/div>
              • 對貸款援助直接掛鉤的思考
                0閱讀 0條評論 個贊
                從機構監管走向功能監管?!?/div>
              • 盛京銀行就網上傳播的虛假信息發布聲明:業務發展和監管指標持續改善
                14閱讀 0條評論 個贊
                盛京銀行發布關于網傳不實信息的聲明稱,近日,本行關注到部分自媒體轉載或發表嚴重不實言論,擾亂金融秩序。對此,本行已采取法律手段維護合法權益?!?/div>
              最近發布資訊
              更多
              大乱纶一级A片
                1. <menuitem id="xgxcv"><dfn id="xgxcv"></dfn></menuitem>