大數(shù)據(jù)測試需要掌握哪些知識？

1.什么是大數(shù)據(jù)？

大數(shù)據(jù)是一個龐大的數(shù)據(jù)集，傳統(tǒng)計(jì)算技術(shù)無法處理。這些數(shù)據(jù)集的測試需要使用各種工具、技術(shù)和框架來處理。大數(shù)據(jù)涉及數(shù)據(jù)創(chuàng)建、存儲、檢索和分析，在數(shù)量、多樣性和速度方面都很出色。它是一種海量、高增長、多元化的信息資產(chǎn)，需要新的處理模式來擁有更強(qiáng)的決策力、洞察和發(fā)現(xiàn)能力以及流程優(yōu)化能力。

2.大數(shù)據(jù)測試類型

測試大數(shù)據(jù)應(yīng)用更多的是驗(yàn)證其數(shù)據(jù)處理，而不是測試軟件產(chǎn)品的單個功能。說到大數(shù)據(jù)測試，性能和功能測試是關(guān)鍵。處理有三種類型:

一批

實(shí)時

交互在測試一個應(yīng)用之前，需要檢查數(shù)據(jù)的質(zhì)量，并將其作為數(shù)據(jù)庫測試的一部分。它涉及檢查各種字段，如一致性、準(zhǔn)確性、重復(fù)性、一致性、有效性、數(shù)據(jù)完整性等等。

3.容錯測試

它可以從部分故障中自動恢復(fù)，整體性能不會受到驗(yàn)證的影響。特別是當(dāng)出現(xiàn)故障時，大數(shù)據(jù)分析系統(tǒng)在恢復(fù)的同時要繼續(xù)以可接受的運(yùn)行，在出現(xiàn)錯誤時也能在一定程度上繼續(xù)運(yùn)行。需要根據(jù)應(yīng)用場景設(shè)計(jì)解決方案和具體部署，然后手動測試。

4.可用性測試

高可用性是大數(shù)據(jù)分析不可或缺的特性之一，從而保證了數(shù)據(jù)應(yīng)用業(yè)務(wù)的連續(xù)性。大數(shù)據(jù)的高可用性對于很多應(yīng)用來說非常關(guān)鍵，需要嚴(yán)格的測試和驗(yàn)證，主要是人工測試。

5.延展性測試

彈性可擴(kuò)展性對于大數(shù)據(jù)時代的文件系統(tǒng)尤為重要。文件系統(tǒng)的可伸縮性測試主要包括測試系統(tǒng)的彈性可伸縮性(擴(kuò)展/收縮)和擴(kuò)展系統(tǒng)帶來的性能影響，驗(yàn)證是否具有線性可伸縮性，主要通過手工測試。

6.穩(wěn)定性試驗(yàn)

大數(shù)據(jù)分析系統(tǒng)通常是長時間連續(xù)運(yùn)行的，穩(wěn)定性的重要性不言而喻。穩(wěn)定性測試主要驗(yàn)證系統(tǒng)在長時間(7/30/180/365*24)后是否還能正常運(yùn)行，功能是否正常。穩(wěn)定性測試通常以自動化的進(jìn)行，LTP、10ZON

SQLServer主從數(shù)據(jù)同步，如何解決延時？

SQLServer中的高可用性功能在工作中使用SQLServer的高可用性功能的場景是數(shù)據(jù)庫主從復(fù)制。有三種功能可以使用:復(fù)制、鏡像和日志傳輸。復(fù)制(發(fā)布-訂閱模式):

嚴(yán)格來說，復(fù)制不是為高可用性而設(shè)計(jì)的功能，但它可以應(yīng)用于高可用性。復(fù)制在數(shù)據(jù)庫對象級別提供保護(hù)。復(fù)制使用發(fā)布-訂閱模式，即主服務(wù)器(稱為發(fā)布服務(wù)器)將數(shù)據(jù)發(fā)布到一個或多個輔助服務(wù)器或訂閱服務(wù)器。這些服務(wù)中提供復(fù)制功能。服務(wù)器提供實(shí)時可用性和可伸縮性。它支持為訂閱者提供數(shù)據(jù)子集的篩選，還支持分區(qū)更新。訂閱者是聯(lián)機(jī)的，可以用于報(bào)表或其他功能，而無需查詢恢復(fù)。

SQLServer提供四種類型的復(fù)制:快照復(fù)制、事務(wù)復(fù)制、對等復(fù)制和合并復(fù)制。

我們一般選擇快照復(fù)制或者事務(wù)復(fù)制。兩者的概念介紹如下:

快照復(fù)制

1.概念快照復(fù)制是完全根據(jù)數(shù)據(jù)和數(shù)據(jù)庫對象出現(xiàn)時的狀態(tài)來復(fù)制和分發(fā)數(shù)據(jù)和數(shù)據(jù)庫對象的過程。快照復(fù)制不需要持續(xù)監(jiān)視數(shù)據(jù)更改，因?yàn)榘l(fā)布的數(shù)據(jù)更改不會以增量傳播到訂閱服務(wù)器，而是定期復(fù)制一次。

2.適用性數(shù)據(jù)主要是靜態(tài)的，比如將一個數(shù)據(jù)倉庫復(fù)制到一個數(shù)據(jù)集市中，這允許在一段時間內(nèi)使用過時的數(shù)據(jù)副本。小批量數(shù)據(jù)站點(diǎn)通常是斷開的，可以接受高延遲。

事務(wù)復(fù)制

1.該概念使用事務(wù)復(fù)制，初始快照數(shù)據(jù)將傳播到訂閱服務(wù)器，因此訂閱服務(wù)器有所謂的初始加載，即可以啟動的內(nèi)容。當(dāng)發(fā)布服務(wù)器上發(fā)生數(shù)據(jù)修改時，這些單獨(dú)的事務(wù)將被及時捕獲并復(fù)制到訂閱服務(wù)器。并保持交易邊界。當(dāng)所有更改都傳播后，所有訂閱服務(wù)器都將具有與傳播服務(wù)器相同的值。

2.在適用的情況下，數(shù)據(jù)修改通常會在發(fā)生后的幾秒鐘內(nèi)傳播到訂閱服務(wù)器，其事務(wù)是原子事務(wù)的訂閱服務(wù)器需要創(chuàng)建一個發(fā)布-訂閱數(shù)據(jù)庫服務(wù)器，該服務(wù)器的名稱不能是IP，而只能是特定的服務(wù)器名稱，例如: