Note
Access to this page requires authorization. You can try signing in or changing directories.
Access to this page requires authorization. You can try changing directories.
最近在協助客戶驗證使用 SQL Server 2005 來處理超過 10 億筆的資料匯入並建立索引。要處理這麼大量資料的例子還是第一次,所以做了一些功課,透過這個 Blog 整理給有需的的人參考。
在 Strategies for Partitioning Relational Data Warehouses in Microsoft SQL Server 文中提到,在規畫一個大型的資料倉儲時,必須考慮下列要點:
- Data volume
- Data loading window
- Index maintenance window
- Workload characteristics
- Data aging strategy
- Archive and backup strategy
- Hardware characteristics
文中主要說明在規劃 VLDB 時使用 Partitioned Table 和 Single Table 的差異與規劃點。
另外關於將資料匯入的規劃方面,在 Microsoft SQL Server Development Customer Advisory Team 的 Blog 文章:Load 1TB in less than 1 hour 文中說明如何在一小時內 Bulk Insert 1TB 的資料。文中並分享了 Bulk Insert 大量資料的 Best Practices,非常值得有需求的您參考。
先寫到這裡,未來會陸續更新。