Giáo trình Kết nối mạng trung tâm dữ liệu kiến trúc server farm và hướng dẫn thiết kế

42 trang huongle 3500

Download

Bạn đang xem 20 trang mẫu của tài liệu "Giáo trình Kết nối mạng trung tâm dữ liệu kiến trúc server farm và hướng dẫn thiết kế", để tải tài liệu gốc về máy bạn click vào nút DOWNLOAD ở trên

Tài liệu đính kèm:

giao_trinh_ket_noi_mang_trung_tam_du_lieu_kien_truc_server_f.pdf

Nội dung text: Giáo trình Kết nối mạng trung tâm dữ liệu kiến trúc server farm và hướng dẫn thiết kế

KẾT NỐI MẠNG TRUNG TÂM DỮ LiỆU KiẾN TRÚC SERVER FARM VÀ HƯỚNG DẪN THIẾT KẾ TERRY SEETO GIÁM ĐỐC GiẢI PHÁP KINH DOANH CISCO CHÂU Á THÁI BÌNH DƯƠNG CCIE #3119 © 2005 Cisco Systems, Inc. All rights reserved. 1
Nội dung Cơ sở hạ tầng trung tâm dữ liệu • Tổng quan về kiến trúc Server Farm • Yêu cầu thiết kế cho Server Farm • Mô hình thiết kế lớp truy nhập • Ảnh hưởng đến khả năng mở rộng và mật độ • Độ khả dụng cao trong trung tâm dữ liệu • Tổng kết © 2005 Cisco Systems, Inc. All rights reserved. 2
Định nghĩa Lớp truy nhập DC Máy chủ Lớp 2, Lớp 3 và kết nối Mainframe • Yêu cầu lớp 2 và lớp 3 Lõi doanh nghiệp • Gắn đơn và đôi • Chuyển mạch lớp 2, Lõi DC hiệu năng cao, trễ thấp • Hỗn hợp yêu cầu cao • Nhiều lựa chọn Kết hợp DC đường lên • Xử lý STP chỉ cho VLAN được đặt cấu hình • Sử dụng dich vụ tại lớp kết hợp Mainframe Blade Blade w/ OSA L2 w/ Clustering Chassis w/ L3 Chassis w/ and NIC Teaming Integrated Access Pass Thru Switch Truy nhập DC © 2005 Cisco Systems, Inc. All rights reserved. 4
Định nghĩa lớp kết hợp DC Cung cấp dịch vụ An ninh/Ứng dụng dùng chung Lõi doanh nghiệp • Kết hợp các đường truy nhập lên vào lõi DC • Tải xử lý STP lớn • Cung cấp ứng dụng tiên tiến và chức năng an ninh thông qua các mô đun dịch vụ Mô đun dịch vụ • Duy trì trạng thái phiên và bảng kết nối cho dự phòng • Những dịch vụ này là gì? Mainframe Blade Blade w/ OSA L2 w/ Clustering Chassis w/ Truy Chassis w/ and NIC Teaming Integrated nhập lớp Pass Thru Switch 3 Truy nhập DC © 2005 Cisco Systems, Inc. All rights reserved. 5
Định nghĩa lớp kết hợp DC Các dịch vụ tích hợp Các dịch vụ lớp 4 – 7: FW, SLB, SSL, IDS + • Các dịch vụứng dụng và an ninh có thể được triển khai như: Dụng cụ Phiến dịch vụ • Phiến dịch vụ như phiến tường lửa và phiến cân bằng tải cung cấp các chức năng trạng thái dựa trên phần cứng • Các phiến tích hợp làm tối ưu hóa không gian giá, quản lý cấu hình và đi cáp • Cung cấp độ linh hoạt cao nhất và kinh tế quy mô © 2005 Cisco Systems, Inc. All rights reserved. 6
Định nghĩa lớp tích hợp DC Đường giao tiếp máy chủ đến máy chủ Tồn tại những loại lưu lượng máy chủ tới máy chủ nào? Tương tác nhiều lớp, Dự phòng, Nhân bản, Thông điệp nhóm, Lưu trữ qua IP Lõi DC Kết hợp Truy nhập • Mô đun kết hợp có thể cung cấp tuyến giao tiếp sơ cấp cho lưu lượng giữa các máy chủ • Sự xuất hiện của lưu lượng phi truyền thống • Tạo nên dự phòng và số lượng các đường lên 10GE ít hơn • Máy chủ được cung cấp với PCI-X NIC’s và GE • Quy hoạch băng thông cho dung lượng máy chủ thực trong tương lai © 2005 Cisco Systems, Inc. All rights reserved. 7
Định nghĩa lớp DC lõi Ma trận chuyển mạch tốc độ cao cho các mô đun kết hợp Lõi doanh nghiệp DC Core Mô đun kết hợp 1 Mô đun kết hợp 2 Kết hợp GE/10GE GE/10GE Truy nhập N x 100 máy chủ N x 100 máy chủ • Liên kết các mô đun AGG • Cách biệt miền gây lỗi • Mở rộng những đường kính STP lớn • Cải thiện mở rộng 10GE • Quy hoạch và xây dựng trước lõi DC © 2005 Cisco Systems, Inc. All rights reserved. 8
Định nghĩa ma trận chuyển mạch máy chủ DC Ma trận chuyển mạch máy chủ cho lưu lượng liên máy chủ • Ma trận chuyển mạch máy Mạng lưu trữ chủ kiến tạo theo mục tiêu, cho phép: FC Hạ tầng IP Ma trận chuyển mạch RDMA trễ thấp máy chủ Ethernet Ảo hóa máy chủ Infiniband Tính toán Lưới/Tiện ích • Môi trường Cluster Ethernet Tạo cluster cơ sở dữ liệu Tạo cluster HA WINWIN Tạo cluster HPC NASNAS UNIXUNIX Máy chủ phiến Ma trận máy Ma trận máy Máy chủ chủảo#1 chủảo#2 • Chuyển mạch Gateway UNIX/Windows sang IP và lớp lưu trữ Linux/Windows (phiến) • Mới, hiện đại, vẫn đang Enterprise GRID chín muồi © 2005 Cisco Systems, Inc. All rights reserved. 9
Khi nào cần có lân cận lớp 2? Thỏa mãn yêu cầu ứng dụng Server Farm • Tạo Cluster: các ứng dụng thường được thực thi trên Ứng dụng nhiều máy chủ được tạo Microsoft cluster để xuất hiện như .NET một thiết bị đơn nhất; chung cho các yêu cầu HA và cân bằng tải; (Windows Ứng dụng Java, MSCS và NLB) J2EE • Phần mềm tạo nhóm NIC yêu cầu lân cận lớp 2 giữa các NIC cùng nhóm © 2005 Cisco Systems, Inc. All rights reserved. 11
Định nghĩa Lân cận lớp 2 “Lân cận lớp 2 giữa các máy chủ có nghĩa là các máy chủ này nằm trong cùng miền quảng bá. Khi các máy chủ là lân cận lớp 2, mỗi máy chủ nhận được tất cả các gói tin multicast và quảng bá từ máy chủ khác.” Packet Magazine: Quý hai, 2005 Thiết kế Lớp truy nhập trung tâm dữ liệu © 2005 Cisco Systems, Inc. All rights reserved. 12
Định nghĩa máy chủ nhóm (clustered) Các nhóm cho độ khả dụng cao • Mục tiêu chung: tập hợp nhiều máy Giao diện mặt trước chủ để thể hiện như một hệ thống thống nhất nhờ phần mềm đặc biệt và kết nối mạng • Nhóm với 2 nút HA có thể sử dụng cáp nối chéo riếng để trao đổi dữ liệu, trạng thái phiên, giám sát Server-A Server-B Mạng Cluster với 2 nút • Hai hay nhiều máy chủ dùng bọ -Kết nối cáp chéo chyển mạch để cung cấp kết nối tại vùng lớp 2 cách biệt/VLAN Giao diện mặt trước • Ví dụ: Dịch vụ nhóm MS-Windows 2003 Advanced Server 2003 Cluster Service (MSCS), cho Exchange and SQL Servers (tối đa 8 nút) A B C • Veritas Clustering cho HA • Cần có lân cận lớp 2 Mạng cluster với 2 hay nhiều nút Chạy trên chuyển mạch VLAN © 2005 Cisco Systems, Inc. All rights reserved. 13
Định nghĩa máy chủ nhóm Nhóm phân phối tải Server-Based NLB Uses • Các ứng dụng giao dịch/dựa Flooding: Multicast trên HTTP được “ghép Address Used in Arp nhóm” với mục tiêu mở rộng Reply for Server IP (ví dụ MSCS NLB, đến 32 nút Front-End Interface mạng • Khoảng lớp 2 được dùng để “multicast” mọi gói tin đến A B C đến mọi máy chủ trong nhóm (cần có Lân cận lớp 2) Cluster Network • Một địa chỉ IP được gắn với To VIP địa chỉ MAC multicast trong SLB Hardware: phản hồi arp nhóm Use Unicast- (Windows) To Reals Based Solution • Các bộ cân bằng tải được chế tạo đặc biệt cung cấp phần cứng tiêu chuẩn dựa trên giải pháp unicast hỗ trợ hàng trăm nút mạng A B C Cluster Network © 2005 Cisco Systems, Inc. All rights reserved. 14
Định nghĩa máy chủ nhóm Tạo nhóm CSDL • Mục tiêu: cải thiện thời gian khóa CSDL và cho phép quét song song hiệu quả Mạng lưu trữ hơn Hạ tầng IP Ma trận chuyển mạch • Ví dụ nhóm CSDL máy chủ Gateway đa giao thức Oracle 10g RAC IBM DB2 Parallel SQL Server Máy chủ Máy chủ ứng dụng ứng dụng MySQL Cluster • Cách tiếp cận lưu trữ Dùng chung mọi thứ Khóa FS IBM MySQL Cluster Oracle RAC IBM DB2 Không dùng chung DB2 Parallel Parallel Cắt miếng CSDL Nhóm CSDL trên Nhóm CSDL trên Ethernet Infiniband • Các lựa chọn kết nối theo chuẩn Ethernet, Infiniband Trễ thấp + băng© 2005 thông Cisco Systems, cao Inc. All rights reserved. 15
Định nghĩa máy chủ nhóm Các nhóm tính toán hiệu năng cao (HPC) Những ứng dụng đặc thù • Tạo ảnh động • Địa chấn học • Khai thác dầu Implementations are very • Sinh hóa customized and rarely alike • Phân tích tài chính • Thông lệ chung cho thuê môi trường HPC Có thể là giao diện/hạ Hệ thống file chung E tầng chung th e rn e t (N F Nút tính toán S Ethernet, Infiniband , (đến hàng chục iS C M S Back End ngàn) NAS, SAN Ethernet I ặ ) , t tr F C Nút chính , I ướ B (có thể nhiều) G a c te w a y Mặt sau để đồng bộ nút/chia sẻ dữ liệu bằng các giao thức IP/TCP hay RDMA (MPI, uDAPL, SDP, SRP) © 2005 Cisco Systems, Inc. All rights reserved. 16
Định nghĩa máy chủ nhóm Yêu cầu/Ảnh hưởng của các nhom HPC • Có thể cần Lân cận lớp 2 giữa các nút tính toán (phụ thuộc vài ứng dụng) Công cộng Lớp truy nhập • Hệ thống file dùng chung cho các nút tính toán Các nút Kết hợp • Độ trễảnh hưởng lớn chủ đến hiệu năng • Nhân viên mạng và hệ thống thường không trao Riêng Access Layer Ethernet, đổi rõ ràng các nhu cầu Đồng bộ nút Infiniband, tạo nhóm và chia sẻ Myrinet, dữ liệu với Nút tính Quadrics • Ai xác định máy chủ sẽ MPI/DAPL/ toán đưa vào nhóm? Cùng SDP giá? Hàng? File System • Các tuyến lên lớp truy nhập có bịảnh hưởng Lớp truy nhập không? GE đến NAS, FC SAN, iSCSI) © 2005 Cisco Systems, Inc. All rights reserved. 17
Máy chủ nhóm Ảnh hưởng của thiết kế mạng • Máy chủ-A và máy chủ B giao tiếp trên lớp 2 để trao đổi trạng thái, phiên và các Kết hợp thông tin khác • Máy chủ (2 hay nhiều) trong nhóm có thể nằm tại các bộ Trung kế chuyển mạch truy nhập khác nhau – mở rộng VLAN và đường kính Tree diameter VLAN 10 • Ma trận nhóm máy chủ đến máy chủ có thể yêu cầu Máy chủ-A Máy chủ-B tuyến lên băng thông lớn hơn (GEC, 10GE) © 2005 Cisco Systems, Inc. All rights reserved. 18
Yêu cầu máy chủ phiến Các lựa chọn kết nối Sử dụng mô đun nối thông Sử dụng chuyển mạch Ethernet tích hợp Lớp kết hợp Chuyển mạch lớp 2 ngoài Chuyển mạch lớp 2 tích hợp Khung máy chủ phiến Giao diện1 Khung máy chủ phiến Giao diện2 © 2005 Cisco Systems, Inc. All rights reserved. 19
Mô hình thiết kế với truy nhập lớp 2 Định nghĩa truy nhập lớp 2 • Truy nhập lớp 2 cung Lõi DC cấp lân cận lớp 2 giữa p3 ớ những máy chủ trong L các bộ chuyển mạch truy nhập Kết hợp • Điều này không có g n ụ q nghĩa phải chuyển .1 d 2 ử 0 không cân thiết tất cả s 8 2 ê VLAN qua mọi bộ p k ớ g L n chuyển mạch truy nhập u tr • Xử lý lớp 3 trước tiên được thực hiện trong lớp kết hợp • Topo lớp 2 gồm có looped, loop free, và hub và spoke © 2005 Cisco Systems, Inc. All rights reserved. 21
Mô hình thiết kế với truy nhập lớp 2 Thiết kế hữu hoàn • VLAN được mở rộng giữa các chuyển mạch Root sơ cấp Root thứ cấp kết hợp, tạo ra topo HSRP sơ cấp HSRP thứ cấp khép vòng F F • Spanning Tree được sử F F dụng để ngăn chặn các .1Q Trunk F F F vòng thực sự (Rapid F F F F F PVST+, MST) F B • Tuyến dự phòng tồn tại B F B F B F thông qua đường lên thứ hai bị khóa • Tuyến dự phòng sẽ chuyển tiếp khi tuyến sơ cấp bị mất © 2005 Cisco Systems, Inc. All rights reserved. 22
Mô hình thiết kế với truy nhập lớp 2 Thiết kế hữu hoàn (looped) • Các dịch vụ như firewall và cân bằng tải có thể được Lõi DC triển khai tại lớp kết hợp và dùng chung trên nhiều bộ chuyển mạch lớp truy nhập • VLAN chủ yếu nằm giữa .1Q Trunk các cặp chuyển mạch truy nhập • VLAN có thể được cung cấp trên bộ chuyển mạch truy nhập khác nếu cần với các lý do quản trị • Tạo nhóm NIC và tạo cụm có thể được hỗ trợ trên Máy chủ 3 các mô đun lớp truy nhập Máy chủ 1 Máy chủ 2 Máy chủ 4 Máy chủ 5 Tủ máy 1 Tủ máy 2 © 2005 Cisco Systems, Inc. All rights reserved. 23
Mô hình thiết kế với Truy nhập lớp 2 Nhược điểm của thiết kế hữu hoàn lớp 2 • Nhược điểm chính: nếu có vòng xuất hiện, mạng có thể trở nên không quản lỷ được do sự nhân 0000.0000.3333 bản khung vô hạn • Các tính năng mới cộng DST MAC 0000.0000.4444 thêm thông lệ tối ưu cải 3/2 3/2 thiện độ ổn định và ngăn chặn điều kiện vòng 3/1 3/1 UDLD Switch 1 Switch 2 DST MAC 0000.0000.4444 Loopguard Rootguard BPDUguard © 2005 Cisco Systems, Inc. All rights reserved. 24
Mô hình thiết kế với Truy nhập lớp 2 Thiết kế phi hoàn (loop free) • Mỗi cặp chuyển mạch Lõi DC truy nhập được ấn định một nhóm VLAN đặc thù cho cặp đó Layer 3 Link • Giữa các bộ chuyển mạch kết hợp không có VLAN VLAN 10 VLAN 20 • Spanning Tree được kích hoạt nhưng không cổng nào bị khóa • Mọi tuyến đều chuyển tiếp • Tạo nhóm NIC và tạo cụm 10.10.10.0 10.10.20.0 có thể được hỗ trợ trong VLAN 10 Gateway 10.10.10.1 các mô đun lớp truy nhập VLAN 20 Gateway 10.10.20.1 © 2005 Cisco Systems, Inc. All rights reserved. 25
Mô hình thiết kế với Truy nhập lớp 2 Nhược điểm của thiết kế phi hoàn • Nếu trung kế giữa Lõi DC các cặp chuyển mạch truy nhập đứt, đường IP về có thể bị Layer 3 Link đứt may be broken • VLAN cần được hạn VLAN 10 VLAN 20 chế vào cặp chuyển mạch truy nhập • Nếu VLAN được mở rộng giữa các mô đun lớp truy nhập, 10.10.10.0 10.10.20.0 khi đósẽ xảy ra khóa VLAN 10 Gateway 10.10.10.1 STP VLAN 20 Gateway 10.10.20.1 © 2005 Cisco Systems, Inc. All rights reserved. 26
Mô hình thiết kế với Truy nhập lớp 3 Định nghĩa truy nhập lớp 3 • Các bộ chuyển mạch lớp 3 nối tới Kết hợp bằng một subnet riêng • Định tuyến lớp 3 trước hết Lõi DC Lõi DC được thực hiện trong chính bộ chuyển mạch truy nhập • Các tuyến lớp 2 giữa các cặp chuyển mạch truy nhập hỗ trợ Kết hợp DC các yêu cầu lân cận lớp 2 (hạn chế tới các cặp chuyển mạch truy nhập) • Mọi đường lên được kích hoạt, không có khóa spanning tree Truy nhập DC • Thời gian hội tụ thường tốt hơn so với Spanning Tree (Rapid PVST+ is close) • Cung cấp sự cách biệt/đặt cho các máy chủ bị quảng bá ảnh hưởng © 2005 Cisco Systems, Inc. All rights reserved. 27
Mô hình thiết kế với Truy nhập lớp 3 Các lợi ích khác của Lớp 3 • Giảm miền quảng bá làm tăng mức độ ổn định DC Core Lõi DC • Thỏa mãn yêu cầu ổn định của máy chỉ hoặc làm cách biệt môi trường của ứng dụng nhất định Kết hợp DC • Tất cả tuyến lên là đường khả dụng, không khóa (tối đa đến ECMP) Truy nhập • Lựa chọn đường cho tuyến DC lên cân bằng tải với GLBP hay cấu hình HSRP nhân công • Có thể có thời gian hội tụ rất tốt © 2005 Cisco Systems, Inc. All rights reserved. 28
Mô hình thiết kế với Truy nhập lớp 3 Nhược điểm của thiết kế lớp 3 • Tạo cụm và tạo nhóm NIC bị hạn chế vào các Lõi DC Lõi DC cặp truy nhập • Quản lý không gian địa chỉ IP Kết hợp DC • Ảnh hưởng đến các Mô đun dịch vụ (slide sau) Truy nhập DC © 2005 Cisco Systems, Inc. All rights reserved. 29
Khi nào sử dụng Truy nhập lớp 2 hay lớp 3 Ảnh hưởng tới Mô đun dịch vụ • Có thể cấn các yêu cầu lân cận lớp 2 giữa máy chủ và mô đun dịch vụ • Chú ý tới mô đun dịch vụ tích Layer 3 Link cực/dự phòng so với vận hành dạng tích cực/tích cực Agg1 Agg2 • Các mô đun dịch vụ yêu cầu lân VLAN 10 cận lớp 2 cho đồng bộ trạng thái và phiên • Sử dụng theo dõi giao diện mô đun dịch vụ và các tính năng giám sát 10.10.10.0 10.10.20.0 © 2005 Cisco Systems, Inc. All rights reserved. 30
So sánh truy nhập lớp 2 và lớp 3 Yêu cầu của tôi là gì? Kết hợp Kết hợp L3 Links Truy nhập OSPF, EIGRP Truy nhập Rapid PVST+, or PVST+ Lớp2 Lớp3 Khi lực chọn thiết kế cần quan tâm đến: • Khó khăn khi quản lý vòng • Các yêu cầu ứng dụng đặc thù • Kỹ năng nhân viên – thời gian quyết định • Định cỡ miền quảng bá • Tính chất hội tụ • Yêu cầu đăng ký quá tải • Tạo nhóm NIC – lân cận • Mức sử dụng tuyến lên • Tạo cụm HA – lân cận • Khả năng mở rộng VLAN © 2005 Cisco Systems, Inc. All rights reserved. 31
Ảnh hưởng của mật độ và khả năng mở rộng Mô hình chuyển mạch lớp truy nhập mô đun và 1RU • Vấn đề? Mật độ máy chủ Quản lý Đăng ký quá nhiều Dự phòng thiết bị Dự phòng Đi cáp Khả năng mở rộng STP Môi trường • Giải pháp đúng hoàn toàn dựa trên yêu cầu kinh doanh • Có thể thực hiện và đã có triển khai lai ghép © 2005 Cisco Systems, Inc. All rights reserved. 33
Độ khả dụng cao trong trung tâm dữ liệu Độ khả dụng cao của máy chủ Các điểm sự cố chung 1. Bộ thích ứng mạng máy chủ 2. Cổng trong bộ thích ứng máy chủ nhiều cổng L3 L2 3. Môi trường mạng (truy nhập máy chủ) 4. Môi trường mạng (tuyến lên) 5. Cổng chuyển mạch truy nhập 6. Mô đun chuyển mạch truy nhập 7. Chuyển mạch truy nhập Những vấn đề sự cố mạng này có thể được Không có khuyến nghị Có khuyến nghị HA giải quyết bằng cách triển khai máy chủ ghép HA trung tâm dữ liệu trung tâm dữ liệu đôi với phần mềm tạo nhóm thích ứng mạng © 2005 Cisco Systems, Inc. All rights reserved. 35
Độ khả dụng cao trong trung tâm dữ liệu Gắn máy chủ: Nhiều NIC Bạn có thể ghép nhiếu tuyển để cho phép tạo ra băng thông cao hơn giữa máy chủ và máy khách L3 L2 Chỉ 1 link tích cực: Chế độ chịu lỗi Tất cả link tích cực: Kênh Cân bằng tải Etherchannels © 2005 Cisco Systems, Inc. All rights reserved. 36
Độ khả dụng cao trong trung tâm dữ liệu Thời gian chuyển đổi • Thời gian chuyển đổi tổng thể là tổ hợp hội tụ tại Lớp 2,3,4 • Các thiết bị trạng thái nhân bản thông tin kết nối và thường chuyển đổi trong vòng 3 giây • EtherChannels 8s Hội tụ lớp 4 ~ 3s Hội tụ lớp 2 Hội tụ lớp 3 Failover Time © 2005 Cisco Systems, Inc. All rights reserved. 37
Độ khả dụng cao trong trung tâm dữ liệu NSF/SSO • NSF/SSO là cơ chế dự phòng của giám NSF-Aware NSF-Aware sát viên cho chuyển đổi bên trong giá • SSO đồng bộ trạng thái giao thức lớp 2, bảng lớp 2/3 phần cứng (MAC, FIB, bảng lân cận), ACL và bảng QoS • SSO đồng bộ trạng thái cho: trung kế, giao diện, EtherChannels, an ninh cổng, SPAN/RSPAN, STP, UDLD, VTP • NSF với EIGRP, OSPF, IS-IS, BGP cho phép không tạo ra route flapping khi khôi phục © 2005 Cisco Systems, Inc. All rights reserved. 38
Tổng kêt • Cần hiểu biết các ứng dụng, tạo cụm và yêu cầu HA máy chủ để thiết kế hiệu quả lớp truy nhập DC • Giao tiếp tốt với nhân viên quản trị hệ thống trong các lĩnh vực STP, kéo dài VLAN, đi cáp và yêu cầu về 10GE • Hiểu ảnh hưởng của các bộ chuyển mạch lớp truy nhập 1RU và mô đun hóa • Tạo nhóm NIC có thể mở rộng đáng kể kiến trúc HA © 2005 Cisco Systems, Inc. All rights reserved. 40