Data file Farm - .:: HVAOnline ::.

English | Vietnamese

Rules

Main Forum

Portal

Member Listing

Statistics

Search

Reading Room
[Register]

Login [ | https ]

Forum Index

Thảo luận hệ điều hành *nix

Data file Farm

[Question] Data file Farm	29/06/2011 14:48:31 (+0700) \| #1 \| 242370

centos
Member

Joined: 28/03/2008 17:13:12
Messages: 219
Offline

Hiện mình có khoảng 10 con server hoạt động, mỗi con mình dư khoảng 150Gb dung lượng ổ cứng không sử dụng đến. Như vậy, mình dư khoảng 1,5TB dung lượng ổ cứng và để tận dụng dung lượng này mình dự tính xây dựng một farm để chia sẽ file hoặc làm nơi chứa file backup (dự liệu không quan trọng lắm) tận dụng 1,5TB dư này. Cho mình hỏi có một giải pháp farm nào cho nhu cầu này không?

[Question] Data file Farm	05/07/2011 11:39:05 (+0700) \| #2 \| 242786

quanta
Moderator

Joined: 28/07/2006 14:44:21
Messages: 7265
Location: $ locate `whoami`
Offline

Bạn thử tìm hiểu GlusterFS hoặc Lustre xem.

Let's build on a great foundation!

[Question] Data file Farm	11/07/2011 15:46:14 (+0700) \| #3 \| 243262

centos
Member

Joined: 28/03/2008 17:13:12
Messages: 219
Offline

quanta wrote:

Bạn thử tìm hiểu GlusterFS hoặc Lustre xem.

Thanks quanta, mình đang tìm hiểu thử GFS trên centos. Nhưng về định nghĩa đó thì nó vẫn còn mơ hồ nhiều quá

[Question] Data file Farm	12/07/2011 20:47:12 (+0700) \| #4 \| 243391

myquartz
Member

Joined: 04/01/2005 04:58:30
Messages: 563
Offline

Nếu xài để backup thì bacula cũng có ích đấy.

[Question] Data file Farm	13/07/2011 13:29:07 (+0700) \| #5 \| 243440

centos
Member

Joined: 28/03/2008 17:13:12
Messages: 219
Offline

myquartz wrote:

Nếu xài để backup thì bacula cũng có ích đấy.

Thanks bạn, nhưng bacula chỉ backup khi mình đã có một hệ thống stogate sẵn. Và không thể sử dụng các farmserver để làm gia tăng dung lượng lưu trữ

[Question] Data file Farm	14/07/2011 13:37:27 (+0700) \| #6 \| 243502

zeno
Elite Member

Joined: 20/07/2004 03:57:09
Messages: 124
Location: HVA
Offline

Với nhu cầu như của bạn mình nghĩ dùng NFS mount chúng lại với nhau có lẽ hợp lý hơn là dùng 1 Distributed File System vì các hệt thống DFS thường lưu các data blocks giống nhau ở các Datanode khác nhau việc này làm tăng tính High Availability và High Performance nhưng lại giảm Storage Space một cách đang kể trong khi không cần thiết.

[Question] Data file Farm	14/07/2011 15:57:39 (+0700) \| #7 \| 243513

centos
Member

Joined: 28/03/2008 17:13:12
Messages: 219
Offline

Nếu dùng NFS mount thì khá cực thông qua autofs, vì phải phân bổ các thư mục để lưu trữ dự liệu (Nếu dự liệu lưu trữ lớn hơn space disk hiện hành, thì có thể mất dự liệu). Nhưng điều đó không hợp lý cho việc gom các space disk thành một khối để lưu trữ. Hiện nay, có khác nhiều cơ chế để lưu trữ thông qua các datanode. Tùy thuộc vào mục đích sử dụng và yêu cầu. Nếu sử dụng gom tất cả các space disk lại để lưu trữ dự liệu thì sử dụng distribute trên datanode, nếu muốn tăng HA và performance thì sử dụng các cơ chế HA trên datanode.

Tất cả các vấn đề trên sẽ ảnh hưởng rất nhiều đến traffic của network và có nguy cơ làm nghẽn nó nếu phải truyền liên tục với khối lượng dự liệu khổng lồ

[Question] Data file Farm	14/07/2011 16:42:36 (+0700) \| #8 \| 243520

zeno
Elite Member

Joined: 20/07/2004 03:57:09
Messages: 124
Location: HVA
Offline

Nếu dùng NFS mount thì khá cực thông qua autofs,

Mình không thấy NFS có gì cực cả, ít nhất là nhàn hơn mấy cái DFS.

vì phải phân bổ các thư mục để lưu trữ dự liệu (Nếu dự liệu lưu trữ lớn hơn space disk hiện hành, thì có thể mất dự liệu). Nhưng điều đó không hợp lý cho việc gom các space disk thành một khối để lưu trữ.

Trước khi write data thì kiểm tra free space của các vùng được mount. Viết 1 shell script copy file và kiểm tra luôn cho tiện.

Hiện nay, có khác nhiều cơ chế để lưu trữ thông qua các datanode. Tùy thuộc vào mục đích sử dụng và yêu cầu.

Tất cả các vấn đề trên sẽ ảnh hưởng rất nhiều đến traffic của network và có nguy cơ làm nghẽn nó nếu phải truyền liên tục với khối lượng dự liệu khổng lồ

Liên tục và dữ liệu lớn thì nghẽn là đương nhiên smilie

Go to:

Users currently in here
1 Anonymous