Hi all,

Thỉnh thoảng một con server của mình xuất hiện một loạt thông báo trong /var/log/messages

Code:

Sep 14 16:57:53 xxxxsrv kernel: VFS: file-max limit 65536 reached

Thông báo này kéo dài trong khoảng 2, 3 phút, server down. Load average trong khoảng thời gian đó vọt lên cỡ 200 - 400.
 

$ ps -eo pid,user,state,cmd | awk '$3 ~/[RD]/ { print $0 }'

Mình đã kiểm tra lại tham số file-max trong /proc

Code:

[root@xxxxsrv ~]# cat /proc/sys/kernel/file-max
cat: /proc/sys/kernel/file-max: No such file or directory

 

$ cat /proc/sys/fs/file-max 
204883

Mình muốn hỏi mấy vấn đề:
- Có thể tăng giá trị file-max lên được không hay đây là giới hạn của hệ thống? Nếu như tăng lên thì lợi hại thế nào, liệu có thể giải quyết được vấn đề này không?
 

- Hiện tại mình đang nghi là có xảy ra hiện tượng memory leakage trên hệ thống nhưng đang chưa biết xử lý thế nào, debug ra sao?
 

Em muốn hỏi mấy thứ
1. uninterruptible sleep thì ảnh hưởng gì ở đây mà cần kiểm tra, trong trạng thái bình thường cũng có các uninterruptible sleep này cơ mà.
 

2. Việc tăng file-max lên thì có thể, nhưng đâu thể giải thích chung chung là như vậy được. Cái em quan tâm là việc này ảnh hưởng gì đến tính ổn định của hệ thống hay không?
 

Hi quanta,

Đây là một trường hợp phải debug thông qua log, do vậy em rất muốn hỏi các kinh nghiệm cần thiết vì không thể:
- Giả lập được tình huống đó trên thực tế vì thi thoảng mới xẩy ra tình huống đó nhưng đây là hệ thống most-critical nên cần phải giải quyết dứt điểm.
- Khi xuất hiện lỗi đó, average đột ngột tăng lên, hệ thống đờ đẫn ra và không thể nào control được.
 

Thêm nữa, nếu chỉ cố tăng file-max descriptor lên vô cùng thì em nghĩ chưa chắc đã giải quyết được vấn đề vì hoàn toàn có thể phòi ra một cái lỗi tương tự như đã từng xảy ra.
 

PS: máy chủ này 28GB RAM, đã cấu hình HugePages
 

K4i wrote:

Hi quanta,

Đây là một trường hợp phải debug thông qua log, do vậy em rất muốn hỏi các kinh nghiệm cần thiết vì không thể:
- Giả lập được tình huống đó trên thực tế vì thi thoảng mới xẩy ra tình huống đó nhưng đây là hệ thống most-critical nên cần phải giải quyết dứt điểm.
- Khi xuất hiện lỗi đó, average đột ngột tăng lên, hệ thống đờ đẫn ra và không thể nào control được.
 

Thế thì nên thiết lập một hệ thống monitor để khi load average chạm ngưỡng nào đó là alert ngay để còn kịp gõ command chứ để đến khi nó vọt lên vài trăm và "không thể nào control được" thì bó tay.
 

Code:

[user@xxxxsrv ~]$ uname -ra
Linux db09srv.ho.fpt.vn 2.6.9-67.0.22.ELlargesmp #1 SMP Fri Jul 11 10:59:18 EDT 2008 x86_64 x86_64 x86_64 GNU/Linux

 

K4i wrote:

Code:

[user@xxxxsrv ~]$ uname -ra
Linux db09srv.ho.fpt.vn 2.6.9-67.0.22.ELlargesmp #1 SMP Fri Jul 11 10:59:18 EDT 2008 x86_64 x86_64 x86_64 GNU/Linux

 

Hình như bạn K4i này là người quen
Theo mình giờ phải thu nhỏ phạm vi nghi ngờ vào. Xem những ứng dụng chuyên biệt nào đang chạy (ví dụ như server này chỉ chạy db oracle thôi chẳng hạn), tìm xem có bug nào của ứng dụng này đẻ ra cái lỗi đó không?
Nếu vẫn không được thì phải mò:
-Log output của top và lsof ra file 1s 1 lần. Nhớ đặt rotate log không lại teo. Đành phải trâu bò tí vậy chứ biết sao
 

ernel 2.6.9 là quá cũ rùi, nên sử dụng kernel từ 2.6.20 trở lên
có thể bạn đang xài ext2/3 có giới hạn số file ở một thư mục
nếu vậy có thể chuyển sang ext4 nó tốt hơn 

Có thể là bug của Oracle. Bạn vào Metalink search thử 5861703 xem. 

system@PROD1> select version from v$instance;

VERSION
-----------------
10.2.0.4.0

1. Lỗi vẫn lặp. Sau lần cuối cùng lỗi này xuất hiện mình đã tăng tham số lên gấp đôi (65530 x 2). Chưa thấy hiện tượng gì xảy ra.
 

Output của lsof trung bình cỡ khoảng 20k.