banner

[Rule] Rules  [Home] Main Forum  [Portal] Portal  
[Members] Member Listing  [Statistics] Statistics  [Search] Search  [Reading Room] Reading Room 
[Register] Register  
[Login] Loginhttp  | https  ]
 
Forum Index Thảo luận hệ điều hành *nix Lỗi gây ra bởi leap second  XML
  [Discussion]   Lỗi gây ra bởi leap second 03/07/2012 10:57:10 (+0700) | #1 | 266002
monday1010
Member

[Minus]    0    [Plus]
Joined: 13/12/2008 23:18:55
Messages: 33
Offline
[Profile] [PM]
Hi

Hôm nay có đọc được về hiện tượng leap second xảy ra vào cuối ngày 30/6, mình hiểu nôm na là giây nhuận do trái đất quay chậm lại smilie

Tìm hiểu trên wiki : http://en.wikipedia.org/wiki/Leap_second

Thấy thông tin nó ảnh hưởng tới các server chạy Linux :

"A number of organizations reported computer problems following the June 30, 2012, leap second. Among the sites which reported problems were reddit (Apache Cassandra), Mozilla (Hadoop), Qantas Airlines, and various sites running Linux"

Chưa rõ lắm nó ảnh hưởng thế nào mà "down" cả server được, mọi người có thông tin gì về vấn đề này xin chia sẻ.
[Up] [Print Copy]
  [Discussion]   Lỗi gây ra bởi leap second 03/07/2012 11:41:57 (+0700) | #2 | 266006
[Avatar]
conmale
Administrator

Joined: 07/05/2004 23:43:15
Messages: 9353
Location: down under
Offline
[Profile] [PM]

monday1010 wrote:
Hi

Hôm nay có đọc được về hiện tượng leap second xảy ra vào cuối ngày 30/6, mình hiểu nôm na là giây nhuận do trái đất quay chậm lại smilie

Tìm hiểu trên wiki : http://en.wikipedia.org/wiki/Leap_second

Thấy thông tin nó ảnh hưởng tới các server chạy Linux :

"A number of organizations reported computer problems following the June 30, 2012, leap second. Among the sites which reported problems were reddit (Apache Cassandra), Mozilla (Hadoop), Qantas Airlines, and various sites running Linux"

Chưa rõ lắm nó ảnh hưởng thế nào mà "down" cả server được, mọi người có thông tin gì về vấn đề này xin chia sẻ.
 


Trên hệ thống tớ quản lý có hơn 500 VM instances chạy RHEL 6 và gần như 100% bị treo vào khoảng 10:00am ngày 1/7/2012 giờ Brisbane, Australia (sáng Chủ Nhật vừa rồi). Đây cũng chính là 00:00 giờ UTC giao điểm giữa ngày 30/6/2012 và 1/7/2012 tại múi giờ UTC.

Hiện tượng "treo" là CPU lên cực kỳ cao (có server lên > 100), có server hoàn toàn tê liệt. Khi check system log thì thấy dòng:

Code:
BUG: spinlock lockup on CPU#1, ntpd/3128


Đây là lỗi ở tầng kernel chưa được vá để xử lý lúc chuyển tiếp từ 23:59:00 đến 00:00:00 ngày hôm sau (cho nên gọi là "leap second"smilie. Nguyên do là daemon ntpd gọi hàm adjtimex để kernel điều chỉnh time bằng cách thêm 1 "leap second" vào system clock. Việc này tạo ra deadlock khiến kernel bị panic và bận rộn xử lý panic trong khi những tasks khác dồn ứ cho nên CPU tăng cao và dẫn đến tê liệt.

Để fix cái này chỉ cần disable ntpd rồi restart lại server. Đợi vài giờ rồi start ntpd lên lại.
What bringing us together is stronger than what pulling us apart.
[Up] [Print Copy]
  [Discussion]   Lỗi gây ra bởi leap second 03/07/2012 21:54:09 (+0700) | #3 | 266043
monday1010
Member

[Minus]    0    [Plus]
Joined: 13/12/2008 23:18:55
Messages: 33
Offline
[Profile] [PM]
Những thông tin của anh conmale cung cấp thật hữu ích. Đoạn trên chắc ý anh conmale là chuyển tiếp từ 23:59:59 đến 00:00:00 ngày hôm sau smilie

[Up] [Print Copy]
[digg] [delicious] [google] [yahoo] [technorati] [reddit] [stumbleupon]
Go to: 
 Users currently in here 
1 Anonymous

Powered by JForum - Extended by HVAOnline
 hvaonline.net  |  hvaforum.net  |  hvazone.net  |  hvanews.net  |  vnhacker.org
1999 - 2013 © v2012|0504|218|