Latest posts for the topic "Log server how to"

Log server how to

MrMe — GMT

Chào tất cả anh em. Em mới vào nghề nên ít khinh nghiệm muốn hỏi các bác đi trước vấn đề sau: Em có một dống thiết bị mạng và server. Em muốn tập trung tất cả log của các thiết bị mạng và server đó về 1 máy được ko? Máy đó em cần cài phần mềm gì và cài như thế nào để có thể nhận log từ các máy khác. Nếu có thể các bác cho em biết thêm về cách cấu hình và sử dụng ldap và radius server thì càng tốt. Thanks all.

Log server how to

conmale — GMT

MrMe wrote:

Chào tất cả anh em. Em mới vào nghề nên ít khinh nghiệm muốn hỏi các bác đi trước vấn đề sau: Em có một dống thiết bị mạng và server. Em muốn tập trung tất cả log của các thiết bị mạng và server đó về 1 máy được ko? Máy đó em cần cài phần mềm gì và cài như thế nào để có thể nhận log từ các máy khác. Nếu có thể các bác cho em biết thêm về cách cấu hình và sử dụng ldap và radius server thì càng tốt. Thanks all.

Có hai giải pháp: 1) syslog server chạy trên UNIX: thử nghiên cứu http://www.intersectalliance.com/snareserver/index.html. 2) syslog server chạy trên Windows: thử nghiên cứu http://www.winsyslog.com/en/. Cả hai chọn lựa trên đều tốn tiền (mua) và không nhất thiết sẽ hỗ trợ tất cả các log format từ "đống" thiết bị mạng và server bồ có. Nếu vấn đề kinh phí hạn chế thì thử: http://www.balabit.com/network-security/syslog-ng/ (UNIX) hoặc http://syslog-win32.sourceforge.net/ (Windows). Hai cái này đòi hỏi kiến thức về cả UNIX và Windows vững để config. Về việc "nhân thể", nên tạo chủ đề mới cho từng vấn đề. Không nên gởi nhiều vấn đề chồng chất trong một chủ đề.

Re: Log server how to

lQ — GMT

lQ prefer mô hình: 01 syslog server để lưu trữ và 1 daemon để phân tích. Cụ thể lựa chọn của lQ là syslog-ng và Splunk. :) Trong topic Mỗi tháng 1 công cụ (/hvaonline/posts/list/10498.html) của box Network của pnco có giới thiệu 1 số công cụ dạng này.

Re: Log server how to

quanta — GMT

@MrMe: vụ này sau đó em làm ngon chứ? Hiện tại, mình dự định sẽ dùng syslog-ng + Splunk (hoặc php-syslog-ng). Để đổ logs về từ Event Viewer mình search thấy vài cái tools như: + syslog-ng agent: 'món' này chỉ có trong bản Premium Edition của syslog-ng + Snare Eventlog Agent: mất phí + NTsyslog: cái này free, nhưng log đổ về phân loại không được tốt lắm. Tớ mới ngó qua thì thấy hình như nó không có cả IP của client nữa + EventReporter: 'món' này cũng mất phí luôn + ... Tớ đang thử lần lượt từng 'món' một để quyết định xem nên dùng 'món' nào. Tuy nhiên, anh em nào có kinh nghiệm trong vụ này xin 'quân sư' cho vài 'chiêu'. Ngoài ra, mình cũng còn cần theo dõi log của IIS, Microsoft Exchange, ... và cả đám Cisco + AIX + Red Hat nữa. Không hiểu là việc đổ tất cả log về một con server chạy Linux có thực hiện được không và có nên thực hiện không? Ngoài ra còn cách nào tối ưu hơn không? Nhờ anh em chỉ giúp. Cảm ơn mọi người.

Re: Log server how to

MrMe — GMT

Vụ này em đã cài syslog-ng lên 1 server linux. Với mỗi server, thiết bị đổ log vào log server thì có tạo file riêng. sau đó tạo crontab để logroltale. Việc đổ log vào 1 server em có thử cho thiết bị mạng, solaris và linux thì ok. AIX thì ko có điều kiện tiếp cận nhưng em nghĩ là cũng ok thôi :) . Chỉ có điều bắn nhiều log qua mạng quá làm mạng châm. Em chỉ cho những con quan trong bắn trực tiếp thôi. Những con ít quan trong hơn thì log ở local rồi chạy crontab để đẩy file qua ftp vào những giờ có ít lưu lượng. Cái khoản phân tích log em vẫn chỉ làm bằng tay thôi chưa cài mấy trình phân tích nào cả :( .

Re: Log server how to

mR.Bi — GMT

MrMe xài splunk đi. http://www.splunk.com/download Rảnh làm cái tut gom logs nhé :D

Re: Log server how to

pnco — GMT

@quanta: đổ log từ windows sao không xài thử Datagram SyslogAgent của lQ :P Anh thấy công cụ này rất hay. Còn tất cả các log như IIS,... thì do mình cấu hình thôi. Theo anh thì rất nên có 1 syslog server, không kể trường hợp bị tấn công thì cũng có những trường hợp hỏng hóc hdd hoặc phần cứng, khi đó có 1 syslog server thật đáng giá. Anh đã từng bị hỏng hdd của máy chủ mà không hay tới chừng hay thì không thể truy cập được vào máy chủ này. May mà có syslog server mới biết chuyện gì đang xảy ra. Tất nhiên là syslog server cũng có thể bị hỏng nhưng xác xuất 2 hoặc nhiều máy chủ hỏng cùng 1 lúc thì khó. Về traffic, anh thiết kế 1 mạng vpn local tất cả các traffic không cần public anh đều cho nó đi qua mạng này như log, snmp, monitor, database, backup, remote. Ngoài ra em cũng nên thử ossec, nó cũng có công cụ search log đơn giản và email alert. Thân.

Re: Log server how to

tranhuuphuoc — GMT

pnco wrote:

@quanta: đổ log từ windows sao không xài thử Datagram SyslogAgent của lQ :P Anh thấy công cụ này rất hay. Còn tất cả các log như IIS,... thì do mình cấu hình thôi. Theo anh thì rất nên có 1 syslog server, không kể trường hợp bị tấn công thì cũng có những trường hợp hỏng hóc hdd hoặc phần cứng, khi đó có 1 syslog server thật đáng giá. Anh đã từng bị hỏng hdd của máy chủ mà không hay tới chừng hay thì không thể truy cập được vào máy chủ này. May mà có syslog server mới biết chuyện gì đang xảy ra. Tất nhiên là syslog server cũng có thể bị hỏng nhưng xác xuất 2 hoặc nhiều máy chủ hỏng cùng 1 lúc thì khó. Về traffic, anh thiết kế 1 mạng vpn local tất cả các traffic không cần public anh đều cho nó đi qua mạng này như log, snmp, monitor, database, backup, remote. Ngoài ra em cũng nên thử ossec, nó cũng có công cụ search log đơn giản và email alert. Thân.

Đọc được những dòng này của anh trai mới nhớ :D Khi trường hợp attacker tấn công máy chủ thì lấy log ra , alô cho BKIS để ... xử =))

anh Diêu wrote:

Nếu vấn đề kinh phí hạn chế thì thử: syslog-ng (UNIX) hoặc syslog-win32 (Windows). Hai cái này đòi hỏi kiến thức về cả UNIX và Windows vững để config.

Giải pháp của anh pnco em có dùng qua và nó khá good tuy nhiên em sẽ xem giải pháp miễn phí và thương mại của anh trong thời gian sớm nhất . Cám ơn anh cung cấp khá nhiều công cụ "độc" :)

Re: Log server how to

quanta — GMT

pnco wrote:

... Về traffic, anh thiết kế 1 mạng vpn local tất cả các traffic không cần public anh đều cho nó đi qua mạng này như log, snmp, monitor, database, backup, remote. Ngoài ra em cũng nên thử ossec, nó cũng có công cụ search log đơn giản và email alert. Thân.

Cảm ơn anh về ý tưởng này. Nhưng cho em hỏi là: việc thiết kế một mạng local VPN rồi đẩy traffic qua đó có ảnh hưởng nhiều đến tốc độ đường truyền và bandwidth không anh? Hiện tại thì em đang kết hợp syslog-ng + stunnel, em sẽ thử luôn cả local VPN xem thế nào. Dù sao thì việc thiết lập local VPN cũng dùng được cho nhiều mục đích sau này (như anh nói ở trên).

Re: Log server how to

pnco — GMT

Nếu trong 1 site thì không ảnh hưởng vì mình tạo 1 mạng riêng mà. Khác site thì dĩ nhiên dùng chung 1 kết nối public thì có ảnh hưởng rồi. (site1) local < ---> server <----> public <---->vpn<---> public <---> server (site2) Trong trường hợp nhiều site khác nhau thì phải cân nhắc. Nếu trong site đó có nhiều server, device thì nên thiết kế riêng 1 mạng local nữa. Mà mấy cái traffic không cần public kia nó ngốn bandwith hơn rất nhiều so với traffic public :D

Re: Log server how to

lQ — GMT

hi MrMe, thằng syslog-ng đâu cần logrotate. Nó cho phép tạo các log files với các thông tin $DAY, $MONTH, $YEAR mà. Có điều dĩ nhiên nó sẽ ko tự nén để tiết kiệm không gian đĩa. Cũng ko nên lưu log dạng offline. Theo kinh nghiệm của tui thì logchỉ chiếm một phần nhỏ dung lượng. Hơn nữa có thể bị mất log, hoặc giả log.

Re: Log server how to

siro — GMT

Mình thấy khi gởi log của client B về syslog-ng sever A thì chỉ nhận log của mail ( postfix ) , ssh , kernel ... từ B thôi , vậy mình muốn hỏi là có thể cấu hình để chuyển log của http , mysql từ B đổ về A được không . Thanks .

Re: Log server how to

quanta — GMT

siro wrote:

Mình thấy khi gởi log của client B về syslog-ng sever A thì chỉ nhận log của mail ( postfix ) , ssh , kernel ... từ B thôi , vậy mình muốn hỏi là có thể cấu hình để chuyển log của http , mysql từ B đổ về A được không . Thanks .

Với Apache bạn có thể đọc: http://www.oreillynet.com/pub/a/sysadmin/2006/10/12/httpd-syslog.html Với MySQL, tớ http://chaos.untouchable.net/index.php/HOWTO_setup_syslog-ng_to_log_to_mysql thôi, tức là: cấu hình syslog-ng để đưa các thông tin logs có được vào MySQL. Còn nếu muốn thì bạn có thể dùng... scp + cron job.

Re: Log server how to

MrMe — GMT

lQ wrote:

hi MrMe, thằng syslog-ng đâu cần logrotate. Nó cho phép tạo các log files với các thông tin $DAY, $MONTH, $YEAR mà. Có điều dĩ nhiên nó sẽ ko tự nén để tiết kiệm không gian đĩa. Cũng ko nên lưu log dạng offline. Theo kinh nghiệm của tui thì logchỉ chiếm một phần nhỏ dung lượng. Hơn nữa có thể bị mất log, hoặc giả log.

Hi anh lQ đúng là thằng syslog nó có logrotate nhưng log của em nhiều kinh khủng. Do vậy em phải chạy cront để 10 phút thì cắt thành 1 file sau phân tích nó dễ. Em lười chưa cài trình phân tích log nào cả nên phải làm cách củ chuối đó. :-S

Re: Log server how to

safari — GMT

quanta wrote:

Với MySQL, tớ http://chaos.untouchable.net/index.php/HOWTO_setup_syslog-ng_to_log_to_mysql thôi, tức là: cấu hình syslog-ng để đưa các thông tin logs có được vào MySQL. Còn nếu muốn thì bạn có thể dùng... scp + cron job.

http://www.mysqlperformanceblog.com/2008/11/14/mysql-binaries-percona-build7-with-latest-patches/ có thể đưa log của mysql ra syslog-ng.

Re: Log server how to

tranhuuphuoc — GMT

quanta wrote:

Với MySQL, tớ http://chaos.untouchable.net/index.php/HOWTO_setup_syslog-ng_to_log_to_mysql thôi, tức là: cấu hình syslog-ng để đưa các thông tin logs có được vào MySQL. Còn nếu muốn thì bạn có thể dùng... scp + cron job.

Còn anh thì nghĩ khác, nên tập hợp các thông tin này lại vào trong database để dễ dàng tìm kiếm, dễ quản lý đâu cần phải nén lại gì đâu . Nếu cần thì có thể sử dụng web interface http://sourceforge.net/projects/php-syslog-ng/ để query những thông tin trong đó :) Nếu thành thạo câu lệnh SQL căn bản thì có thể query nó dễ dàng SELECT ... FROM ... ORDER BY ...

Re: Log server how to

mrro — GMT

@quanta: người ta làm ngược lại thì kệ người ta :-p, đâu phải cái gì cũng nhét vào dbms được, tớ là tớ rất sợ dbms, cực chẳng đã cần lưu trữ structure data với fixed schema thì mới dùng đến chúng, chứ những thứ như log, chẳng có schema, chẳng có structure, chẳng có "quan hệ" gì với nhau thì cứ lưu dạng flat file cho nhanh gọn lẹ. muốn tìm kiếm ư? cứ index chúng cho tốt vào, thì tìm cái gì cũng ra cả. thằng splunk mà có bạn đề cập ở trên nó cũng làm việc dựa theo nguyên lý này. thậm chí không có splunk thì awk, grep, sed...cũng ra. -m

Re: Log server how to

Phó Hồng Tuyết — GMT

tranhuuphuoc wrote:

quanta wrote:

Với MySQL, tớ http://chaos.untouchable.net/index.php/HOWTO_setup_syslog-ng_to_log_to_mysql thôi, tức là: cấu hình syslog-ng để đưa các thông tin logs có được vào MySQL. Còn nếu muốn thì bạn có thể dùng... scp + cron job.
Còn anh thì nghĩ khác, nên tập hợp các thông tin này lại vào trong database để dễ dàng tìm kiếm, dễ quản lý đâu cần phải nén lại gì đâu . Nếu cần thì có thể sử dụng web interface http://sourceforge.net/projects/php-syslog-ng/ để query những thông tin trong đó :) Nếu thành thạo câu lệnh SQL căn bản thì có thể query nó dễ dàng SELECT ... FROM ... ORDER BY ...

Mình đồng ý với cách của anh Phước. Với cách này linh động và tiết kiệm được nhiều thứ.

Re: Log server how to

LeVuHoang — GMT

Theo các bác thì có tool nào (syslog-ng ?) đáp ứng được yêu cầu sau không: 1. Monitor sự thay đổi của 1 file bất kỳ (custom log file) 2. Đổ log về log server theo dạng real-time

Re: Log server how to

Angelvn — GMT

LeVuHoang wrote:

Theo các bác thì có tool nào (syslog-ng ?) đáp ứng được yêu cầu sau không: 2. Đổ log về log server theo dạng real-time

Làm gì có real-time được lão.

Re: Log server how to

LeVuHoang — GMT

Có 1 vài hệ thống mà log file cực kỳ quan trọng. Nếu dùng cron tab hoặc log không ở dạng real-time, attacker có thể dễ dàng fake log hoặc erase log trong khi log chưa đổ về log server. Tui đang xem xét coi có giải pháp nào như vậy không: Monitor log file, xem changes về date, time, size chẳng hạn, xong đẩy về server.

Re: Log server how to

quanta — GMT

LeVuHoang wrote:

Theo các bác thì có tool nào (syslog-ng ?) đáp ứng được yêu cầu sau không: 1. Monitor sự thay đổi của 1 file bất kỳ (custom log file)

tail -f được không bác?

LeVuHoang wrote:

Tui đang xem xét coi có giải pháp nào như vậy không: Monitor log file, xem changes về date, time, size chẳng hạn, xong đẩy về server

Bác tham khảo: /hvaonline/posts/list/21789.html#130107

Re: Log server how to

LeVuHoang — GMT

vài giây crontab "tail -f" 1 lần rồi gởi log về server thì có vẻ hơi thủ công thì phải :-? Ngoài ra, yêu cầu 1 & 2 phải đi cùng với nhau, log ở chế độ realtime, chứ không có tách ra "monitor changes" không được quanta ah ;) Monitor hệ thống thì tui đang thử OSSEC nhưng vấn đề monitor và realtime này là cho log server.

Re: Log server how to

mrro — GMT

tớ nghĩ đừng quá quan tâm đến integrity của log, bởi một khi attacker đã muốn làm sai lệch log thì họ sẽ làm được. đây chính là điểm khác biệt giữa những gì sách vở nói và hiện thực cuộc sống :p. sách thì luôn kêu phải bảo vệ log, kẻo bọn tấn công sẽ cung cấp thông tin giả, làm nhiễu log này nọ, bởi log rất quan trọng. nhưng thật tế thì tớ thấy, muốn làm tốt công việc auditing, thì đừng bao giờ đặt trọn niềm tin vào log :-p. tớ luôn làm việc với tiêu chí, log có thể chứa thông tin sai, chẳng hạn như những thông tin mà attacker muốn tớ nhìn thấy, chứ không phải là những sự kiện thật sự đã diễn ra. --m

Re: Log server how to

LeVuHoang — GMT

Log không phải là tất cả nhưng tay không bắt cướp thì hơi khó :D

Re: Log server how to

quanta — GMT

quanta wrote:

Để đổ logs về từ Event Viewer mình search thấy vài cái tools như: + syslog-ng agent: 'món' này chỉ có trong bản Premium Edition của syslog-ng + Snare Eventlog Agent: mất phí + NTsyslog: cái này free, nhưng log đổ về phân loại không được tốt lắm. Tớ mới ngó qua thì thấy hình như nó không có cả IP của client nữa + EventReporter: 'món' này cũng mất phí luôn + ... Tớ đang thử lần lượt từng 'món' một để quyết định xem nên dùng 'món' nào. Tuy nhiên, anh em nào có kinh nghiệm trong vụ này xin 'quân sư' cho vài 'chiêu'. Ngoài ra, mình cũng còn cần theo dõi log của IIS, Microsoft Exchange, ...

pnco wrote:

@quanta: đổ log từ windows sao không xài thử Datagram SyslogAgent của lQ :P Anh thấy công cụ này rất hay. Còn tất cả các log như IIS,... thì do mình cấu hình thôi. ...

Có một cách khác là: Cygwin + rsync + batch file + Schedules Tasks. Mình đã thử và chạy tốt. Anh em nào rảnh viết cái 'tut' chơi.

Re: Log server how to

lQ — GMT

LeVuHoang wrote:

vài giây crontab "tail -f" 1 lần rồi gởi log về server thì có vẻ hơi thủ công thì phải :-? Ngoài ra, yêu cầu 1 & 2 phải đi cùng với nhau, log ở chế độ realtime, chứ không có tách ra "monitor changes" không được quanta ah ;) Monitor hệ thống thì tui đang thử OSSEC nhưng vấn đề monitor và realtime này là cho log server.

thằng Datagram SyslogAgent có chức năng đẩy log Event Viewer và cả customize log files. Còn trên linux thì tìm log minion xài tạm :). Theo tui thì ko nên dùng cron / scheduled task để đẩy log. Nhiều công đoạn quá sẽ rất khó kiểm soát, nên viết / dùng chỉ một chương trình (tuỳ môi trường, đã nói ở trên) thì dễ hơn. PS. Hmmmm. Có vẻ các anh em chưa đọc kỹ tài liệu /hvaonline/posts/list/20/24816.html#153376 của tui gửi rồi.

Re: Log server how to

LeVuHoang — GMT

Hôm nay quấn tã lôi cái chủ đề này lên :D. Tui đã thử apply 1 cái central log và thấy cũng ok. Mô hình như sau: Sử dụng server log là syslog-ng Các agent Windows sử dụng Snare Agent for Windows, còn Linux thì dùng chính syslogd Code:

Syslogd            |
                   -----> Syslog-ng open source
Snare for Windows  |

Agent và server liên lạc với nhau thông qua UDP và thời gian log cũng có thể coi như chế độ thực. Tui thử từ server này, gõ "sudo ls -l", bên central ngay lập tức có log của agent đó.

Re: Log server how to

tranvanminh — GMT

leovuhoang wrote:

Theo các bác thì có tool nào (syslog-ng ?) đáp ứng được yêu cầu sau không: 1. Monitor sự thay đổi của 1 file bất kỳ (custom log file) 2. Đổ log về log server theo dạng real-time

Tui đang làm hệ thống ISP chứa thông tin 300.000 khách . Hệ thống của nó 12 cái alteon , được 2 cái FW là xong . Log liếc thì vẫn chứa vào syslog server , không dùng syslog-ng gì hết . Nhu cầu lấy log cũng quan trọng như bọn tui làm cũng ko có cầu kỳ quy mô gì . Không biết lão Hoàng làm cái này để áp dụng vào mô hình nào vậy nhi? . Post lên anh em tham khảo ý tưỡng dzới ;-)

Re: Log server how to

LeVuHoang — GMT

Đâu có đâu lão, sử dụng syslog-ng làm central log đầy trên net mà. Vài link tham khảo: http://sial.org/howto/logging/syslog-ng/ http://www.campin.net/newlogcheck.html http://www.serverwatch.com/tutorials/article.php/3600641

Re: Log server how to

tranvanminh — GMT

Không lão , ý tui là lão nói ,

Có 1 vài hệ thống mà log file cực kỳ quan trọng. Nếu dùng cron tab hoặc log không ở dạng real-time, attacker có thể dễ dàng fake log hoặc erase log trong khi log chưa đổ về log server. Tui đang xem xét coi có giải pháp nào như vậy không: Monitor log file, xem changes về date, time, size chẳng hạn, xong đẩy về server.

cho nên tui mới không hiểu tại sao lão lại ra ý tưỡng làm cái xem thay đổi log hay date , time , size rồi đưa về log server ấy . Tui chỉ thắc mắc là làm vậy liệu có chắc là sẽ không bị xóa log hay thay đổi log hay không . Nếu có thể phòng chống được thì ở trong trường họp nào và điệu kiện nào để tui bắt chước mà .

Re: Log server how to

LeVuHoang — GMT

ah, cái vụ time là trước kia tui không biết giải pháp nào để thiết lập log central thôi. Chứ sau khi apply rồi thì không cần quan tâm đến time, size này nọ nữa vì syslog agent tự động về hết. Trong trường hợp của tui thì syslog central khá quan trọng vì nó có thể lưu nhiều bằng chứng (có thể là giả) sau này. Nên nếu được, có thể thiết lập firewall để chặn tất cả truy tập từ trong ra, từ ngoài vào (trừ 1 số IP nhất định), chỉ cho từ ngoài đổ log vào thông qua port 514.

Re: Log server how to

bigcat2009 — GMT

LeVuHoang wrote:

Hôm nay quấn tã lôi cái chủ đề này lên :D. Tui đã thử apply 1 cái central log và thấy cũng ok. Mô hình như sau: Sử dụng server log là syslog-ng Các agent Windows sử dụng Snare Agent for Windows, còn Linux thì dùng chính syslogd Code:
Syslogd            |
                   -----> Syslog-ng open source
Snare for Windows  |
Agent và server liên lạc với nhau thông qua UDP và thời gian log cũng có thể coi như chế độ thực. Tui thử từ server này, gõ "sudo ls -l", bên central ngay lập tức có log của agent đó.

Anh ơi! anh có thể hướng dẫn rõ hơn mô hình và cách cấu hình như thế nào không. Mong anh giúp đỡ!Cảm ơn anh rất nhiều!

Log server how to

tohoai1084 — GMT

Hiện tại hệ thống công ty mình có rất nhiều app trên linux mình muốn tập trung những log này lại và phân tích log. Anh em nao biết co thể hướng dẫn dùm.

Log server how to

tohoai1084 — GMT

Hiện tại hệ thống công ty mình có rất nhiều app trên linux mình muốn tập trung những log này lại và phân tích log. Anh em nao biết co thể hướng dẫn dùm.