banner

[Rule] Rules  [Home] Main Forum  [Portal] Portal  
[Members] Member Listing  [Statistics] Statistics  [Search] Search  [Reading Room] Reading Room 
[Register] Register  
[Login] Loginhttp  | https  ]
 
Forum Index Thảo luận bảo mật Xin dãy IP và User-Agent của Google mà HVA cho phép gửi đến ...  XML
  [Question]   Xin dãy IP và User-Agent của Google mà HVA cho phép gửi đến ... 28/07/2012 08:47:51 (+0700) | #1 | 267597
testcase
Member

[Minus]    0    [Plus]
Joined: 29/03/2012 02:12:28
Messages: 5
Offline
[Profile] [PM]
Gửi anh Conmale,

Anh có thể chia sẽ dãy IP,User-Agent của Google và của các bot tìm kiếm thông dụng mà HVA cho phép truy cập đến máy chủ không ạ ?

Do hiện nay với dạng giả mạo User-Agent & IP của các con bot, crawler làm ảnh hưởng không nhỏ đến performance của máy chủ.

Em nghĩ nếu được anh chia sẽ em sẽ giải quyết được vấn đề của riêng em và cho những người có câu hỏi giống em.

Em cám ơn anh. smilie







[Up] [Print Copy]
  [Question]   Xin dãy IP và User-Agent của Google mà HVA cho phép gửi đến ... 28/07/2012 10:21:58 (+0700) | #2 | 267605
[Avatar]
Ky0
Moderator

Joined: 16/08/2009 23:09:08
Messages: 532
Offline
[Profile] [PM]

testcase wrote:
Gửi anh Conmale,

Anh có thể chia sẽ dãy IP,User-Agent của Google và của các bot tìm kiếm thông dụng mà HVA cho phép truy cập đến máy chủ không ạ ?

Do hiện nay với dạng giả mạo User-Agent & IP của các con bot, crawler làm ảnh hưởng không nhỏ đến performance của máy chủ.

Em nghĩ nếu được anh chia sẽ em sẽ giải quyết được vấn đề của riêng em và cho những người có câu hỏi giống em.

Em cám ơn anh. smilie
 

Theo như các giải pháp thực hiện trên HVA mà anh comale đã chia sẻ trong các bài viết trên diễn đàn thì tổng hợp lại các ý sau:
- Không hạn chế IP truy cập đến HVA, IP nào gửi quá nhiều request liên tục sau một thời gian sẽ bị đưa vào blacklist, sau 15' không gửi request bất hợp lệ thì đưa ra khỏi blacklist
- Chỉ cho phép bot của google "bò" trên HVA (IP của các con bot này phải xuất phát từ google). Để biết IP tham khảo tại http://chceme.info/ips/
- Tất cả các User-Agent đều được chấp nhận. Ngoại trừ các User-Agent giả mạo bot của google (đợt HVA bị stl tấn công).

Muốn tăng performance của máy chủ thì cần:
- Tối ưu hoá từng dịch vụ trên máy chủ (Ví dụ: apache, mysql ....) theo điều kiện thực tế của server công ty bạn
- Gia tăng tài nguyên (Băng thông, RAM ... )

- Ky0 -
UITNetwork.com
Let's Connect
[Up] [Print Copy]
  [Question]   Xin dãy IP và User-Agent của Google mà HVA cho phép gửi đến ... 28/07/2012 13:27:05 (+0700) | #3 | 267614
kakarottbatdong
Member

[Minus]    0    [Plus]
Joined: 02/05/2009 19:27:06
Messages: 55
Offline
[Profile] [PM]
Gởi cho bồ thêm hai link:
http://www.useragentstring.com/pages/useragentstring.php
http://www.user-agents.org/
[Up] [Print Copy]
[digg] [delicious] [google] [yahoo] [technorati] [reddit] [stumbleupon]
Go to: 
 Users currently in here 
1 Anonymous

Powered by JForum - Extended by HVAOnline
 hvaonline.net  |  hvaforum.net  |  hvazone.net  |  hvanews.net  |  vnhacker.org
1999 - 2013 © v2012|0504|218|