banner

[Rule] Rules  [Home] Main Forum  [Portal] Portal  
[Members] Member Listing  [Statistics] Statistics  [Search] Search  [Reading Room] Reading Room 
[Register] Register  
[Login] Loginhttp  | https  ]
 
Forum Index Góp ý và Hỏi đáp thắc mắc chung Không lấy được bài viết từ HVA qua một website khác..  XML
  [Question]   Không lấy được bài viết từ HVA qua một website khác.. 16/04/2012 17:38:41 (+0700) | #1 | 261503
hochack_9x
Member

[Minus]    0    [Plus]
Joined: 13/05/2009 03:31:29
Messages: 8
Offline
[Profile] [PM] [MSN]
Cháu dùng add-on : Web2PDF cho FireFox -dùng để lấy bài viết từ một website,forum dưới dạng file pdf. Cháu lấy ở các website ,forum khác đều được ,nhưng ở HVA thì lại không được, khi get từ link sau:

http://www.web2pdfconvert.com/engine.aspx?cURL=http%3A%2F%2Fwww.hvaonline.net%2Fhvaonline%2Fposts%2Flist%2F128.html&outputmode=link&title=S%E1%BB%AC%20D%E1%BB%A4NG%20GRUB%20-%20.%3A%3A%20HVAOnline%20%3A%3A.&ref=browser-ff-add&compression=1 

mở file đó chỉ hiện ra trang cấm truy cập của HVA. Vậy chú Conmale cho cháu hỏi:
Việc cấm site khác khi get link đến HVA là nằm trong chính sách bảo mật ?

[Up] [Print Copy]
  [Question]   Không lấy được bài viết từ HVA qua một website khác.. 16/04/2012 17:45:14 (+0700) | #2 | 261506
[Avatar]
chiro8x
Member

[Minus]    0    [Plus]
Joined: 26/09/2010 00:38:37
Messages: 661
Location: /home/chiro8x
Offline
[Profile] [PM] [Yahoo!]
HVA kiểm tra nhiều thứ lắm, từ User-Agent cho tới IP, session và timeout.... Việc "đối tác" đụng phải luật được đưa ra thì access denied là chuyện bình thường mà.

HVA có nội quy, hình như chưa có chính sách bảo mật.
while(1){}
[Up] [Print Copy]
  [Question]   Không lấy được bài viết từ HVA qua một website khác.. 16/04/2012 18:10:08 (+0700) | #3 | 261508
[Avatar]
conmale
Administrator

Joined: 07/05/2004 23:43:15
Messages: 9353
Location: down under
Offline
[Profile] [PM]

hochack_9x wrote:
Cháu dùng add-on : Web2PDF cho FireFox -dùng để lấy bài viết từ một website,forum dưới dạng file pdf. Cháu lấy ở các website ,forum khác đều được ,nhưng ở HVA thì lại không được, khi get từ link sau:

http://www.web2pdfconvert.com/engine.aspx?cURL=http%3A%2F%2Fwww.hvaonline.net%2Fhvaonline%2Fposts%2Flist%2F128.html&outputmode=link&title=S%E1%BB%AC%20D%E1%BB%A4NG%20GRUB%20-%20.%3A%3A%20HVAOnline%20%3A%3A.&ref=browser-ff-add&compression=1 

mở file đó chỉ hiện ra trang cấm truy cập của HVA. Vậy chú Conmale cho cháu hỏi:
Việc cấm site khác khi get link đến HVA là nằm trong chính sách bảo mật ?

 


HVA cho phép "leech" bài sang nơi khác ở dạng RSS mà thôi. Không cho phép "rút ruột" tự động để tránh quá tải và tránh bị lợi dụng để DDoS.
What bringing us together is stronger than what pulling us apart.
[Up] [Print Copy]
  [Question]   Không lấy được bài viết từ HVA qua một website khác.. 16/04/2012 19:36:30 (+0700) | #4 | 261514
hochack_9x
Member

[Minus]    0    [Plus]
Joined: 13/05/2009 03:31:29
Messages: 8
Offline
[Profile] [PM] [MSN]

conmale wrote :

HVA cho phép "leech" bài sang nơi khác ở dạng RSS mà thôi. Không cho phép "rút ruột" tự động để tránh quá tải và tránh bị lợi dụng để DDoS. 


Cháu rất muốn được chú chỉ hướng để config như HVA về chống "rút ruột " tự động .Cảm ơn chú đã bớt chút ít thời gian quý giá để trả lời cháu. Thanks!
[Up] [Print Copy]
  [Question]   Không lấy được bài viết từ HVA qua một website khác.. 16/04/2012 20:06:28 (+0700) | #5 | 261517
[Avatar]
TheShinichi
Member

[Minus]    0    [Plus]
Joined: 25/03/2005 01:40:31
Messages: 182
Offline
[Profile] [PM]

hochack_9x wrote:



Cháu rất muốn được chú chỉ hướng để config như HVA về chống "rút ruột " tự động .Cảm ơn chú đã bớt chút ít thời gian quý giá để trả lời cháu. Thanks! 


Bạn đọc lại bài viết của chiro8x rồi từ đó phát triển thêm smilie
[Up] [Print Copy]
  [Question]   Không lấy được bài viết từ HVA qua một website khác.. 17/04/2012 00:12:56 (+0700) | #6 | 261530
phanledaivuong
Member

[Minus]    0    [Plus]
Joined: 23/05/2008 17:34:21
Messages: 315
Location: /dev/null
Offline
[Profile] [PM] [WWW]

chiro8x wrote:
HVA kiểm tra nhiều thứ lắm, từ User-Agent cho tới IP, session và timeout.... Việc "đối tác" đụng phải luật được đưa ra thì access denied là chuyện bình thường mà.

HVA có nội quy, hình như chưa có chính sách bảo mật. 


HVA không kiểm tra User-Agent.
Chính sách bảo mật bạn muốn nhắc tới là cái gì?
[Up] [Print Copy]
  [Question]   Không lấy được bài viết từ HVA qua một website khác.. 18/04/2012 05:50:49 (+0700) | #7 | 261598
[Avatar]
chiro8x
Member

[Minus]    0    [Plus]
Joined: 26/09/2010 00:38:37
Messages: 661
Location: /home/chiro8x
Offline
[Profile] [PM] [Yahoo!]

phanledaivuong wrote:
HVA không kiểm tra User-Agent. 


Bạn chắc là bạn đúng với điều bạn đang nói chứ smilie.
while(1){}
[Up] [Print Copy]
  [Question]   Không lấy được bài viết từ HVA qua một website khác.. 19/04/2012 11:01:51 (+0700) | #8 | 261693
[Avatar]
chiro8x
Member

[Minus]    0    [Plus]
Joined: 26/09/2010 00:38:37
Messages: 661
Location: /home/chiro8x
Offline
[Profile] [PM] [Yahoo!]
Giờ mình mới trả lời bạn phanledaivuong một cách rõ ràng được. Đây là thử nghiệm mình thực hiện.

Fake user-agent của google bot v2.1:



Check hvaonline.net:



Đổi lại như củ, check hvaonline.net:



Hi hi ! anh conmale làm việc kỹ lưỡng lắm, kẻ gian rất khó để "vào" smilie.
while(1){}
[Up] [Print Copy]
  [Question]   Không lấy được bài viết từ HVA qua một website khác.. 19/04/2012 12:26:18 (+0700) | #9 | 261695
[Avatar]
conmale
Administrator

Joined: 07/05/2004 23:43:15
Messages: 9353
Location: down under
Offline
[Profile] [PM]
He he, cái vụ Google-bot agents (và mấy cái search engine bots khác) được ấn định trên HVA là nhờ ơn mưa móc của mấy anh stl đó. Lúc trước mấy ảnh giả mạo "gút gồ bót" để đập HVA tơi bời. Sau này biết rồi thì phải chơi 2 lần kiểm tra: user-agent + IP. Ông nội nào mà giả mạo "user-agent" của google nhưng IP là "made in VN" hay "made in china" hay "made in oanh tẹc na xi ô nan" thì... xin lỗi, khỏi vô. smilie
What bringing us together is stronger than what pulling us apart.
[Up] [Print Copy]
  [Question]   Không lấy được bài viết từ HVA qua một website khác.. 19/04/2012 18:10:04 (+0700) | #10 | 261715
phanledaivuong
Member

[Minus]    0    [Plus]
Joined: 23/05/2008 17:34:21
Messages: 315
Location: /dev/null
Offline
[Profile] [PM] [WWW]

chiro8x wrote:

phanledaivuong wrote:
HVA không kiểm tra User-Agent. 

Bạn chắc là bạn đúng với điều bạn đang nói chứ smilie

He he, cái vụ Google-bot agents (và mấy cái search engine bots khác) được ấn định trên HVA là nhờ ơn mưa móc của mấy anh stl đó. Lúc trước mấy ảnh giả mạo "gút gồ bót" để đập HVA tơi bời. Sau này biết rồi thì phải chơi 2 lần kiểm tra: user-agent + IP. Ông nội nào mà giả mạo "user-agent" của google nhưng IP là "made in VN" hay "made in china" hay "made in oanh tẹc na xi ô nan" thì... xin lỗi, khỏi vô. smilie  


Nếu bạn chú ý 1 vài bài viết của anh conmale nói về IP và User-Agent của weareanon thì sẽ thấy rằng cậu ta đã fake User-Agent không hợp lệ và vẫn vào hva bình thường. Còn anh conmale đã trả lời cho bạn về việc bạn đổi User-Agent sang mấy cái search engine bot thì check thêm IP, nếu không phải thì khỏi vô.
[Up] [Print Copy]
  [Question]   Không lấy được bài viết từ HVA qua một website khác.. 19/04/2012 18:14:43 (+0700) | #11 | 261717
[Avatar]
chiro8x
Member

[Minus]    0    [Plus]
Joined: 26/09/2010 00:38:37
Messages: 661
Location: /home/chiro8x
Offline
[Profile] [PM] [Yahoo!]
Theo bạn là HVA có check User agent không ?.
Câu trả lời hình như tới bây giờ thì ai cũng biết, sao lại xuất hiện sự bao biện nhỉ. Đây có phải là sự bao biện của bạn không, hay tôi đang lầm lẫn giữa sự thiếu sót của bản thân và sự bao biện của bạn.

Ít nhất tồn tại một ruler:
Code:
if(useragent == "googlebot v2.1" and ip != googleips)
while(1){}
[Up] [Print Copy]
  [Question]   Không lấy được bài viết từ HVA qua một website khác.. 19/04/2012 20:06:04 (+0700) | #12 | 261724
phanledaivuong
Member

[Minus]    0    [Plus]
Joined: 23/05/2008 17:34:21
Messages: 315
Location: /dev/null
Offline
[Profile] [PM] [WWW]

chiro8x wrote:
Theo bạn là HVA có check User agent không ?.
Câu trả lời hình như tới bây giờ thì ai cũng biết, sao lại xuất hiện sự bao biện nhỉ. Đây có phải là sự bao biện của bạn không, hay tôi đang lầm lẫn giữa sự thiếu sót của bản thân và sự bao biện của bạn.
Ít nhất tồn tại một ruler:
Code:
if(useragent == "googlebot v2.1" and ip != googleips)
 


Đồng ý rằng hva check User-Agent, lúc đấy mình thấy trả lời của bạn nên mình nghĩ rằng bạn nói là phải đúng cả User-Agent mới truy cập vào hva được. Nên mình mới bảo là hva không check User-Agent để chống truy cập, có thể fake User-Agent thành dạng không hợp lệ như dùng IE ở Ubuntu vẫn vào hva bình thường. Chắc là tại mình có vấn đề về diễn đạt. Nếu như ai đó hiểu sai ý mình nói thì mình sẽ xem xét để học lại cách diễn đạt.
[Up] [Print Copy]
  [Question]   Không lấy được bài viết từ HVA qua một website khác.. 22/04/2012 10:07:28 (+0700) | #13 | 261823
[Avatar]
angel-pc
Member

[Minus]    0    [Plus]
Joined: 01/01/2011 01:15:32
Messages: 63
Offline
[Profile] [PM]
cài thêm add on modify header
rồi thêm referer là của thằng google search rồi thử coi được không vì mình thấy hva nếu thấy referer của google thì nó cho qua tuốt
[Up] [Print Copy]
  [Question]   Không lấy được bài viết từ HVA qua một website khác.. 22/04/2012 10:23:41 (+0700) | #14 | 261824
[Avatar]
chiro8x
Member

[Minus]    0    [Plus]
Joined: 26/09/2010 00:38:37
Messages: 661
Location: /home/chiro8x
Offline
[Profile] [PM] [Yahoo!]

angel-pc wrote:
cài thêm add on modify header
rồi thêm referer là của thằng google search rồi thử coi được không vì mình thấy hva nếu thấy referer của google thì nó cho qua tuốt 


Anh conmale có nói kìa ! ảnh check IP, giờ IP lạ ảnh trảm liền, referencer làm giả dễ mà.
while(1){}
[Up] [Print Copy]
  [Question]   Không lấy được bài viết từ HVA qua một website khác.. 22/04/2012 14:40:13 (+0700) | #15 | 261842
[Avatar]
conmale
Administrator

Joined: 07/05/2004 23:43:15
Messages: 9353
Location: down under
Offline
[Profile] [PM]

angel-pc wrote:
cài thêm add on modify header
rồi thêm referer là của thằng google search rồi thử coi được không vì mình thấy hva nếu thấy referer của google thì nó cho qua tuốt 


Thử đi rồi biết smilie.
What bringing us together is stronger than what pulling us apart.
[Up] [Print Copy]
  [Question]   Không lấy được bài viết từ HVA qua một website khác.. 27/04/2012 01:14:37 (+0700) | #16 | 262094
hochack_9x
Member

[Minus]    0    [Plus]
Joined: 13/05/2009 03:31:29
Messages: 8
Offline
[Profile] [PM] [MSN]
Trở lại vấn đề về HVA cấm leech bài , có 1 bài toán đặt ra là : Giả sử có 1 website abc.com có những yêu cầu đặc tính như sau :

1- abc.com sẽ cấm download bài viết ,cấm leech bài viết (nếu được cấm cả tính năng capture screen) chỉ cho người dùng được phép đọc bài viết trên abc.com.
2- abc.com cho phép người dùng download bài viết , leech bài viết , sửa bài nếu được cấp quyền .
Không biết bài toán liệu có thể triển khai khả thi không ? Mong các anh em giúp đỡ !..
[Up] [Print Copy]
  [Question]   Không lấy được bài viết từ HVA qua một website khác.. 27/04/2012 21:15:23 (+0700) | #17 | 262129
[Avatar]
chiro8x
Member

[Minus]    0    [Plus]
Joined: 26/09/2010 00:38:37
Messages: 661
Location: /home/chiro8x
Offline
[Profile] [PM] [Yahoo!]
1. Nếu các request là hợp lệ nó sẽ được trả lời.
2. "Cấm tính năng screen capture" -> theo mình biết nó thuộc client side bạn cấm thế nào đây, bạn chưa hiểu về web application nên nói xằng bậy rồi.

@hochack_9x: Thảo luận của bạn đang đi lệch đề. Bạn hãy tao thread ở box khác nếu muốn tiếp tục thảo luận nó.
while(1){}
[Up] [Print Copy]
[digg] [delicious] [google] [yahoo] [technorati] [reddit] [stumbleupon]
Go to: 
 Users currently in here 
1 Anonymous

Powered by JForum - Extended by HVAOnline
 hvaonline.net  |  hvaforum.net  |  hvazone.net  |  hvanews.net  |  vnhacker.org
1999 - 2013 © v2012|0504|218|