Python 고수분만 cloudflare, cfscrape, urllib2

unkn0wn 조회수 499 2015.12.08

Cloud-flare에서는 웹 인증토큰으로 쿠키값 2개를 쓴다고 하는데

그래서 파이썬으로 그 쿠키값을 추출해내는게 cfscrape 모듈이죠.

근데, cloud-flare호스팅 받는 사이트중에 어떤곳은 쿠키값 2개를 헤더에 추가해줘야 파이썬스크립트로 접속이되고

어떤 사이트는 그냥 urllib2.build_opener(urllib2.HTTPCookieProcessor()) 이거랑 cookiejar만 써줘도 스크립트로 웹에 들어가지네요.

사이트 2개가 하나는 fishbattle.net < cloud-flare쿠키값 인증 x

다른 하나는 megalian.com < 쿠키값 인증필요

같은 클라우드플레어 호스팅을 받는데 차이가 뭐죠?

하나는 인증토큰을 추가해야하고 하나는 추가해줄필요가없고

답변자님,

정보를 공유해 주세요.

1 개 답변

구현에서의 차이입니다. 파이썬 전문가보다 웹 관련 전문가에게 물어보시는게 더 정확한

답을 얻으실수 있겠네요. fish~와는 다르게 mega~사이트는 접속시 정상적인 유저

에이전트 값과 쿠키값이 없으면 접속을 끊어버리는데 봇을 걸러내기 위함으로 보이네요.

(봇 말고 다른 이유는 모르겠습니다.)

사이트를 구현할시 조금 정교하게 구현하면 파이썬으로 코딩시 정상적인 클릭요청처럼 보이기

위해서 유저에이전트값과 쿠키값이 필요하고 그냥 그런거 신경안쓰고 구현한 경우면 요청만 보내도

다 들어올수 있습니다. 호스팅과는 관계없이 사이트 만든사람이 어떻게 만들었냐에 따라 다릅니다.

2015.12.08.

도움이 되었다면 UP 눌러주세요!
UP이 많은 답변일수록 사용자들에게 더 많이 노출됩니다.

NAVER