teratailもりあがっtail? 57問目

606 ：仕様書無しさん：2020/08/27(木) 09:24:07 .net

初心者はこれだからダルい...

スクレイピングって基本サーバーがAPI用意しないからするもんなんだよ
鯖管からしたらスクレイピングなんてしてほしくない
負荷が上がるし広告も押してくれないからだ

だからスクレイピングされるくらいならAPIを用意する
APIを用意すれば匿名アクセスを基本制限できて、認証ベースで負荷を制御できる
ユーザーの利便性も上がり一石二鳥な構図なんだよ

画面のない鯖からスクレイピングなんて自由にやらせたら制御できずにあっという間に負荷が上がる
サービスの提供だってタダじゃないんだから、限度を超えると困るんだよ
だから鯖缶は本当に困る場合は簡単にIP BANにする
鯖からブラウザ開くやついないからな
ちょっとcurlでhtml取る程度のことがどこぞのアマゾンやどこぞのグーグルで出来なくなるんだよ
お前のせいで