ZenserpによるリアルタイムSERPスクレイピング-レビュー
Googleには、公開されているデータを検索結果ページから取得しようとするSEO開発者に非常に苦労してきた長い歴史があります。実際、SERPスクレイピングは公式にはBigGの利用規約に違反しています。ただし、この慣行はコンピュータ犯罪取締法（CFAA）に違反していないため、この慣行を削減するためのGoogleによる直接的な法的措置は横ばいになっています。この記事では、Zenserpを使用した高度にスケーラブルなリアルタイムSERPスクレイピングについて説明します。さぁ、始めよう！
したがって、スクレイピングは実際には違法ではなく、実際には誰かの気持ちを傷つけることはありませんが、開発者は依然として障害に対処する必要があります。これは、データ収集を妨げるようにGoogleによって設計されています。一般的な頭痛の種には、キャプチャとIPブロッキングが含まれます。ただし、過去に排除措置の手紙が送られたことがあり、この戦術はますますまれになっています。
しかし、貴重なデータを取得するためにこれらの厄介な問題にまったく対処する必要がなかったとしたらどうでしょうか。オーストリアを拠点とするSaaSIndustriesのコア製品であるZenserpに参加してください。
一言で言えばZenserp | ZenserpでスクレイピングするSERP
Zenserp APIは、一般的なスクレイピングのハードルをクリアするためのターンキーソリューションを探しているSEO開発者にとって夢のツールです。 SaaS Industriesのユーザー中心の開発サイクルと幅広い言語互換性（Browser、Curl、Python、Node.js、PHP）のおかげで、使用と統合は非常に簡単です。さらに、消費者のフィードバックや機能のリクエストに対する彼らの貪欲な欲求により、2019年4月の巨大なAPIアップデートにつながり、Google画像、動画、地図、ニュース、ショッピング、トレンドなど、さまざまなデータタイプが含まれるようになりました。
競争力のある価格設定と世界クラスの顧客サービスと組み合わせる。 ZenserpでのSERPスクレイピングの問題に対するオールインワンソリューションが本当にあります。
Zenserpの使用を開始する
では、実際にZenserpを使用するのはどのようなものですか？以下では、Zenserpの使用を開始するプロセスについて説明します。次に、APIドキュメントを詳しく調べて、Zenserpの堅牢な機能を詳しく見ていきます。
ダッシュボードの概要| ZenserpでスクレイピングするSERP
Zenserpのすべてを覗き見していると仮定すると、ホームページの明るい緑色の[無料プランにサインアップ]ボタンをクリックします。アカウントを作成して確認したら、[ログイン]をクリックしてダッシュボードにアクセスします。
表示されたページには、APIキー、1か月のリクエスト割り当て、APIの使用状況など、最も重要な使用状況情報の概要が表示されます。さらに、発生した可能性のある失敗したリクエストのドキュメント。新しいZenserpユーザーを豊富な有用なリソースに導く便利なリクエストビルダーセクションもあります。このほとんどは、このレビューのドキュメントセクションで取り上げる内容なので、しっかりと待ってください。
すべてのサイドバーオプションを簡単に見てみましょう。
- ダッシュボード –あなたはすでにここにいます！これは、いつでも概要ページに戻るためのクイックリンクです。
- 遊び場 –適切な名前が付けられたこのページは、Zenserpのさまざまなエンドポイントをいじくり回すための完全に視覚的な（つまり、コーディングは不要）インタラクティブなインターフェイスを提供します。ここでは、いくつかのサンプルレスポンスを生成し、それらを使用してAPIリクエストを構成できます。このツールの機能を超えるコーナーケースがあるため、この100％に依存しないでください。それでも、実際に機能するものを見つけたときに、実験をコード（Browser、Curl、Python、Node.js、PHP）にエクスポートするオプションがあることを私たちは気に入っています。
- ドキュメンテーション – ZenserpAPIの本質を詳しく説明します。これについては、以下で詳しく説明します。
- プロファイル/セキュリティ –アバター、連絡先情報、パスワード管理などの基本的なアカウント構成。特別なことは何もありません。
- 請求 –サブスクリプションレベルのアップグレード/ダウングレード/キャンセル、支払い方法とVAT IDの管理、および会計を容易にするためにZenserp請求書にテキストを含めるように要求できる無料フィールドの3つのオプションで構成されます。
これらはすべて、どのAPIにとってもかなり標準的な料金ですが、すべてが単純にレイアウトされていることに感謝しています。表示されるのは取得したものであり、Zenserpはサブスクリプション設定をプロファイルのあいまいな隅に埋めようとはしません。
ZenserpAPIドキュメント| ZenserpでスクレイピングするSERP
基本がわからなくなったので、今度は良いもの、Zenserpのドキュメントに取り掛かることができます。ここでは、APIの機能とその使用方法を正確に確認できます。アプリケーションへの完全なAPI実装はこのレビューの範囲を超えていますが、各エンドポイント、いくつかの主要なパラメーターについて簡単に触れ、いくつかの応答例を示します。
基本機能
ドキュメントページから始めるのは、適切な名前の「はじめに」セクションです。このセクションでは、他のすべてのエンドポイントと対話できる最も基本的なAPI関数について詳しく説明しています。見てみましょう：
ソフトウェアなしでYouTubeビデオをダウンロードするトリック
- 認証 –これは、認証にAPIキーを使用する方法を示しています。ヘッダーに使用例があり、その後にGETおよびPOSTリクエストの例が続きます。簡単なピーシー。
- 状態 –サブスクリプション制限ごとに残りのリクエスト数をリクエストできます。結局のところ、アプリに直接通知させることができるのに、なぜZenserpダッシュボードにログインする必要があるのでしょうか。
- バッチ –このエンドポイントを追加すると、1回のバッチで最大1,000回の検索を行うことができます。バッチIDごとに特定のすべてのバッチを一度にリクエストするか、必要に応じて新しいバッチを送信するか、既存のバッチをマージするオプションがあります。
- エラーコード – Zenserpには、エラーが発生したときにエラーを返す機能もあります。 1か月の制限に達した場合や誤ったAPIキーを使用した場合は、403 Forbidden、結果が見つからなかった場合は404、500を含みます。サーバーエラーが発生した場合。失敗したリクエストはダッシュボードにも表示されることを忘れないでください。
/ searchエンドポイント| ZenserpでスクレイピングするSERP
Zenserpのコア機能はここにあります。 APIリクエストに/ searchを追加する。 SERPSを収集するために考えられる基本的にすべてのデータに関する包括的な配列を受け取ります。クエリは、次のようなさまざまな結果を返します。
- オーガニック検索結果 –オーガニックSERPをクエリすると、アイテムのランキング、タイトル、表示URLとリンク先URLの両方、いくつかのタイプのレビュー、リンクがGoogle AMPリンクかどうか、ページの説明を表す文字列、ローカル3パックなど、あらゆる種類のデータが返されます。ビジネス情報が含まれています。
- 有料の結果 –有料の結果の完全な概要も表示されます。返される情報には、有料の位置（上、右、または下）、タイトル、AdWordsトラッキングURL、ブレッドクラム、Googleに表示される表示URL、ページの説明、および有料のプロダクトプレースメント（位置、タイトル、関連画像など）が含まれます。 URL、そしてもちろん価格）。
- 回答ボックス/注目のスニペット/トップストーリー –すべてのSEOに純金。 SERPでこれらの切望されたスポットを獲得するために何が最も効果的かを簡単に確認し、それらの結果を複製するための戦略を構築します。
- 関連検索/意味しましたか – Zenserpは、関連するすべての検索に関する貴重なデータをクエリに返すことで、キーワードの調査を強化します。また、ユーザーがクエリを検索するときに発生する一般的なエラーにGoogleがどのように対応するかを予測することもできます。
これは、に表示される例の縮小版です。 Zenserp ドキュメント、クエリとしてPiedPiperを使用。ウィキペディアのエントリ（1）、クエリに関連する質問（2）、完全に一致するドメイン名のWebサイト（3）、Pied Piperの起源に関する人気の記事など、さまざまな種類の結果が順番に表示されます。 （4）、およびトピック（5）に関するいくつかの関連ビデオ。関連する検索フレーズと、返された結果の総数も表示されます。
例
{ 'query':{ 'apikey':'YOUR-API-KEY', 'q':'Pied Piper', 'url':'https://google.com/search?q=Pied+Piper&hl=en&gl=us&sourceid=chrome&ie=UTF-8' }, 'organic':[ { 'position':1, 'title':'Pied Piper of Hamelin - Wikipedia', 'url':'https://en.wikipedia.org/wiki/Pied_Piper_of_Hamelin', 'destination':'https://en.wikipedia.org › wiki › Pied_Piper_of_Hamelin', 'description':'The Pied Piper of Hamelin is the titular character of a legend from the town of Hamelin (Hameln), Lower Saxony, Germany. The legend dates back to the Middle ...', 'isAmp':false }, { 'position':2, 'questions':[ { 'question':'What is the meaning of the Pied Piper?' }, { 'question':'What is the story of the Pied Piper?' }, { 'question':'Is the pied piper a fairy tale?' }, { 'question':'Is Pied Piper a real company?' } ] }, { 'position':3, 'title':'Pied Piper', 'url':'http://www.piedpiper.com/', 'destination':'www.piedpiper.com', 'description':'The old Pied Piper flute player logo was referencing a fairytale character and in no way was meant to suggest a sexual act involving either the mouth or ear of ...', 'isAmp':false }, { 'position':4, 'title':'The Disturbing True Story of the Pied Piper of Hamelin ...', 'url':'https://www.ancient-origins.net/myths-legends/disturbing-true-story-pied-piper-hamelin-001969', 'destination':'https://www.ancient-origins.net › myths-legends › disturbing-true-story-pie...', 'description':'Aug 14, 2014 - Many are familiar with the story of the Pied Piper of Hamelin. Few realise however, that the story is based on real events, which evolved over ...', 'isAmp':false }, { 'position':5, 'videos':[ { 'title':'Pied Piper', 'url':'https://www.youtube.com/watch?v=VEZ_Ui6d9AM', 'parsed':{ 'source':'YouTube', 'date':'May 2, 2018', 'channel':'BTS - Topic' } }, { 'title':'The True History of The Pied Piper of Hamelin | Fairy Tales ...', 'url':'https://www.youtube.com/watch?v=obIAwAAcAAg', 'parsed':{ 'source':'YouTube', 'date':'Aug 4, 2017', 'channel':'Jen Campbell' } }, { 'title':'The Pied Piper: a modern day fairy tale', 'url':'https://www.wvi.org/child-health-now/video/pied-piper-modern-day-fairy-tale', 'parsed':{ 'source':'World Vision International', 'date':'Aug 22, 2013', 'channel':'WVIAdvocacy' } } ] } ], 'related_searches':[ { 'title':'pied piper instrument', 'url':'https://google.com/search?hl=en&gl=us&q=pied+piper+instrument&sa=X&ved=2ahUKEwj-vPeI3oXnAhVJJBoKHQ6iDYkQ1QIoAHoECBMQAQ' }, { 'title':'pied piper poem', 'url':'https://google.com/search?hl=en&gl=us&q=pied+piper+poem&sa=X&ved=2ahUKEwj-vPeI3oXnAhVJJBoKHQ6iDYkQ1QIoAXoECBMQAg' }, { 'title':'moral lesson of pied piper story', 'url':'https://google.com/search?hl=en&gl=us&q=moral+lesson+of+pied+piper+story&sa=X&ved=2ahUKEwj-vPeI3oXnAhVJJBoKHQ6iDYkQ1QIoAnoECBMQAw' }, { 'title':'the pied piper of hamelin summary', 'url':'https://google.com/search?hl=en&gl=us&q=the+pied+piper+of+hamelin+summary&sa=X&ved=2ahUKEwj-vPeI3oXnAhVJJBoKHQ6iDYkQ1QIoA3oECBMQBA' }, { 'title':'pied piper of hamelin story pdf', 'url':'https://google.com/search?hl=en&gl=us&q=pied+piper+of+hamelin+story+pdf&sa=X&ved=2ahUKEwj-vPeI3oXnAhVJJBoKHQ6iDYkQ1QIoBHoECBMQBQ' }, ], 'number_of_results':34800000 }検索タイプによるリクエストの絞り込み| ZenserpでスクレイピングするSERP
デフォルトのSERPリクエストに加えて、検索タイプ（画像、ビデオ、マップ、ショッピング、ニュース、ショッピングなど）でGoogle検索クエリを絞り込むこともできます。設定するだけです あまりにも （一致する）パラメータを次のオプションのいずれかに設定します。
- Hは –Google画像検索の結果を返します。このリクエストは、位置、サムネイル、ソースURL、タイトルなどを含む一連のデータを返します。 （逆画像検索の場合は、 image_url 代わりにパラメータ tbm = ish ）。
- で –Googleビデオ検索結果を返します。ソースドメイン、動画のURL、タイトル、説明、拡張機能やサムネイルなどの情報が表示されます。
- lcl – SEOデータのもう1つの金鉱、 lcl パラメータは、Googleマップの検索結果を返します。ビジネス/場所の名前、ウェブサイトのURL、結果が支払われるかどうか、星やレビューに加えて、住所、電話番号、営業時間、注目すべき価格、さらにはビジネスの種類などの重要な情報が表示されます。これらのビジネスへの道順をリクエストするオプションもあります。
- それ –業界の現在のイベントや開発について最新の情報を入手する必要がありますか？追加します それ クエリにパラメータを設定して、リアルタイムのGoogleニュース検索結果を返します。記事の名前、リンク、公開された（APIによって解析された）日付、発行者、記事の簡単な説明、および利用可能なサムネイルを表示します。
- ショップ –を使用してGoogleショッピングの検索結果にアクセスする ショップ パラメータ。ジョージア州アトランタの給湯器のサンプル結果（読みやすくするために大幅に切り捨てられています）を見てみましょう。
ショッピングエンドポイント
コアに加えて /探す エンドポイント、ZenserpAPIも機能します /ショッピング 。これにより、Googleショッピングの商品ページを解析できます。追加します 製品番号 あなたへのパラメータ /ショッピング クエリ、希望の検索ジオロケーションを指定するオプション付き（ ロケーション ）、国コード（ gI ）、および/またはWebインターフェイス言語（ hl ）。使用するGoogle検索のリージョンバリアントを変更することもできます search_engine 。
トレンドエンドポイント| ZenserpでスクレイピングするSERP
Googleトレンドのリクエストは、追加することで行われます /トレンド Zenserpのドキュメントには、使用する必要があると誤って記載されていますが、 /ショッピング ）。トレンドの結果は、 キーワード[] パラメータ。[]内の引数としてキーワードフレーズを渡します。 Zenserpのドキュメントには、Trendsが使用する演算子（+ for or、– for exclude、space for and、および完全一致の引用符）に関する便利なリマインダーがあり、クエリに役立ちます。
さらにタイムゾーンを指定できます（ tz ）、カテゴリID（ ネコ ）、 時間枠 あなたの結果のために（多くの細分化で毎時、毎日、毎月、毎年）。ザ・ タイプ 検索するGoogleプロパティの数（画像、フライト、YouTube、財務など）。ザ・ ジオ 場所またはGoogleの場所コード（ gI ）、さらには 解決 その地域内（基本的に、全国、都市全体、地域などを検索するかどうかを設定します）
それで、カニエ・ウェストがこの1か月でどのように傾向を示しているかを見たいとしましょう。次のようにリクエストします。
https://app.zenserp.com/api/v1/trends?apikey=YOUR-API-KEY&keyword%5B%5D=kanye%20west&timeframe=today%201-m
パフォーマンス| ZenserpでスクレイピングするSERP
機能の概要が完了したので、Zenserpは実際にどのように機能しますか？結局のところ、Googleの妨害的なプログラムによるデータ収集の努力のために実際にアクセスできない場合、このすばらしいデータはすべて役に立たないのです。
私たちの経験では、Zenserpは、何を検索したか、世界のどこでクエリをターゲットにしたかに関係なく、問題なくタスクを実行しました。ここでの秘密兵器は、Zenserpの信じられないほどの世界規模のプロキシネットワークです。これは、IPアドレスを適切に変更しながら、リクエストを必要な場所にリダイレクトします。 Zenserpはサーバーネットワークの実際の数を公表していませんが、テストリクエストを行ったときに単一のエラーをスローすることはないほど十分に堅牢であることが証明されました。
Zenserp APIの内部には、洗練されたキャプチャソルバーも含まれています。繰り返しになりますが、彼らがこれをどのように機能させたかについての詳細はありません。しかし、それが行った仕事、そして一貫して。
価格設定
Zenserpのインフラストラクチャは、あらゆる規模の運用を満たすのに十分です。幅広いサブスクリプション価格を提供しているため、必要な分だけ支払うことができます。どちらのティアを選択しても、月額料金を低く抑えるか、年間プランの20％割引を利用できます。
Zenserpは、標準階層に加えて、大量プランを提供します。それは毎月の支払いスキームに固定されています。各層には、中規模から非常に大規模なプランのすべてのプレミアム機能が含まれています。そして、あなたが支払う金額に応じてあなたの毎月の割り当てをスケーリングします：
- プレミアム–月額599.99ドルと250,000リクエスト
- プロフェッショナル–月額$ 1,399.99および750,000リクエスト
- 企業 - 月額$ 1,599.99および1,000,000リクエスト
ZenserpでスクレイピングするSERP
SaaS Industriesは、ZenserpAPIを使用して素晴らしい製品を生み出しました。堅牢なインフラストラクチャのおかげで、カスタマイズ可能で拡張性が高くなっています。それでも、簡単なパラメトリックロジックと幅広いコーディング言語の互換性のおかげで、アプリに統合するのは非常に簡単です。
私たちのテストでは、エラーを発生させることなく一貫した結果が得られました。このサービスは、大企業が必要とする規模のエラーに対して無防備ではないと思われますが。どのような種類のリクエストを行っても、結果は常にタイムリーで有意義なものでした。検索タイプごとにSERPリクエストを絞り込むことができると非常に役立ちます。そのため、ZenserpがあらゆるSEO開発者に貴重でありながら手頃なツールを提供していることは明らかです。
サービスについての批判があった場合、ドキュメントはその内容を説明するために少し自然言語を使用できるということです。もちろん、経験豊富な開発者は何が提供されているかを理解するのに問題はないはずなので、これはおそらく問題ではありません。たとえそうだとしても、最小の支払い階層を除くすべてに、コンシェルジュのオンボーディングとパーソナライズされたカスタマーサポートが含まれているため、常にニーズに完全に対応できます。
結論
さて、それはすべての人々でした！このSERPsScraping with Zenserpの記事が気に入って、お役に立てば幸いです。それについてのフィードバックをお寄せください。また、この記事に関連する質問がある場合もあります。次に、下のコメントセクションでお知らせください。間もなくご連絡いたします。
すてきな一日を！
