Echtzeit-SERPs-Scraping mit Zenserp - Überprüfung

Google hat es seit langem schwer für SEO-Entwickler, öffentlich verfügbare Daten von ihren Suchergebnisseiten abzukratzen. In der Tat verstößt das SERP-Scraping offiziell gegen die Nutzungsbedingungen von Big G. Die Praxis verstößt jedoch nicht gegen das Gesetz über Computerbetrug und -missbrauch (CFAA). Daher sind direkte rechtliche Schritte von Google zur Einschränkung der Praxis ins Stocken geraten. In diesem Artikel werden wir über das Scraping von hoch skalierbaren Echtzeit-SERPs mit Zenserp sprechen. Lass uns anfangen!

Während Scraping in der Praxis nicht illegal ist oder die Gefühle anderer verletzt, müssen Entwickler dennoch mit den Straßensperren kämpfen. Das wurde von Google entworfen, um deren Datenerhebung zu erschweren. Häufige Kopfschmerzen sind Captchas und IP-Blockierung. In der Vergangenheit wurden jedoch Unterlassungserklärungen verschickt, diese Taktik wird immer seltener.

Aber was wäre, wenn Sie sich überhaupt nicht mit diesen Belästigungen auseinandersetzen müssten, um Ihre wertvollen Daten zu erhalten? Betreten Sie Zenserp, ein Kernangebot von SaaS Industries mit Sitz in Österreich.

Zenserp in Kürze | SERPs Scraping mit Zenserp

Die Zenserp API ist ein Traumtool für SEO-Entwickler, die nach einer schlüsselfertigen Lösung suchen, um gängige Scraping-Hürden zu überwinden. Dank des benutzerorientierten Entwicklungszyklus von SaaS Industries und der breiten Sprachkompatibilität (Browser, Curl, Python, Node.js, PHP) ist es kinderleicht zu verwenden und zu integrieren. Darüber hinaus hat ihr unersättlicher Appetit auf Kundenfeedback und Funktionsanfragen zum riesigen API-Update im April 2019 geführt, das eine umfassende Palette von Datentypen enthält, darunter Google-Bilder, Videos, Karten, Nachrichten, Shopping und auch Trends.

Kombiniert mit wettbewerbsfähigen Preisen und erstklassigem Kundenservice. Sie haben wirklich eine All-in-One-Lösung für Ihre SERP-Scraping-Probleme in Zenserp.

Erste Schritte mit Zenserp

Wie ist es also, Zenserp tatsächlich zu verwenden? Im Folgenden behandeln wir den Prozess der ersten Schritte mit Zenserp. Anschließend werfen wir einen Blick in die API-Dokumentation, um die robuste Funktionalität von Zenserp genauer zu betrachten.

Dashboard-Übersicht | SERPs Scraping mit Zenserp

Angenommen, Sie werfen nur einen Blick auf das, worum es bei Zenserp geht, und klicken auf der Startseite auf die hellgrüne Schaltfläche 'Für kostenlosen Plan anmelden'. Wenn Sie Ihr Konto erstellt und verifiziert haben, klicken Sie auf Anmelden, um auf Ihr Dashboard zuzugreifen.

Auf der Seite, auf der Sie landen, wird eine Übersicht Ihrer wichtigsten Nutzungsinformationen angezeigt, einschließlich Ihres API-Schlüssels, des monatlichen Anforderungskontingents und der API-Nutzung im Zeitverlauf. Darüber hinaus Dokumentation aller fehlgeschlagenen Anforderungen, die möglicherweise aufgetreten sind. Es gibt auch einen praktischen Request Builder-Bereich, der neue Zenserp-Benutzer zu einer Fülle nützlicher Ressourcen führt. Das meiste davon werden wir im Dokumentationsabschnitt dieser Rezension behandeln, also bleiben Sie dran.

Werfen wir einen kurzen Blick auf alle Optionen der Seitenleiste:

• Instrumententafel – Sie sind schon hier! Dies ist lediglich ein schneller Link, um jederzeit zu Ihrer Übersichtsseite zurückzukehren.
• Spielplatz – Entsprechend benannt bietet diese Seite eine vollständig visuelle (d. h. keine Codierung erforderlich) und interaktive Schnittstelle, damit Sie mit den verschiedenen Endpunkten von Zenserp herumspielen können. Hier können Sie einige Beispielantworten generieren und diese zum Konfigurieren Ihrer API-Anfrage verwenden. Verlassen Sie sich nicht zu 100% darauf, da es Eckfälle gibt, die über die Möglichkeiten dieses Tools hinausgehen. Trotzdem finden wir es toll, wie Sie die Möglichkeit haben, Ihre Experimente in Code (Browser, Curl, Python, Node.js, PHP) zu exportieren, wenn Sie etwas finden, das wirklich funktioniert.
• Dokumentation – Beschreibt die Eingeweide der Zenserp-API. Wir werden dies im Folgenden ausführlich behandeln.
• Profil / Sicherheit - Grundlegende Kontokonfiguration, einschließlich Avatar, Kontaktinformationen und Passwortverwaltung. Nichts Besonderes.
• Abrechnung – Besteht aus drei Optionen, mit denen Sie Ihre Abonnementstufe upgraden/herabstufen/stornieren, Ihre Zahlungsmethode und Umsatzsteuer-Identifikationsnummer verwalten können, sowie ein kostenloses Feld, in dem Sie anfordern können, dass Text in Ihre Zenserp-Rechnungen aufgenommen wird, um die Buchhaltung zu vereinfachen.

All dies ist ein ziemlich normaler Tarif für jede API, aber wir wissen zu schätzen, wie einfach alles aufgebaut ist. Was Sie sehen, ist das, was Sie bekommen, und Zenserp versucht nicht, Abonnementeinstellungen in dunklen Ecken Ihres Profils zu vergraben.

Die Zenserp-API-Dokumentation | SERPs Scraping mit Zenserp

Nachdem wir die Grundlagen aus dem Weg geräumt haben, können wir uns jetzt den guten Dingen zuwenden: der Dokumentation von Zenserp. Hier sehen Sie genau, wozu die API in der Lage ist und wie Sie sie verwenden. Während die vollständige API-Implementierung in Ihre Anwendung den Rahmen dieser Überprüfung sprengt, werden wir kurz auf jeden Endpunkt und einige wichtige Parameter eingehen und einige Beispielantworten bereitstellen.

Grundfunktionalität

Zu Beginn der Dokumentationsseite befindet sich ein Abschnitt mit dem treffenden Namen Erste Schritte, in dem Ihre grundlegendsten API-Funktionen aufgeführt sind, die mit allen anderen Endpunkten interagieren können. Lass uns mal sehen:

Warum verwendet Avast 100 Festplatten?

• Authentifizierung - Hier erfahren Sie, wie Sie Ihren API-Schlüssel zur Authentifizierung verwenden. Es gibt ein Verwendungsbeispiel im Header, gefolgt von GET- und POST-Anforderungsbeispielen. Kinderleicht.
• Status - Ermöglicht es Ihnen, die Anzahl der verbleibenden Anfragen pro Abonnementlimit anzufordern. Warum sich schließlich die Mühe machen, sich in Ihr Zenserp-Dashboard einzuloggen, wenn Sie sich einfach direkt von Ihrer App informieren lassen können?
• Stapel - Durch Anhängen dieses Endpunkts können Sie bis zu 1.000 Suchvorgänge in einem einzigen Stapel durchführen. Sie haben die Möglichkeit, alle Batches auf einmal anzufordern, spezifisch nach Batch-ID, oder nach Bedarf einen neuen Batch einzureichen oder bestehende zusammenzuführen.
• Fehlercodes – Zenserp hat auch die Möglichkeit, auftretende Fehler zurückzugeben. Einschließlich 403 Verboten, wenn Sie Ihr monatliches Limit erreicht oder einen falschen API-Schlüssel verwendet haben, 404, wenn keine Ergebnisse gefunden wurden, oder 500. Immer wenn ein Serverfehler vorliegt. Vergessen Sie nicht, dass fehlgeschlagene Anforderungen auch in Ihrem Dashboard angezeigt werden.

Der Endpunkt /search | SERPs Scraping mit Zenserp

Die Kernfunktionalität von Zenserp ist hier. Durch Anhängen / Suchen an Ihre API-Anfrage. Sie erhalten eine umfassende Reihe von Daten zu praktisch allem, wofür Sie SERPS sammeln können. Ihre Anfrage liefert eine Vielzahl von Ergebnissen, darunter:

• Organische Suchergebnisse - Wenn Sie organische SERPs abfragen, werden alle Arten von Daten zurückgegeben, einschließlich der Artikelrangfolge, des Titels, der angezeigten URL und der Ziel-URL, verschiedener Arten von Bewertungen, ob es sich bei dem Link um einen Google AMP-Link handelt, Zeichenfolgen, die die Seitenbeschreibung darstellen, sowie des lokalen 3-Packs die Geschäftsinformationen enthält.
• Bezahlte Ergebnisse – Sie erhalten auch einen vollständigen Überblick über die bezahlten Ergebnisse. Zu den zurückgegebenen Informationen gehören die bezahlte Position (oben, rechts oder unten), der Titel, die AdWords-Tracking-URL, Breadcrumbs, die sichtbare URL, wie sie bei Google angezeigt wird, die Seitenbeschreibung sowie alle bezahlten Produktplatzierungen (einschließlich Position, Titel, zugehörige Bilder). URL und natürlich Preis).
• Antwortfeld / vorgestellter Ausschnitt / Top-Story – Pures Gold für jedes SEO. Finden Sie ganz einfach heraus, was am besten funktioniert, um diese begehrten Plätze in den SERPs zu erhalten, und entwickeln Sie dann eine Strategie, um diese Ergebnisse zu replizieren.
• Verwandte Suchanfragen / meinten Sie - Zenserp verbessert Ihre Keyword-Recherche, indem es wertvolle Daten zu allen zugehörigen Suchanfragen an Ihre Abfrage zurückgibt. Sie können auch vorhersehen, wie Google auf häufige Fehler reagiert, die Nutzer beim Durchsuchen Ihrer Anfrage machen.

Hier ist eine abgespeckte Version eines Beispiels, das in der Zenserp Dokumentation, mit Rattenfänger als Abfrage. Sie können die verschiedenen Arten von Ergebnissen sehen, die in der richtigen Reihenfolge angezeigt werden: der Wikipedia-Eintrag (1), Fragen im Zusammenhang mit der Abfrage (2), eine Website mit einem genau passenden Domainnamen (3), ein beliebter Artikel über die Ursprünge des Rattenfängers (4) sowie einige verwandte Videos zum Thema (5). Außerdem werden einige verwandte Suchbegriffe sowie die Gesamtzahl der zurückgegebenen Ergebnisse angezeigt.

Beispiel

{ 'query':{ 'apikey':'YOUR-API-KEY', 'q':'Pied Piper', 'url':'https://google.com/search?q=Pied+Piper&hl=en&gl=us&sourceid=chrome&ie=UTF-8' }, 'organic':[ { 'position':1, 'title':'Pied Piper of Hamelin - Wikipedia', 'url':'https://en.wikipedia.org/wiki/Pied_Piper_of_Hamelin', 'destination':'https://en.wikipedia.org › wiki › Pied_Piper_of_Hamelin', 'description':'The Pied Piper of Hamelin is the titular character of a legend from the town of Hamelin (Hameln), Lower Saxony, Germany. The legend dates back to the Middle ...', 'isAmp':false }, { 'position':2, 'questions':[ { 'question':'What is the meaning of the Pied Piper?' }, { 'question':'What is the story of the Pied Piper?' }, { 'question':'Is the pied piper a fairy tale?' }, { 'question':'Is Pied Piper a real company?' } ] }, { 'position':3, 'title':'Pied Piper', 'url':'http://www.piedpiper.com/', 'destination':'www.piedpiper.com', 'description':'The old Pied Piper flute player logo was referencing a fairytale character and in no way was meant to suggest a sexual act involving either the mouth or ear of ...', 'isAmp':false }, { 'position':4, 'title':'The Disturbing True Story of the Pied Piper of Hamelin ...', 'url':'https://www.ancient-origins.net/myths-legends/disturbing-true-story-pied-piper-hamelin-001969', 'destination':'https://www.ancient-origins.net › myths-legends › disturbing-true-story-pie...', 'description':'Aug 14, 2014 - Many are familiar with the story of the Pied Piper of Hamelin. Few realise however, that the story is based on real events, which evolved over ...', 'isAmp':false }, { 'position':5, 'videos':[ { 'title':'Pied Piper', 'url':'https://www.youtube.com/watch?v=VEZ_Ui6d9AM', 'parsed':{ 'source':'YouTube', 'date':'May 2, 2018', 'channel':'BTS - Topic' } }, { 'title':'The True History of The Pied Piper of Hamelin | Fairy Tales ...', 'url':'https://www.youtube.com/watch?v=obIAwAAcAAg', 'parsed':{ 'source':'YouTube', 'date':'Aug 4, 2017', 'channel':'Jen Campbell' } }, { 'title':'The Pied Piper: a modern day fairy tale', 'url':'https://www.wvi.org/child-health-now/video/pied-piper-modern-day-fairy-tale', 'parsed':{ 'source':'World Vision International', 'date':'Aug 22, 2013', 'channel':'WVIAdvocacy' } } ] } ], 'related_searches':[ { 'title':'pied piper instrument', 'url':'https://google.com/search?hl=en&gl=us&q=pied+piper+instrument&sa=X&ved=2ahUKEwj-vPeI3oXnAhVJJBoKHQ6iDYkQ1QIoAHoECBMQAQ' }, { 'title':'pied piper poem', 'url':'https://google.com/search?hl=en&gl=us&q=pied+piper+poem&sa=X&ved=2ahUKEwj-vPeI3oXnAhVJJBoKHQ6iDYkQ1QIoAXoECBMQAg' }, { 'title':'moral lesson of pied piper story', 'url':'https://google.com/search?hl=en&gl=us&q=moral+lesson+of+pied+piper+story&sa=X&ved=2ahUKEwj-vPeI3oXnAhVJJBoKHQ6iDYkQ1QIoAnoECBMQAw' }, { 'title':'the pied piper of hamelin summary', 'url':'https://google.com/search?hl=en&gl=us&q=the+pied+piper+of+hamelin+summary&sa=X&ved=2ahUKEwj-vPeI3oXnAhVJJBoKHQ6iDYkQ1QIoA3oECBMQBA' }, { 'title':'pied piper of hamelin story pdf', 'url':'https://google.com/search?hl=en&gl=us&q=pied+piper+of+hamelin+story+pdf&sa=X&ved=2ahUKEwj-vPeI3oXnAhVJJBoKHQ6iDYkQ1QIoBHoECBMQBQ' }, ], 'number_of_results':34800000 }

Verfeinern Ihrer Anfrage nach Suchtyp | SERPs Scraping mit Zenserp

Über die Standard-SERP-Anforderung hinaus können Sie Ihre Google-Suchanfrage auch nach Suchtyp (Bild, Video, Karten, Einkaufen, Nachrichten, Einkaufen usw.) verfeinern. Stellen Sie einfach die Auch (abzugleichen) Parameter auf eine der folgenden Optionen:

• isch – Gibt die Ergebnisse der Google Bildersuche zurück. Diese Anfrage gibt eine Litanei von Daten zurück, einschließlich Position, Miniaturansichten, Quell-URLs, Titel und mehr. (Für die umgekehrte Bildsuche führen Sie die Bild URL Parameter statt tbm=isch )
• beim - Gibt die Ergebnisse der Google Videosuche zurück. Sie erhalten Informationen wie Quelldomain, Video-URL, Titel, Beschreibung sowie Erweiterungen oder Miniaturansichten.
• lcl – Eine weitere Goldgrube für SEO-Daten, die lcl Parameter gibt Google Maps-Suchergebnisse zurück. Sie sehen den Namen des Unternehmens / Standorts, die URLs der Website, unabhängig davon, ob das Ergebnis bezahlt wurde oder nicht, Sterne oder Bewertungen sowie wichtige Informationen wie Adresse, Telefonnummern, Öffnungszeiten, bemerkenswerte Preise und sogar die Art des Geschäfts. Sie haben auch die Möglichkeit, eine Wegbeschreibung zu diesen Unternehmen anzufordern.
• es - Müssen Sie über aktuelle Ereignisse und Entwicklungen in Ihrer Branche auf dem Laufenden bleiben? Ergänzen Sie die es Parameter für Ihre Abfrage, um Google News-Suchergebnisse in Echtzeit zurückzugeben. Zeigen Sie die Namen der Artikel, ihre Links, Veröffentlichungsdaten (und die von Ihrer API analysiert), den Herausgeber, eine kurze Artikelbeschreibung sowie alle verfügbaren Miniaturansichten an.
• Geschäft – Greifen Sie mit dem results auf die Suchergebnisse von Google Shopping zu Geschäft Parameter. Werfen wir einen Blick auf einige Beispielergebnisse (aus Gründen der Lesbarkeit stark abgeschnitten) für Warmwasserbereiter in Atlanta, GA:

Shopping-Endpunkt

Neben dem Kern /Suche Endpunkt bietet die Zenserp-API auch /Einkaufen . Auf diese Weise können Sie Google Shopping-Produktseiten analysieren. Du hängst das an Produkt ID Parameter zu Ihrem /Einkaufen Abfrage, mit der Option, Ihren gewünschten Geo-Standort für die Suche anzugeben ( Lage ), Ländercode ( gI ) und / oder Webinterface-Sprache ( hl ). Sie können auch ändern, mit welcher Regionsvariante der Google-Suche Sie arbeiten möchten search_engine .

Trendendpunkt | SERPs Scraping mit Zenserp

Google Trends-Anfragen werden durch Anhängen gestellt / Trends auf Ihre Anfrage (obwohl in der Zenserp-Dokumentation fälschlicherweise angegeben ist, dass Sie verwenden sollten /Einkaufen ). Ihre Trends-Ergebnisse werden von der unterstützt Stichwort[] Parameter, bei dem Sie Ihre Schlüsselwortphrase als Argument innerhalb von [] übergeben. Die Dokumentation von Zenserp enthält eine praktische Erinnerung daran, welche Operatoren Trends verwendet (+ für oder, - zum Ausschließen, Platz für und und Anführungszeichen für eine genaue Übereinstimmung), die für Ihre Abfrage von entscheidender Bedeutung sind.

Sie können die Zeitzone weiter angeben ( tz ), Kategorie ID ( Katze ), das Zeitrahmen für Ihre Ergebnisse (stündlich, täglich, monatlich, jährlich in vielen Unterteilungen). Das Art der zu durchsuchenden Google-Eigenschaft (wie Bilder, Flüge, YouTube, Finanzen usw.). Das geo Standort oder Google-Standortcode ( gI ) und sogar die Auflösung innerhalb dieser Region (im Wesentlichen festlegen, ob Sie landesweit, stadtweit, regional usw. suchen)

Angenommen, Sie wollten sehen, wie sich Kanye West im letzten Monat entwickelt hat. Sie würden die Anfrage folgendermaßen stellen:

https://app.zenserp.com/api/v1/trends?apikey=IHR-API-SCHLÜSSEL&keyword%5B%5D=kanye%20west&timeframe=today%201-m

Leistung | SERPs Scraping mit Zenserp

Wie funktioniert Zenserp tatsächlich, nachdem wir mit der Funktionsübersicht fertig sind? Schließlich sind all diese netten Daten nutzlos, wenn Sie aufgrund der stonewalling programmatischen Datenerfassungsbemühungen von Google nicht darauf zugreifen können.

Unserer Erfahrung nach erledigte Zenserp seine Aufgaben ohne Probleme, egal was wir suchten und wo auf der Welt wir unsere Anfragen richteten. Die Geheimwaffe hier ist das unglaubliche weltweite Proxy-Netzwerk von Zenserp, das Ihre Anfragen dorthin umleitet, wo sie hin müssen, während Sie Ihre IP-Adresse entsprechend ändern. Obwohl Zenserp die tatsächlichen Nummern seines Servernetzwerks nicht veröffentlicht, erwies es sich als ausreichend robust, um bei unseren Testanfragen keinen einzigen Fehler auszulösen.

Unter der Haube der Zenserp-API ist auch ein ausgeklügelter Captcha-Solver enthalten. Auch hier haben wir keine Details darüber, wie sie diese Arbeit gemacht haben. Aber es hat funktioniert, und das auch konsequent.

Preisgestaltung

Die Infrastruktur von Zenserp reicht aus, um alle Betriebsanforderungen zu erfüllen. Sie bieten eine breite Palette von Abonnement-Preispunkten, sodass Sie nur für genau das bezahlen, was Sie benötigen. Unabhängig davon, für welche Stufe Sie sich entscheiden, können Sie eine niedrige monatliche Gebühr zahlen oder einen Rabatt von 20% auf einen Jahresplan erhalten.

Zusätzlich zu den Standardstufen bietet Zenserp High-Volume-Pläne. Das ist an ein monatliches Zahlungsschema gebunden. Jede Stufe enthält alle Premium-Funktionen der MITTEL-SEHR GROSS-Pläne. Und skaliert Ihre monatliche Quote danach, wie viel Sie bezahlen:

• PREMIUM – 599,99 USD und 250.000 Anfragen pro Monat
• PROFESSIONAL - 1.399,99 USD und 750.000 Anfragen pro Monat
• UNTERNEHMEN - 1.599,99 USD und 1.000.000 Anfragen pro Monat

SERPs Scraping mit Zenserp

SaaS Industries hat mit seiner Zenserp-API ein unglaubliches Angebot geschaffen. Dank seiner robusten Infrastruktur ist es anpassbar und hoch skalierbar. Dank der einfachen parametrischen Logik und der umfassenden Kompatibilität der Codierungssprachen ist die Integration in Ihre App kinderleicht.

Unsere Tests ergaben konsistente Ergebnisse, ohne jemals einen Fehler auszulösen. Obwohl wir vermuten, dass der Service nicht für Fehler in der von großen Unternehmen geforderten Größenordnung unverwundbar ist. Egal welche Art von Anfrage wir stellten, die Ergebnisse waren immer zeitnah und aussagekräftig. Es ist enorm hilfreich, Ihre SERP-Anfrage nach Suchtyp verfeinern zu können. Daher ist es klar, dass Zenserp jedem SEO-Entwickler ein unschätzbares und dennoch erschwingliches Tool bietet.

Wenn wir Kritik an dem Service hatten, könnte die Dokumentation eine etwas natürlichere Sprache verwenden, um den Inhalt zu erklären. Natürlich sollte ein erfahrener Entwickler keine Probleme haben, das Angebot zu verstehen, daher ist dies wahrscheinlich kein Problem. Selbst wenn dies der Fall ist, bieten alle bis auf die kleinsten Zahlungsstufen Concierge-Onboarding und personalisierte Kundenbetreuung, sodass Sie immer perfekt auf Ihre Bedürfnisse eingehen können.

Fazit

Okay, das war alles Leute! Ich hoffe, euch gefällt dieser Artikel zu SERPs Scraping mit Zenserp und er ist hilfreich für euch. Geben Sie uns Ihr Feedback dazu. Auch wenn ihr weitere Fragen zu diesem Artikel habt. Dann lassen Sie es uns in den Kommentaren unten wissen. Wir kommen bald auf Sie zurück.

Ich wünsche ihnen einen wunderbaren Tag!

Siehe auch: Benutzerhandbuch On View Chrome Cache Unter Windows 10