De Scrapestack API maakt het gemakkelijk om websites naar gegevens te schrapen
Deze post werd mogelijk gemaakt door schroot door compensatie. De daadwerkelijke inhoud en meningen zijn de enige opvattingen van de auteur, die redactionele onafhankelijkheid behoudt, zelfs wanneer een bericht wordt gesponsord. Lees onze disclaimer voor meer informatie.
Vindt u het tijdrovend om al uw favoriete websites te bezoeken en alles te lezen wat ertoe doet? Een oplossing is een webschraper, een softwaretool die informatie verzamelt die u nodig hebt van andere sites.
We gaan kijken naar de scrapestack-API, een webschraapservice waarop u zich kunt abonneren. Eenmaal ingesteld, kunt u scrapestack gebruiken om alle gegevens te verzamelen die u van andere sites wilt.
Waarom u een Scraper-API nodig hebt
Online informatie vinden kan moeilijk zijn, zelfs met de kracht van Google. Specifieke soorten informatie, wereldwijd gepubliceerd, kunnen enigszins verschillen. Dit zijn vaak gegevens die u waardevol vindt.
Er zijn verschillende webschraapservices beschikbaar, maar wat als u deze zelf wilt beheren? De oplossing is scrapestack, een API-service beschikbaar met gedifferentieerde prijzen en functionaliteit om CAPTCHA's, geoblocking en andere beperkingen te omzeilen.
Het enige dat nodig is, is de URL van de doelsite en een API (gratis beschikbaar, met beperkingen). Met de kracht van de scrapestack-server kunt u alle gegevens schrapen die u zoekt.
Wat doet Scrapestack?
Met behulp van vooraf bepaalde parameters zal een krabber een gespecificeerde URL bezoeken en een kopie van een bepaald type gegevens maken. Dit kan nieuws zijn over een heel specifiek onderwerp, zoals een subset van actualiteiten of politiek, of entertainmentnieuws van de NYCC. Het hoeft echter geen nieuws te zijn: het kunnen weergegevens, sportresultaten, aandelen en aandelenkoersen of valutawaarden zijn.
Er zijn verschillende softwaretools voor het schrapen die u lokaal vanaf een pc of volledig op een server kunt uitvoeren. U kunt zelfs een gratis website gebruiken om inhoud te schrapen. Maar met scrapestack heeft u de kracht van een ultramoderne server achter u.
De API biedt beveiliging en betrouwbaarheid, terwijl de schaalbare benadering van het ontwikkel- / test- / releaseproces betekent dat ontwikkelaars er lang over kunnen doen om hun schraapproces te perfectioneren.
Scrapestack: betaalbare pakketten voor alle projecttypen
Hoewel de eerste aanmelding voor scrapestack gratis is, zijn er verschillende pakketten beschikbaar via deze schaalbare service. Het gratis pakket biedt 10.000 maandelijkse API-aanvragen, maar de ondersteuning is beperkt. Standaard proxy's worden gebruikt met deze optie.
Met Basic betaal je $ 19, 99 per maand en ontvang je 250.000 aanvragen. Door te betalen krijgt u onbeperkte ondersteuning, HTTPS-codering, gelijktijdige aanvragen (waardoor meerdere API-gebruik mogelijk is), ondersteuning voor JavaScript-rendering en meer dan 100 geolocaties. Standaard proxy's zijn ook beschikbaar met dit plan.
De beste optie voor Scrapestack is Professional . Voor $ 79, 99 per maand krijg je 1.000.000 aanvragen, allemaal dezelfde functies als Basic, plus Premium Proxy's.
Het Business- pakket kost $ 149, 99, inclusief 3.000.000 aanvragen, premium-ondersteuning en alles wat Professional heeft. Ten slotte is er een Enterprise- optie voor projecten op zakelijke schaal. Aangepaste oplossingen, speciale ondersteuning en grote API-aanvragen zijn beschikbaar binnen.
Om te beginnen heb je natuurlijk het gratis pakket nodig. Meld u aan met uw e-mailadres, pak de API en test de kracht van scrapestack.
Aan de slag met Scrapestack API
Wil je een idee van wat er achter schroot zit? De server beheert meer dan 1 miljard maandelijkse API-aanroepen, met een uptime van 99, 9 procent. Het beschikt over meer dan 100 wereldwijde serverlocaties, waarmee meer dan 35 miljoen IP-adressen kunnen worden geschraapt.
Bovendien claimt scrapestack "2000+ tevreden klanten" en denkt u dat u binnen vijf minuten aan de slag kunt. Maar hoe nauwkeurig is dit?
Nou, aanmelden gaat snel en gemakkelijk, met toegang vrijwel direct. In het accountdashboard vindt u uw API-sleutel, die u nodig hebt om de API te gebruiken. Om uw account te beschermen, is het van vitaal belang dat u de API-sleutel niet deelt, dus houd deze veilig.
Het enige dat u hierna nog nodig heeft, is een doel-URL om gegevens uit te schrapen. Misschien wilt u bijvoorbeeld gegevens van een populaire website zoals MakeUseOf ophalen. Gebruik hiervoor een eenvoudige URL-reeks zoals hieronder:
http://api.scrapestack.com/scrape?access_key=YOUR_ACCESS_KEY&url=https://apple.com Hiermee begint het schraapproces. In je browservenster krijg je zoiets terug:
Dit is eigenlijk de inhoud van de pagina zonder JavaScript- en CSS-stijl. Natuurlijk zou u de API waarschijnlijk niet met uw browser gebruiken. In plaats daarvan, wanneer gebruikt als onderdeel van een webtoepassing of script dat wordt uitgevoerd vanuit een live-systeem, kunt u de resultaten als platte tekst verzamelen en deze later analyseren.
Gebruik optionele API-parameters voor verbeterd schrapen
Scrapestack API heeft echter meer te bieden dan het basisverzoek. U kunt verschillende optionele parameters gebruiken, waaronder:
render_js: gebruik 1 om het renderen van JavaScript op derender_jste schakelen (standaard is 0, uit).keep_headers: Gebruik 1 om in te schakelen; het verzendt actieve HTTP-headers die in de API-reactie moeten worden geretourneerd.proxy_location: geef een landcode van twee letters (zoals de VS) op die u als proxy voor het API-verzoek wilt gebruiken.premium_proxy: gebruik 1 om premium proxy's in te schakelen; let op: een proxy-API-aanvraag telt als 25.
Het gebruik van deze parameters is eenvoudig: voeg een en-teken (&) toe aan het einde van de basis-URL, zoals &render_js=1 .
Bovendien bevat de API enkele nuttige, duidelijke Engelse foutcodes. Deze omvatten "103 invalid_api_function", wat betekent dat de API-functie niet bestaat. Dit gebeurt meestal na een typefout in een van de bovenstaande parameters. Op dezelfde manier geeft "105 function_access_restricted" aan dat een functie wordt gebruikt die niet door uw abonnement wordt ondersteund.
Als een code niet duidelijk is, kunt u de documentatiepagina van de scrapestack raadplegen.
Gebruik de Scrapestack API met uw favoriete codeertaal
De bovenstaande scripts zijn beschikbaar in verschillende programmeertalen. De Scrapestack API biedt ondersteuning voor PHP, Python, NodeJS, JQuery, Go en Ruby. Dit zijn misschien wel de meest populaire web- en app-ontwikkelingstalen die er zijn.
Hoewel de basisprincipes van het gebruik van de scrapestack-API hetzelfde blijven, zijn er natuurlijk verschillen tussen talen. Hier is bijvoorbeeld een codevoorbeeld in PHP:
Dit Python-script heeft ondertussen hetzelfde doel:
Het is duidelijk dat u de beste code voor het project wilt gebruiken. Het volstaat te zeggen dat scrapestack API de taak is, ongeacht het codeerplatform.
Het is eenvoudiger dan ooit om websites te scrapen met Scrapestack
Informatie die u snel moet verzamelen, is gemakkelijker te schrapen met schroot. De flexibele API biedt u de opties die u nodig hebt voor schrapen en uitvoeren. De foutcodes zijn ook beschrijvend, zodat u problemen gemakkelijk kunt oplossen.
Met een reeks pakketten en een eerste gratis aanmelding om u op weg te helpen met de ontwikkeling, kan de scrapestack API zichzelf bewijzen als de krachtigste krabber die u gebruikt. De API is compatibel met PHP, Python, NodeJS, JQuery, Go en Ruby, dus het is ideaal voor gebruik op verschillende ontwikkelingsplatforms.
Op zoek naar andere API's? De krachtige weatherstack weersgegevens API Integreer weergegevens op uw startpagina met Weatherstack API Integreer weergegevens op uw startpagina met Weatherstack API De weatherstack API biedt een eenvoudige manier om weergegevens toe te voegen aan uw website of app, en het is gratis om te beginnen. Meer informatie kan u helpen bij het bouwen van uw eigen weer-apps of het opnemen van weergegevens op uw website.
Ontdek meer over: API, Web Scraping, Webmaster Tools.
