Outils pour capturer et convertir le Web
Communauté en ligne de GrabzIt

L'agent utilisateur n'est pas défini sur « grabzit » ?

Posez des questions concernant l’outil Web Scraper de GrabzIt. Par exemple, comment utiliser le scraper Web et l’API pour extraire des données de pages Web, d’images ou de documents PDF.

Bonjour,

Nous devons identifier Grabzit comme référent ou comme agent utilisateur. Mais je ne vois aucun référent dans nos journaux et l'agent utilisateur est défini sur un navigateur normal et n'a pas de « grabzit » 

J'ai donc fait un pdf avec la sortie de php $_SERVER 

array (
'USER' => 'dk',
'HOME' => '***',
'HTTP_ACCEPT_LANGUAGE' => '*,en;q=0.5',
'HTTP_ACCEPT_ENCODING' => 'gzip, deflate',
'HTTP_ACCEPT' => 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
'HTTP_USER_AGENT' => 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4104.0 Safari/537.36',
'HTTP_UPGRADE_INSECURE_REQUESTS' => '1',
'HTTP_SEC_FETCH_USER' => '?1',
'HTTP_SEC_FETCH_SITE' => 'same-origin',
'HTTP_SEC_FETCH_MODE' => 'navigate',
'HTTP_CONNECTION' => 'keep-alive',
'HTTP_HOST' => '*****',
'SCRIPT_FILENAME' => '******',
'REDIRECT_STATUS' => '200',
'SERVER_NAME' => '****',
'SERVER_PORT' => '443',
'SERVER_ADDR' => '****',
'REMOTE_PORT' => '52588',
'REMOTE_ADDR' => '195.206.181.230',
'SERVER_SOFTWARE' => 'nginx/1.17.9',
'GATEWAY_INTERFACE' => 'CGI/1.1',
'HTTPS' => 'on',
'REQUEST_SCHEME' => 'https',
'SERVER_PROTOCOL' => 'HTTP/1.1',
'DOCUMENT_ROOT' => '****',
'DOCUMENT_URI' => '/****.php',
'REQUEST_URI' => '/****.php',
'SCRIPT_NAME' => '/****.php',
'CONTENT_LENGTH' => '',
'CONTENT_TYPE' => '',
'REQUEST_METHOD' => 'GET',
'QUERY_STRING' => '****',
'PHP_ADMIN_VALUE' => '****',
'DOMAINNAME' => '****',
'FCGI_ROLE' => 'RESPONDER',
'PHP_SELF' => '/****.php',
'REQUEST_TIME_FLOAT' => 1587134704.587993,
'REQUEST_TIME' => 1587134704,
)

Mon code php est:

$oGrabz = new GrabzItClient($gr['apikey'],$gr['apisecret']);
$oGrabz->URLToPDF($url);
$oGrabz->SaveTo('test.pdf');

Dois-je faire autre chose ?

Merci d'avance, 

Lydia
Strass66

Question posée par Royston le 17 avril 2020

Oui, GrabzIt ressemble à un navigateur normal. Ceci pour éviter d'être bloqué. Si vous souhaitez détecter vos requêtes, vous pouvez toujours passer par un paramètre URL. Comme https://www.example.com/?grabzit=true

Réponse du support GrabzIt le 22 mai 2020