1. Introducción

En este post vamos a descubrir que es y cómo funciona SpiderFoot H, el cual, es una herramienta en la nube. Permite automatizar y orquestrar diferentes feeds de datos, obteniendo información de fuentes OSINT. La investigación origen con esta herramienta puede partir desde un dominio, dirección IP/rango, ASN o nombre de partida.

2. Conociendo SpiderFoot HX

Es una herramienta que se centra en el proceso de reconocimiento y obtención de información acerca de un objetivo, realizando comprobaciones y búsquedas en más de 100 fuentes públicas de datos.

Entre la información recolectada, destacan: direcciones IP, nombres de dominio, direcciones de correo electrónico, nombres de personas relacionadas entre otros datos de interés.

La versión cloud de Spiderfoot tiene bastantes mejoras con respecto a su versión local, siendo entre otros: escaneos automáticos programados, anonimización por defecto, mayor escalabilidad, escaneos simultáneos, así como mejoras en las visualizaciones y en la parte de reporte.

Actualmente, esta versión esta en fase Beta privada, siendo solo accesible por invitación. Desde GINSEG, tenemos la oportunidad de disponer del acceso y poder analizar la propia herramienta.

El autor de dicha herramienta es Steve Micallef, al cual, agradecemos su dedicación y trabajo dentro de este campo.

3. Análisis de  SpiderFoot HX

3.1. Instalación de SpiderFoot

La versión HX de SpiderFoot, a diferencia de su hermano pequeño, no se instala, sino se ejecuta en la nube. En un futuro post, realizaremos un análisis de la herramienta ejecutándola en local.

3.2. Configuración y parametrización de SpiderFoot

Una vez iniciada sesión en la herramienta, especificaremos la configuración deseada del análisis mediante la pestaña de nuevo escaneo (New Scan). En este apartado, disponemos de tres tipos de análisis a elegir:

  • Todos los módulos disponibles en la herramienta. Es recomendable, acceder a Settings / Modules para parametrizar correctamente cada módulo, así como por Settings / API Key Manager para introducir las API Keys con las que contemos.
  • Solo los módulos pasivos. Aquellos que no dejen huella en el objetivo, recolectando solo información de fuentes de datos de terceros. En este punto, hay que tener cuidado con algunas peticiones de DNS que realicen enumeración por fuerza bruta. Esto último es debido, a que dichas peticiones podrán dejar rastro en los sistemas de alerta y monitorización del objetivo, aunque se haya realizado mediante un tercero.
  • Los módulos seleccionados.

 

 

Es importante seleccionar correctamente los módulos que queremos emplear para nuestra investigación, teniendo como finalidad que la herramienta nos ofrezca datos de valor.  En función del número de módulos que se seleccionen, el análisis será más o menos rápido y/o silencioso. Los análisis activos son los que incluyen funcionalidades que dejan rastro en el objetivo (por ejemplo enumeración de subdominios, escaneo de puertos, listados de ficheros basura o con extensiones de backup, etc). Los análisis pasivos, en cambio, son escaneos que reciben información de otras fuentes como feeds de datos externos. Por este motivo, nuestro objetivo no sabrá ni notará ningún pico de peticiones hacia sus entornos durante el propio escaneo.

De igual forma, si los perfiles que tenemos predefinidos no cubren nuestras necesidades, podemos crear nuestro perfil para agilizar los escaneos y seleccionar los módulos que nos interesen. En nuestro caso, hemos creado un perfil seleccionando aquellos módulos que dispongan como dato de entrada dominios o que busquen en listas de dominios, pudiendo escoger y reutilizar este perfil en nuestros futuros escaneos. Esta opción, la podemos encontrar dentro de Settings / Scan Profiles.

 

 

En este apartado, como dato de entrada, podemos introducir nombres de dominios, direcciones IP, rangos de red, ASNs, direcciones de correo electrónico o nombres de personas (pudiendo elegir directivos o empleados de la organización objetivo).

Estos escaneos pueden ser realizados en el momento que lo estamos parametrizando o bien, ejecutando una programación recurrente. Utilizando esta segunda opción, podremos comparar nuevos hallazgos con el histórico de escaneos anteriores para ver las diferencias.

 

 

Un dato importante a tener en cuenta con esta versión de la herramienta, es que existen limitaciones de dos escaneos concurrentes, teniendo un máximo de dos días para realizar el escaneo. Este límite se aplica tanto para los escaneos nuevos como para los programados.

En la parte de correlaciones dentro de Settings / Correlation Rules podréis activar o desactivar cada una de las reglas y modificar el parámetro Risk, asignándole valores como Alto, Medio, Bajo e Informativo. Entendemos que esta parte evolucionará en un futuro, permitiendo añadir reglas propias, además de una mejora en las funcionalidades con configuraciones más detalladas.

 

 

3.3. Disponibilidad de API

SpiderFoot HX permite interactuar con APIs de terceros así como dispone de una API propia para poder lanzar y configurar los escaneos haciendo nuestras integraciones personalizadas.

 

Dentro de Settings / API Key Manager podréis introducir todas las API Keys de las que dispongáis, ofreciendo en un apartado centralizado la posibilidad de añadir todas las API Key de los diferentes servicios. Cada servicio y API Key puede ser configurado de forma individual dentro de Settings / Module Settings como mostramos en la imagen de abajo, aunque el gestor de claves realmente es la forma rápida de poner todo a punto sin entrar en muchos detalles de parametrizaciones.

En la parte de API Keys de la documentación oficial, podréis encontrar las páginas donde generar las cuentas y como acceder a la parte de obtención de la API Key necesaria: https://www.spiderfoot.net/documentation/#api

 

 

Introduciendo el mayor número de claves nuestros escaneos serán más completos. Aunque como siempre, debéis saber que cada servicio tiene sus limitaciones y seguramente el número de consultas que se podrán hacer por cada servicio y API será limitado. Si tenéis la suerte de tener alguna Key de pago, seguro que estos límites se reducen significativamente.

 

 

En cuanto a la API propia de SpiderFoot HX, podéis revisar la documentación disponible en la documentación siguiente:

 

SpiderFootHXAPI1.3

 

3.4. Aprendiendo a utilizar SpiderFoot HX

Una vez que hemos realizado la configuración inicial y ejecutado nuestro primer escaneo, podremos acceder a la información que se vaya recolectando.

En la parte de escaneos, tendremos toda la información recolectada, pudiendo visualizarse en un dashboard bastante intuitivo. Entre las operaciones que incluye, se podrán seleccionar y filtrar los tipos de datos, categorías, fuentes y correlaciones que haya podido realizar. También es interesante la diferenciación entre datos que son únicos y los que no, ya que al hacer este tipo de recolección de información hay mucha información repetida que genera principalmente ruido.

 

 

En el apartado de correlaciones podemos ver como se enlaza la información obtenida y se enriquece con otras fuentes de información. En la captura siguiente, se marca una IP maliciosa que está indicada como tal en diferentes fuentes de datos. De esta manera, permite ahorrarnos tiempo de análisis por cada una de los diferentes elementos ya detectados e indexados de diversas fuentes.

Es interesante revisar este tipo de correlaciones, ya que no toda la información indexada puede ser interesante para nuestro análisis, como podría ser el caso la imagen de abajo. En esta, se ha incluido una alerta y una relación con una dirección IP que dentro del contexto que nos atañe no nos aporta información relevante.

 

 

En la sección de Scans / Browse by podemos ver en un vistazo la información recolectada por categorías dentro de los módulos. Esto ofrece un detalle que facilita filtrar y ordenar la tabla que nos permitirá acceder de forma rápida a los datos que más alertas tengan o los que más llamen nuestra atención para el propósito de la recolección de información.

No entramos en detalle, ya que cada recolección de información que hagáis será diferente en función de vuestro objetivo, así como del plan que tengáis. Ya hemos hecho mención al ciclo de inteligencia y a las diferencias entre datos, información e inteligencia en el siguiente post: https://ginseg.com/2018/897/inteligencia/introduccion-a-la-inteligencia/ lo cual os invitamos a revisar para estar alineados y tener un propósito claro a la hora de usar este tipo de herramientas.

 

Dentro de este apartado tendremos las siguientes opciones:

  • Data Type
  • Data Family
  • Data Source
  • Module
  • Module Category

Navegación entre los datos presentados por Module Category.

 

Navegación entre los datos presentados por Data Family.

 

Para que podamos interactuar y visualizar la información de forma más gráfica, tenemos la sección de Scans / Visualize.

Dentro de esta parte y siempre dependiendo de nuestro fin podremos presentar la información de las siguientes formas:

  • Node Graph. Gráfico de nodos con iconos que representan cada tipo de datos.
  • TreeMap. Permite visualizar el volumen de datos agregados con diferentes tamaños en función del volumen, pudiendo ver cuál es la información más recolectada.
  • Sankey Diagram. No hemos sido capaces de que se cargue esta visualización.
  • Chord Diagram. Permite interactuar y ver qué datos se relacionan con que información. Adicionalmente, si pinchamos en el tipo deseado, nos llevará a los resultados mostrando el módulo fuente de donde se ha obtenido esta información.

 

Chord Diagram de nuestro objetivo.

 

TreeMap de nuestro objetivo.

 

Una vez que hemos buceado por los resultados de nuestro análisis, nos puede interesar hacer una comparativa de otro análisis histórico realizado, para ver los elementos que han podido desaparecer o ser descubiertos de nuevo dentro de Scan / Scan Comparasion. Esto es muy interesante para monitorizar el parque de activos que aparece en listas negras por ejemplo, ya que podremos ver si aparecen en las mismas y cuando desaparecen de estas listas.

Hay que tener en cuenta que el crawler y el indexado puede traer diferentes datos en distintos escaneos. La comparación de escaneos también puede aportarnos información que sea complicada de comparar en algunos aspectos, siempre teniendo en cuenta que se han utilizado los mismos parámetros de entrada para que esta comparación pueda tener sentido.

Las dimensiones en las que nos permite hacer la comparativa son las siguientes:

 

  • Data Type
  • Data Source
  • Module
  • Module Category

 

 

 

3.5 Score de Complejidad de instalación, configuración y uso

La puntuación inicial que damos a esta herramienta, sabiendo que aun esta en beta y que el desarrollo está mejorando con actualizaciones muy frecuentes, es de 8,33 lo cual la deja en muy buen lugar para nuestras tareas de recolección de información sobre un objetivo.

ComplejidadNota
Instalación10
Configuración8
Uso7
Puntuación total8.33

3.6. Fuentes de datos disponibles

SpiderFoot dispone de una serie de fuentes de datos de las que consultar, siendo las siguientes.

NumServicioDescripciónNecesita API KeyFalsos positivosVelocidadEscaneo Activo/PasivoErrores
1abuse.chcomprueba si un host/dominio, IP o bloque de red esta marcado como malicioso dentro del servicio abuse.ch
2AbuseIPDBcomprueba si un bloque de red o una dirección IP es maliciosa segun AbuseIPDB.comSi
3Accountsrevisa posibles cuentas de usuario asociadas en cerca de 200 sitios como Ebay, reddit, etc..
4AdBlock Checkverifica si las páginas podrían ser bloqueadas por AdBlock
5Ahmiarevisa contenidos en el buscador de TOR "Ahmia" para localizar coincidencias con el dominio buscado
6AlienVault OTXobtiene la información del feed de AlienVault Open Threat Exchange (OTX)Si
7AlienVault IP Reputationcomprueba si un host/dominio, IP or bloque de red esta marcado como malicioso dentro de la base de datos de reputación de AlienVault
8Amazon S3 Bucket Finderbusca posibles buckets de Amazon S3 que pudieran estar asociados con el objetivo con el fin de intentar listar sus contenidos.
9Archive.orglocaliza versiones históricas de archivos y/o páginas que podrian resultar interesantes dentro de Wayback MachineLento
10ARINbusca información de contacto dentro de los registros de ARIN
11badips.comcomprueba si un dominio/ip está marcado como malicioso según badips.com
12Bambenek C&C Listcomprueba si un host/dominio/ip aparece en las listas de comando y control de Bambenek C&C
13Base64busca posibles cadenas de texto codificadas en Base64 dentro de texto y URLs para descubrir información oculta que pudiera ser interesante
14Binary String Extractorintenta extraer cadenas de texto de contenido binarioMuchosLento
15Bingextracción de subdominios y enlaces de busquedas superficiales en Bing
16Bing (Shared IPs)búsqueda de hosts que comparten la misma IP
17Bitcash.cz Malicious IPscomprueba si una IP es maliciosa según Bitcash.cz Malicious IPs
18Bitcoin Finderidentifica direcciones de bitcoin en las páginas indexadas.
19Blockchainconsulta blockchain.info para obtener el balance de los monederos identificados anteriormente.Si
20blocklist.decomprueba si un netblock o IP es malicioso según blocklist.de.Si
21BotScoutbusca en la base de datos de spam-bots de botscout.com direcciones IPs y correos electronicos.Si
22BuiltWithconsulta la API de BuiltWith.com para recibir información sobre el stack tecnológico del objetivo, correos electrónicos y más.Si
23Censysobtiene datos de Censys.ioSi
24Certificate Transparencyrecupera nombres de hosts de registros historicos sobre certificados en crt.sh.
25CINS Army Listcomprueba si un netblock o IP es maliciosa según cinsscore.com Army List.
26CIRCL.LUobtiene datos de las bases de datos de CIRCL.LU's Passive DNS y Passive SSL.Si
27Citadel Enginebusca en las bases de datos de brechas de citadel.pw.Si
28Cleanbrowsing.orgcomprueba si un host sería bloqueado por Cleanbrowsing.org DNS
29CleanTalk Spam Listcomprueba si una IP aparece en la lista de IPs que hacen spam de CleanTalk.org.
30Clearbitcomprueba nombres, addresses, dominios y más basado en lookups of correos electronicos on clearbit.com.Si
31CoinBlocker Listscomprueba si un host/dominio o IP aparece en CoinBlocker lists.
32CommonCrawlbusca URLs relacionadas en CommonCrawl.org.
33Comodocomprueba si un host sería bloqueado por Comodo DNS
34Company Namesidentifica nombres de empresas en cualquier dato obtenido.
35CookiesExtract extrae cookies de las cabeceras HTTP.
36Cross-Referenceidentifica si otros dominios comparten el mismo ID de afiliado ('Affiliates') que el objetivo.
37CryptoIOC.chcomprueba si una IP esta minando criptomonedas de forma maliciosa.
38Custom Threat Feedcomprueba si un host/dominio, bloque de red, ASN o IP son maliciosos segun un feed de datos personalizado.
39cybercrime-tracker.netcomprueba si un host/dominio o IP es malicioso segun cybercrime-tracker.net.
40Cymonobtiene datos de Cymon.ioSi
41Digital Ocean Space Finderbusca posibles instancias de Digital Ocean asociadas con el objetivo e intenta listar sus contenidos.
42DNS Brute-forceintenta identificar nombres de hosts a través de fuerza bruta usando combinaciones de nombres comunes.
43DNS Common SRVintenta identificar nombres de hosts a través de fuerza bruta de registros SRV de DNS.
44DNS Look-asideintenta hacer una resolución inversa de las direcciones IP consecutivas a la IP del objetivo para explorar si pudiera haber contenido interesante relacionado.
45DNS Raw Recordsrecupera registros de DNS en bruto como MX, TXT, A, NS entre otros.
46DNS Resolverresuelve nombres de hosts y direcciones IP identificados, también extrae los datos de los registros en bruto.
47DNS Zone Transferintenta realizar una transferencia de zona DNS completa.
48DroneBLconsulta la base de datos de DroneBL en busca de open relays, open proxies, servidores vulnerables, etc.
49DuckDuckGoconsulta la API de DuckDuckGo para obtener información sobre el objetivo.
50E-Mailidentifica correos electrónicos en cualquier dato recolectado.
51EmailFormatbusca correos electrónicos en email-format.com.
52Errorsidentifica mensajes de error comunes en contenido como consultas de SQL, listados de directorios, etc.
53Ethereum Finderidentifica direcciones de ethereum en las páginas indexadas.
54File Metadataextrae metadatos de documentos e imágenes.
55Flickrrevisa coincidencias de correos electronicos en Flickr.
56Fortiguard.comcomprueba si una IP es maliciosa segun Fortiguard.com.
57Fraudguardobtiene información de amenazas de Fraudguard.ioSi
58FullContactrecupera información del dominio y del e-mail en fullcontact.com.Si
59Githubidentifica repositorios de código accesibles publicamente en Github.
60Googlerecolección (superficial) de información de subdominios y enlaces en Google.Alto número de falsos positivosSujeto a errores
61Google Mapsidentifica posibles direcciones físicas y coordenadas de longitud/latitud.Si
62Google Search, por dominiorecolección superficial de información en Google para identificar subdominios y enlaces dentro del sitio web.Alto número de falsos positivosSujeto a errores
63Gotcha.pwverifica en Gotcha.pw posibles correos electrónicos que hayan sido hackeados y que esten identificados en este servicio.
64Greynoiseobtiene datos de Greynoise.io's Enterprise API.Si
65HackerOneverifica en el servicio de reporte y escaneo de vulnerabilidades externo de h1.nobbd.de para ver si el dominio objetivo esta listado en el mismo. (Integración no oficial)
66HackerTarget.combusca en HackerTarget.com para descubrir nombres de dominios que compartan la misma dirección IP.
67HaveIBeenPwnedverifica en "Have I Been Pwned? (¿He sido hackeado?)" en búsqueda de correos electrónicos comprometidos en brechas de seguridad y que esten identificados en este servicio.
68Honeypot Checkerconsulta la base de datos de projecthoneypot.org en búsqueda de registros coincidentes.Si
69Hosting Providersverifica si cualquier dirección IP identificada se encuentra dentro de los rangos de servicios de hosting de terceros como por ejemplo de Amazon, Azure, etc.
70hosts-file.net Malicious Hostscomprueba si un host/dominio es malicioso segun hosts-file.net Malicious Hosts.
71Hunter.iocomprueba correos electrónicos y nombres en hunter.io.Si
72Iknowwhatyoudownload.comverifica iknowwhatyoudownload.com en búsqueda de direcciones IP que estan usando BitTorrent.Si
73Interesting Filesidentifica posibles ficheros que podrían ser de interes, como por ejemplo documentos de office, archivos comprimidos, etc...Alto número de falsos positivosSujeto a errores
74Internet Storm Centercomprueba si una IP es maliciosa segun SANS ISC.
75IPInfo.ioidentifica la ubicación física de una dirección IP usando el servicio de ipinfo.io.Si
76ipstackidentifica la ubicación física de una dirección IP usando el servicio de ipstack.com.Si
77Junk Filesmira ficheros viejos o temporales y otros similares.Alto número de falsos positivosLentoEscaneo activo que deja huella en el objetivoSujeto a errores
78malc0de.comcomprueba si un bloque de red o una dirección IP es maliciosa segun malc0de.com.
79malwaredominiolist.comcomprueba si un host/dominio, IP o bloque de red es malicioso segun malwaredominiolist.com.
80malwaredominios.comcomprueba si un host/dominio es malicioso segun malwaredominios.com.
81MalwarePatrolbusca en la base de datos de malwarepatrol.net enlaces o direcciones IP maliciosas.Si
82Mnemonic PassiveDNSobtiene información de registros DNS de forma pasiva de PassiveDNS.mnemonic.no.
83multiproxy.org Open Proxiescomprueba si una dirección IP es un proxy abierto según la lista de proxies de multiproxy.org.
84MySpacerecupera nombres de usuarios y su posible ubicación de perfiles de MySpace.com.
85Name Extractorintenta identificar nombres de personas del contenido indexado.Alto número de falsos positivos
86Norton ConnectSafecomprueba si un host sería bloqueado por Norton ConnectSafe DNS
87Nothink.orgcomprueba si un host/dominio, netblock o IP es malicioso segun Nothink.org.
88Onion.linkBusca información en TOR a través del buscador de 'Onion City' para localizar menciones del dominio objetivo del analisis.Alto número de falsos positivos
89Onionsearchengine.comBusca información en TOR a través del buscador de onionsearchengine.com para localizar menciones del dominio objetivo del analisis.
90Open Bug Bountyverifica en el servicio de reporte y escaneo de vulnerabilidades externo de openbugbounty.org para ver si el dominio objetivo esta listado en el mismo.
91OpenCorporateslocaliza información corporativa y empresarial en OpenCorporates.
92OpenDNScomprueba si un host sería bloqueado por las listas negras de OpenDNS
93OpenPhishcomprueba si un host/dominio es malicioso segun OpenPhish.com.
94OpenStreetMaprecupera las posibles coordenadas de longitud/latitud para las direcciones fisicas con la API de OpenStreetMap.
95Page Infoobtiene información sobre páginas webs (¿reciben contraseñas?, ¿tienen formularios?, etc.)
96PasteBinscraping de PasteBin (via Google) para identificar contenido relacionado.Alto número de falsos positivos
97Pastie.orgscraping de Pastie.org (via Google) para identificar contenido relacionado.Alto número de falsos positivos
98PGP Key Look-upcorrelacion de correos electronicos en las listas de PGP public key servers.
99PhishTankcomprueba si un host/dominio es malicioso segun PhishTank.
100Phone Numbersidentifica números de teléfonos en páginas webs indexadas.
101Port Scanner - TCPRápido, escaneo nmap intensivo para detectar puertos TCP comunes abiertos en sistemas expuestos a internet.Escaneo activo que deja huella en el objetivo
102Port Scanner - UDPEscaneo para detectar puertos UDP abiertos en sistemas expuestos a internet.LentoEscaneo activo que deja huella en el objetivo
103Psbdmp.comverifica psbdmp.cc (PasteBin Dump) para encontrar e-mails y dominios que hayan podido ser hackeados.
104Pulsediveobtiene datos de la API de Pulsedive.Si
105Quad9comprueba si un host sería bloqueado por Quad9
106RIPEconsulta el registro de RIPE (incluyendo datos de ARIN) para identificar bloques de red y otra información relacionada.
107RiskIQobtiene datos de RiskIQ (anteriormente conocido como PassiveTotal) y de sus bases de datos de Passive DNS y Passive SSL.Si
108Robtexbusca en Robtex.com para localizar dominios que comparten la misma dirección IP.
109SecurityTrailsobtiene información de DNS de forma pasiva e información adicional de SecurityTrailsSi
110SHODANobtiene datos de SHODAN acerca de las direcciones IP identificadas en nuestro analisis.Si
111Similar Dominiosbusca en diferentes fuentes para identificar nombres de dominio homofonos u homografos, para detectar dominios ocupados por ejemplo por técnicas como cybersquatting o typosquatting.
112Skymembusca correos electrónicos en Skymem.
113SlideSharerecupera nombre y ubicación de perfiles de SlideShare.
114Social Media Profilesidentifica los posibles perfiles de redes sociales de los nombres de personas identificados anteriormente.Alto número de falsos positivosLentoSujeto a errores
115Social Networksidentifica la presencia de perfiles en redes sociales como podrían ser en LinkedIn o Twitter entre otros.
116SORBSconsulta la base de datos de SORBS para descubrir relays abiertos, proxies abiertos, servidores vulnerables, etc.
117SpamCopconsulta varias bases de datos de SPAM para localizar relays abiertos, proxies abiertos, servidores vulnerables, etc.
118Spamhausconsulta la base de datos de Spamhaus en busqueda de relays abiertos, proxies abiertos, servidores vulnerables, etc.
119Spiderindexado de páginas web para extraer el contenido para hacer posteriormente las búsquedas y correlaciones del contenido guardado.Lento
120SpyOnWebbusqueda en SpyOnWeb para descubrir dominios que comparten dirección IP, codigos de Google Analytics o codigos de Google Adsense.Si
121SSL Certificatesrecupera información sobre certificados SSL usados por los sitios HTTPS de nuestro objetivo.
122Strange Headersobtiene las cabeceras HTTP extrañas devueltas por los servidores web.
123Sublist3robtiene datos de la base de datos de hosts de Sublist3r.
124ThreatCrowdobtiene datos de ThreatCrowd acerca de direcciones IP identificadas, dominios y correos electronicos.
125ThreatExpert.comcomprueba si un host/dominio o dirección IP es maliciosa segun ThreatExpert.com.
126TLD Searchbusca en todos los TLDs de Internet para localizar dominios con el mismo nombre que usen otra extensión (este proceso puede ser muy lento.)Lento
127TOR Exit Nodescomprueba si una IP o netblock aparece en la lista de nodos de torproject.org.
128TOR Serverscomprueba si una IP o netblock aparece en la lista de servidores TOR de blutmagie.de.
129TORCHbusca menciones de nuestro objetivo en Tor dentro del buscador 'TORCH'.Alto número de falsos positivosSujeto a errores
130TotalHash.comcomprueba si un host/dominio o IP es malicioso segun TotalHash.com.
131Twitterrecupera el nombre y la ubicación de perfiles de Twitter.
132UCEPROTECTconsulta la base de datos de UCEPROTECT para localizar relays abiertos, proxies abiertos, servidores vulnerables, etc.
133ViewDNS.infobúsquedas de Whois inversas usando el servicio de ViewDNS.info.Si
134VirusTotalobtiene datos de VirusTotal acerca de las direcciones IP identificadas.Si
135VoIPBL OpenPBX IPscomprueba si una IP o netblock es una centralita PBX abierta según VoIPBL OpenPBX IPs.
136VXVault.netcomprueba si un dominio o IP es malicioso segun VXVault.net.
137Watchguardcomprueba si una IP es maliciosa segun Watchguard reputationauthority.org.
138Web Analyticsidentifica el ID de Analytics en las páginas webs indexadas.
139Web Frameworkidentifica el uso de frameworks o CMS populares como jquery, YUI y others.
140Web Serverobtiene los banners de los servidores webs para identificar sus versiones.
141Whoisrealiza búsquedas de WHOIS en nombres de dominios y bloques de red propios.
142Whoisologyrealiza busquedas inversas de Whois usando Whoisology.com.Si
143Whoxyrealiza búsquedas de Whois inversas usando el servicio de Whoxy.com.Si
144Wigle.netconsulta wigle.net para identificar puntos de acceso WiFi cercanos.Si
145Wikileaksbusca en Wikileaks para detectar menciones de nombres de dominios y correos electronicos.
146Wikipedia Editsidentifica ediciones en artículos de Wikipedia hechos por una dirección IP dada o por un nombre de usuario.
147XForce Exchangeobtiene datos de IBM X-Force ExchangeSi
148Yahoobúsquedas superficiales en Yahoo para identificar e indexar enlaces y subdominios.Alto número de falsos positivosSujeto a errores
149Yyexcomprueba si un host sería bloqueado por Yyex DNS
150Zone-H Defacement Checkcomprueba si un hostname/dominio aparece en el feed RSS de 'special defacements' de zone-h.org.

Completaremos el detalle de cada una de estas fuentes dentro de la sección de Fuentes de nuestra comunidad: https://ginseg.com/category/inteligencia/fuentes-feeds/

4. Ventajas de SpiderFoot HX

Como puntos a destacar de esta versión tenemos:

  1. API. Cuenta con una API que permite interactuar con el back-end directamente sin usar el interfaz web. Esto permite automatizar la ejecución de los escaneos, ver su avance o descargar los resultados, entre otros. (Una vez que estéis en el panel podéis acceder a la documentación de la API en esta ruta /static/SpiderFootHXAPI1.3.pdf)
  2. Dispone de una pestaña de vista general. Ofrece un resumen de los datos recogidos acerca del objetivo, como número de elementos, elementos únicos, errores, correlaciones realizadas entre los datos obtenidos, categorización de las fuentes de datos y de los módulos. Igualmente, se muestra una gráfica que permite visualizar el volumen de cada tipo de datos, diferenciando entre los registros que son únicos y los que no.
  3. Reglas de correlación. Dichas reglas pueden ser personalizadas en base a riesgos que pueden ser definidos, catalogándose desde informativos hasta altos. Actualmente existen pocas reglas, pero ofrece funcionalidades futuras muy altas.
  4. Gestión de APIs de terceros en una sola pantalla. Permite añadir las API Keys correspondientes a los módulos que queramos usar en un solo sitio.
  5. Personalización de perfiles de escaneo, pudiendo ajustar los módulos que se usaran en cada perfil.
  6. Gestión de perfiles de usuarios para realizar investigaciones por diferentes miembros de un equipo, con roles de administrador, solo lectura o normal. En esta parte, puedes descubrir si el segundo factor de autenticación está activo dentro de nuestra lista de usuarios, opción más que recomendable de utilizar en cualquier servicio online.

 

5. Desventajas de SpiderFoot HX

Las limitaciones de la beta privada son:

  1. Límite de 100 escaneos mensuales con una duración máxima de 48 horas cada uno. Para organizaciones grandes, este plan puede quedarse corto.
  2. Hay un límite de 2 escaneos simultáneos. Tampoco dejará programar y ejecutar un escaneo si ya disponemos de dos corriendo. En cualquier caso, se pueden dejar programados y esperando a ser ejecutados cada dos días según nos marca el límite del punto anterior.
  3. Solo se almacenaran los datos de nuestros escaneos durante 95 días, que para investigaciones en curso, es más que suficiente. Existe la opción de comparar escaneos, con lo que no podremos retroceder en los resultados muy atrás, pero tendremos siempre la posibilidad de explorar las funcionalidades.
  4. Se pueden añadir hasta 100 usuarios por cuenta. Este límite realmente no parece un límite según nuestro punto de vista para una beta privada.

Ya hay hueco para cambiar de plan, aunque la opción actualmente aún no está habilitada. Para nuestras pruebas, la versión con las limitaciones anteriores ha sido más que suficiente, pero es verdad que para un uso comercial podrían quedarse cortas estas especificaciones.

 

6. Conclusión

Esta herramienta tiene un enorme potencial, facilita el trabajo de recolección de información sobre un objetivo. A medida que avanza el proyecto, se disponen de más fuentes de datos, que permiten tener una visión más amplia sobre nuestro objetivo y el entorno que le rodea.

Estando en desarrollo, notamos las diferencias y mejoras desde que nos inscribimos en la beta privada hasta la publicación del post, por lo que presuponemos que seguirá con este buen ritmo mejorando la solución. Lo que si observamos, es que está prevista la posibilidad de cambio de plan asumiendo que la versión gratuita de la beta privada dejará de serlo y/o aparecerán versiones comerciales de pago que tendrán otras limitaciones y precios.

En general estamos satisfechos de todas las opciones y funcionalidades de esta solución que cada vez tiende a parecerse a una plataforma de Threat Intelligence.

Dejamos hilo en nuestra comunidad para ampliar conocimiento sobre esta solución en https://ginseg.com/comunidad/topic/spiderfoot-hx/

 

2 comments

  1. Hola @2nibbles. Yo tambien uso la tool de SpiderFoot HX es fantastica y tu aporte es genial ya que resume en gran parte lo que es esta tool xD.

    Como tu tambien opino que flaquea con los dominios largos y otra contra que le veo es que exporta solo en formato csv…
    Me gustaria que aportara exportar tambien en otros formatos como pdf…

    En cuanto a este año va a haber una mejora grande. Que la publico el autor cuyo link es:

    https://medium.com/@micallst/osint-resources-for-2019-b15d55187c3f

    Espero les sirva mi pequeño aporte…
    Saludos Rootkit!.

XHTML: You can use these tags: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <s> <strike> <strong>