1. Introducción

En este post vamos a descubrir que es y cómo funciona SpiderFoot H, el cual, es una herramienta en la nube. Permite automatizar y orquestrar diferentes feeds de datos, obteniendo información de fuentes OSINT. La investigación origen con esta herramienta puede partir desde un dominio, dirección IP/rango, ASN o nombre de partida.

2. Conociendo SpiderFoot HX

Es una herramienta que se centra en el proceso de reconocimiento y obtención de información acerca de un objetivo, realizando comprobaciones y búsquedas en más de 100 fuentes públicas de datos.

Entre la información recolectada, destacan: direcciones IP, nombres de dominio, direcciones de correo electrónico, nombres de personas relacionadas entre otros datos de interés.

La versión cloud de Spiderfoot tiene bastantes mejoras con respecto a su versión local, siendo entre otros: escaneos automáticos programados, anonimización por defecto, mayor escalabilidad, escaneos simultáneos, así como mejoras en las visualizaciones y en la parte de reporte.

Actualmente, esta versión esta en fase Beta privada, siendo solo accesible por invitación. Desde GINSEG, tenemos la oportunidad de disponer del acceso y poder analizar la propia herramienta.

El autor de dicha herramienta es Steve Micallef, al cual, agradecemos su dedicación y trabajo dentro de este campo.

3. Análisis de  SpiderFoot HX

3.1. Instalación de SpiderFoot

La versión HX de SpiderFoot, a diferencia de su hermano pequeño, no se instala, sino se ejecuta en la nube. En un futuro post, realizaremos un análisis de la herramienta ejecutándola en local.

3.2. Configuración y parametrización de SpiderFoot

Una vez iniciada sesión en la herramienta, especificaremos la configuración deseada del análisis mediante la pestaña de nuevo escaneo (New Scan). En este apartado, disponemos de tres tipos de análisis a elegir:

  • Todos los módulos disponibles en la herramienta. Es recomendable, acceder a Settings / Modules para parametrizar correctamente cada módulo, así como por Settings / API Key Manager para introducir las API Keys con las que contemos.
  • Solo los módulos pasivos. Aquellos que no dejen huella en el objetivo, recolectando solo información de fuentes de datos de terceros. En este punto, hay que tener cuidado con algunas peticiones de DNS que realicen enumeración por fuerza bruta. Esto último es debido, a que dichas peticiones podrán dejar rastro en los sistemas de alerta y monitorización del objetivo, aunque se haya realizado mediante un tercero.
  • Los módulos seleccionados.

 

 

Es importante seleccionar correctamente los módulos que queremos emplear para nuestra investigación, teniendo como finalidad que la herramienta nos ofrezca datos de valor.  En función del número de módulos que se seleccionen, el análisis será más o menos rápido y/o silencioso. Los análisis activos son los que incluyen funcionalidades que dejan rastro en el objetivo (por ejemplo enumeración de subdominios, escaneo de puertos, listados de ficheros basura o con extensiones de backup, etc). Los análisis pasivos, en cambio, son escaneos que reciben información de otras fuentes como feeds de datos externos. Por este motivo, nuestro objetivo no sabrá ni notará ningún pico de peticiones hacia sus entornos durante el propio escaneo.

De igual forma, si los perfiles que tenemos predefinidos no cubren nuestras necesidades, podemos crear nuestro perfil para agilizar los escaneos y seleccionar los módulos que nos interesen. En nuestro caso, hemos creado un perfil seleccionando aquellos módulos que dispongan como dato de entrada dominios o que busquen en listas de dominios, pudiendo escoger y reutilizar este perfil en nuestros futuros escaneos. Esta opción, la podemos encontrar dentro de Settings / Scan Profiles.

 

 

En este apartado, como dato de entrada, podemos introducir nombres de dominios, direcciones IP, rangos de red, ASNs, direcciones de correo electrónico o nombres de personas (pudiendo elegir directivos o empleados de la organización objetivo).

Estos escaneos pueden ser realizados en el momento que lo estamos parametrizando o bien, ejecutando una programación recurrente. Utilizando esta segunda opción, podremos comparar nuevos hallazgos con el histórico de escaneos anteriores para ver las diferencias.

 

 

Un dato importante a tener en cuenta con esta versión de la herramienta, es que existen limitaciones de dos escaneos concurrentes, teniendo un máximo de dos días para realizar el escaneo. Este límite se aplica tanto para los escaneos nuevos como para los programados.

En la parte de correlaciones dentro de Settings / Correlation Rules podréis activar o desactivar cada una de las reglas y modificar el parámetro Risk, asignándole valores como Alto, Medio, Bajo e Informativo. Entendemos que esta parte evolucionará en un futuro, permitiendo añadir reglas propias, además de una mejora en las funcionalidades con configuraciones más detalladas.

 

 

3.3. Disponibilidad de API

SpiderFoot HX permite interactuar con APIs de terceros así como dispone de una API propia para poder lanzar y configurar los escaneos haciendo nuestras integraciones personalizadas.

 

Dentro de Settings / API Key Manager podréis introducir todas las API Keys de las que dispongáis, ofreciendo en un apartado centralizado la posibilidad de añadir todas las API Key de los diferentes servicios. Cada servicio y API Key puede ser configurado de forma individual dentro de Settings / Module Settings como mostramos en la imagen de abajo, aunque el gestor de claves realmente es la forma rápida de poner todo a punto sin entrar en muchos detalles de parametrizaciones.

En la parte de API Keys de la documentación oficial, podréis encontrar las páginas donde generar las cuentas y como acceder a la parte de obtención de la API Key necesaria: https://www.spiderfoot.net/documentation/#api

 

 

Introduciendo el mayor número de claves nuestros escaneos serán más completos. Aunque como siempre, debéis saber que cada servicio tiene sus limitaciones y seguramente el número de consultas que se podrán hacer por cada servicio y API será limitado. Si tenéis la suerte de tener alguna Key de pago, seguro que estos límites se reducen significativamente.

 

 

En cuanto a la API propia de SpiderFoot HX, podéis revisar la documentación disponible en la documentación siguiente:

 

SpiderFootHXAPI1.3

 

3.4. Aprendiendo a utilizar SpiderFoot HX

Una vez que hemos realizado la configuración inicial y ejecutado nuestro primer escaneo, podremos acceder a la información que se vaya recolectando.

En la parte de escaneos, tendremos toda la información recolectada, pudiendo visualizarse en un dashboard bastante intuitivo. Entre las operaciones que incluye, se podrán seleccionar y filtrar los tipos de datos, categorías, fuentes y correlaciones que haya podido realizar. También es interesante la diferenciación entre datos que son únicos y los que no, ya que al hacer este tipo de recolección de información hay mucha información repetida que genera principalmente ruido.

 

 

En el apartado de correlaciones podemos ver como se enlaza la información obtenida y se enriquece con otras fuentes de información. En la captura siguiente, se marca una IP maliciosa que está indicada como tal en diferentes fuentes de datos. De esta manera, permite ahorrarnos tiempo de análisis por cada una de los diferentes elementos ya detectados e indexados de diversas fuentes.

Es interesante revisar este tipo de correlaciones, ya que no toda la información indexada puede ser interesante para nuestro análisis, como podría ser el caso la imagen de abajo. En esta, se ha incluido una alerta y una relación con una dirección IP que dentro del contexto que nos atañe no nos aporta información relevante.

 

 

En la sección de Scans / Browse by podemos ver en un vistazo la información recolectada por categorías dentro de los módulos. Esto ofrece un detalle que facilita filtrar y ordenar la tabla que nos permitirá acceder de forma rápida a los datos que más alertas tengan o los que más llamen nuestra atención para el propósito de la recolección de información.

No entramos en detalle, ya que cada recolección de información que hagáis será diferente en función de vuestro objetivo, así como del plan que tengáis. Ya hemos hecho mención al ciclo de inteligencia y a las diferencias entre datos, información e inteligencia en el siguiente post: https://ginseg.com/2018/897/inteligencia/introduccion-a-la-inteligencia/ lo cual os invitamos a revisar para estar alineados y tener un propósito claro a la hora de usar este tipo de herramientas.

 

Dentro de este apartado tendremos las siguientes opciones:

  • Data Type
  • Data Family
  • Data Source
  • Module
  • Module Category

Navegación entre los datos presentados por Module Category.

 

Navegación entre los datos presentados por Data Family.

 

Para que podamos interactuar y visualizar la información de forma más gráfica, tenemos la sección de Scans / Visualize.

Dentro de esta parte y siempre dependiendo de nuestro fin podremos presentar la información de las siguientes formas:

  • Node Graph. Gráfico de nodos con iconos que representan cada tipo de datos.
  • TreeMap. Permite visualizar el volumen de datos agregados con diferentes tamaños en función del volumen, pudiendo ver cuál es la información más recolectada.
  • Sankey Diagram. No hemos sido capaces de que se cargue esta visualización.
  • Chord Diagram. Permite interactuar y ver qué datos se relacionan con que información. Adicionalmente, si pinchamos en el tipo deseado, nos llevará a los resultados mostrando el módulo fuente de donde se ha obtenido esta información.

 

Chord Diagram de nuestro objetivo.

 

TreeMap de nuestro objetivo.

 

Una vez que hemos buceado por los resultados de nuestro análisis, nos puede interesar hacer una comparativa de otro análisis histórico realizado, para ver los elementos que han podido desaparecer o ser descubiertos de nuevo dentro de Scan / Scan Comparasion. Esto es muy interesante para monitorizar el parque de activos que aparece en listas negras por ejemplo, ya que podremos ver si aparecen en las mismas y cuando desaparecen de estas listas.

Hay que tener en cuenta que el crawler y el indexado puede traer diferentes datos en distintos escaneos. La comparación de escaneos también puede aportarnos información que sea complicada de comparar en algunos aspectos, siempre teniendo en cuenta que se han utilizado los mismos parámetros de entrada para que esta comparación pueda tener sentido.

Las dimensiones en las que nos permite hacer la comparativa son las siguientes:

 

  • Data Type
  • Data Source
  • Module
  • Module Category

 

 

 

3.5 Score de Complejidad de instalación, configuración y uso

La puntuación inicial que damos a esta herramienta, sabiendo que aun esta en beta y que el desarrollo está mejorando con actualizaciones muy frecuentes, es de 8,33 lo cual la deja en muy buen lugar para nuestras tareas de recolección de información sobre un objetivo.

 

Complejidad Nota
Instalación 10
Configuración 8
Uso 7
Puntuación total 8.33

3.6. Fuentes de datos disponibles

SpiderFoot dispone de una serie de fuentes de datos de las que consultar, siendo las siguientes.

Num Servicio Descripción Necesita API Key Falsos positivos Velocidad Escaneo Activo/Pasivo Errores
1 abuse.ch comprueba si un host/dominio, IP o bloque de red esta marcado como malicioso dentro del servicio abuse.ch
2 AbuseIPDB comprueba si un bloque de red o una dirección IP es maliciosa segun AbuseIPDB.com Si
3 Accounts revisa posibles cuentas de usuario asociadas en cerca de 200 sitios como Ebay, reddit, etc..
4 AdBlock Check verifica si las páginas podrían ser bloqueadas por AdBlock
5 Ahmia revisa contenidos en el buscador de TOR “Ahmia” para localizar coincidencias con el dominio buscado
6 AlienVault OTX obtiene la información del feed de AlienVault Open Threat Exchange (OTX) Si
7 AlienVault IP Reputation comprueba si un host/dominio, IP or bloque de red esta marcado como malicioso dentro de la base de datos de reputación de AlienVault
8 Amazon S3 Bucket Finder busca posibles buckets de Amazon S3 que pudieran estar asociados con el objetivo con el fin de intentar listar sus contenidos.
9 Archive.org localiza versiones históricas de archivos y/o páginas que podrian resultar interesantes dentro de Wayback Machine Lento
10 ARIN busca información de contacto dentro de los registros de ARIN
11 badips.com comprueba si un dominio/ip está marcado como malicioso según badips.com
12 Bambenek C&C List comprueba si un host/dominio/ip aparece en las listas de comando y control de Bambenek C&C
13 Base64 busca posibles cadenas de texto codificadas en Base64 dentro de texto y URLs para descubrir información oculta que pudiera ser interesante
14 Binary String Extractor intenta extraer cadenas de texto de contenido binario Muchos Lento
15 Bing extracción de subdominios y enlaces de busquedas superficiales en Bing
16 Bing (Shared IPs) búsqueda de hosts que comparten la misma IP
17 Bitcash.cz Malicious IPs comprueba si una IP es maliciosa según Bitcash.cz Malicious IPs
18 Bitcoin Finder identifica direcciones de bitcoin en las páginas indexadas.
19 Blockchain consulta blockchain.info para obtener el balance de los monederos identificados anteriormente. Si
20 blocklist.de comprueba si un netblock o IP es malicioso según blocklist.de. Si
21 BotScout busca en la base de datos de spam-bots de botscout.com direcciones IPs y correos electronicos. Si
22 BuiltWith consulta la API de BuiltWith.com para recibir información sobre el stack tecnológico del objetivo, correos electrónicos y más. Si
23 Censys obtiene datos de Censys.io Si
24 Certificate Transparency recupera nombres de hosts de registros historicos sobre certificados en crt.sh.
25 CINS Army List comprueba si un netblock o IP es maliciosa según cinsscore.com Army List.
26 CIRCL.LU obtiene datos de las bases de datos de CIRCL.LU’s Passive DNS y Passive SSL. Si
27 Citadel Engine busca en las bases de datos de brechas de citadel.pw. Si
28 Cleanbrowsing.org comprueba si un host sería bloqueado por Cleanbrowsing.org DNS
29 CleanTalk Spam List comprueba si una IP aparece en la lista de IPs que hacen spam de CleanTalk.org.
30 Clearbit comprueba nombres, addresses, dominios y más basado en lookups of correos electronicos on clearbit.com. Si
31 CoinBlocker Lists comprueba si un host/dominio o IP aparece en CoinBlocker lists.
32 CommonCrawl busca URLs relacionadas en CommonCrawl.org.
33 Comodo comprueba si un host sería bloqueado por Comodo DNS
34 Company Names identifica nombres de empresas en cualquier dato obtenido.
35 Cookies Extract extrae cookies de las cabeceras HTTP.
36 Cross-Reference identifica si otros dominios comparten el mismo ID de afiliado (‘Affiliates’) que el objetivo.
37 CryptoIOC.ch comprueba si una IP esta minando criptomonedas de forma maliciosa.
38 Custom Threat Feed comprueba si un host/dominio, bloque de red, ASN o IP son maliciosos segun un feed de datos personalizado.
39 cybercrime-tracker.net comprueba si un host/dominio o IP es malicioso segun cybercrime-tracker.net.
40 Cymon obtiene datos de Cymon.io Si
41 Digital Ocean Space Finder busca posibles instancias de Digital Ocean asociadas con el objetivo e intenta listar sus contenidos.
42 DNS Brute-force intenta identificar nombres de hosts a través de fuerza bruta usando combinaciones de nombres comunes.
43 DNS Common SRV intenta identificar nombres de hosts a través de fuerza bruta de registros SRV de DNS.
44 DNS Look-aside intenta hacer una resolución inversa de las direcciones IP consecutivas a la IP del objetivo para explorar si pudiera haber contenido interesante relacionado.
45 DNS Raw Records recupera registros de DNS en bruto como MX, TXT, A, NS entre otros.
46 DNS Resolver resuelve nombres de hosts y direcciones IP identificados, también extrae los datos de los registros en bruto.
47 DNS Zone Transfer intenta realizar una transferencia de zona DNS completa.
48 DroneBL consulta la base de datos de DroneBL en busca de open relays, open proxies, servidores vulnerables, etc.
49 DuckDuckGo consulta la API de DuckDuckGo para obtener información sobre el objetivo.
50 E-Mail identifica correos electrónicos en cualquier dato recolectado.
51 EmailFormat busca correos electrónicos en email-format.com.
52 Errors identifica mensajes de error comunes en contenido como consultas de SQL, listados de directorios, etc.
53 Ethereum Finder identifica direcciones de ethereum en las páginas indexadas.
54 File Metadata extrae metadatos de documentos e imágenes.
55 Flickr revisa coincidencias de correos electronicos en Flickr.
56 Fortiguard.com comprueba si una IP es maliciosa segun Fortiguard.com.
57 Fraudguard obtiene información de amenazas de Fraudguard.io Si
58 FullContact recupera información del dominio y del e-mail en fullcontact.com. Si
59 Github identifica repositorios de código accesibles publicamente en Github.
60 Google recolección (superficial) de información de subdominios y enlaces en Google. Alto número de falsos positivos Sujeto a errores
61 Google Maps identifica posibles direcciones físicas y coordenadas de longitud/latitud. Si
62 Google Search, por dominio recolección superficial de información en Google para identificar subdominios y enlaces dentro del sitio web. Alto número de falsos positivos Sujeto a errores
63 Gotcha.pw verifica en Gotcha.pw posibles correos electrónicos que hayan sido hackeados y que esten identificados en este servicio.
64 Greynoise obtiene datos de Greynoise.io’s Enterprise API. Si
65 HackerOne verifica en el servicio de reporte y escaneo de vulnerabilidades externo de h1.nobbd.de para ver si el dominio objetivo esta listado en el mismo. (Integración no oficial)
66 HackerTarget.com busca en HackerTarget.com para descubrir nombres de dominios que compartan la misma dirección IP.
67 HaveIBeenPwned verifica en “Have I Been Pwned? (¿He sido hackeado?)” en búsqueda de correos electrónicos comprometidos en brechas de seguridad y que esten identificados en este servicio.
68 Honeypot Checker consulta la base de datos de projecthoneypot.org en búsqueda de registros coincidentes. Si
69 Hosting Providers verifica si cualquier dirección IP identificada se encuentra dentro de los rangos de servicios de hosting de terceros como por ejemplo de Amazon, Azure, etc.
70 hosts-file.net Malicious Hosts comprueba si un host/dominio es malicioso segun hosts-file.net Malicious Hosts.
71 Hunter.io comprueba correos electrónicos y nombres en hunter.io. Si
72 Iknowwhatyoudownload.com verifica iknowwhatyoudownload.com en búsqueda de direcciones IP que estan usando BitTorrent. Si
73 Interesting Files identifica posibles ficheros que podrían ser de interes, como por ejemplo documentos de office, archivos comprimidos, etc… Alto número de falsos positivos Sujeto a errores
74 Internet Storm Center comprueba si una IP es maliciosa segun SANS ISC.
75 IPInfo.io identifica la ubicación física de una dirección IP usando el servicio de ipinfo.io. Si
76 ipstack identifica la ubicación física de una dirección IP usando el servicio de ipstack.com. Si
77 Junk Files mira ficheros viejos o temporales y otros similares. Alto número de falsos positivos Lento Escaneo activo que deja huella en el objetivo Sujeto a errores
78 malc0de.com comprueba si un bloque de red o una dirección IP es maliciosa segun malc0de.com.
79 malwaredominiolist.com comprueba si un host/dominio, IP o bloque de red es malicioso segun malwaredominiolist.com.
80 malwaredominios.com comprueba si un host/dominio es malicioso segun malwaredominios.com.
81 MalwarePatrol busca en la base de datos de malwarepatrol.net enlaces o direcciones IP maliciosas. Si
82 Mnemonic PassiveDNS obtiene información de registros DNS de forma pasiva de PassiveDNS.mnemonic.no.
83 multiproxy.org Open Proxies comprueba si una dirección IP es un proxy abierto según la lista de proxies de multiproxy.org.
84 MySpace recupera nombres de usuarios y su posible ubicación de perfiles de MySpace.com.
85 Name Extractor intenta identificar nombres de personas del contenido indexado. Alto número de falsos positivos
86 Norton ConnectSafe comprueba si un host sería bloqueado por Norton ConnectSafe DNS
87 Nothink.org comprueba si un  host/dominio, netblock o IP es malicioso segun Nothink.org.
88 Onion.link Busca información en TOR a través del buscador de ‘Onion City’ para localizar menciones del dominio objetivo del analisis. Alto número de falsos positivos
89 Onionsearchengine.com Busca información en TOR a través del buscador de onionsearchengine.com para localizar menciones del dominio objetivo del analisis.
90 Open Bug Bounty verifica en el servicio de reporte y escaneo de vulnerabilidades externo de openbugbounty.org para ver si el dominio objetivo esta listado en el mismo.
91 OpenCorporates localiza información corporativa y empresarial en OpenCorporates.
92 OpenDNS comprueba si un  host sería bloqueado por las listas negras de OpenDNS
93 OpenPhish comprueba si un  host/dominio es malicioso segun OpenPhish.com.
94 OpenStreetMap recupera las posibles coordenadas de longitud/latitud para las direcciones fisicas con la API de OpenStreetMap.
95 Page Info obtiene información sobre páginas webs (¿reciben contraseñas?, ¿tienen formularios?, etc.)
96 PasteBin scraping de PasteBin (via Google) para identificar contenido relacionado. Alto número de falsos positivos
97 Pastie.org scraping de Pastie.org (via Google) para identificar contenido relacionado. Alto número de falsos positivos
98 PGP Key Look-up correlacion de correos electronicos en las listas de PGP public key servers.
99 PhishTank comprueba si un  host/dominio es malicioso segun PhishTank.
100 Phone Numbers identifica números de teléfonos en páginas webs indexadas.
101 Port Scanner – TCP Rápido, escaneo nmap intensivo para detectar puertos TCP comunes abiertos en sistemas expuestos a internet. Escaneo activo que deja huella en el objetivo
102 Port Scanner – UDP Escaneo para detectar puertos UDP abiertos en sistemas expuestos a internet. Lento Escaneo activo que deja huella en el objetivo
103 Psbdmp.com verifica psbdmp.cc (PasteBin Dump) para encontrar e-mails y dominios que hayan podido ser hackeados.
104 Pulsedive obtiene datos de la API de Pulsedive. Si
105 Quad9 comprueba si un  host sería bloqueado por Quad9
106 RIPE consulta el registro de RIPE (incluyendo datos de ARIN) para identificar bloques de red y otra información relacionada.
107 RiskIQ obtiene datos de RiskIQ (anteriormente conocido como PassiveTotal) y de sus bases de datos de Passive DNS y Passive SSL. Si
108 Robtex busca en Robtex.com para localizar dominios que comparten la misma dirección IP.
109 SecurityTrails obtiene información de DNS de forma pasiva e información adicional de SecurityTrails Si
110 SHODAN obtiene datos de SHODAN acerca de las direcciones IP identificadas en nuestro analisis. Si
111 Similar Dominios busca en diferentes fuentes para identificar nombres de dominio homofonos u homografos, para detectar dominios ocupados por ejemplo por técnicas como cybersquatting o typosquatting.
112 Skymem busca correos electrónicos en Skymem.
113 SlideShare recupera nombre y ubicación de perfiles de SlideShare.
114 Social Media Profiles identifica los posibles perfiles de redes sociales de los nombres de personas identificados anteriormente. Alto número de falsos positivos Lento Sujeto a errores
115 Social Networks identifica la presencia de perfiles en redes sociales como podrían ser en LinkedIn o Twitter entre otros.
116 SORBS consulta la base de datos de SORBS para descubrir relays abiertos, proxies abiertos, servidores vulnerables, etc.
117 SpamCop consulta varias bases de datos de SPAM para localizar relays abiertos, proxies abiertos, servidores vulnerables, etc.
118 Spamhaus consulta la base de datos de Spamhaus en busqueda de relays abiertos, proxies abiertos, servidores vulnerables, etc.
119 Spider indexado de páginas web para extraer el contenido para hacer posteriormente las búsquedas y correlaciones del contenido guardado. Lento
120 SpyOnWeb busqueda en SpyOnWeb para descubrir dominios que comparten dirección IP, codigos de Google Analytics o codigos de Google Adsense. Si
121 SSL Certificates recupera información sobre certificados SSL usados por los sitios HTTPS de nuestro objetivo.
122 Strange Headers obtiene las cabeceras HTTP extrañas devueltas por los servidores web.
123 Sublist3r obtiene datos de la base de datos de hosts de Sublist3r.
124 ThreatCrowd obtiene datos de ThreatCrowd acerca de direcciones IP identificadas, dominios y correos electronicos.
125 ThreatExpert.com comprueba si un host/dominio o dirección IP es maliciosa segun ThreatExpert.com.
126 TLD Search busca en todos los TLDs de Internet para localizar dominios con el mismo nombre que usen otra extensión (este proceso puede ser muy lento.) Lento
127 TOR Exit Nodes comprueba si una IP o netblock aparece en la lista de nodos de torproject.org.
128 TOR Servers comprueba si una IP o netblock aparece en la lista de servidores TOR de blutmagie.de.
129 TORCH busca menciones de nuestro objetivo en Tor dentro del buscador ‘TORCH’. Alto número de falsos positivos Sujeto a errores
130 TotalHash.com comprueba si un host/dominio o IP es malicioso segun TotalHash.com.
131 Twitter recupera el nombre y la ubicación de perfiles de Twitter.
132 UCEPROTECT consulta la base de datos de UCEPROTECT para localizar relays abiertos, proxies abiertos, servidores vulnerables, etc.
133 ViewDNS.info búsquedas de Whois inversas usando el servicio de ViewDNS.info. Si
134 VirusTotal obtiene datos de VirusTotal acerca de las direcciones IP identificadas. Si
135 VoIPBL OpenPBX IPs comprueba si una IP o netblock es una centralita PBX abierta según VoIPBL OpenPBX IPs.
136 VXVault.net comprueba si un dominio o IP es malicioso segun VXVault.net.
137 Watchguard comprueba si una IP es maliciosa segun Watchguard reputationauthority.org.
138 Web Analytics identifica el ID de Analytics en las páginas webs indexadas.
139 Web Framework identifica el uso de frameworks o CMS populares como jquery, YUI y others.
140 Web Server obtiene los banners de los servidores webs para identificar sus versiones.
141 Whois realiza búsquedas de WHOIS en nombres de dominios y bloques de red propios.
142 Whoisology realiza busquedas inversas de Whois usando Whoisology.com. Si
143 Whoxy realiza búsquedas de Whois inversas usando el servicio de Whoxy.com. Si
144 Wigle.net consulta wigle.net para identificar puntos de acceso WiFi cercanos. Si
145 Wikileaks busca en Wikileaks para detectar menciones de nombres de dominios y correos electronicos.
146 Wikipedia Edits identifica ediciones en artículos de Wikipedia hechos por una dirección IP dada o por un nombre de usuario.
147 XForce Exchange obtiene datos de IBM X-Force Exchange Si
148 Yahoo búsquedas superficiales en Yahoo para identificar e indexar enlaces y subdominios. Alto número de falsos positivos Sujeto a errores
149 Yyex comprueba si un  host sería bloqueado por Yyex DNS
150 Zone-H Defacement Check comprueba si un  hostname/dominio aparece en el feed RSS de ‘special defacements’ de zone-h.org.

 Completaremos el detalle de cada una de estas fuentes dentro de la sección de Fuentes de nuestra comunidad: https://ginseg.com/category/inteligencia/fuentes-feeds/

4. Ventajas de SpiderFoot HX

Como puntos a destacar de esta versión tenemos:

  1. API. Cuenta con una API que permite interactuar con el back-end directamente sin usar el interfaz web. Esto permite automatizar la ejecución de los escaneos, ver su avance o descargar los resultados, entre otros. (Una vez que estéis en el panel podéis acceder a la documentación de la API en esta ruta /static/SpiderFootHXAPI1.3.pdf)
  2. Dispone de una pestaña de vista general. Ofrece un resumen de los datos recogidos acerca del objetivo, como número de elementos, elementos únicos, errores, correlaciones realizadas entre los datos obtenidos, categorización de las fuentes de datos y de los módulos. Igualmente, se muestra una gráfica que permite visualizar el volumen de cada tipo de datos, diferenciando entre los registros que son únicos y los que no.
  3. Reglas de correlación. Dichas reglas pueden ser personalizadas en base a riesgos que pueden ser definidos, catalogándose desde informativos hasta altos. Actualmente existen pocas reglas, pero ofrece funcionalidades futuras muy altas.
  4. Gestión de APIs de terceros en una sola pantalla. Permite añadir las API Keys correspondientes a los módulos que queramos usar en un solo sitio.
  5. Personalización de perfiles de escaneo, pudiendo ajustar los módulos que se usaran en cada perfil.
  6. Gestión de perfiles de usuarios para realizar investigaciones por diferentes miembros de un equipo, con roles de administrador, solo lectura o normal. En esta parte, puedes descubrir si el segundo factor de autenticación está activo dentro de nuestra lista de usuarios, opción más que recomendable de utilizar en cualquier servicio online.

 

5. Desventajas de SpiderFoot HX

Las limitaciones de la beta privada son:

  1. Límite de 100 escaneos mensuales con una duración máxima de 48 horas cada uno. Para organizaciones grandes, este plan puede quedarse corto.
  2. Hay un límite de 2 escaneos simultáneos. Tampoco dejará programar y ejecutar un escaneo si ya disponemos de dos corriendo. En cualquier caso, se pueden dejar programados y esperando a ser ejecutados cada dos días según nos marca el límite del punto anterior.
  3. Solo se almacenaran los datos de nuestros escaneos durante 95 días, que para investigaciones en curso, es más que suficiente. Existe la opción de comparar escaneos, con lo que no podremos retroceder en los resultados muy atrás, pero tendremos siempre la posibilidad de explorar las funcionalidades.
  4. Se pueden añadir hasta 100 usuarios por cuenta. Este límite realmente no parece un límite según nuestro punto de vista para una beta privada.

Ya hay hueco para cambiar de plan, aunque la opción actualmente aún no está habilitada. Para nuestras pruebas, la versión con las limitaciones anteriores ha sido más que suficiente, pero es verdad que para un uso comercial podrían quedarse cortas estas especificaciones.

 

6. Conclusión

Esta herramienta tiene un enorme potencial, facilita el trabajo de recolección de información sobre un objetivo. A medida que avanza el proyecto, se disponen de más fuentes de datos, que permiten tener una visión más amplia sobre nuestro objetivo y el entorno que le rodea.

Estando en desarrollo, notamos las diferencias y mejoras desde que nos inscribimos en la beta privada hasta la publicación del post, por lo que presuponemos que seguirá con este buen ritmo mejorando la solución. Lo que si observamos, es que está prevista la posibilidad de cambio de plan asumiendo que la versión gratuita de la beta privada dejará de serlo y/o aparecerán versiones comerciales de pago que tendrán otras limitaciones y precios.

En general estamos satisfechos de todas las opciones y funcionalidades de esta solución que cada vez tiende a parecerse a una plataforma de Threat Intelligence.

Dejamos hilo en nuestra comunidad para ampliar conocimiento sobre esta solución en https://ginseg.com/comunidad/topic/spiderfoot-hx/

 

2 comments

  1. Hola @2nibbles. Yo tambien uso la tool de SpiderFoot HX es fantastica y tu aporte es genial ya que resume en gran parte lo que es esta tool xD.

    Como tu tambien opino que flaquea con los dominios largos y otra contra que le veo es que exporta solo en formato csv…
    Me gustaria que aportara exportar tambien en otros formatos como pdf…

    En cuanto a este año va a haber una mejora grande. Que la publico el autor cuyo link es:

    https://medium.com/@micallst/osint-resources-for-2019-b15d55187c3f

    Espero les sirva mi pequeño aporte…
    Saludos Rootkit!.

XHTML: You can use these tags: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <s> <strike> <strong>