Recolección de datos OSINT sobre tu objetivo con SpiderFoot HX
1. Introducción
En este post vamos a descubrir que es y cómo funciona SpiderFoot H, el cual, es una herramienta en la nube. Permite automatizar y orquestrar diferentes feeds de datos, obteniendo información de fuentes OSINT. La investigación origen con esta herramienta puede partir desde un dominio, dirección IP/rango, ASN o nombre de partida.
2. Conociendo SpiderFoot HX
Es una herramienta que se centra en el proceso de reconocimiento y obtención de información acerca de un objetivo, realizando comprobaciones y búsquedas en más de 100 fuentes públicas de datos.
Entre la información recolectada, destacan: direcciones IP, nombres de dominio, direcciones de correo electrónico, nombres de personas relacionadas entre otros datos de interés.
La versión cloud de Spiderfoot tiene bastantes mejoras con respecto a su versión local, siendo entre otros: escaneos automáticos programados, anonimización por defecto, mayor escalabilidad, escaneos simultáneos, así como mejoras en las visualizaciones y en la parte de reporte.
Actualmente, esta versión esta en fase Beta privada, siendo solo accesible por invitación. Desde GINSEG, tenemos la oportunidad de disponer del acceso y poder analizar la propia herramienta.
El autor de dicha herramienta es Steve Micallef, al cual, agradecemos su dedicación y trabajo dentro de este campo.
3. Análisis de SpiderFoot HX
3.1. Instalación de SpiderFoot
La versión HX de SpiderFoot, a diferencia de su hermano pequeño, no se instala, sino se ejecuta en la nube. En un futuro post, realizaremos un análisis de la herramienta ejecutándola en local.
3.2. Configuración y parametrización de SpiderFoot
Una vez iniciada sesión en la herramienta, especificaremos la configuración deseada del análisis mediante la pestaña de nuevo escaneo (New Scan). En este apartado, disponemos de tres tipos de análisis a elegir:
- Todos los módulos disponibles en la herramienta. Es recomendable, acceder a Settings / Modules para parametrizar correctamente cada módulo, así como por Settings / API Key Manager para introducir las API Keys con las que contemos.
- Solo los módulos pasivos. Aquellos que no dejen huella en el objetivo, recolectando solo información de fuentes de datos de terceros. En este punto, hay que tener cuidado con algunas peticiones de DNS que realicen enumeración por fuerza bruta. Esto último es debido, a que dichas peticiones podrán dejar rastro en los sistemas de alerta y monitorización del objetivo, aunque se haya realizado mediante un tercero.
- Los módulos seleccionados.

Es importante seleccionar correctamente los módulos que queremos emplear para nuestra investigación, teniendo como finalidad que la herramienta nos ofrezca datos de valor. En función del número de módulos que se seleccionen, el análisis será más o menos rápido y/o silencioso. Los análisis activos son los que incluyen funcionalidades que dejan rastro en el objetivo (por ejemplo enumeración de subdominios, escaneo de puertos, listados de ficheros basura o con extensiones de backup, etc). Los análisis pasivos, en cambio, son escaneos que reciben información de otras fuentes como feeds de datos externos. Por este motivo, nuestro objetivo no sabrá ni notará ningún pico de peticiones hacia sus entornos durante el propio escaneo.
De igual forma, si los perfiles que tenemos predefinidos no cubren nuestras necesidades, podemos crear nuestro perfil para agilizar los escaneos y seleccionar los módulos que nos interesen. En nuestro caso, hemos creado un perfil seleccionando aquellos módulos que dispongan como dato de entrada dominios o que busquen en listas de dominios, pudiendo escoger y reutilizar este perfil en nuestros futuros escaneos. Esta opción, la podemos encontrar dentro de Settings / Scan Profiles.

En este apartado, como dato de entrada, podemos introducir nombres de dominios, direcciones IP, rangos de red, ASNs, direcciones de correo electrónico o nombres de personas (pudiendo elegir directivos o empleados de la organización objetivo).
Estos escaneos pueden ser realizados en el momento que lo estamos parametrizando o bien, ejecutando una programación recurrente. Utilizando esta segunda opción, podremos comparar nuevos hallazgos con el histórico de escaneos anteriores para ver las diferencias.

Un dato importante a tener en cuenta con esta versión de la herramienta, es que existen limitaciones de dos escaneos concurrentes, teniendo un máximo de dos días para realizar el escaneo. Este límite se aplica tanto para los escaneos nuevos como para los programados.
En la parte de correlaciones dentro de Settings / Correlation Rules podréis activar o desactivar cada una de las reglas y modificar el parámetro Risk, asignándole valores como Alto, Medio, Bajo e Informativo. Entendemos que esta parte evolucionará en un futuro, permitiendo añadir reglas propias, además de una mejora en las funcionalidades con configuraciones más detalladas.

3.3. Disponibilidad de API
SpiderFoot HX permite interactuar con APIs de terceros así como dispone de una API propia para poder lanzar y configurar los escaneos haciendo nuestras integraciones personalizadas.

Dentro de Settings / API Key Manager podréis introducir todas las API Keys de las que dispongáis, ofreciendo en un apartado centralizado la posibilidad de añadir todas las API Key de los diferentes servicios. Cada servicio y API Key puede ser configurado de forma individual dentro de Settings / Module Settings como mostramos en la imagen de abajo, aunque el gestor de claves realmente es la forma rápida de poner todo a punto sin entrar en muchos detalles de parametrizaciones.
En la parte de API Keys de la documentación oficial, podréis encontrar las páginas donde generar las cuentas y como acceder a la parte de obtención de la API Key necesaria: https://www.spiderfoot.net/documentation/#api

Introduciendo el mayor número de claves nuestros escaneos serán más completos. Aunque como siempre, debéis saber que cada servicio tiene sus limitaciones y seguramente el número de consultas que se podrán hacer por cada servicio y API será limitado. Si tenéis la suerte de tener alguna Key de pago, seguro que estos límites se reducen significativamente.

En cuanto a la API propia de SpiderFoot HX, podéis revisar la documentación disponible en la documentación siguiente:
SpiderFootHXAPI1.33.4. Aprendiendo a utilizar SpiderFoot HX
Una vez que hemos realizado la configuración inicial y ejecutado nuestro primer escaneo, podremos acceder a la información que se vaya recolectando.
En la parte de escaneos, tendremos toda la información recolectada, pudiendo visualizarse en un dashboard bastante intuitivo. Entre las operaciones que incluye, se podrán seleccionar y filtrar los tipos de datos, categorías, fuentes y correlaciones que haya podido realizar. También es interesante la diferenciación entre datos que son únicos y los que no, ya que al hacer este tipo de recolección de información hay mucha información repetida que genera principalmente ruido.

En el apartado de correlaciones podemos ver como se enlaza la información obtenida y se enriquece con otras fuentes de información. En la captura siguiente, se marca una IP maliciosa que está indicada como tal en diferentes fuentes de datos. De esta manera, permite ahorrarnos tiempo de análisis por cada una de los diferentes elementos ya detectados e indexados de diversas fuentes.
Es interesante revisar este tipo de correlaciones, ya que no toda la información indexada puede ser interesante para nuestro análisis, como podría ser el caso la imagen de abajo. En esta, se ha incluido una alerta y una relación con una dirección IP que dentro del contexto que nos atañe no nos aporta información relevante.

En la sección de Scans / Browse by podemos ver en un vistazo la información recolectada por categorías dentro de los módulos. Esto ofrece un detalle que facilita filtrar y ordenar la tabla que nos permitirá acceder de forma rápida a los datos que más alertas tengan o los que más llamen nuestra atención para el propósito de la recolección de información.
No entramos en detalle, ya que cada recolección de información que hagáis será diferente en función de vuestro objetivo, así como del plan que tengáis. Ya hemos hecho mención al ciclo de inteligencia y a las diferencias entre datos, información e inteligencia en el siguiente post: https://ginseg.com/2018/897/inteligencia/introduccion-a-la-inteligencia/ lo cual os invitamos a revisar para estar alineados y tener un propósito claro a la hora de usar este tipo de herramientas.
Dentro de este apartado tendremos las siguientes opciones:
- Data Type
- Data Family
- Data Source
- Module
- Module Category

Navegación entre los datos presentados por Module Category.

Navegación entre los datos presentados por Data Family.
Para que podamos interactuar y visualizar la información de forma más gráfica, tenemos la sección de Scans / Visualize.
Dentro de esta parte y siempre dependiendo de nuestro fin podremos presentar la información de las siguientes formas:
- Node Graph. Gráfico de nodos con iconos que representan cada tipo de datos.
- TreeMap. Permite visualizar el volumen de datos agregados con diferentes tamaños en función del volumen, pudiendo ver cuál es la información más recolectada.
- Sankey Diagram. No hemos sido capaces de que se cargue esta visualización.
- Chord Diagram. Permite interactuar y ver qué datos se relacionan con que información. Adicionalmente, si pinchamos en el tipo deseado, nos llevará a los resultados mostrando el módulo fuente de donde se ha obtenido esta información.

Chord Diagram de nuestro objetivo.

TreeMap de nuestro objetivo.
Una vez que hemos buceado por los resultados de nuestro análisis, nos puede interesar hacer una comparativa de otro análisis histórico realizado, para ver los elementos que han podido desaparecer o ser descubiertos de nuevo dentro de Scan / Scan Comparasion. Esto es muy interesante para monitorizar el parque de activos que aparece en listas negras por ejemplo, ya que podremos ver si aparecen en las mismas y cuando desaparecen de estas listas.
Hay que tener en cuenta que el crawler y el indexado puede traer diferentes datos en distintos escaneos. La comparación de escaneos también puede aportarnos información que sea complicada de comparar en algunos aspectos, siempre teniendo en cuenta que se han utilizado los mismos parámetros de entrada para que esta comparación pueda tener sentido.
Las dimensiones en las que nos permite hacer la comparativa son las siguientes:
- Data Type
- Data Source
- Module
- Module Category


3.5 Score de Complejidad de instalación, configuración y uso
La puntuación inicial que damos a esta herramienta, sabiendo que aun esta en beta y que el desarrollo está mejorando con actualizaciones muy frecuentes, es de 8,33 lo cual la deja en muy buen lugar para nuestras tareas de recolección de información sobre un objetivo.
Complejidad | Nota |
---|---|
Instalación | 10 |
Configuración | 8 |
Uso | 7 |
Puntuación total | 8.33 |
3.6. Fuentes de datos disponibles
SpiderFoot dispone de una serie de fuentes de datos de las que consultar, siendo las siguientes.
Num | Servicio | Descripción | Necesita API Key | Falsos positivos | Velocidad | Escaneo Activo/Pasivo | Errores |
---|---|---|---|---|---|---|---|
1 | abuse.ch | comprueba si un host/dominio, IP o bloque de red esta marcado como malicioso dentro del servicio abuse.ch | |||||
2 | AbuseIPDB | comprueba si un bloque de red o una dirección IP es maliciosa segun AbuseIPDB.com | Si | ||||
3 | Accounts | revisa posibles cuentas de usuario asociadas en cerca de 200 sitios como Ebay, reddit, etc.. | |||||
4 | AdBlock Check | verifica si las páginas podrían ser bloqueadas por AdBlock | |||||
5 | Ahmia | revisa contenidos en el buscador de TOR "Ahmia" para localizar coincidencias con el dominio buscado | |||||
6 | AlienVault OTX | obtiene la información del feed de AlienVault Open Threat Exchange (OTX) | Si | ||||
7 | AlienVault IP Reputation | comprueba si un host/dominio, IP or bloque de red esta marcado como malicioso dentro de la base de datos de reputación de AlienVault | |||||
8 | Amazon S3 Bucket Finder | busca posibles buckets de Amazon S3 que pudieran estar asociados con el objetivo con el fin de intentar listar sus contenidos. | |||||
9 | Archive.org | localiza versiones históricas de archivos y/o páginas que podrian resultar interesantes dentro de Wayback Machine | Lento | ||||
10 | ARIN | busca información de contacto dentro de los registros de ARIN | |||||
11 | badips.com | comprueba si un dominio/ip está marcado como malicioso según badips.com | |||||
12 | Bambenek C&C List | comprueba si un host/dominio/ip aparece en las listas de comando y control de Bambenek C&C | |||||
13 | Base64 | busca posibles cadenas de texto codificadas en Base64 dentro de texto y URLs para descubrir información oculta que pudiera ser interesante | |||||
14 | Binary String Extractor | intenta extraer cadenas de texto de contenido binario | Muchos | Lento | |||
15 | Bing | extracción de subdominios y enlaces de busquedas superficiales en Bing | |||||
16 | Bing (Shared IPs) | búsqueda de hosts que comparten la misma IP | |||||
17 | Bitcash.cz Malicious IPs | comprueba si una IP es maliciosa según Bitcash.cz Malicious IPs | |||||
18 | Bitcoin Finder | identifica direcciones de bitcoin en las páginas indexadas. | |||||
19 | Blockchain | consulta blockchain.info para obtener el balance de los monederos identificados anteriormente. | Si | ||||
20 | blocklist.de | comprueba si un netblock o IP es malicioso según blocklist.de. | Si | ||||
21 | BotScout | busca en la base de datos de spam-bots de botscout.com direcciones IPs y correos electronicos. | Si | ||||
22 | BuiltWith | consulta la API de BuiltWith.com para recibir información sobre el stack tecnológico del objetivo, correos electrónicos y más. | Si | ||||
23 | Censys | obtiene datos de Censys.io | Si | ||||
24 | Certificate Transparency | recupera nombres de hosts de registros historicos sobre certificados en crt.sh. | |||||
25 | CINS Army List | comprueba si un netblock o IP es maliciosa según cinsscore.com Army List. | |||||
26 | CIRCL.LU | obtiene datos de las bases de datos de CIRCL.LU's Passive DNS y Passive SSL. | Si | ||||
27 | Citadel Engine | busca en las bases de datos de brechas de citadel.pw. | Si | ||||
28 | Cleanbrowsing.org | comprueba si un host sería bloqueado por Cleanbrowsing.org DNS | |||||
29 | CleanTalk Spam List | comprueba si una IP aparece en la lista de IPs que hacen spam de CleanTalk.org. | |||||
30 | Clearbit | comprueba nombres, addresses, dominios y más basado en lookups of correos electronicos on clearbit.com. | Si | ||||
31 | CoinBlocker Lists | comprueba si un host/dominio o IP aparece en CoinBlocker lists. | |||||
32 | CommonCrawl | busca URLs relacionadas en CommonCrawl.org. | |||||
33 | Comodo | comprueba si un host sería bloqueado por Comodo DNS | |||||
34 | Company Names | identifica nombres de empresas en cualquier dato obtenido. | |||||
35 | Cookies | Extract extrae cookies de las cabeceras HTTP. | |||||
36 | Cross-Reference | identifica si otros dominios comparten el mismo ID de afiliado ('Affiliates') que el objetivo. | |||||
37 | CryptoIOC.ch | comprueba si una IP esta minando criptomonedas de forma maliciosa. | |||||
38 | Custom Threat Feed | comprueba si un host/dominio, bloque de red, ASN o IP son maliciosos segun un feed de datos personalizado. | |||||
39 | cybercrime-tracker.net | comprueba si un host/dominio o IP es malicioso segun cybercrime-tracker.net. | |||||
40 | Cymon | obtiene datos de Cymon.io | Si | ||||
41 | Digital Ocean Space Finder | busca posibles instancias de Digital Ocean asociadas con el objetivo e intenta listar sus contenidos. | |||||
42 | DNS Brute-force | intenta identificar nombres de hosts a través de fuerza bruta usando combinaciones de nombres comunes. | |||||
43 | DNS Common SRV | intenta identificar nombres de hosts a través de fuerza bruta de registros SRV de DNS. | |||||
44 | DNS Look-aside | intenta hacer una resolución inversa de las direcciones IP consecutivas a la IP del objetivo para explorar si pudiera haber contenido interesante relacionado. | |||||
45 | DNS Raw Records | recupera registros de DNS en bruto como MX, TXT, A, NS entre otros. | |||||
46 | DNS Resolver | resuelve nombres de hosts y direcciones IP identificados, también extrae los datos de los registros en bruto. | |||||
47 | DNS Zone Transfer | intenta realizar una transferencia de zona DNS completa. | |||||
48 | DroneBL | consulta la base de datos de DroneBL en busca de open relays, open proxies, servidores vulnerables, etc. | |||||
49 | DuckDuckGo | consulta la API de DuckDuckGo para obtener información sobre el objetivo. | |||||
50 | identifica correos electrónicos en cualquier dato recolectado. | ||||||
51 | EmailFormat | busca correos electrónicos en email-format.com. | |||||
52 | Errors | identifica mensajes de error comunes en contenido como consultas de SQL, listados de directorios, etc. | |||||
53 | Ethereum Finder | identifica direcciones de ethereum en las páginas indexadas. | |||||
54 | File Metadata | extrae metadatos de documentos e imágenes. | |||||
55 | Flickr | revisa coincidencias de correos electronicos en Flickr. | |||||
56 | Fortiguard.com | comprueba si una IP es maliciosa segun Fortiguard.com. | |||||
57 | Fraudguard | obtiene información de amenazas de Fraudguard.io | Si | ||||
58 | FullContact | recupera información del dominio y del e-mail en fullcontact.com. | Si | ||||
59 | Github | identifica repositorios de código accesibles publicamente en Github. | |||||
60 | recolección (superficial) de información de subdominios y enlaces en Google. | Alto número de falsos positivos | Sujeto a errores | ||||
61 | Google Maps | identifica posibles direcciones físicas y coordenadas de longitud/latitud. | Si | ||||
62 | Google Search, por dominio | recolección superficial de información en Google para identificar subdominios y enlaces dentro del sitio web. | Alto número de falsos positivos | Sujeto a errores | |||
63 | Gotcha.pw | verifica en Gotcha.pw posibles correos electrónicos que hayan sido hackeados y que esten identificados en este servicio. | |||||
64 | Greynoise | obtiene datos de Greynoise.io's Enterprise API. | Si | ||||
65 | HackerOne | verifica en el servicio de reporte y escaneo de vulnerabilidades externo de h1.nobbd.de para ver si el dominio objetivo esta listado en el mismo. (Integración no oficial) | |||||
66 | HackerTarget.com | busca en HackerTarget.com para descubrir nombres de dominios que compartan la misma dirección IP. | |||||
67 | HaveIBeenPwned | verifica en "Have I Been Pwned? (¿He sido hackeado?)" en búsqueda de correos electrónicos comprometidos en brechas de seguridad y que esten identificados en este servicio. | |||||
68 | Honeypot Checker | consulta la base de datos de projecthoneypot.org en búsqueda de registros coincidentes. | Si | ||||
69 | Hosting Providers | verifica si cualquier dirección IP identificada se encuentra dentro de los rangos de servicios de hosting de terceros como por ejemplo de Amazon, Azure, etc. | |||||
70 | hosts-file.net Malicious Hosts | comprueba si un host/dominio es malicioso segun hosts-file.net Malicious Hosts. | |||||
71 | Hunter.io | comprueba correos electrónicos y nombres en hunter.io. | Si | ||||
72 | Iknowwhatyoudownload.com | verifica iknowwhatyoudownload.com en búsqueda de direcciones IP que estan usando BitTorrent. | Si | ||||
73 | Interesting Files | identifica posibles ficheros que podrían ser de interes, como por ejemplo documentos de office, archivos comprimidos, etc... | Alto número de falsos positivos | Sujeto a errores | |||
74 | Internet Storm Center | comprueba si una IP es maliciosa segun SANS ISC. | |||||
75 | IPInfo.io | identifica la ubicación física de una dirección IP usando el servicio de ipinfo.io. | Si | ||||
76 | ipstack | identifica la ubicación física de una dirección IP usando el servicio de ipstack.com. | Si | ||||
77 | Junk Files | mira ficheros viejos o temporales y otros similares. | Alto número de falsos positivos | Lento | Escaneo activo que deja huella en el objetivo | Sujeto a errores | |
78 | malc0de.com | comprueba si un bloque de red o una dirección IP es maliciosa segun malc0de.com. | |||||
79 | malwaredominiolist.com | comprueba si un host/dominio, IP o bloque de red es malicioso segun malwaredominiolist.com. | |||||
80 | malwaredominios.com | comprueba si un host/dominio es malicioso segun malwaredominios.com. | |||||
81 | MalwarePatrol | busca en la base de datos de malwarepatrol.net enlaces o direcciones IP maliciosas. | Si | ||||
82 | Mnemonic PassiveDNS | obtiene información de registros DNS de forma pasiva de PassiveDNS.mnemonic.no. | |||||
83 | multiproxy.org Open Proxies | comprueba si una dirección IP es un proxy abierto según la lista de proxies de multiproxy.org. | |||||
84 | MySpace | recupera nombres de usuarios y su posible ubicación de perfiles de MySpace.com. | |||||
85 | Name Extractor | intenta identificar nombres de personas del contenido indexado. | Alto número de falsos positivos | ||||
86 | Norton ConnectSafe | comprueba si un host sería bloqueado por Norton ConnectSafe DNS | |||||
87 | Nothink.org | comprueba si un host/dominio, netblock o IP es malicioso segun Nothink.org. | |||||
88 | Onion.link | Busca información en TOR a través del buscador de 'Onion City' para localizar menciones del dominio objetivo del analisis. | Alto número de falsos positivos | ||||
89 | Onionsearchengine.com | Busca información en TOR a través del buscador de onionsearchengine.com para localizar menciones del dominio objetivo del analisis. | |||||
90 | Open Bug Bounty | verifica en el servicio de reporte y escaneo de vulnerabilidades externo de openbugbounty.org para ver si el dominio objetivo esta listado en el mismo. | |||||
91 | OpenCorporates | localiza información corporativa y empresarial en OpenCorporates. | |||||
92 | OpenDNS | comprueba si un host sería bloqueado por las listas negras de OpenDNS | |||||
93 | OpenPhish | comprueba si un host/dominio es malicioso segun OpenPhish.com. | |||||
94 | OpenStreetMap | recupera las posibles coordenadas de longitud/latitud para las direcciones fisicas con la API de OpenStreetMap. | |||||
95 | Page Info | obtiene información sobre páginas webs (¿reciben contraseñas?, ¿tienen formularios?, etc.) | |||||
96 | PasteBin | scraping de PasteBin (via Google) para identificar contenido relacionado. | Alto número de falsos positivos | ||||
97 | Pastie.org | scraping de Pastie.org (via Google) para identificar contenido relacionado. | Alto número de falsos positivos | ||||
98 | PGP Key Look-up | correlacion de correos electronicos en las listas de PGP public key servers. | |||||
99 | PhishTank | comprueba si un host/dominio es malicioso segun PhishTank. | |||||
100 | Phone Numbers | identifica números de teléfonos en páginas webs indexadas. | |||||
101 | Port Scanner - TCP | Rápido, escaneo nmap intensivo para detectar puertos TCP comunes abiertos en sistemas expuestos a internet. | Escaneo activo que deja huella en el objetivo | ||||
102 | Port Scanner - UDP | Escaneo para detectar puertos UDP abiertos en sistemas expuestos a internet. | Lento | Escaneo activo que deja huella en el objetivo | |||
103 | Psbdmp.com | verifica psbdmp.cc (PasteBin Dump) para encontrar e-mails y dominios que hayan podido ser hackeados. | |||||
104 | Pulsedive | obtiene datos de la API de Pulsedive. | Si | ||||
105 | Quad9 | comprueba si un host sería bloqueado por Quad9 | |||||
106 | RIPE | consulta el registro de RIPE (incluyendo datos de ARIN) para identificar bloques de red y otra información relacionada. | |||||
107 | RiskIQ | obtiene datos de RiskIQ (anteriormente conocido como PassiveTotal) y de sus bases de datos de Passive DNS y Passive SSL. | Si | ||||
108 | Robtex | busca en Robtex.com para localizar dominios que comparten la misma dirección IP. | |||||
109 | SecurityTrails | obtiene información de DNS de forma pasiva e información adicional de SecurityTrails | Si | ||||
110 | SHODAN | obtiene datos de SHODAN acerca de las direcciones IP identificadas en nuestro analisis. | Si | ||||
111 | Similar Dominios | busca en diferentes fuentes para identificar nombres de dominio homofonos u homografos, para detectar dominios ocupados por ejemplo por técnicas como cybersquatting o typosquatting. | |||||
112 | Skymem | busca correos electrónicos en Skymem. | |||||
113 | SlideShare | recupera nombre y ubicación de perfiles de SlideShare. | |||||
114 | Social Media Profiles | identifica los posibles perfiles de redes sociales de los nombres de personas identificados anteriormente. | Alto número de falsos positivos | Lento | Sujeto a errores | ||
115 | Social Networks | identifica la presencia de perfiles en redes sociales como podrían ser en LinkedIn o Twitter entre otros. | |||||
116 | SORBS | consulta la base de datos de SORBS para descubrir relays abiertos, proxies abiertos, servidores vulnerables, etc. | |||||
117 | SpamCop | consulta varias bases de datos de SPAM para localizar relays abiertos, proxies abiertos, servidores vulnerables, etc. | |||||
118 | Spamhaus | consulta la base de datos de Spamhaus en busqueda de relays abiertos, proxies abiertos, servidores vulnerables, etc. | |||||
119 | Spider | indexado de páginas web para extraer el contenido para hacer posteriormente las búsquedas y correlaciones del contenido guardado. | Lento | ||||
120 | SpyOnWeb | busqueda en SpyOnWeb para descubrir dominios que comparten dirección IP, codigos de Google Analytics o codigos de Google Adsense. | Si | ||||
121 | SSL Certificates | recupera información sobre certificados SSL usados por los sitios HTTPS de nuestro objetivo. | |||||
122 | Strange Headers | obtiene las cabeceras HTTP extrañas devueltas por los servidores web. | |||||
123 | Sublist3r | obtiene datos de la base de datos de hosts de Sublist3r. | |||||
124 | ThreatCrowd | obtiene datos de ThreatCrowd acerca de direcciones IP identificadas, dominios y correos electronicos. | |||||
125 | ThreatExpert.com | comprueba si un host/dominio o dirección IP es maliciosa segun ThreatExpert.com. | |||||
126 | TLD Search | busca en todos los TLDs de Internet para localizar dominios con el mismo nombre que usen otra extensión (este proceso puede ser muy lento.) | Lento | ||||
127 | TOR Exit Nodes | comprueba si una IP o netblock aparece en la lista de nodos de torproject.org. | |||||
128 | TOR Servers | comprueba si una IP o netblock aparece en la lista de servidores TOR de blutmagie.de. | |||||
129 | TORCH | busca menciones de nuestro objetivo en Tor dentro del buscador 'TORCH'. | Alto número de falsos positivos | Sujeto a errores | |||
130 | TotalHash.com | comprueba si un host/dominio o IP es malicioso segun TotalHash.com. | |||||
131 | recupera el nombre y la ubicación de perfiles de Twitter. | ||||||
132 | UCEPROTECT | consulta la base de datos de UCEPROTECT para localizar relays abiertos, proxies abiertos, servidores vulnerables, etc. | |||||
133 | ViewDNS.info | búsquedas de Whois inversas usando el servicio de ViewDNS.info. | Si | ||||
134 | VirusTotal | obtiene datos de VirusTotal acerca de las direcciones IP identificadas. | Si | ||||
135 | VoIPBL OpenPBX IPs | comprueba si una IP o netblock es una centralita PBX abierta según VoIPBL OpenPBX IPs. | |||||
136 | VXVault.net | comprueba si un dominio o IP es malicioso segun VXVault.net. | |||||
137 | Watchguard | comprueba si una IP es maliciosa segun Watchguard reputationauthority.org. | |||||
138 | Web Analytics | identifica el ID de Analytics en las páginas webs indexadas. | |||||
139 | Web Framework | identifica el uso de frameworks o CMS populares como jquery, YUI y others. | |||||
140 | Web Server | obtiene los banners de los servidores webs para identificar sus versiones. | |||||
141 | Whois | realiza búsquedas de WHOIS en nombres de dominios y bloques de red propios. | |||||
142 | Whoisology | realiza busquedas inversas de Whois usando Whoisology.com. | Si | ||||
143 | Whoxy | realiza búsquedas de Whois inversas usando el servicio de Whoxy.com. | Si | ||||
144 | Wigle.net | consulta wigle.net para identificar puntos de acceso WiFi cercanos. | Si | ||||
145 | Wikileaks | busca en Wikileaks para detectar menciones de nombres de dominios y correos electronicos. | |||||
146 | Wikipedia Edits | identifica ediciones en artículos de Wikipedia hechos por una dirección IP dada o por un nombre de usuario. | |||||
147 | XForce Exchange | obtiene datos de IBM X-Force Exchange | Si | ||||
148 | Yahoo | búsquedas superficiales en Yahoo para identificar e indexar enlaces y subdominios. | Alto número de falsos positivos | Sujeto a errores | |||
149 | Yyex | comprueba si un host sería bloqueado por Yyex DNS | |||||
150 | Zone-H Defacement Check | comprueba si un hostname/dominio aparece en el feed RSS de 'special defacements' de zone-h.org. |
Completaremos el detalle de cada una de estas fuentes dentro de la sección de Fuentes de nuestra comunidad: https://ginseg.com/category/inteligencia/fuentes-feeds/
4. Ventajas de SpiderFoot HX
Como puntos a destacar de esta versión tenemos:
- API. Cuenta con una API que permite interactuar con el back-end directamente sin usar el interfaz web. Esto permite automatizar la ejecución de los escaneos, ver su avance o descargar los resultados, entre otros. (Una vez que estéis en el panel podéis acceder a la documentación de la API en esta ruta /static/SpiderFootHXAPI1.3.pdf)
- Dispone de una pestaña de vista general. Ofrece un resumen de los datos recogidos acerca del objetivo, como número de elementos, elementos únicos, errores, correlaciones realizadas entre los datos obtenidos, categorización de las fuentes de datos y de los módulos. Igualmente, se muestra una gráfica que permite visualizar el volumen de cada tipo de datos, diferenciando entre los registros que son únicos y los que no.
- Reglas de correlación. Dichas reglas pueden ser personalizadas en base a riesgos que pueden ser definidos, catalogándose desde informativos hasta altos. Actualmente existen pocas reglas, pero ofrece funcionalidades futuras muy altas.
- Gestión de APIs de terceros en una sola pantalla. Permite añadir las API Keys correspondientes a los módulos que queramos usar en un solo sitio.
- Personalización de perfiles de escaneo, pudiendo ajustar los módulos que se usaran en cada perfil.
- Gestión de perfiles de usuarios para realizar investigaciones por diferentes miembros de un equipo, con roles de administrador, solo lectura o normal. En esta parte, puedes descubrir si el segundo factor de autenticación está activo dentro de nuestra lista de usuarios, opción más que recomendable de utilizar en cualquier servicio online.
5. Desventajas de SpiderFoot HX
Las limitaciones de la beta privada son:
- Límite de 100 escaneos mensuales con una duración máxima de 48 horas cada uno. Para organizaciones grandes, este plan puede quedarse corto.
- Hay un límite de 2 escaneos simultáneos. Tampoco dejará programar y ejecutar un escaneo si ya disponemos de dos corriendo. En cualquier caso, se pueden dejar programados y esperando a ser ejecutados cada dos días según nos marca el límite del punto anterior.
- Solo se almacenaran los datos de nuestros escaneos durante 95 días, que para investigaciones en curso, es más que suficiente. Existe la opción de comparar escaneos, con lo que no podremos retroceder en los resultados muy atrás, pero tendremos siempre la posibilidad de explorar las funcionalidades.
- Se pueden añadir hasta 100 usuarios por cuenta. Este límite realmente no parece un límite según nuestro punto de vista para una beta privada.
Ya hay hueco para cambiar de plan, aunque la opción actualmente aún no está habilitada. Para nuestras pruebas, la versión con las limitaciones anteriores ha sido más que suficiente, pero es verdad que para un uso comercial podrían quedarse cortas estas especificaciones.
6. Conclusión
Esta herramienta tiene un enorme potencial, facilita el trabajo de recolección de información sobre un objetivo. A medida que avanza el proyecto, se disponen de más fuentes de datos, que permiten tener una visión más amplia sobre nuestro objetivo y el entorno que le rodea.
Estando en desarrollo, notamos las diferencias y mejoras desde que nos inscribimos en la beta privada hasta la publicación del post, por lo que presuponemos que seguirá con este buen ritmo mejorando la solución. Lo que si observamos, es que está prevista la posibilidad de cambio de plan asumiendo que la versión gratuita de la beta privada dejará de serlo y/o aparecerán versiones comerciales de pago que tendrán otras limitaciones y precios.
En general estamos satisfechos de todas las opciones y funcionalidades de esta solución que cada vez tiende a parecerse a una plataforma de Threat Intelligence.
Dejamos hilo en nuestra comunidad para ampliar conocimiento sobre esta solución en https://ginseg.com/comunidad/topic/spiderfoot-hx/
Autor del artículo
Ingeniero de ciberseguridad
Cofundador de la Comunidad GINSEG y del congreso IntelCon
4 comments
Reply
Hola @2nibbles. Yo tambien uso la tool de SpiderFoot HX es fantastica y tu aporte es genial ya que resume en gran parte lo que es esta tool xD.
Como tu tambien opino que flaquea con los dominios largos y otra contra que le veo es que exporta solo en formato csv…
Me gustaria que aportara exportar tambien en otros formatos como pdf…
En cuanto a este año va a haber una mejora grande. Que la publico el autor cuyo link es:
https://medium.com/@micallst/osint-resources-for-2019-b15d55187c3f
Espero les sirva mi pequeño aporte…
Saludos Rootkit!.