update base_gexf_generator with islocal node attribute
changes to networkx neighbors call - needs more updates
add flag for producing local-only graphs

Bipartite generator:
- Skip non IP traffic.
- Guard against cases where the device does not perform DNS lookups (or DNS lookups that occurred before data collection started).

Add bipartite graph generator. Needs to be merged with Rahmadi's changes to the base generator (I was unable to pull when implementing this functionaliy).

Adding binning capabilities to parse_packet_frequency.py script to smoothen and emphasize certain packet frequencies in the graph

Adding packet sizes and send/received bytes plots/analyses

Adding new analysis - incoming (not yet including outgoing) packets inter-arrival time

Adding traffic volume information into edges

Collapsing leaf nodes if they have the same set of protocols

Adding protocols as the property of edges; simplifying protocol tracking through scanning the frame.protocols field

Adding excluded devices list; Adding protocol names; restructuring, cleaning-up etc.

Establishing basic flow for the complete graph processing

Update base_gefx_generator.py to new pipeline

Separating incoming and outgoing traffic for a more fine-grained analysis

Adding moving window average using numpy library

Adding moving window average using numpy library

Completing flow for time series graph generation

Adding time series analysis run script

Setting device name as attribute (on Gephi we can choose to display/not display it)

Adding local device name mapping into graph

Adding list of MAC addresses for device translation

Restructuring files and folders

Restructuring files and folders

Restructuring files and folders

Update pipeline: graph now maps IoT devices' MACs to hostnames or other MACs (if local communication), and device-specific DNS queries are taken into account.
Changes:
- base_gefx_generator.py updated such that it considers MAC addresses instead of IPs and considers device-specific DNS queries for the IoT devices during graph construction.
- extract_from_tshark.py: updated to also include eth.src and eth.dst.
- parse_dns.py: corrected return value of hostname_for_ip_at_time such that the method simply returns the hostname instead of a tuple of timestamp and hostname.
- updated example json generated by extract_from_tshark.py
- added example gephi file generated by base_gefx_generator.py

Update parse_dns.py with new datastructure that captures all dns requests per device [NOTE: needs testing!]

Define DeviceDNSMap: class the stores a specific device's DNS mappings.

Initial experimentation with simple pipeline setup: Call parse_json_dns from parse_dns.py in base_gefx_generator.py
Add simple gitignore.
Add example wireshark DNS extract for testing.
Add example wireshark HTTP extract for testing.

Fixing indentation and results display

A simple script to analyze the distribution of packet frequencies against time

Update DNS parser to also construct IP-> hostname map [NOTE: This is the SIMPLEST SOLUTION and does not consider cases where one IP maps to multiple hostnames nor does it consider timing of the mappings -- serves only as a starting point]

Add parse_dns.py: reads DNS traffic from a file (JSON formatted by tshark) and constructs a map in which a hostname points to a set of IPs associated with that hostname.

extract_from_tshark.py:
- apply Shuba's fix: do not skip packets that do not have a comment.
- include src ip and src port in output

Add base_gefx_generator.py: script that constructs a .gefx file from JSON generated by extract_from_tshark.py. The script generates a graph in which nodes are hosts and edges indicate that there is communication between the hosts. The script label/identify hosts by their IPs. It should serve as a starting point when we want to include more information in the graphs (e.g. host name).

First version of scripts for traffic analysis

Initial commit