IMPORTANT BUGFIX: consider FULL range of local IPs when determining clietnIsSrc in TcpReassembler

Point Zeus to ST plug signatures

Add output that displays what files are in use; point Zeus to kwikset signatures.

Prepare code for execution on Zeus (including upping mem limit to 300gigs)

Revert back to full MondayWorkhours file; increase Xmx to 64GB as default when run using gradle run

Prepare code for execution on Hera (networking group server)

Adding WeMo Inisght paths for experimental setup.

Adding WeMo plugs' paths for experimental results.

Adding new smart home devices into the experiment.

Adding new devices under test.

Adding more devices into the experimental setup.

Adding more execution parameters for experimental results (evaluation).

prune clusters in order to allow detection of different pairs in same connection

Adding a method to delete a bad sequence in a signature after we test the produced signature file against its own PCAP file---one case like this is the Nest Thermostat.

Fixing curl for twitter.com in browser.sh.

Adding more websites to the fake browser.

Adding a dummy browser script.

Temporary fix for router's IP as client for WAN trace and paths for new tests for devices.

Making sure that merging would fail if there is a situation where two sequences are sometimes adjacent and sometimes aren't. The detection part will detect these, instead, as separate ordered sequences (that are in one TCP connection).

Checking in new code for signature generation; Arlo has a signature for camera on/off! :)

Adding a temporary cleanup for duplicate timestamps due to ON and OFF signatures having the same sequences (and thus the same event is detected and printed twice).

Adding array out of bound check for timestamps comparison.

Testing the flow starting from D-Link plug for training and signature generation.

Adding files for training for paper evaluation.

Adding PCAP file for no-activity.

Adding a script to compare 2 timestamps files to validate the detection process.

SignatureDetector: add paths to dlink plug evaluation experiment

TcpReassembler: skip non-IPv4 traffic; SignatureDetector: add paths to d-link evaluation experiment

Fixing conflict for SignatureDetector.java.

Committing local changes.

add filepaths for dlink siren and dlink plug to SignatureDetector's embedded test client

SignatureDetector.java cleanup: remove initial attempts at algorithm; add some javadoc.

Added SignatureDetector which can detect signatures spanning multiple TCP connections

ClusterMatcher.java: cleanup; add javadoc; change signature of observer interface

rename SignatureDetector to ClusterMatcher

Adding the serializer/deserializer for the entire signature.

SignatureDetector.java: now also detects when the same sequence occurs multiple times in the same conversation.

backing up first "working" version of SignatureDetector; note that this version does not manage to capture those cases where the signature appears multiple times in the same TCP Conversation.

SignatureDetector.java: closer towards final implementation (e.g., also check packet direction when detecting signatures)

PcapPacketUtils.java: change implementation of getSourceIp(PcapPacket) to throw a NullPointerException instead of returning null if the provided packet does not contain an IpV4Packet; add implementations of getDestinationIp(PcapPacket), isSrcIpLocal(PcapPacket), isDstIpLocal(PcapPacket), getIpV4PacketOrThrow(PcapPacket).

Adding signature sorting by timestamps.

Performance bug found---unnecessary outer loop introduced.

[minor work in progress]

preliminary work on signature detection

Adding signature combining; we can improve the performance later by requiring that the Conversation list should always be sorted based on timestamps.

Support for starting a live capture.
Support for terminating PcapHandleReader.

Only taking signatures in the range of trigger+/-5; pad with null if the second element of the pair is null.

Adding the basic signature harvesting (i.e., also saving to and reading back from signature files).

Resolving conflict.

Adding noise diff code.

Finished java-based clustering implementation (note: had to move Clusterable implementation to PcapPacketPair and get rid of PcapPacketPairWrapper).

PcapPacketPairWrapper: add boolean value for toggling between simplistic and sophisticated source matching

changes to .iml file that didn't make it into last commit (rebase action)

Add Apache Commons Math as dependency and implement first version of PcapPacketPairWrapper to allow for clustering in Java

New scripts to cluster based on C->S/S->C direction filter; improving the plot's appearance in terms of scaling etc.

Printing directions in the toCSV() method in PrintUtils

Merge branch 'master' of https://github.uci.edu/rtrimana/smart_home_traffic

Committing changes for merging.

Bugfix: fix null-pointer when formatting PcapPacketPairs as CSV

Added support for extracting packet pairs of only TLS Application Data packets (see TcpConversationUtils.extractTlsAppDataPacketPairs(Conversation)). Added support for converting PcapPacketPairs to CSV string (see PrintUtils.java).

Adding a proof of concept for clustering with source and destination (4 dimensional instead of 2 dimensional).

Fixing scripts and adding a script to create diff plot between two lists of datapoints.

Adding info about TP-Link bulb device IP.

Adding some changes related to the second batch of experiments to cluster pairs.

Improving colors and looks of graph plots.

Merging changes.

Adding pair checking into the pairing process

Do some refactoring to prevent code duplication; change string sequence generation/grouping to utilize Stream API.

Merge branch 'master' of https://github.uci.edu/rtrimana/smart_home_traffic

Adding plotting scriptto plot both on and off plots at once.

Merging

Adding plotting using DBSCAN

Conversation.java: added unconvetional TLS ports used by WeMo plugs and LiFX bulbs to isTls()

Some exploratory work on extracting TLS App Data sequence

TcpConversationUtils.java: add method for grouping conversations by TLS Application Data sequence; add method for getting packet length sequence for TLS Application data.

Adding more checks for Application Data; basically if a packet has the Application Data type (=23) and it exceeds the MTU size 1514, then the next packet should be Application Data packet as well.

Simple Python script to plot datapoints based on clusters.

Extracting Application Data pairs into files for ON/OFF events.

Adding a boolean variable to choose between the verbose or the concise version of the packet lengths string.

Conversation.java: implemented logging of TLS application data packets.

Adding plotting of points with centroid coordinates and frequencies.

Merge branch 'master' of https://github.uci.edu/rtrimana/smart_home_traffic

Adding Python ML examples of clustering data points.

SequenceExtration.java: finish up naive implementation of extract(...) and move to seqalignment subpackage.
Main.java: add code for exploring the number of false positives for sequence alignment.
TcpConversationUtils.java: move implementation of getPacketLengthSequence(Conversation) to this class from SequenceExtraction as it is a generally useful util method.

update to gradle 4.9

Merge branch 'master' of https://github.uci.edu/rtrimana/smart_home_traffic

Few more tests in Main.java

SequenceExtraction.java: work in progress, ignore it.

TcpConversationUtils.java: make SYNs, FINs, and RSTs part of sequence string produced by groupConversationsByPacketSequence(Collection<Conversation>)

TcpReassembler.java: add RST packets to Conversations; check if IP matches 10.0.1.X or 192.168.1.X when creating a new Conversation from a non-SYN packet and initialize client/server end of Conversation accordingly; throw AssertionError instead of IllegalStateException to indicate incorrect internal assumption.

Conversation.java: make Direction enum public, and add toCompactString method.

Conversation.java: add infrastructure for tracking TCP segments which have the RST flag set.

Conversation: replace RuntimeExceptions with AssertionErrors to properly communicate that the error is due to an internal mistake (invalid assumption about set of enum values)

Main.java: add paths for truncated TP Link Plug trace

Stashing preliminary work on sequence extraction

Adding more devices

Adding more devices

Implement a generic version of the sequence alignment algorithm from Kleinberg's and Tardo's 'Algorithm Design'

Adding a new device: Lifx light bulb.

Adding one more entry in clicker.sh and Main.java