Adding more devices

Implement a generic version of the sequence alignment algorithm from Kleinberg's and Tardo's 'Algorithm Design'

Adding a new device: Lifx light bulb.

Adding one more entry in clicker.sh and Main.java

Adding Kwikset doorlock.

Updating automation clicker.sh

Merge branch 'master' of https://github.uci.edu/rtrimana/smart_home_traffic

Changing Main.java

Added grouping of conversations by sequence identifeir

Adding paths etc.

TrafficLabeler.java: provide functionality for extracting labeled traffic grouped by hostname.
Main.java: add + update filepaths; add code for grouping ONs and OFFs sequence counts.
TriggerTrafficExtractor.java: change inclusion window to 20 seconds.
UserAction.java: overwrite toString() for debugging purposes.

TrafficLabeler.java: implemented support for exporting the labeled traffic in different representations (for example as reassembled TCP conversations).
Main.java: invoke TrafficLabeler to get the set of TCP conversations per user action.
TriggerTrafficExtractor.java: change inclusion interval to 10 seconds.

Main.java: add paths to Wemo data files

Main.java: add paths to TP-Link Bulb data

invoke TrafficLabeler from Main.java (ignoring results for now)

First attempt at labeling traffic with user actions

Updating the automation script clicker.sh

Merge branch 'master' of https://github.uci.edu/rtrimana/smart_home_traffic

TcpConversationUtils.java and Main.java: add support for counting packet pair frequencies per hostname; switch filepaths to point to D-Link files.

Main.java: change filepaths to point to TPLink july experiment.

TriggerTrafficExtractor.java: simplify packet inclusion logic (shouldIncludePacket) -- NOTE: this comes with a high cost as it is an inefficient implementation compared to the previous one -- revert to previous implementation once its correctness has been verified.

TriggerTimesFileReader.java: use try-with such that trigger times file is properly closed after use

Upate date format to match format used in timestamp files produced by experiment script

Main.java: re-add counting of statistics using TcpConversationUtils

Main.java: cleanup - leave only code for extracting traffic generated by a device within x seconds of a trigger

Main.java: cleanup - get rid of old, commented sample/debug code

Main.java: delete code that would compute statistics of conversations (now in separate class)

TcpConversationUtils.java: add some utility functions for counting frequencies (of packet lengths)

TcpConversationUtils.java: added Javadoc

Merge branch 'master' of https://github.uci.edu/rtrimana/smart_home_traffic

Adding coordinates for the SmartThings app button.

TcpReassembler.java: bugfix: make mTerminatedConversations a list instead of prevent older conversations from being overwritten when an ephemeral port number is reused in communication between the same two hosts

Implement grouping of conversations by hostname

Main.java: count packet length frequencies and packet sequence frequencies; use 24+h tplink pcap file

PcapHandleReader: count and print (to std.err) the number of packets that appear out of order

Merge branch 'master' of https://github.uci.edu/rtrimana/smart_home_traffic

Adding more formatting/information into clicker.sh script.

Added script for prepending dates to the timestamp files

Main.java: extracting pairs related to events.tplinkra.com

Make DnsMap implement PacketListener in order to allow it to be used with PcapHandleReader

Main.java: perform TCP reassembly and extract packet pairs.

Cleanup: Refactor PcapHandleReader to io package.

Correct TcpReassembler to implement PacketListener interface instead of PcapPacketConsumer interface deleted in last commit. Remove import of deleted PcapProcessingPipeline in Main.java

Delete PcapReader.java, PcapProcessingPipeline.java and PcapPacketConsumer.java

Perform trigger traffic extraction on data from Feb 13 experiment

Move trigger time file reader to separate class and convert to Java 8 time instead of deprecated java date-time api.

Javadoc for PcapHandleReader constructor.

TriggerTrafficExtractor: clean up

Some work-in-progress code for extracting trigger traffic

Sketch code for extracting packet pairs (unfinished - unsure how to apply it to reconstructed tcp conversations).

TcpReassembler: Provide method for retreiving reassembled conversations

PcapReader: provide parameter for specifying a Berkeley Packet Filter

Move PcapProcessingPipeline to different package.

Conversation: ensure packets are added to list in descending order of their timestamps.

Code for reassembling TCP streams. Not thoroughly tested, but seems to work for a simple, small pcap file

Add code for recording SYN packets in Conversation.

Bug-fix: Use seperate, direction-dependent sets of sequence numbers (used when determining if a segment is a retransmission) as client and server may (after a while) end up using a sequence number that the other party has already used for sending a packet in the opposite direction.

Experimenting with reverse engineered TP-link API

A few more changes for capturing pairs.

Adding timestamp checks into the packet filtering for obtaining datapoints.

Getting pairs of packets from the client-server communications.

Merge branch 'master' of https://github.uci.edu/rtrimana/smart_home_traffic

Using adb to click automatically on Android app; enabling automation

First (rushed) implementation of pattern seach at the MAC layer. Not pretty, but seems functional.

correct typo

Added sub sequence search function, and put this into effect; seems to work just fine. Added subset pcap trace of TP_LINK_LOCAL_ON.

Clean up

Put checks for explicit termination of conversation to use in FlowPatternFinder.

add method for checking if a Conversation has been gracefully shut down.

Prepare a data structure for keeping track of FIN and their corresponding ACK packets. This is to be used for detecting when a connection is (gracefully) shut down.

fix typo in javadoc keyword

Adding feature to hold multiple hostnames and lists of packet orders in FlowPattern, but keeping the old method of searching patterns (i.e. just one hostname and one pattern) for now---need to think more carefully so that we won't break stuff.

Merge branch 'master' of https://github.uci.edu/rtrimana/smart_home_traffic

# Conflicts:
# Code/Projects/SmartPlugDetector/src/main/java/edu/uci/iotproject/FlowPatternFinder.java
# Code/Projects/SmartPlugDetector/src/main/java/edu/uci/iotproject/Main.java

Clean up + read filename from program args; default to Rahmadi's hardcoded test file if no program args provided.

Major revamp of FlowPatternFinder to ensure thread safety. Added generic structure for comparison code which should allow for easy plugin of more sophisticated comparison algorithm later on.

Move retransmission checks to Conversation class.

Adding pre-processing for training set---we take packet lengths directly from a training set pcap file for FlowPattern.

Add getPackets to Conversation's API.

Extract Conversation to separate file (i.e. it is no longer an inner class). Add List of associated packets to Conversation class. Add Javadoc. Reformat variable names to match android convetions (indicating member variables by prefixing these with 'm').

Adding pcap files for remote ON and remote ON charging cases.

Adding combined PCAP (local and remote) to test out the algorithm- it successfully detects the only pattern specified in the FlowPattern class.

Separating pattern collection and analysis into 2 different threads.

Making retransmission check O(1) using HashSet/Set.

Refactoring and restructuring - Adding DnsMap class

Filter out retransmissions when reconstructing TCP flows. Now able to detect all local ON events in wlan1.local.dns.pcap.

Update pcap4j to v2.0.0-alpha to get access to packet timestamps (and possibly TCP session reassembly at a later stage). Now prints the timestamp for the occurrence of a complete match in the trace.

1) Skip zero-payload packets when reassemlbing conversations from individual packets. 2) Hardcode TP-Link Local ON pattern. 3) Rushed implementation that finds complete matches of the pattern.

First small step towards pattern search: separate packets related to packet into separate lists, one list for each conversation/session.

Converted IP to hostname map from Map<String,List<String>> to Map<String,Set<String>> to prevent multiple entries of the same hostname showing up for the same IP. Added some javadoc. Removed KataiStruct packet representations.

Add functional code that loads a pcap file and constructs the IP->hostname map/dictionary. Note that the map is actually of type Map<String, List<String>> as the trace contains cases where ONE IP maps to MULTIPLE hostnames. Bug in current implementation: the map should be changed to Map<String, Set<String>> to prevent the same hostname from showing up in the list multiple times (occurs when a set of DNS queries return the same IP).

Kaitai parser half baked; there seems to be a problem with the parsing of DNS packets (missing type A addresses in the data structure).

Managed to pick and parse DNS packets; but, still need to get the detailed information from inside the packet.

Reading and parsing through packets; handling unwanted packets; ready to create a good parser to create a nice data structure.

Skipping packets that do not have etherType, e.g. XID, EAPOL, etc.

Fixing build flow (broken because of a missing return statement).

Resolving merge conflict in Main.java

Adding the Kaitai library to parse PCAP files.

add notes

apply application plugin

add project for Smart Plug detection