IEEE Big Data 2023 Latest Technological Updates 

Test-Tube Hard Drives Compute with Chemicals 

Storing data as small molecules and getting them to compute by reacting could speed some computations
A group of scientists and engineers at Brown University is planning to use chemicals in a droplet of fluid to store huge amounts of data and, eventually, get them to do complex calculations instantly. They’ve just received US $4.1 million from the Defense Advanced Research Projects Agency to get started, and plan to borrow robots and automation from the pharmaceutical industry to speed their progress.

“We’re hoping that at the end of this we’ll have a hard drive in a test tube,” says Jacob Rosenstein, assistant professor of electrical engineering, who is co-leading the project with theoretical chemist Brenda Rubenstein.

There’s been a big push recently to store data as molecules of DNA, but the Brown chemical computing project will do things differently, potentially ending up with greater data density and quicker readouts.

DNA data-storage techniques encode the data as long chains of chemical “letters.” But in the Brown team’s scheme, each data point could be represented by its own chemical. A simple version of that scheme using, say, the presence or absence of any of four chemicals, could then encode 16 states. Using a similar scheme, they encoded a simple 81-bit image using 25 chemicals, just to prove it could be done. In that scenario, each pixel position was represented by a different substance.

If it seems like they’ll need a lot of different chemicals to make this scheme do anything important, you’re right. However, this may not be a big deal. Brown's team will rely on a class of antibodies called Ugi antibodies. These are combinations of four chemicals that react to form small organic molecules. The pharmaceutical industry uses automated compounding systems to produce millions of drugs for clinical trials.

So how can they tell the chemical composition of millions of people in the water? Rubenstein, Rosenstein and their colleagues will use a technique called mass spectrometry. This is essentially the same procedure used to find evidence of doping in athletes' urine. It basically charges the molecules in the sample and shoots them into a detector. Their size and value are determined exactly when they reach the detector, helping to identify each molecule. [See examples in “New School for Detecting Cheaters at the 2016 Olympics,” IEEE Spectrum, August 2016. ]

But reading and writing information is just the beginning. The team hopes to make calculations by combining the data. "This is still a work in progress," Rosenstein said. Chemical data must be carefully analyzed to translate effects into useful information. "We have some ideas to explore."

Checking the data shows no trace.

Latest Trend in Big Data Analytics: Instant Streaming Analytics Big

Big data expert Bernard Marr recently wrote in Forbes: “There is no doubt that we will continue to create more data analytics. We are trying to access epidemic and natural disaster data from control and fraud and make sense of it. The city, service institutions, doctors and businesses all rely on it. Moreover, the problem is more important, the data can be analyzed faster, which is why the endpoint of the device is still working?

"As analytic capabilities improve and access to a variety of data increases, Newcastle University researcher Rajiv Ranjan and colleagues published a paper titled "Orchestrating Big Data Analytics" in the May/June 2017 issue of Workflows. 》(All text may require login) author: IEEE Cloud Computing.

So far there is no need for a large-scale operating system that can handle dynamic and time-sensitive data. Customers demand real-time, highly accurate, streaming analysis of workflow data so they can make rapid business decisions or respond to a disaster. Edge devices solve the problem of latency, but, when big data owners try to scale up or down, it’s a mess. Some high profile platforms can manage data just fine from data centers but run into trouble with edge devices.

“Platforms such as Apache YARN, Apache Mesos, Amazon IoT and Google Cloud Dataflow that can support script-based composition of heterogeneous analytic activities on cloud datacenter resources cannot deal with edge resources,” write Ranjan and his colleagues.

Furthermore, while current techniques allow dynamic reconfiguration of interactive multi-tier web applications, they do a lousy job of predicting data flow metrics.

“BigData workflows are fundamentally different from multi-tier web applications. To make dynamic reconfiguration in the execution of BigData workflow applications, their run-time resource requirements and data flow changes needs to be predicted including any possible failure occurrence,” the authors added.

So what is the solution?

Big data needs to up its game.

“The research community must aim to design new frameworks and novel platforms and techniques that enable decision making by allowing the orchestration of their execution in a seamless manner allowing dynamic resource reconfiguration at runtime,” the authors say.

“One of the myths is that BigData analysis is driven purely by the innovation of new data mining and machine learning algorithms. While innovation of new data mining and machine learning algorithms is critical, this is only one aspect of producing BigData analysis solutions,” say the authors.

In other words, the demand for real-time insights into data will be the norm within the next five years. Due to the growth of big data, evolution of business algorithms, and staff shortages, data analysts are having to struggle to keep up.