System and method for transferring partitioned data sets over multiple threads

   
   

In a distributed computer system, a data set having a plurality of data rows is extended by adding an additional column to the data set and assigning a persistent partition ID to each of the plurality of data rows in the additional column. The extended data set can then be queried by a plurality of queries, each of which has conditions that select the same rows from the data set and each of which has different partition ID information. The partition ID information forms a different result set from the selected rows so that the result set of each query forms a non-overlapping, transferable result set partition. Together, the result set partitions form the complete result set. The result set partitions can be transferred in parallel through the computer system to increase the system throughput.

In un sistema di elaborazione distribuito, un insieme di dati che ha una pluralità di file di dati si estende aggiungendo una colonna supplementare all'insieme di dati ed assegnando un'identificazione persistente del divisorio a ciascuna della pluralità di file di dati nella colonna supplementare. L'insieme di dati esteso può allora essere interrogato da una pluralità di domande, ciascuno di cui ha le circostanze che selezionano le stesse file a partire dall'insieme di dati e ciascuno di cui abbia informazioni differenti di identificazione del divisorio. Le informazioni di identificazione del divisorio formano un insieme differente di risultato dalle file selezionate in modo che l'insieme di risultato di ogni domanda formi un divisorio stabilito di risultato non sovrapponibile e trasferibile. Insieme, i divisorii stabiliti di risultato formano l'insieme completo di risultato. I divisorii stabiliti di risultato possono essere trasferiti parallelamente attraverso il sistema di elaborazione per aumentare il rendimento di sistema.

 
Web www.patentalert.com

< Providing a configuration file to a communication device

< System and method for selective information exchange

> High speed file I/O control system with user set file structure to effect parallel access pattern over a network

> Method, system, and product for data integration through a dynamic common model

~ 00100