टीवीपी का उपयोग करने का स्वीकृत उत्तर आम तौर पर सही होता है, लेकिन डेटा की मात्रा के आधार पर कुछ स्पष्टीकरण की आवश्यकता होती है। डेटा के छोटे सेट के लिए डेटाटेबल का उपयोग करना ठीक है (त्वरित और आसान उल्लेख नहीं करना), लेकिन बड़े सेट के लिए यह करता है स्केल नहीं दिया गया है कि यह डेटाटेबल में इसे SQL सर्वर पर पास करने के साधनों के लिए डेटासेट को डुप्लिकेट करता है। इसलिए, डेटा के बड़े सेट के लिए किसी भी कस्टम संग्रह की सामग्री को स्ट्रीम करने का विकल्प होता है। एकमात्र वास्तविक आवश्यकता यह है कि आपको SqlDb प्रकारों के संदर्भ में संरचना को परिभाषित करने और संग्रह के माध्यम से पुनरावृति करने की आवश्यकता है, जो दोनों काफी छोटे कदम हैं।
न्यूनतम संरचना का एक सरलीकृत अवलोकन नीचे दिखाया गया है, जो मेरे द्वारा पोस्ट किए गए उत्तर का एक अनुकूलन है, मैं कम से कम समय में 10 मिलियन रिकॉर्ड कैसे सम्मिलित कर सकता हूं?, जो एक फ़ाइल से डेटा आयात करने से संबंधित है और इसलिए थोड़ा अलग है। डेटा वर्तमान में स्मृति में नहीं है। जैसा कि आप नीचे दिए गए कोड से देख सकते हैं, यह सेटअप अत्यधिक जटिल नहीं है फिर भी अत्यधिक लचीला होने के साथ-साथ कुशल और स्केलेबल भी है।
SQL ऑब्जेक्ट # 1:संरचना को परिभाषित करें
-- First: You need a User-Defined Table Type
CREATE TYPE dbo.IDsAndOrderNumbers AS TABLE
(
ID NVARCHAR(4000) NOT NULL,
SortOrderNumber INT NOT NULL
);
GO
SQL ऑब्जेक्ट # 2:संरचना का उपयोग करें
-- Second: Use the UDTT as an input param to an import proc.
-- Hence "Tabled-Valued Parameter" (TVP)
CREATE PROCEDURE dbo.ImportData (
@ImportTable dbo.IDsAndOrderNumbers READONLY
)
AS
SET NOCOUNT ON;
-- maybe clear out the table first?
TRUNCATE TABLE SchemaName.TableName;
INSERT INTO SchemaName.TableName (ID, SortOrderNumber)
SELECT tmp.ID,
tmp.SortOrderNumber
FROM @ImportTable tmp;
-- OR --
some other T-SQL
-- optional return data
SELECT @NumUpdates AS [RowsUpdated],
@NumInserts AS [RowsInserted];
GO
सी# कोड, भाग 1:पुनरावर्तक/प्रेषक को परिभाषित करें
using System.Collections;
using System.Data;
using System.Data.SqlClient;
using System.IO;
using Microsoft.SqlServer.Server;
private static IEnumerable<SqlDataRecord> SendRows(Dictionary<string,int> RowData)
{
SqlMetaData[] _TvpSchema = new SqlMetaData[] {
new SqlMetaData("ID", SqlDbType.NVarChar, 4000),
new SqlMetaData("SortOrderNumber", SqlDbType.Int)
};
SqlDataRecord _DataRecord = new SqlDataRecord(_TvpSchema);
StreamReader _FileReader = null;
// read a row, send a row
foreach (KeyValuePair<string,int> _CurrentRow in RowData)
{
// You shouldn't need to call "_DataRecord = new SqlDataRecord" as
// SQL Server already received the row when "yield return" was called.
// Unlike BCP and BULK INSERT, you have the option here to create an
// object, do manipulation(s) / validation(s) on the object, then pass
// the object to the DB or discard via "continue" if invalid.
_DataRecord.SetString(0, _CurrentRow.ID);
_DataRecord.SetInt32(1, _CurrentRow.sortOrderNumber);
yield return _DataRecord;
}
}
सी# कोड, भाग 2:पुनरावर्तक/प्रेषक का उपयोग करें
public static void LoadData(Dictionary<string,int> MyCollection)
{
SqlConnection _Connection = new SqlConnection("{connection string}");
SqlCommand _Command = new SqlCommand("ImportData", _Connection);
SqlDataReader _Reader = null; // only needed if getting data back from proc call
SqlParameter _TVParam = new SqlParameter();
_TVParam.ParameterName = "@ImportTable";
// _TVParam.TypeName = "IDsAndOrderNumbers"; //optional for CommandType.StoredProcedure
_TVParam.SqlDbType = SqlDbType.Structured;
_TVParam.Value = SendRows(MyCollection); // method return value is streamed data
_Command.Parameters.Add(_TVParam);
_Command.CommandType = CommandType.StoredProcedure;
try
{
_Connection.Open();
// Either send the data and move on with life:
_Command.ExecuteNonQuery();
// OR, to get data back from a SELECT or OUTPUT clause:
SqlDataReader _Reader = _Command.ExecuteReader();
{
Do something with _Reader: If using INSERT or MERGE in the Stored Proc, use an
OUTPUT clause to return INSERTED.[RowNum], INSERTED.[ID] (where [RowNum] is an
IDENTITY), then fill a new Dictionary<string, int>(ID, RowNumber) from
_Reader.GetString(0) and _Reader.GetInt32(1). Return that instead of void.
}
}
finally
{
_Reader.Dispose(); // optional; needed if getting data back from proc call
_Command.Dispose();
_Connection.Dispose();
}
}