Node.js'te stream kullanarak büyük dosya işlemlerinde memory kullanımını optimize etme

const fs = require('fs');
const processData = (filePath) => {
  // TÜM DOSYA BELLEĞE YÜKLENİYOR!
  fs.readFile(filePath, 'utf8', (err, data) => {
    if (err) throw err;
    const lines = data.split('\n');
    lines.forEach(line => {
      // Her satırı işle...
      console.log(line);
    });
  });
};

const fs = require('fs');
const readline = require('readline');

const processLargeFile = (filePath) => {
  return new Promise((resolve, reject) => {
    const fileStream = fs.createReadStream(filePath, { encoding: 'utf8' });
    
    // Readline interface'i oluştur
    const rl = readline.createInterface({
      input: fileStream,
      crlfDelay: Infinity // Tüm CRLF (\r\n) ve LF (\n) satır sonlarını düzgün yakala
    });

    let lineCount = 0;

    // 'line' eventi, her yeni satır okunduğunda tetiklenir
    rl.on('line', (line) => {
      lineCount++;
      // Burada satırı işliyoruz. Sadece o anki satır bellekte.
      // Örnek: CSV parsing, log analizi, veri filtreme
      // console.log(`Satır ${lineCount}: ${line.substring(0, 50)}...`);
      
      // ÖNEMLİ: Bu callback içinde ağır senkron işlemler YAPMA.
      // Ağır işlemler için worker thread veya queue düşün.
    });

    // Stream bittiğinde
    rl.on('close', () => {
      console.log(`Dosya işlendi. Toplam satır: ${lineCount}`);
      resolve(lineCount);
    });

    // Hata durumunda
    fileStream.on('error', (err) => {
      reject(err);
    });
  });
};

// Kullanımı
(async () => {
  try {
    await processLargeFile('devasa_log_file.log');
  } catch (error) {
    console.error('Dosya işlenirken hata:', error);
  }
})();

const { Transform, pipeline } = require('stream');
const fs = require('fs');
const csv = require('csv-parser'); // Örnek bir parser

// Özel bir Transform Stream oluşturalım
const jsonTransformer = new Transform({
  objectMode: true, // JavaScript objeleri ile çalışıyoruz
  transform(chunk, encoding, callback) {
    // 'chunk' burada csv-parser'dan gelen bir satır objesi
    // Veriyi dönüştür
    const transformedData = {
      id: chunk.id,
      name: chunk.name.toUpperCase(),
      timestamp: new Date()
    };
    // Dönüştürülmüş veriyi bir sonraki adıma ilet
    this.push(JSON.stringify(transformedData) + '\n');
    callback();
  }
});

// Pipeline ile akışı birleştir
pipeline(
  fs.createReadStream('large_data.csv'),
  csv(), // CSV'yi parse eden stream
  jsonTransformer, // Bizim dönüştürücümüz
  fs.createWriteStream('output.jsonl'),
  (err) => {
    if (err) {
      console.error('Pipeline hatası:', err);
    } else {
      console.log('Dönüştürme tamamlandı!');
    }
  }
);