40 гб за сутки это 500 килобайт в секунду храни у себя последнюю прочитанную строчку и просто...

40 гб за сутки это 500 килобайт в секунду храни у себя последнюю прочитанную строчку и просто считывай раз в N секунд все что после