元治元年（１８６４)に新選組に入隊した伊藤は、尊皇派であったため、次第に近藤勇と相反するようになり、同志十五人とともに新選組を脱退して御陵衛士となった。しかし、新選組との対立は深く、近藤勇らは、伊藤を招いて酒をふるまい、酔った伊藤をその帰路この地で刺殺した。この知らせを聞いた伊藤一派は、直ちに駆けつけたが、待ち伏せしていた新選組数十名の隊士に襲われた。これを油小路七条の変という。