Nachdem das Duo hideco und tetsuhiko bereits erfolglos versuchten, unter dem Namen Wev Fuß zu fassen, benannte sich die Gruppe um und wählte als neuen Namen den Titel eines Lieds ihrer Lieblingsband Oasis.
little by little veröffentlichte im Dezember 2003 mit dem vierten Vorspannlied zur Serie Naruto eine erste erfolgreiche Maxi-Single mit dem Titel Kanashimi wo yasashisa ni, die Platz 4 in den japanischen Single-Charts erreichte und auch später in Deutschland auf dem Sampler Anime Nation No. 4 veröffentlicht werden sollte. Im April 2004 folgte eine zweite Single, LOVE & PEACE, im August des selben Jahres die dritte, Ameagari no kyona sakamachi , welche als Musikthema im Film Daisuki! Itsutsu ko 6 verwendet wurde.