"Бит" — слово искусственное и представляет собой сокращение от английских слов binary digit, что означает парадоксальное сочетание "двоичная единица", а в русский язык оно перешло простой транслитерацией.