Сокращение от слова институт относится к так называемым дефисным сокращениям русского языка: внутри сокращённого слова присутствует дефис: ин-т. Именно так правильно сокращается данное существительное. Сокращение инс-т считается ошибочным.
К дефисным сокращениям относятся такие сокращённые слова, как р-н (район), з-д (завод), о-в (остров), п-ов (полуостров), пр-т (проспект), об-вв (общество), изд-во (издательство).
Итак, слово институт сокращается: ин-т.