Search Inside The Music est un projet de Sun Labs dirigé par Paul Lamere. L'idée est de relier habilement entre elles un tas de chansons, par des méthodes bien plus sophistiquées que les habituels tags genre ou artiste.

C'est-à-dire que dans une collection de musique, il est possible de traverser les genres pour retrouver 2 titres qui ont des similitudes de timbre ou d'"énergie musicale".

Concrètement, le projet explore de nouvelles méthodes de recherche de musique grâce au contenu musical et au contexte. Il s'agit donc de nous aider à retrouver et à organiser notre musique basé sur des propriétés telles que les paroles, le thème musical, la mélodie, le tempo, le rythme et l'instrumentation. Il est également possible d'y intégrer les habitudes musicales de l'utilisateur.

La première chose à faire, c'est générer des metadonnées directement du contenu audio: pitch, harmonies, timbres, instrumentation, tempo, patterns de rythme, niveau d'énergie.
Ce qui pose un problème de ressources. Sun Labs analyse les propriétés musicales segment par segment. Chaque segment (frame) représente 40 millesecondes de musique, ce qui veut dire 5000 frames en moyenne par chanson, ce qui veut dire un bon paquet de données à traiter.
Multipliez ça par le nombre de chansons dans une collection même modeste, et on parle alors de millions de frame, un calcul colossal.
C'est là que ça aide de travailler pour Sun. Ils disposent d'un "grid computing", une store de mur auquel il suffit de se connecter pour disposer des ressources de milliers d'ordinateurs en réseau, ainsi que de leurs capacités de stockage. Selon Lamere, un simple ordinateur prendrait 6 ans pour analyser une collection de 2 millions de chansons, tandis que le même travail sur un grid de 1000 ordinateurs prendrait un week-end.

L'une des fonctionnalités les plus impressionnantes du système, c'est la visualisation des distances acoustiques entre chansons de tout henre. Les chercheurs de Sun Labs ont analyzé près de 5000 chansons, catégorisées par le genre spécifié par l'artiste, et incrustées dans un tableau 3D selon leurs similarités acoustiques.