Pour la formule d’appel ou l’apostrophe, la virgule est nécessaire. Majuscule au titre qui est une adresse et non un nom commun (le docteur ==> le médecin)
Je vous aime, Docteur.
ou
Docteur, je vous aime.

Virgule si « maman » a valeur de prénom ; une maman peut être écrit avec la majuscule (sauf que ce langage est un peu mièvre, une mère).
Je t’aime, Maman.
ou
Maman, je t’aime.

Quant à l’équipe de matous, je vais supposer qu’il s’agit d’un titre de récit  :
– Si le titre commence par un article défini (le, la, les, l’), on met la majuscule à cet article et au premier substantif du titre ainsi qu’à l’adjectif qui le précède le cas échéant : Les Jeunes Filles ou La Divine Comédie.
– Pas de majuscule à l’adjectif qui suit le nom : La Comédie humaine.
==> donc L’Équipe des chats fous. (en italique bien sûr). 

Merci pour votre réponse.

Dans mon exemple, « maman » a-t-il obligatoirement une valeur de prénom ou c’est un choix de considérer que c’est comme un prénom ?

Et dans la phrase : Merci maman.
Comment doit-on l’écrire ou comment peut-on l’écrire ?

Dans l’équipe de matous, si c’est le nom d’une équipe dans un jeu vidéo ou une équipe de sport par exemple ?

Dans ce cas, tout est en minuscule sauf pour le mot en début de phrase.
L’équipe des chats fous a gagné.

Et pour maman ?

Comment savoir dans quel cas on met la majuscule pour une équipe de sport comme le Paris Saint-Germain (équipe de football) :
https://www.psg.fr/equipes/equipe-premiere/content/le-paris-saint-germain-remporte-le-40e-trophee-de-son-histoire

Et les autres cas ?

Votre équipe de football est nommée d’après des lieux qui sont des noms propres. Donc, je mettrais les majuscules.
A ma connaissance, il n’y a que les fromages et les vins qui ne prennent pas la majuscule de leur région : je bois du champagne mais des vins de Bordeaux.

J’ai encore un doute sur cette histoire de chats : http://www.academie-francaise.fr/questions-de-langue#47_strong-em-majuscules-em-strong
« Dans les dénominations formées de plusieurs mots, le principe général est de réserver la majuscule au premier mot caractéristique, c’est-à-dire à celui qui permet l’identification, ainsi qu’à l’adjectif qui éventuellement le précède : la guerre de Sécession, la révolution d’Octobre, le musée du Louvre, la guerre de Cent Ans, le Petit Trianon, etc. »

http://j.poitou.free.fr/pro/html/typ/cap-emplois.html
« Majuscule de mot : expression composée de plusieurs mots

Les choses se compliquent et conséquemment, les usages sont encore plus flottants. Plusieurs principes peuvent être défendus, et leurs effets sont contradictoires. Voici ceux qui paraissent le plus souvent à l’œuvre :

– une seule majuscule à l’initiale du premier mot (ou du premier mot plein : nom, adjectif) : le Club de boules de Garchizy ;
– majuscules à tous les mots pleins : le Club de Boules de Garchizy ;
– majuscule au mot (le plus) caractéristique (p. ex. le nom propre qui y figure) : le club de boules de Garchizy.

Chacun de ces principes a ses adeptes. Les deux premiers sont les plus simples à appliquer ; le troisième nécessite de définir quel est « le » mot caractéristique.

Les conventions présentées ci-dessous sont sauf exception celles de l’Imprimerie nationale ; elles correspondent globalement au troisième principe. Il faut rappeler que ces conventions ne constituent pas la norme obligatoire pour le français en tous lieux et en toutes circonstances. On verra aussi quelques-uns des problèmes qu’elles posent. »

Par rapport à mon exemple, cette règle peut-elle s’appliquer ?